本発明の一態様に係る再生方法は、光源の輝度変化により可視光信号を送信する送信機から、前記可視光信号を端末装置のセンサにより受信する信号受信ステップと、前記端末装置から、前記可視光信号に対応付けられたコンテンツを要求するための要求信号をサーバに送信する送信ステップと、前記端末装置が、各時刻と、前記各時刻に再生されるデータとを含むコンテンツを、前記サーバから受信するコンテンツ受信ステップと、前記コンテンツのうち、前記端末装置に備えられている時計の時刻に該当するデータを再生する再生ステップとを含む。
これにより、図409Cに示すように、各時刻と、その各時刻に再生されるデータとを含むコンテンツが端末装置に受信され、端末装置の時計の時刻に該当するデータが再生される。したがって、端末装置は、そのコンテンツにおけるデータを、間違った時刻に再生してしまうことなく、そのコンテンツに示される正しい時刻に、適切に再生することができる。具体的には、図409Aの方法eのように、端末装置である受信機は、コンテンツを(受信機時刻−コンテンツ再生開始時刻)の時点から再生する。上述の端末装置の時計の時刻に該当するデータは、コンテンツのうちの(受信機時刻−コンテンツ再生開始時刻)の時点にあるデータである。また、送信機においても、そのコンテンツに関連するコンテンツ(送信機側コンテンツ)が再生されていれば、端末装置は、コンテンツをその送信機側コンテンツに適切に同期させて再生することができる。なお、コンテンツは音声または画像である。
また、前記端末装置に備えられている時計と、基準クロックとの間では、GPS(Global Positioning System)電波、または、NTP(Network Time Protocol)電波によって、同期がとられていてもよい。
これにより、図408および図410に示すように、端末装置(受信機)の時計と基準クロックとの間で同期がとられているため、基準クロックにしたがった適切な時刻に、その時刻に該当するデータを再生することができる。
また、前記可視光信号は、前記可視光信号が前記送信機から送信される時刻を示してもよい。
これにより、図409Aの方法dに示すように、端末装置(受信機)は、可視光信号が送信機から送信される時刻(送信機時刻)に対応付けられたコンテンツを受信することができる。例えば、送信機時刻が5時43分であれば、5時43分に再生されるコンテンツを受信することができる。
また、前記再生方法では、さらに、前記GPS電波または前記NTP電波によって、前記端末装置の時計と前記基準クロックとの間で同期をとるための処理が行われた時刻が、前記端末装置が前記可視光信号を受信した時刻から所定の時間より前である場合、前記送信機から送信された前記可視光信号が示す時刻により、前記端末装置の時計と、前記送信機の時計との間で同期をとってもよい。
例えば、端末装置の時計と基準クロックとの間で同期をとるための処理が行われてから所定の時間が経過してしまうと、その同期が適切に保たれていない場合がある。このような場合には、端末装置は、送信機で再生される送信機側コンテンツと同期する時刻に、コンテンツを再生することできない可能性がある。そこで、上記本発明の一態様に係る再生方法では、図408のステップS1829,S1830のように、所定の時間が経過したときには、端末装置(受信機)の時計と送信機の時計との間で同期がとられる。したがって、端末装置は、送信機で再生される送信機側コンテンツと同期する時刻に、コンテンツを再生することができる。
また、前記サーバは、それぞれ時刻に関連付けられている複数のコンテンツを有しており、前記コンテンツ受信ステップでは、前記可視光信号が示す時刻に関連付けられたコンテンツが前記サーバに存在しない場合には、前記複数のコンテンツのうち、前記可視光信号が示す時刻に最も近く、かつ、前記可視光信号が示す時刻の後の時刻に関連付けられているコンテンツを受信してもよい。
これにより、図409Aの方法dに示すように、可視光信号が示す時刻に関連付けられたコンテンツがサーバに存在しなくても、そのサーバにある複数のコンテンツの中から、適切なコンテンツを受信することができる。
また、光源の輝度変化により可視光信号を送信する送信機から、前記可視光信号を端末装置のセンサにより受信する信号受信ステップと、前記端末装置から、前記可視光信号に対応付けられたコンテンツを要求するための要求信号をサーバに送信する送信ステップと、前記端末装置が、前記サーバからコンテンツを受信するコンテンツ受信ステップと、前記コンテンツを再生する再生ステップと、を含み、前記可視光信号は、ID情報と、前記可視光信号が前記送信機から送信される時刻とを示し、前記コンテンツ受信ステップでは、前記可視光信号によって示されるID情報および時刻に対応付けられた前記コンテンツを受信してもよい。
これにより、図409Aの方法dのように、ID情報(送信機ID)に関連付けられている複数のコンテンツの中から、可視光信号が送信機から送信される時刻(送信機時刻)に対応付けられたコンテンツが受信されて再生される。したがって、その送信機IDおよび送信機時刻に対して適切なコンテンツを再生することができる。
また、前記可視光信号は、時刻のうちの時および分を示す第2の情報と、時刻のうちの秒を示す第1の情報とを含むことによって、前記可視光信号が前記送信機から送信される時刻を示し、前記信号受信ステップでは、前記第2の情報を受信するとともに、前記第2の情報を受信する回数よりも多くの回数だけ前記第1の情報を受信してもよい。
これにより、例えば、可視光信号に含まれる各パケットが送信される時刻を秒単位で端末装置に通知する場合には、時、分および秒の全てを用いて表現される現時点の時刻を示すパケットを、1秒経過ごとに端末装置に送信する手間を軽減することができる。つまり、図404に示すように、パケットが送信される時刻のうちの時および分が、前に送信されたパケットに示される時および分から更新されていなければ、秒のみを示すパケット(時間パケット1)である第1の情報だけを送信すればよい。したがって、送信機によって送信される、秒を示すパケット(時間パケット1)である第1の情報よりも、時および分を示すパケット(時間パケット2)である第2の情報を少なくすることによって、冗長な内容を含むパケットの送信を抑えることができる。
また、前記端末装置のセンサは、イメージセンサであって、前記信号受信ステップでは、前記イメージセンサのシャッター速度を、第1の速度と、前記第1の速度よりも高速の第2の速度とに交互に切り替えながら、前記イメージセンサによる連続した撮影を行い、(a)前記イメージセンサによる撮影の被写体がバーコードである場合には、前記シャッター速度が前記第1の速度であるときの撮影によって、バーコードが映っている画像を取得し、前記画像に映っているバーコードをデコードすることによって、バーコード識別子を取得し、(b)前記イメージセンサによる撮影の被写体が前記光源である場合には、前記シャッター速度が前記第2の速度であるときの撮影によって、前記イメージセンサに含まれる複数の露光ラインのそれぞれに対応する輝線を含む画像である輝線画像を取得し、取得された輝線画像に含まれる複数の輝線のパターンをデコードすることによって前記可視光信号を可視光識別子として取得し、前記再生方法では、さらに、前記シャッター速度が前記第1の速度であるときの撮影によって得られる画像を表示してもよい。
これにより、図309に示すように、バーコードからでも可視光信号からでも、それらに応じた識別子を適切に取得することができるとともに、被写体とされているバーコードまたは光源が映し出された画像を表示することができる。
また、前記可視光識別子の取得では、前記複数の輝線のパターンから、データ部およびアドレス部を含む第1のパケットを取得し、前記第1のパケットよりも前に既に取得されている少なくとも1つのパケットのうち、前記第1のパケットのアドレス部と同一のアドレス部を含むパケットである第2のパケットが所定の数以上存在するか否かを判定し、前記第2のパケットが前記所定の数以上存在すると判定した場合には、前記所定の数以上の前記第2のパケットのそれぞれのデータ部に対応する前記輝線画像の一部の領域の画素値と、前記第1のパケットのデータ部に対応する前記輝線画像の一部の領域の画素値とを合わせることによって、合成画素値を算出し、前記合成画素値を含むデータ部を復号することによって、前記可視光識別子の少なくとも一部を取得してもよい。
これにより、図281に示すように、同一のアドレス部を含む複数のパケットのそれぞれでデータ部が少し異なっていても、それらのパケットのデータ部の画素値を合わせることによって、適切なデータ部を復号することができ、可視光識別子の少なくとも一部を正しく取得することができる。
また、前記第1のパケットは、さらに、前記データ部に対する第1の誤り訂正符号と、前記アドレス部に対する第2の誤り訂正符号とを含み、前記信号受信ステップでは、前記送信機から、第2の周波数にしたがった輝度変化によって送信される前記アドレス部および前記第2の誤り訂正符号を受信し、前記第2の周波数よりも高い第1の周波数にしたがった輝度変化によって送信される前記データ部および前記第1の誤り訂正符号を受信してもよい。
これにより、図279に示すように、アドレス部を誤って受信することを抑えるとともに、データ量の多いデータ部を迅速に取得することができる。
また、前記可視光識別子の取得では、前記複数の輝線のパターンから、データ部およびアドレス部を含む第1のパケットを取得し、前記第1のパケットよりも前に既に取得されている少なくとも1つのパケットのうち、前記第1のパケットのアドレス部と同一のアドレス部を含むパケットである少なくとも1つの第2のパケットが存在するか否かを判定し、前記少なくとも1つの第2のパケットが存在すると判定した場合には、前記少なくとも1つの第2のパケットと前記第1のパケットとのそれぞれのデータ部が全て等しいか否かを判定し、それぞれの前記データ部が全て等しくないと判定した場合には、前記少なくとも1つの第2のパケットのそれぞれにおいて、当該第2のパケットのデータ部に含まれる各部分のうち、前記第1のパケットのデータ部に含まれる各部分と異なる部分の数が、所定の数以上存在するか否かを判定し、前記少なくとも1つの第2のパケットのうち、異なる部分の数が前記所定の数以上存在すると判定された第2のパケットがある場合には、前記少なくとも1つの第2のパケットを破棄し、前記少なくとも1つの第2のパケットのうち、異なる部分の数が前記所定の数以上存在すると判定された第2パケットがない場合には、前記第1のパケットおよび前記少なくとも1つの第2のパケットのうち、同一のデータ部を有するパケットの数が最も多い複数のパケットを特定し、当該複数のパケットのそれぞれに含まれるデータ部を、前記第1のパケットに含まれるアドレス部に対応するデータ部として復号することによって、前記可視光識別子の少なくとも一部を取得してもよい。
これにより、図280に示すように、同一のアドレス部を有する複数のパケットが受信されたときに、それらのパケットのデータ部が異なっていても、適切なデータ部を復号することができ、可視光識別子の少なくとも一部を正しく取得することができる。つまり、同一の送信機から送信される同一のアドレス部を有する複数のパケットは、基本的に同一のデータ部を有する。しかし、端末装置が、パケットの送信元となる送信機を切り替える場合には、端末装置は、同一のアドレス部を有していても互いに異なるデータ部を有する複数のパケットを受信することがある。このような場合には、上記本発明の一態様に係る再生方法では、図280のステップS10106のように、既に受信されているパケット(第2のパケット)が破棄され、最新のパケット(第1のパケット)のデータ部を、そのアドレス部に対応する正しいデータ部として復号することができる。さらに、上述のような送信機の切り替えがない場合であっても、可視光信号の送受信状況に応じて、同一のアドレス部を有する複数のパケットのデータ部が少し異なることがある。このような場合には、上記本発明の一態様に係る再生方法では、図280のステップS10107のように、いわゆる多数決によって、適切なデータ部を復号することができる。
また、前記可視光識別子の取得では、前記複数の輝線のパターンから、それぞれデータ部およびアドレス部を含む複数のパケットを取得し、取得された前記複数のパケットのうち、前記データ部に含まれる全てのビットが0を示すパケットである0終端パケットが存在するか否かを判定し、前記0終端パケットが存在すると判定した場合には、前記複数のパケットのうち、前記0終端パケットのアドレス部に関連付けられているアドレス部を含むパケットであるN個(Nは1以上の整数)の関連パケットが全て存在するか否かを判定し、前記N個の関連パケットが全て存在すると判定した場合には、前記N個の関連パケットのそれぞれのデータ部を並べて復号することによって、前記可視光識別子を取得してもよい。例えば、前記0終端パケットのアドレス部に関連付けられている前記アドレス部は、前記0終端パケットのアドレス部に示されるアドレスよりも小さく0以上のアドレスを示すアドレス部である。
具体的には、図282に示すように、0終端パケットのアドレス以下のアドレスを有するパケットが関連パケットとして全て揃っているか否かが判定され、揃っていると判定された場合に、それらの関連パケットのそれぞれのデータ部が復号される。これにより、端末装置は、可視光識別子を取得するために、何個の関連パケットが必要であることを事前に知っていなくても、さらに、それらの関連パケットのアドレスを事前に知っていなくても、0終端パケットを取得した時点で、容易に知ることができる。その結果、端末装置は、N個の関連パケットのそれぞれのデータ部を並べて復号することによって、適切な可視光識別子を取得することができる。
なお、これらの包括的または具体的な態様は、装置、システム、方法、集積回路、コンピュータプログラムまたはコンピュータ読み取り可能なCD−ROMなどの記録媒体で実現されてもよく、装置、システム、方法、集積回路、コンピュータプログラムまたは記録媒体の任意な組み合わせで実現されてもよい。
以下、実施の形態について、図面を参照しながら具体的に説明する。
なお、以下で説明する実施の形態は、いずれも包括的または具体的な例を示すものである。以下の実施の形態で示される数値、形状、材料、構成要素、構成要素の配置位置及び接続形態、ステップ、ステップの順序などは、一例であり、本発明を限定する主旨ではない。また、以下の実施の形態における構成要素のうち、最上位概念を示す独立請求項に記載されていない構成要素については、任意の構成要素として説明される。
(実施の形態1)
以下、実施の形態1について説明する。
(発光部の輝度の観測)
1枚の画像を撮像するとき、全ての撮像素子を同一のタイミングで露光させるのではなく、撮像素子ごとに異なる時刻に露光を開始・終了する撮像方法を提案する。図1は、1列に並んだ撮像素子は同時に露光させ、列が近い順に露光開始時刻をずらして撮像する場合の例である。ここでは、同時に露光する撮像素子の露光ラインと呼び、その撮像素子に対応する画像上の画素のラインを輝線と呼ぶ。
この撮像方法を用いて、点滅している光源を撮像素子の全面に写して撮像した場合、図2のように、撮像画像上に露光ラインに沿った輝線(画素値の明暗の線)が生じる。この輝線のパターンを認識することで、撮像フレームレートを上回る速度の光源輝度変化を推定することができる。これにより、信号を光源輝度の変化として送信することで、撮像フレームレート以上の速度での通信を行うことができる。光源が2種類の輝度値をとることで信号を表現する場合、低い方の輝度値をロー(LO),高い方の輝度値をハイ(HI)と呼ぶ。ローは光源が光っていない状態でも良いし、ハイよりも弱く光っていても良い。
この方法によって、撮像フレームレートを超える速度で情報の伝送を行う。
一枚の撮像画像中に、露光時間が重ならない露光ラインが20ラインあり、撮像のフレームレートが30fpsのときは、1.67ミリ秒周期の輝度変化を認識できる。露光時間が重ならない露光ラインが1000ラインある場合は、3万分の1秒(約33マイクロ秒)周期の輝度変化を認識できる。なお、露光時間は例えば10ミリ秒よりも短く設定される。
図2は、一つの露光ラインの露光が完了してから次の露光ラインの露光が開始される場合を示している。
この場合、1秒あたりのフレーム数(フレームレート)がf、1画像を構成する露光ライン数がlのとき、各露光ラインが一定以上の光を受光しているかどうかで情報を伝送すると、最大でflビット毎秒の速度で情報を伝送することができる。
なお、ラインごとではなく、画素ごとに時間差で露光を行う場合は、さらに高速で通信が可能である。
このとき、露光ラインあたりの画素数がm画素であり、各画素が一定以上の光を受光しているかどうかで情報を伝送する場合には、伝送速度は最大でflmビット毎秒となる。
図3のように、発光部の発光による各露光ラインの露光状態を複数のレベルで認識可能であれば、発光部の発光時間を各露光ラインの露光時間より短い単位の時間で制御することで、より多くの情報を伝送することができる。
露光状態をElv段階で認識可能である場合には、最大でflElvビット毎秒の速度で情報を伝送することができる。
また、各露光ラインの露光のタイミングと少しずつずらしたタイミングで発光部を発光させることで、発信の基本周期を認識することができる。
図4は、一つの露光ラインの露光が完了する前に次の露光ラインの露光が開始される場合を示している。即ち、隣接する露光ラインの露光時間が、部分的に時間的な重なりを持つ構成となっている。このような構成により、(1)一つの露光ラインの露光時間の終了を待って次の露光ラインの露光を開始する場合に比べ、所定の時間内におけるサンプル数を多くすることができる。所定時間内におけるサンプル数が多くなることにより、被写体である光送信機が発生する光信号をより適切に検出することが可能となる。即ち、光信号を検出する際のエラー率を低減することが可能となる。更に、(2)一つの露光ラインの露光時間の終了を待って次の露光ラインの露光を開始する場合に比べ、各露光ラインの露光時間を長くすることができるため、被写体が暗い場合であっても、より明るい画像を取得することが可能となる。即ち、S/N比を向上させることが可能となる。なお、全ての露光ラインにおいて、隣接する露光ラインの露光時間が、部分的に時間的な重なりを持つ構成となる必要はなく、一部の露光ラインについて部分的に時間的な重なりを持たない構成とすることも可能である。一部の露光ラインについて部分的に時間的な重なりを持たないように構成するにより、撮像画面上における露光時間の重なりによる中間色の発生を抑制でき、より適切に輝線を検出することが可能となる。
この場合は、各露光ラインの明るさから露光時間を算出し、発光部の発光の状態を認識する。
なお、各露光ラインの明るさを、輝度が閾値以上であるかどうかの2値で判別する場合には、発光していない状態を認識するために、発光部は発光していない状態を各ラインの露光時間以上の時間継続しなければならない。
図5Aは、各露光ラインの露光開始時刻が等しい場合に、露光時間の違いによる影響を示している。7500aは前の露光ラインの露光終了時刻と次の露光ラインの露光開始時刻とが等しい場合であり、7500bはそれより露光時間を長くとった場合である。7500bのように、隣接する露光ラインの露光時間が、部分的に時間的な重なりを持つ構成とすることにより、露光時間を長くとることが可能となる。即ち、撮像素子に入射する光が増大し、明るい画像を得ることができる。また、同一の明るさの画像を撮像するための撮像感度を低く抑えられることで、ノイズの少ない画像が得られるため、通信エラーが抑制される。
図5Bは、露光時間が等しい場合に、各露光ラインの露光開始時刻の違いによる影響を示している。7501aは前の露光ラインの露光終了時刻と次の露光ラインの露光開始時刻とが等しい場合であり、7501bは前の露光ラインの露光終了より早く次の露光ラインの露光を開始する場合である。7501bのように、隣接する露光ラインの露光時間が、部分的に時間的な重なりを持つ構成とすることにより、時間あたりに露光できるラインを増やすことが可能となる。これにより、より解像度が高くなり、多くの情報量が得られる。サンプル間隔(=露光開始時刻の差)が密になることで、より正確に光源輝度の変化を推定することができ、エラー率が低減でき、更に、より短い時間における光源輝度の変化を認識することができる。露光時間に重なりを持たせることで、隣接する露光ラインの露光量の差を利用して、露光時間よりも短い光源の点滅を認識することができる。
図5A、図5Bで説明したように、隣接する露光ラインの露光時間が、部分的に時間的な重なりをもつように、各露光ラインを順次露光する構成において、露光時間を通常撮影モードよりも短く設定することにより発生する輝線パターンを信号伝送に用いることにより通信速度を飛躍的に向上させることが可能になる。ここで、可視光通信時における露光時間を1/480秒以下に設定することにより適切な輝線パターンを発生させることが可能となる。ここで、露光時間は、フレーム周波数=fとすると、露光時間<1/8×fと設定する必要がある。撮影の際に発生するブランキングは、最大で1フレームの半分の大きさになる。即ち、ブランキング時間は、撮影時間の半分以下であるため、実際の撮影時間は、最も短い時間で1/2fとなる。更に、1/2fの時間内において、4値の情報を受ける必要があるため、少なくとも露光時間は、1/(2f×4)よりも短くする必要が生じる。通常フレームレートは、60フレーム/秒以下であることから、1/480秒以下の露光時間に設定することにより、適切な輝線パターンを画像データに発生させ、高速の信号伝送を行うことが可能となる。
図5Cは、各露光ラインの露光時間が重なっていない場合、露光時間が短い場合の利点を示している。露光時間が長い場合は、光源は7502aのように2値の輝度変化をしていたとしても、撮像画像では7502eのように中間色の部分ができ、光源の輝度変化を認識することが難しくなる傾向がある。しかし、7502dのように、一つの露光ラインの露光終了後、次の露光ラインの露光開始まで所定の露光しない空き時間(所定の待ち時間)tD2を設ける構成とすることにより、光源の輝度変化を認識しやすくすることが可能となる。即ち、7502fのような、より適切な輝線パターンを検出することが可能となる。7502dのように、所定の露光しない空き時間を設ける構成は、露光時間tEを各露光ラインの露光開始時刻の時間差tDよりも小さくすることにより実現することが可能となる。通常撮影モードが、隣接する露光ラインの露光時間が、部分的に時間的な重なりを持つ構成である場合において、露光時間を通常撮影モード時よりも、所定の露光しない空き時間が生じるまで短く設定することにより、実現することができる。また、通常撮影モードが、前の露光ラインの露光終了時刻と次の露光ラインの露光開始時刻とが等しい場合であっても、所定の露光しない時間が生じるまで露光時間を短く設定することにより、実現することができる。また、7502gのように、各露光ラインの露光開始時刻の間隔tDを大きくすることによっても、一つの露光ラインの露光終了後、次の露光ラインの露光開始まで所定の露光しない空き時間(所定の待ち時間)tD2を設ける構成をとることができる。この構成では、露光時間を長くすることができるため、明るい画像を撮像することができ、ノイズが少なくなることからエラー耐性が高い。一方で、この構成では、一定時間内に露光できる露光ラインが少なくなるため、7502hのように、サンプル数が少なくなるという欠点があるため、状況によって使い分けることが望ましい。例えば、撮像対象が明るい場合には前者の構成を用い、暗い場合には後者の構成を用いることで、光源輝度変化の推定誤差を低減することができる。
なお、全ての露光ラインにおいて、隣接する露光ラインの露光時間が、部分的に時間的な重なりを持つ構成となる必要はなく、一部の露光ラインについて部分的に時間的な重なりを持たない構成とすることも可能である。また、全ての露光ラインにおいて、一つの露光ラインの露光終了後、次の露光ラインの露光開始まで所定の露光しない空き時間(所定の待ち時間)を設ける構成となる必要はなく、一部の露光ラインについて部分的に時間的な重なりを持つ構成とすることも可能である。このような構成とすることにより、それぞれの構成における利点を生かすことが可能となる。また、通常のフレームレート(30fps、60fps)にて撮影を行う通常撮影モードと、可視光通信を行う1/480秒以下の露光時間にて撮影を行う可視光通信モードとにおいて、同一の読み出し方法または回路にて信号の読み出しを行ってもよい。同一の読み出し方法または回路にて信号を読み出すことにより、通常撮影モードと、可視光通信モードとに対して、それぞれ別の回路を用いる必要がなくなり、回路規模を小さくすることが可能となる。
図5Dは、光源輝度の最小変化時間tSと、露光時間tEと、各露光ラインの露光開始時刻の時間差tDと、撮像画像との関係を示している。tE+tD<tSとした場合は、必ず一つ以上の露光ラインが露光の開始から終了まで光源が変化しない状態で撮像するため、7503dのように輝度がはっきりとした画像が得られ、光源の輝度変化を認識しやすい。2tE>tSとした場合は、光源の輝度変化とは異なるパターンの輝線が得られる場合があり、撮像画像から光源の輝度変化を認識することが難しくなる。
図5Eは、光源輝度の遷移時間tTと、各露光ラインの露光開始時刻の時間差tDとの関係を示している。tTに比べてtDが大きいほど、中間色になる露光ラインが少なくなり、光源輝度の推定が容易になる。tD>tTのとき中間色の露光ラインは連続で2ライン以下になり、望ましい。tTは、光源がLEDの場合は1マイクロ秒以下、光源が有機ELの場合は5マイクロ秒程度となるため、tDを5マイクロ秒以上とすることで、光源輝度の推定を容易にすることができる。
図5Fは、光源輝度の高周波ノイズtHTと、露光時間tEとの関係を示している。tHTに比べてtEが大きいほど、撮像画像は高周波ノイズの影響が少なくなり、光源輝度の推定が容易になる。tEがtHTの整数倍のときは高周波ノイズの影響がなくなり、光源輝度の推定が最も容易になる。光源輝度の推定には、tE>tHTであることが望ましい。高周波ノイズの主な原因はスイッチング電源回路に由来し、多くの電灯用のスイッチング電源ではtHTは20マイクロ秒以下であるため、tEを20マイクロ秒以上とすることで、光源輝度の推定を容易に行うことができる。
図5Gは、tHTが20マイクロ秒の場合の、露光時間tEと高周波ノイズの大きさとの関係を表すグラフである。tHTは光源によってばらつきがあることを考慮すると、グラフより、tEは、ノイズ量が極大をとるときの値と等しくなる値である、15マイクロ秒以上、または、35マイクロ秒以上、または、54マイクロ秒以上、または、74マイクロ秒以上として定めると効率が良いことが確認できる。高周波ノイズ低減の観点からはtEは大きいほうが望ましいが、前述のとおり、tEが小さいほど中間色部分が発生しづらくなるという点で光源輝度の推定が容易になるという性質もある。そのため、光源輝度の変化の周期が15〜35マイクロ秒のときはtEは15マイクロ秒以上、光源輝度の変化の周期が35〜54マイクロ秒のときはtEは35マイクロ秒以上、光源輝度の変化の周期が54〜74マイクロ秒のときはtEは54マイクロ秒以上、光源輝度の変化の周期が74マイクロ秒以上のときはtEは74マイクロ秒以上として設定すると良い。
図5Hは、露光時間tEと認識成功率との関係を示す。露光時間tEは光源の輝度が一定である時間に対して相対的な意味を持つため、光源輝度が変化する周期tSを露光時間tEで割った値(相対露光時間)を横軸としている。グラフより、認識成功率をほぼ100%としたい場合は、相対露光時間を1.2以下にすれば良いことがわかる。例えば、送信信号を1kHzとする場合は露光時間を約0.83ミリ秒以下とすれば良い。同様に、認識成功率を95%以上としたい場合は相対露光時間を1.25以下に、認識成功率を80%以上としたい場合は相対露光時間を1.4以下にすれば良いということがわかる。また、相対露光時間が1.5付近で認識成功率が急激に下がり、1.6でほぼ0%となるため、相対露光時間が1.5を超えないように設定すべきであることがわかる。また、認識率が7507cで0になった後、7507dや、7507e、7507fで、再度上昇していることがわかる。そのため、露光時間を長くして明るい画像を撮像したい場合などは、相対露光時間が1.9から2.2、2.4から2.6、2.8から3.0となる露光時間を利用すれば良い。例えば、図7の中間モードとして、これらの露光時間を使うと良い。
図6Aは、本実施の形態における情報通信方法のフローチャートである。
本実施の形態における情報通信方法は、被写体から情報を取得する情報通信方法であって、ステップSK91〜SK93を含む。
つまり、この情報通信方法は、イメージセンサによる前記被写体の撮影によって得られる画像に、前記イメージセンサに含まれる複数の露光ラインに対応する複数の輝線が前記被写体の輝度変化に応じて生じるように、前記イメージセンサの第1の露光時間を設定する第1の露光時間設定ステップSK91と、前記イメージセンサが、輝度変化する前記被写体を、設定された前記第1の露光時間で撮影することによって、前記複数の輝線を含む輝線画像を取得する第1の画像取得ステップSK92と、取得された前記輝線画像に含まれる前記複数の輝線のパターンによって特定されるデータを復調することにより情報を取得する情報取得ステップSK93とを含み、前記第1の画像取得ステップSK92では、前記複数の露光ラインのそれぞれは、順次異なる時刻で露光を開始し、かつ、当該露光ラインに隣接する隣接露光ラインの露光が終了してから所定の空き時間経過後に、露光を開始する。
図6Bは、本実施の形態における情報通信装置のブロック図である。
本実施の形態における情報通信装置K90は、被写体から情報を取得する情報通信装置であって、構成要素K91〜K93を備える。
つまり、この情報通信装置K90は、イメージセンサによる前記被写体の撮影によって得られる画像に、前記イメージセンサに含まれる複数の露光ラインに対応する複数の輝線が前記被写体の輝度変化に応じて生じるように、前記イメージセンサの露光時間を設定する露光時間設定部K91と、輝度変化する前記被写体を、設定された前記露光時間で撮影することによって、前記複数の輝線を含む輝線画像を取得する前記イメージセンサを有する画像取得部K92と、取得された前記輝線画像に含まれる前記複数の輝線のパターンによって特定されるデータを復調することにより情報を取得する情報取得部K93とを備え、前記複数の露光ラインのそれぞれは、順次異なる時刻で露光を開始し、かつ、当該露光ラインに隣接する隣接露光ラインの露光が終了してから所定の空き時間経過後に、露光を開始する。
このような図6Aおよび図6Bによって示される情報通信方法および情報通信装置K90では、例えば図5Cなどに示すように、複数の露光ラインのそれぞれは、その露光ラインに隣接する隣接露光ラインの露光が終了してから所定の空き時間経過後に、露光を開始するため、被写体の輝度変化を認識しやすくすることができる。その結果、被写体から情報を適切に取得することができる。
なお、上記実施の形態において、各構成要素は、専用のハードウェアで構成されるか、各構成要素に適したソフトウェアプログラムを実行することによって実現されてもよい。各構成要素は、CPUまたはプロセッサなどのプログラム実行部が、ハードディスクまたは半導体メモリなどの記録媒体に記録されたソフトウェアプログラムを読み出して実行することによって実現されてもよい。例えばプログラムは、図6Aのフローチャートによって示される情報通信方法をコンピュータに実行させる。
(実施の形態2)
本実施の形態では、上記実施の形態1における情報通信装置K90であるスマートフォンなどの受信機と、LEDや有機ELなどの光源の点滅パターンとして情報を送信する送信機とを用いた各適用例について説明する。
図7は、本実施の形態における受信機の各モードの一例を示す図である。
受信機8000は、通常撮影モードでは、例えば1/100秒のシャッター速度で撮影することによって、通常撮影画像を取得し、その通常撮影画像をディスプレイに表示する。この場合、その通常撮影画像には、例えば街灯や、店舗の看板として構成されるサイネージなどの被写体とその周囲が鮮明に映し出されている。
また、受信機8000は、可視光通信モードでは、例えば1/10000秒のシャッター速度で撮影することによって、可視光通信画像を取得する。例えば、上述の街灯やサイネージが、上記実施の形態1に示す光源、つまり送信機として、輝度変化によって信号を送信している場合には、この可視光通信画像において、信号が送信されている箇所には、1つまたは複数の輝線(以下、輝線模様という)が映し出されて、その箇所以外には、何も映し出されていない。つまり、この可視光通信画像では、輝線模様だけが映し出され、被写体の輝度変化をしていない部分および被写体の周囲は映し出されていない。
また、受信機8000は、中間モードでは、例えば1/3000秒のシャッター速度で撮影することによって、中間画像を取得する。この中間画像では、輝線模様が映し出されているとともに、上述の被写体の輝度変化していない部分および被写体の周囲も映し出されている。したがって、受信機8000がその中間画像をディスプレイに表示することによって、ユーザは、どこから、またはどの位置から信号が送信されているかを知ることができる。なお、この中間画像によって映し出される輝線模様、被写体およびその周囲はそれぞれ、可視光通信画像の輝線模様と通常撮影画像の被写体およびその周囲よりも鮮明ではないが、ユーザによって認識される鮮明度を有する。
なお、以下の説明では、通常撮影モード、または通常撮影モードによる撮影を通常撮影といい、可視光通信モード、または可視光通信モードによる撮影を可視光撮影(可視光通信)という。また、通常撮影および可視光撮影の代わりに、中間モードによる撮影を用いてもよく、後述の合成画像の代わりに中間画像を用いてもよい。
図8は、本実施の形態における受信機の撮影動作の一例を示す図である。
受信機8000は、撮影モードを通常撮影、可視光通信、通常撮影、・・・のように切り替える。そして、受信機8000は、通常撮影画像と可視光通信画像とを合成することによって、輝線模様と被写体およびその周囲とが鮮明に映し出された合成画像を生成し、その合成画像をディスプレイに表示する。この合成画像は、通常撮影画像における信号が送信されている箇所に、可視光通信画像の輝線模様を重畳することによって生成された画像である。また、この合成画像によって映し出される輝線模様、被写体およびその周囲はそれぞれ鮮明であって、ユーザによって十分に認識される鮮明度を有する。このような合成画像が表示されることによって、ユーザは、どこから、またはどの位置から信号が送信されているかをより明確に知ることができる。
図9は、本実施の形態における受信機の撮影動作の他の例を示す図である。
受信機8000は、カメラCa1およびカメラCa2を備える。このような受信機8000では、カメラCa1は通常撮影を行い、カメラCa2は可視光撮影を行う。これにより、カメラCa1は、上述のような通常撮影画像を取得し、カメラCa2は、上述のような可視光通信画像を取得する。そして、受信機8000は、通常撮影画像および可視光通信画像を合成することによって、上述の合成画像を生成してディスプレイに表示する。
図10Aは、本実施の形態における受信機の撮影動作の他の例を示す図である。
2つのカメラを有する上記受信機8000では、カメラCa1は、撮影モードを通常撮影、可視光通信、通常撮影、・・・のように切り替える。一方、カメラCa2は、通常撮影を継続して行う。そして、カメラCa1とカメラCa2とで同時に通常撮影が行われているときには、受信機8000は、それらのカメラによって取得された通常撮影画像から、ステレオ視(三角測量の原理)を利用して、受信機8000から被写体までの距離(以下、被写体距離という)を推定する。このように推定された被写体距離を用いることによって、受信機8000は、可視光通信画像の輝線模様を通常撮影画像の適切な位置に重畳することができる。つまり、適切な合成画像を生成することができる。
図10Bは、本実施の形態における受信機の撮影動作の他の例を示す図である。
受信機8000は、例えば3つのカメラ(カメラCa1、カメラCa2およびカメラCa3)を備える。このような受信機8000では、2つのカメラ(カメラCa2およびカメラCa3)は通常撮影を継続して行い、残りの1つのカメラ(カメラCa1)は可視光通信を継続して行う。これにより、どのようなタイミングでも、通常撮影している2つのカメラによって得られる通常撮影画像に基づいて、被写体距離を推定することができる。
図10Cは、本実施の形態における受信機の撮影動作の他の例を示す図である。
受信機8000は、例えば3つのカメラ(カメラCa1、カメラCa2およびカメラCa3)を備える。このような受信機8000では、それぞれのカメラは撮影モードを通常撮影、可視光通信、通常撮影、・・・のように切り替える。ここで、1つの期間では、これらのカメラのうちの何れか2つのカメラが通常撮影を行い、残りの1つのカメラが可視光通信を行うように、それぞれのカメラの撮影モードが期間ごとに切り替えられる。つまり、通常撮影しているカメラの組み合わせが周期的に変化する。これにより、何れの期間でも、通常撮影している2つのカメラによって得られる通常撮影画像に基づいて、被写体距離を推定することができる。
図11Aは、本実施の形態における受信機のカメラ配置の一例を示す図である。
受信機8000が2つのカメラCa1およびCa2を備える場合には、図11Aに示すように、2つのカメラCa1およびCa2は互いに離れた位置に配置される。これにより、被写体距離を精度よく推定することができる。つまり、2つのカメラの間の距離が長いほど、被写体距離を精度よく推定することができる。
図11Bは、本実施の形態における受信機のカメラ配置の他の例を示す図である。
受信機8000が3つのカメラCa1、カメラCa2およびカメラCa3を備える場合には、図11Bに示すように、通常撮影用の2つのカメラCa1およびCa2は互いに離れた位置に配置される。また、可視光通信用のカメラCa3は、例えばカメラCa1とカメラCa2との間に配置される。これにより、被写体距離を精度よく推定することができる。つまり、最も離れた2つのカメラを通常撮影に用いることによって、被写体距離を精度よく推定することができる。
図12は、本実施の形態における受信機の表示動作の一例を示す図である。
受信機8000は、上述のように、撮影モードを可視光通信、通常撮影、可視光通信、・・・のように切り替える。ここで、受信機8000は、最初に可視光通信を行うときに、アプリケーションプログラムを起動する。そして、受信機8000は、可視光通信によって受信した信号に基づいて、自らの位置を推定する。次に、受信機8000は、通常撮影を行うときには、その通常撮影によって取得された通常撮影画像に、AR(Augmented Reality)情報を表示する。このAR情報は、上述のように推定された位置などに基づいて取得されるものである。また、受信機8000は、9軸センサによる検出結果、および通常撮影画像の動き検出などに基づいて、受信機8000の移動および方向の変化を推定し、その推定された移動および方向の変化に合わせてAR情報の表示位置を移動させる。これにより、AR情報を通常撮影画像の被写体像に追随させることができる。
また、受信機8000は、通常撮影から可視光通信に撮影モードを切り替えると、その可視光通信時には、直前の通常撮影時に取得された最新の通常撮影画像にAR情報を重畳する。そして、受信機8000は、AR情報が重畳された通常撮影画像を表示する。また、受信機8000は、通常撮影時と同様に、9軸センサによる検出結果に基づいて、受信機8000の移動および方向の変化を推定し、その推定された移動および方向の変化に合わせてAR情報および通常撮影画像を移動させる。これにより、可視光通信時にも、通常撮影時と同様に、受信機8000の移動などに合わせてAR情報を通常撮影画像の被写体像に追随させることができる。また、受信機8000の移動などに合わせて、その通常画像を拡大および縮小することができる。
図13は、本実施の形態における受信機の表示動作の一例を示す図である。
例えば、受信機8000は、図13の(a)に示すように、輝線模様が映し出された上記合成画像を表示してもよい。また、受信機8000は、図13の(b)に示すように、輝線模様の代わりに、信号が送信されていることを通知するための所定の色を有する画像である信号明示オブジェクトを通常撮影画像に重畳することによって合成画像を生成し、その合成画像を表示してもよい。
また、受信機8000は、図13の(c)に示すように、信号が送信されている箇所が点線の枠と識別子(例えば、ID:101、ID:102など)とによって示されている通常撮影画像を合成画像として表示してもよい。また、受信機8000は、図13の(d)に示すように、輝線模様の代わりに、特定の種類の信号が送信されていることを通知するための所定の色を有する画像である信号識別オブジェクトを通常撮影画像に重畳することによって合成画像を生成し、その合成画像を表示してもよい。この場合、その信号識別オブジェクトの色は、送信機から出力されている信号の種類によって異なる。例えば、送信機から出力されている信号が位置情報である場合には、赤色の信号識別オブジェクトが重畳され、送信機から出力されている信号がクーポンである場合には、緑色の信号識別オブジェクトが重畳される。
図14は、本実施の形態における受信機の動作の一例を示す図である。
例えば、受信機8000は、可視光通信によって信号を受信した場合には、通常撮影画像を表示するとともに、送信機を発見したことをユーザに通知するための音を出力してもよい。この場合、受信機8000は、発見した送信機の個数、受信した信号の種類、または、その信号によって特定される情報の種類などによって、出力される音の種類、出力回数、または出力時間を異ならせてもよい。
図15は、本実施の形態における受信機の動作の他の例を示す図である。
例えば、合成画像に映し出された輝線模様にユーザがタッチすると、受信機8000は、そのタッチされた輝線模様に対応する被写体から送信された信号に基づいて、情報通知画像を生成し、その情報通知画像を表示する。この情報通知画像は、例えば、店舗のクーポンや場所などを示す。なお、輝線模様は、図13に示す信号明示オブジェクト、信号識別オブジェクト、または点線枠などであってもよい。以下に記載されている輝線模様についても同様である。
図16は、本実施の形態における受信機の動作の他の例を示す図である。
例えば、合成画像に映し出された輝線模様にユーザがタッチすると、受信機8000は、そのタッチされた輝線模様に対応する被写体から送信された信号に基づいて、情報通知画像を生成し、その情報通知画像を表示する。この情報通知画像は、例えば、受信機8000の現在地を地図などによって示す。
図17は、本実施の形態における受信機の動作の他の例を示す図である。
例えば、受信機8000は、送信機として構成された被写体である2つの街灯から信号を受信する。そして、受信機8000は、上述と同様に、これらの信号に基づいて自らの現在地を推定する。そして、受信機8000は、通常撮影画像を表示するとともに、その推定結果を示す情報通知画像(緯度および経度などを示す画像)を通常撮影画像に重畳して表示する。なお、受信機8000は、補助情報通知画像を通常撮影画像に重畳して表示してもよい。この補助情報通知画像は、例えば9軸センサ(特に、地磁気センサ)をキャリブレーションするための操作、つまりドリフトをキャンセルするための操作をユーザに勧めるものである。このような操作が行なわれることによって、上述の現在地が高い精度で推定される。
また、表示された情報通知画像がユーザによってタッチされると、受信機8000は、通常撮影画像の代わりに、その推定された位置を示す地図を表示してもよい。
図18は、本実施の形態における受信機の動作の他の例を示す図である。
例えば、合成画像が表示されている受信機8000に対してユーザがスワイプを行うと、受信機8000は、図13の(c)に示す通常撮影画像と同様の、点線枠および識別子を有する通常撮影画像を表示するとともに、スワイプの操作に追随するように情報の一覧を表示する。この一覧には、各識別子によって示される箇所(送信機)から送信される信号によって特定される情報が示されている。また、スワイプは、例えば、受信機8000におけるディスプレイの右側の外から中に指を動かす操作であってもよい。なお、スワイプは、ディスプレイの上側から、下側から、または左側から中に指を動かす操作であってもよい。
また、その一覧に含まれる情報がユーザによってタップされると、受信機8000は、その情報をより詳細に示す情報通知画像(例えばクーポンを示す画像)を表示してもよい。
図19は、本実施の形態における受信機の動作の他の例を示す図である。
例えば、合成画像が表示されている受信機8000に対してユーザがスワイプを行うと、受信機8000は、スワイプの操作に追随するように情報通知画像を合成画像に重畳して表示する。この情報通知画像は、被写体距離を矢印とともにユーザに分かり易く示すものである。また、スワイプは、例えば、受信機8000におけるディスプレイの下側の外から中に指を動かす操作であってもよい。なお、スワイプは、ディスプレイの左側から、上側から、または右側から中に指を動かす操作であってもよい。
図20は、本実施の形態における受信機の動作の他の例を示す図である。
例えば、受信機8000は、複数の店舗を示すサイネージである送信機を被写体として撮影し、その撮影によって取得された通常撮影画像を表示する。ここで、通常撮影画像に映し出された被写体に含まれる、1つの店舗のサイネージの画像をユーザがタップすると、受信機8000は、その店舗のサイネージから送信される信号に基づいて情報通知画像を生成し、その情報通知画像8001を表示する。この情報通知画像8001は、例えば店舗の空席状況などを示す画像である。
図21は、本実施の形態における受信機と送信機とサーバとの動作の一例を示す図である。
まず、テレビとして構成されている送信機8012は、輝度変化によって信号を受信機8011に送信する。この信号は、例えば、視聴されている番組に関連するコンテンツの購入をユーザに促すための情報を含む。受信機8011は、可視光通信によってその信号を受信すると、その信号に基づいて、コンテンツの購入をユーザに促す情報通知画像を表示する。ユーザがそのコンテンツを購入するための操作を行うと、受信機8011は、受信機8011に差し込まれているSIM(Subscriber Identity Module)カードに含まれる情報、ユーザID、端末ID、クレジットカード情報、課金のための情報、パスワード、および送信機IDのうちの少なくとも1つをサーバ8013に送信する。サーバ8013は、ユーザごとに、ユーザIDと支払い情報とを紐付けて管理している。そして、サーバ8013は、受信機8011から送信される情報に基づいて、ユーザIDを特定し、そのユーザIDに紐付けられた支払い情報を確認する。この確認によって、サーバ8013は、ユーザに対してコンテンツの購入を許可するか否かを判断する。そして、サーバ8013は、許可すると判断すると、許可情報を受信機8011に送信する。受信機8011は、許可情報を受信すると、その許可情報を送信機8012に送信する。許可情報を受信した送信機8012は、そのコンテンツを例えばネットワークを介して取得して再生する。
また、送信機8012は、輝度変化することによって送信機8012のIDを含む情報を受信機8011に対して送信してもよい。この場合、受信機8011は、その情報をサーバ8013に送信する。サーバ8013は、その情報を取得すると、その送信機8012によって例えばテレビ番組が視聴されていると判断することができ、テレビ番組の視聴率調査を行うことができる。
また、受信機8011は、ユーザによって操作された内容(投票など)を上述の情報に含めてサーバ8013に送信することによって、サーバ8013は、その内容をテレビ番組に反映することができる。つまり、視聴者参加型の番組を実現することができる。さらに、受信機8011は、ユーザによる書き込みを受け付けた場合には、その書き込みの内容を上述の情報に含めてサーバ8013に送信することによって、サーバ8013は、その書き込みをテレビ番組やネットワーク上の掲示板などに反映することができる。
さらに、送信機8012が上述のような情報を送信することによって、サーバ8013は、有料放送またはオンデマンドプログラムによるテレビ番組の視聴に対して課金を行うことができる。また、サーバ8013は、受信機8011に対して広告を表示させたり、送信機8012に表示されるテレビ番組の詳細情報を表示させてり、その詳細情報を示すサイトのURLを表示させたりすることができる。さらに、サーバ8013は、受信機8011によって広告が表示された回数、または、その広告によって購入された商品の金額などを取得することによって、その回数または金額に応じた課金を広告主に対して行うことができる。このような金額による課金は、広告を見たユーザがその商品をすぐに購入しなくても行うことができる。また、サーバ8013は、送信機8012から受信機8011を介して送信機8012のメーカを示す情報を取得したときには、その情報によって示されるメーカに対してサービス(例えば、上述の商品の販売に対する報酬の支払い)を行うことができる。
図22は、本実施の形態における受信機の動作の他の例を示す図である。
例えば、ユーザは、受信機8021のカメラを、照明として構成された複数の送信機8020a〜8020dに向ける。このとき、送信機8020a〜8020dのそれぞれが順に被写体として撮影されるように受信機8021が動かされる。そして、受信機8021は、その動かされている間に可視光通信を行うことによって、各送信機8020a〜8020dから信号を受信する。これらの信号には、送信機の位置を示す情報が含まれている。受信機8021は、その受信された送信機8020a〜8020dからの信号によって示される位置と、受信機8021に備えられた9軸センサの検出結果と、撮影によって得られた画像の動きとに基づいて、三角測量の原理を用いて、受信機8021の位置を推定する。この場合には、受信機8021が動かされることによって、9軸センサ(特に、地磁気センサ)のドリフトが解消されため、より精度の高い位置を推定することができる。
図23は、本実施の形態における受信機の動作の他の例を示す図である。
受信機8030は、例えば、カメラを備えたヘッドマウントディスプレイとして構成されている。この受信機8030は、開始ボタンが押下されたときに、可視光通信モードによる撮影、つまり可視光通信を開始する。そして、可視光通信によって信号が受信された場合には、受信機8030は、その受信された信号に応じた情報をユーザに通知する。この通知は、例えば、受信機8030に備えられたスピーカから音声が出力されることによって行われたり、画像の表示によって行われる。また、可視光通信は、開始ボタンが押下されたとき以外にも、開始を指示する音声の入力が受信機8030に受け付けられたとき、または開始を指示する信号が無線通信で受信機8030に受信されたきに、開始されてもよい。また、受信機8030に備えられた9軸センサによって得られた値の変化幅が所定の範囲を超えたとき、または、通常撮影画像に輝線模様が少しでも現れたときに、可視光通信を開始してもよい。
図24は、本実施の形態における受信機の初期設定の例を示す図である。
受信機8030は、初期設定時には、位置合わせ画像8031を表示する。この位置合わせ画像8031は、受信機8030のカメラによる撮影によって得られる画像内においてユーザによって指し示される位置と、受信機8030によって表示される画像との位置合わせを行うためのものである。この位置合わせ画像8031によって示される円の位置にユーザが指先を合わせると、受信機8030は、その指先の位置と、円の位置とを関連付けて、位置合わせを行う。つまり、ユーザによって指し示される位置のキャリブレーションが行われる。
図25は、本実施の形態における受信機の動作の他の例を示す図である。
受信機8030は、可視光通信によって、信号が送信されている箇所を特定すると、その箇所に輝線模様が映し出された合成画像8034を表示する。ユーザは、その輝線模様に対してタップまたはダブルタップなどの操作を行う。受信機8030は、この操作を受け付けると、その操作の対象とされた輝線模様を特定し、その輝線模様に対応する箇所から送信されている信号に基づく情報通知画像8032を表示する。
図26は、本実施の形態における受信機の動作の他の例を示す図である。
受信機8030は、上述と同様に、合成画像8034を表示する。ここで、ユーザは、合成画像8034中の輝線模様を囲うように指先を動かす操作を行う。受信機8030は、この操作を受け付けると、その操作の対象とされた輝線模様を特定し、その輝線模様に対応する箇所から送信されている信号に基づく情報通知画像8032を表示する。
図27は、本実施の形態における受信機の動作の他の例を示す図である。
受信機8030は、上述と同様に、合成画像8034を表示する。ここで、ユーザは、合成画像8034中の輝線模様に指先を予め定められた時間以上あてる操作を行う。受信機8030は、この操作を受け付けると、その操作の対象とされた輝線模様を特定し、その輝線模様に対応する箇所から送信されている信号に基づく情報通知画像8032を表示する。
図28は、本実施の形態における受信機の動作の他の例を示す図である。
受信機8030は、上述と同様に、合成画像8034を表示する。ここで、ユーザは、スワイプによって指先を合成画像8034の輝線模様に向かって動かす操作を行う。受信機8030は、この操作を受け付けると、その操作の対象とされた輝線模様を特定し、その輝線模様に対応する箇所から送信されている信号に基づく情報通知画像8032を表示する。
図29は、本実施の形態における受信機の動作の他の例を示す図である。
受信機8030は、上述と同様に、合成画像8034を表示する。ここで、ユーザは、視線を合成画像8034の輝線模様に向けた状態を予め定められた時間以上継続する操作を行う。または、ユーザは、視線をその輝線模様に向けた状態で予め定めら回数だけ瞬きする操作を行う。受信機8030は、この操作を受け付けると、その操作の対象とされた輝線模様を特定し、その輝線模様に対応する箇所から送信されている信号に基づく情報通知画像8032を表示する。
図30は、本実施の形態における受信機の動作の他の例を示す図である。
受信機8030は、上述と同様に、合成画像8034を表示するとともに、合成画像8034中の輝線模様のそれぞれに関連付けられた矢印を表示する。これらの矢印は、輝線模様ごとに異なる方向に向いている。ここで、ユーザは、何れかの矢印に沿って頭を動かす操作を行う。受信機8030は、9軸センサによる検出結果に基づいてこの操作を受け付けると、その操作に対応する矢印、つまり頭を動かした方向に向いている矢印に関連付けられた輝線模様を特定する。そして、受信機8030は、その輝線模様に対応する箇所から送信されている信号に基づく情報通知画像8032を表示する。
図31Aは、本実施の形態における受信機の操作に用いられるペンを示す図である。
ペン8033は、輝度変化によって信号を送信する送信機8033aと、ボタン8033bと、ボタン8033cとを備える。ボタン8033bが押下されると、送信機8033aは、予め定められた第1の信号を送信し、ボタン8033cが押下されると、送信機8033aは、第1の信号とは異なる予め定められた第2の信号を送信する。
図31Bは、本実施の形態におけるペンを用いた受信機の動作を示す図である。
ペン8033は、上述のユーザの指先の代わりとして用いられ、スタイラスペンのように用いられる。また、ボタン8033bとボタン8033cとを使い分けることによって、ペン8033を通常のペンとして用いたり、消しゴムのように用いたりすることができる。
図32は、本実施の形態における受信機の外観の一例を示す図である。
受信機8030は、第1のタッチセンサ8030aと、第2のタッチセンサ8030bとを備えている。これらのタッチセンサは、受信機8030のフレームに取り付けられている。例えば、ユーザが第1のタッチセンサ8030aに指先を当てて動かすと、受信機8030は、ユーザに表示する画像上において、ポインタをその指先の動きに合わせて動かす。また、ユーザが第2のタッチセンサ8030bに触れると、受信機8030は、ユーザに表示する画像上においてポインタが当てられているオブジェクトを選択する処理を行う。
図33は、本実施の形態における受信機の外観の他の例を示す図である。
受信機8030は、タッチセンサ8030cを備えている。このタッチセンサ8030cは、受信機8030のフレームに取り付けられている。例えば、ユーザがタッチセンサ8030cに指先を当てて動かすと、受信機8030は、ユーザに表示する画像上において、ポインタをその指先の動きに合わせて動かす。また、ユーザがタッチセンサ8030cを押下すると、受信機8030は、ユーザに表示する画像上においてポインタが当てられているオブジェクトを選択する処理を行う。つまり、タッチセンサ8030cは、いわゆるクリッカブルタッチセンサとして構成されている。
図34は、本実施の形態における受信機の動作の他の例を示す図である。
受信機8030は、上述と同様に、合成画像8034を表示するとともに、合成画像8034中に上述のポインタ8035を表示する。受信機8030が第1のタッチセンサ8030aと、第2のタッチセンサ8030bとを備えている場合、ユーザは、第1のタッチセンサ8030aに指先を当てて動かすことによって、そのポインタを動かし、輝線模様であるオブジェクトにそのポインタを当てる。そして、ユーザは、第2のタッチセンサ8030bに触れることによって、その輝線模様を受信機8030に選択させる。受信機8030は、輝線模様を選択すると、その輝線模様の箇所から送信されている信号に基づく情報通知画像8032を表示する。
また、受信機8030がタッチセンサ8030cを備えている場合、ユーザは、タッチセンサ8030cに指先を当てて動かすことによって、そのポインタを動かし、輝線模様であるオブジェクトにそのポインタを当てる。そして、ユーザは、タッチセンサ8030cを押下することによって、その輝線模様を受信機8030に選択させる。受信機8030は、輝線模様を選択すると、その輝線模様の箇所から送信されている信号に基づく情報通知画像8032を表示する。
図35Aは、本実施の形態における受信機の動作の他の例を示す図である。
受信機8030は、可視光通信を行うことによって得られた信号に基づいて、ジェスチャ確認画像8036を表示する。このジェスチャ確認画像8036は、例えばサービスをユーザに提供するために、そのユーザに所定のジェスチャを促すものである。
図35Bは、本実施の形態における受信機を用いた応用例を示す図である。
ユーザ8038は、受信機8030を装着して例えば店舗にいる。ここで、受信機8030は、ユーザ8038に上述のジェスチャ確認画像8036を表示する。ユーザ8038は、そのジェスチャ確認画像8036にしたがって所定のジェスチャを行う。ここで、店舗にいる店員8039は、受信機8037を装着している。受信機8037は、カメラを備えたヘッドマウントディスプレイとして構成されており、受信機8030と同一の構成を有していてもよい。受信機8037も、可視光通信を行うことによって得られた信号に基づいて、ジェスチャ確認画像8036を表示している。店員8039は、表示されているジェスチャ確認画像8036によって示される所定のジェスチャと、ユーザ8038によって行われているジェスチャとが一致していか否かを判断する。店員8039は、一致していると判断したときには、ユーザ8038に対して、ジェスチャ確認画像8036に関連付けられたサービスを提供する。
図36Aは、本実施の形態における受信機の動作の他の例を示す図である。
受信機8030は、可視光通信を行うことによって得られた信号に基づいて、ジェスチャ確認画像8040を表示する。このジェスチャ確認画像8040は、例えば無線通信を許可するために、ユーザに所定のジェスチャを促すものである。
図36Bは、本実施の形態における受信機を用いた応用例を示す図である。
ユーザ8038は、受信機8030を装着している。ここで、受信機8030は、ユーザ8038に上述のジェスチャ確認画像8040を表示する。ユーザ8038は、そのジェスチャ確認画像8040にしたがって所定のジェスチャを行う。ここで、ユーザ8038の周囲にいる人8041は、受信機8037を装着している。受信機8037は、カメラを備えたヘッドマウントディスプレイとして構成されており、受信機8030と同一の構成を有していてもよい。受信機8037は、ユーザ8038によって行われている所定のジェスチャを撮影することによって、そのジェスチャに含まれるパスワードなどの認証情報を取得する。そして、受信機8037は、その認証情報が予め定められた情報と一致すると判断すると、受信機8030との間の無線接続を確立する。この確立が行われた後には、受信機8030と受信機8037とは互いに無線通信を行うことができる。
図37Aは、本実施の形態における送信機の動作の一例を示す図である。
送信機は、例えば予め定められた周期で、信号1と信号2とを交互に送信する。信号1の送信と、信号2の送信とは、それぞれ可視光の点滅などの輝度変化によって行われる。また、信号1を送信するための輝度変化のパターンと、信号2を送信するための輝度変化のパターンとは互いに異なる。
図37Bは、本実施の形態における送信機の動作の他の例を示す図である。
送信機は、上述のように信号1と信号2とを連続して送信することなく、緩衝時間を空けて断続的に信号1と信号2とを送信してもよい。ここで、送信機は、緩衝時間には輝度変化を行わない。または、送信機は、緩衝時間には、緩衝時間であることを示す信号を輝度変化によって送信したり、信号1および信号2のそれぞれを送信するための輝度変化と異なる輝度変化を行ってもよい。これにより、受信機は信号1と信号2とを混信することなく適切に受信することができる。
図38は、本実施の形態における送信機の動作の他の例を示す図である。
送信機は、プリアンブル、ブロック1、ブロック2、ブロック3およびチェック信号からなる構成単位の信号列を、輝度変化によって繰り返し送信する。ここで、ブロック1は、プリアンブル、アドレス1、データ1およびチェック信号を有する。ブロック2およびブロック3もブロック1と同様に構成されている。また、ブロック1、ブロック2およびブロック3のそれぞれに含まれるデータを用いることによって、特定の情報が得られる。
つまり、上述のような信号列では、1つのデータまたは情報が3つのブロックに分けて格納されている。したがって、撮影にブランキング期間が必要である受信機は、1つの信号列からブロック1、ブロック2およびブロック3の全てのデータを受信することができなくても、他の信号列から残りのデータを受信することができる。その結果、ブランキング期間を要する受信機であっても、少なくとも1つの信号列から特定の情報を適切に取得することができる。
また、上述のような信号列では、3つのブロックの集合に対してプリアンブルとチェック信号とが配置されている。したがって、ブランキング期間を要することなく受光可能な受信機、例えば、照度センサなどを備えた受信機は、その集合に対して配置されたプリアンブルとチェック信号とを用いることによって、1つの信号列を一度に受信することができ、特定の情報を短期間に取得することができる。
図39は、本実施の形態における送信機の動作の他の例を示す図である。
送信機は、上述のように、ブロック1、ブロック2およびブロック3を含む構成単位の信号列を繰り返し送信する際には、信号列ごとに、その信号列に含まれるブロックの配置を変更してもよい。例えば、最初の信号列には、ブロック1、ブロック2、ブロック3の順に各ブロックが配置され、次の信号列には、ブロック3、ブロック1、ブロック2の順に各ブロックが配置される。これにより、周期的なブランキング期間を要する受信機によって同じブロックだけが取得されることを避けることができる。
図40は、本実施の形態における複数の送信機と受信機との間の通信形態の一例を示す図である。
受信機8050は、照明として構成される送信機8051aおよび送信機8051bから送信されて反射面で反射された信号(可視光)を受信してもよい。これにより、多くの送信機からの信号を纏めて受信することができる。また、この場合には、送信機8051aおよび送信機8051bはそれぞれ互いに異なる周波数またはプロトコルの信号を送信する。これにより、受信機8050はそれらの送信機からの信号を混信せずに受信することができる。
図41は、本実施の形態における複数の送信機の動作の一例を示す図である。
送信機8051aおよび送信機8051bのうちの一方は、他方からの信号の送信状況を監視し、他方の信号との混信を防ぐように、信号を送信してもよい。例えば、一方の送信機は、他方の送信機から送信された信号を受信し、その信号と異なるプロトコルの信号を送信する。または、一方の送信機は、他方の送信機から信号が送信されていない期間を検出し、その期間に信号を送信する。
図42は、本実施の形態における複数の送信機と受信機との間の通信形態の他の例を示す図である。
送信機8051aおよび送信機8051bは、それぞれ同じ周波数またはプロトコルの信号を送信してもよい。この場合、受信機8050は、それらの送信機から送信される信号の強度、すなわち、撮影によって得られた画像に含まれる輝線のエッジ強度を特定する。この強度は、受信機8050と送信機との間の距離が長いほど弱くなる。受信機8050と送信機8051aおよび送信機8051bのそれぞれとの間の距離が異なる場合には、このような距離の違いを利用することができる。つまり、受信機8050は、その特定された強度によって、送信機8051aおよび送信機8051bのそれぞれから送信された信号を適切に分離して受信することができる。
図43は、本実施の形態における受信機の動作の他の例を示す図である。
受信機8050は、送信機8051aから送信されて反射面で反射された信号を受信する。このとき、受信機8050は、撮影によって得られた画像内における輝度の強度分布(複数の位置での輝度の差)に基づいて送信機8051aの位置を推定してもよい。
図44は、本実施の形態における受信機の応用例を示す図である。
例えばスマートフォンとして構成される受信機7510aは、バックカメラ(アウトカメラ)7510cで光源7510bを撮像し、光源7510bから送信された信号を受信し、受信した信号から光源7510bの位置と向きを取得する。受信機7510aは、光源7510bの撮像画像中における写り方や、受信機7510aに備えた9軸センサのセンサ値から、受信機7510a自身の位置と向きを推定する。受信機7510aは、フロントカメラ(フェイスカメラ、インカメラ)7510fで、ユーザ7510eを撮像し、画像処理によって、7510eの頭部の位置と向き、及び、視線方向(眼球の位置と向き)を推定する。受信機7510aは、推定結果をサーバに送信する。受信機7510aは、ユーザ7510eの視線方向に応じて挙動(ディスプレイの表示内容や再生音)を変更する。バックカメラ7510cによる撮像と、フロントカメラ7510fによる撮像は、同時に行なっても良いし、交互に行なっても良い。
図45は、本実施の形態における受信機の応用例を示す図である。
例えばスマートフォンとして構成される受信機7511d、7511iは、前述と同様に、光源7511b、7511gからの信号を受信し、自身の位置と向きを推定し、ユーザ7511e、7511jの視線方向を推定する。また、受信機7511d、7511iは、受信したデータを基に、周辺の物体7511a〜7511c、7511f〜7511hの情報をサーバから取得する。受信機7511d、7511iは、ユーザから見て受信機7511d、7511iを透過して向こう側の物体が見えているかのように、ディスプレイの表示を変化させる。受信機7511d、7511iは、ディスプレイに写っている内容に応じて、7511kのようなAR(拡張現実)オブジェクトを表示する。受信機7511iは、ユーザ7511jの視線がカメラの撮像の撮像範囲を超えているときは、7511lのように、範囲外であることを表示する。または、範囲外の領域にARオブジェクトや他の情報を表示する。または、範囲外領域を過去に撮像した際の画像をつなぎあわせて表示する。
図46は、本実施の形態における受信機の応用例を示す図である。
例えばスマートフォンとして構成される受信機7512cは、前述と同様に、光源7512aからの信号を受信し、自身の位置と向きを推定し、ユーザ7512dの視線方向を推定する。受信機7512cは、ユーザ7512dの視線方向にある物体7512bに関する処理を行う。例えば、物体7512bに関する情報を画面に表示する。ユーザ7512hの視線方向が、物体7512fから受信機7512gへ移動したときは、受信機7512gは、ユーザ7512hの興味が物体7512fにあると判断し、物体7512fに関する処理を継続する。例えば、物体7512fの情報を画面に表示したままにする。
図47は、本実施の形態における送信機の応用例を示す図である。
例えば、照明として構成される送信機7513aは、輝度が高く、送信信号として輝度が高い(ハイ)ときも、輝度が低い(ロー)ときも、受信機で撮像した場合に上限の明るさを超え、7513bのように輝線が現れない。そこで、7513cに示すように、散光板やプリズムのように光を拡散したり弱めたりする部分7513dを備えて輝度を低下させることで、受信機は、7513eのように輝線を撮像することができる。
図48は、本実施の形態における送信機の応用例を示す図である。
例えば、照明として構成される送信機7514aは、光源が一様ではないため、撮像画像は7514bのように、輝度にムラが発生し、受信エラーを誘発する。そこで、7514cに示すように、散光板やプリズムのように光を拡散させる部分7514dを備えて輝度が一様になるようにすることで、受信エラーを抑制することができる。
図49は、本実施の形態における受信方法の応用例を示す図である。
送信機7515a、7515bは、中心部分の輝度が高く受信機の撮像画像に輝線が現れず、周辺部分には輝線が現れる。受信機は、輝線が途切れるため7515dの部分からは信号を受信できないが、7515cの部分から信号を受信できる。受信機は、7515eの経路で輝線を読み取ることで、7515cの部分よりも多くの輝線から信号を受信できる。
図50は、本実施の形態における送信機の応用例を示す図である。
例えば、照明として構成される送信機7516a、7516b、7516c、7516dは、7513aと同様に輝度が高く、受信機で撮像した際に輝線が生じにくい。そこで、散光板・プリズム7516eや、反射板7516fや、反射板・ハーフミラー7516gや、反射板7516hや、散光板・プリズム7516jを備えることで、光を拡散させ、輝線が生じる部分を広くすることができる。これらの送信機は、撮像画像は7515aのように周囲に輝線が生じる形で撮像される。受信機は、撮像画像上の送信機の大きさを用いて受信機と送信機の間の距離を推定するため、光が拡散される部分を光源の大きさとして、送信IDと関連付けてサーバ等に記憶させておくことで、受信機は、送信機までの距離を正確に推定できる。
図51は、本実施の形態における送信機の応用例を示す図である。
例えば、照明として構成される送信機7517aは、7513aと同様に輝度が高く、受信機で撮像した際に輝線が生じにくい。そこで、反射板7517bを備えることで、光を拡散させ、輝線が生じる部分を広くすることができる。
図52は、本実施の形態における送信機の応用例を示す図である。
送信機7518aは、光源からの光を7518cで反射させることで、受信機は輝線を広範囲で撮像できる。送信機7518dは、光源を散光板やプリズム7518eへ向けることで、受信機は輝線を広範囲で撮像できる。
図53は、本実施の形態における受信機の動作の他の例を示す図である。
受信機は、上述のような合成画像または中間画像などによって、輝線模様を表示する。このとき、受信機は、この輝線模様に対応する送信機からの信号を受信することができなくてもよい。ここで、ユーザが輝線模様に対する操作(例えばタップ)を行うことによってその輝線模様が選択されると、受信機は、光学ズームを行うことによって、その輝線模様の箇所が拡大された合成画像または中間画像を表示する。このような光学ズームが行われることによって、受信機は、その輝線模様に対応する送信機からの信号を適切に受信することができる。つまり、撮像によって得られる画像が小さすぎて、信号を取得することができなくても、光学ズームを行うことによって、その信号を適切に受信することができる。また、信号を取得可能な大きさの画像が表示されている場合であっても、光学ズームを行うことによって、速い受信を行うことができる。
(本実施の形態のまとめ)
本実施の形態における情報通信方法は、被写体から情報を取得する情報通信方法であって、イメージセンサによる前記被写体の撮影によって得られる画像に、前記イメージセンサに含まれる露光ラインに対応する輝線が前記被写体の輝度変化に応じて生じるように、前記イメージセンサの露光時間を設定する第1の露光時間設定ステップと、前記イメージセンサが、輝度変化する前記被写体を、設定された前記露光時間で撮影することによって、前記輝線を含む画像である輝線画像を取得する輝線画像取得ステップと、前記輝線画像に基づいて、前記輝線が現われた部位の空間的な位置が識別し得る態様で、前記被写体と当該被写体の周囲とが映し出された表示用画像を表示する画像表示ステップと、取得された前記輝線画像に含まれる前記輝線のパターンによって特定されるデータを復調することにより送信情報を取得する情報取得ステップとを含む。
例えば、図7〜図9および図13に示すような合成画像または中間画像が表示用画像として表示される。また、被写体と当該被写体の周囲とが映し出された表示用画像において、輝線が現われた部位の空間的な位置は、輝線模様、信号明示オブジェクト、信号識別オブジェクト、または点線枠などによって識別される。したがって、ユーザは、このような表示画像を見ることによって、輝度変化によって信号を送信している被写体を容易に見つけることができる。
また、前記情報通信方法は、さらに、前記露光時間よりも長い露光時間を設定する第2の露光時間設定ステップと、前記イメージセンサが、前記被写体と当該被写体の周囲とを前記長い露光時間で撮影することによって、通常撮影画像を取得する通常画像取得ステップと、前記通常撮影画像において前記輝線が現われた部位を、前記輝線画像に基づいて特定し、前記部位を指し示す画像である信号オブジェクトを前記通常撮影画像に重畳することによって、合成画像を生成する合成ステップとを含み、前記画像表示ステップでは、前記合成画像を前記表示用画像として表示してもよい。
例えば、信号オブジェクトは、輝線模様、信号明示オブジェクト、信号識別オブジェクト、または点線枠などであって、図8、図9および図13に示すように、合成画像が表示用画像として表示される。これにより、ユーザは、輝度変化によって信号を送信している被写体をさらに容易に見つけることができる。
また、前記第1の露光時間設定ステップでは、露光時間を1/3000秒に設定し、前記輝線画像取得ステップでは、前記被写体の周囲が映し出された前記輝線画像を取得し、前記画像表示ステップでは、前記輝線画像を前記表示用画像として表示してもよい。
例えば、図7に示すように、輝線画像は中間画像として取得されて表示される。したがって、通常撮影画像と可視光通信画像とを取得して合成するなどの処理を行う必要がなく、処理の簡略化を図ることができる。
また、前記イメージセンサは、第1のイメージセンサと第2のイメージセンサを含み、前記通常画像取得ステップでは、前記第1のイメージセンサが撮影することによって、前記通常撮影画像を取得し、前記輝線画像取得ステップでは、前記第2のイメージセンサが前記第1のイメージセンサの撮影と同時に撮影することによって、前記輝線画像を取得してもよい。
例えば、図9に示すように、通常撮影画像と輝線画像である可視光通信画像とがそれぞれのカメラで取得される。したがって、1つのカメラで通常撮影画像と可視光通信画像とを取得する場合と比べて、それらの画像を早く取得することができ、処理を高速化することができる。
また、前記情報通信方法は、さらに、前記表示用画像における前記輝線が現われた部位がユーザによる操作によって指定された場合には、指定された部位の前記輝線のパターンから取得された前記送信情報に基づく提示情報を提示する情報提示ステップを含んでもよい。例えば、前記ユーザによる操作は、タップ、スワイプ、前記部位に指先を所定の時間以上継続して当てる操作、前記部位に視線を向けた状態を所定の時間以上継続する操作、前記部位に関連付けて示される矢印に前記ユーザの身体の一部を動かす操作、輝度変化するペン先を前記部位に当てる操作、または、タッチセンサに触れることによって、前記表示用画像に表示されているポインタを前記部位に当てる操作である。
例えば、図15〜図20、図25〜図34に示すように、提示情報が情報通知画像として表示される。これにより、ユーザに所望の情報を提示することができる。
また、前記イメージセンサはヘッドマウントディスプレイに備えられ、前記画像表示ステップでは、前記ヘッドマウントディスプレイに搭載されたプロジェクタが前記表示用画像を表示してもよい。
これにより、例えば、図23〜図30に示すように、簡単に情報をユーザに提示することができる。
また、被写体から情報を取得する情報通信方法であって、イメージセンサによる前記被写体の撮影によって得られる画像に、前記イメージセンサに含まれる露光ラインに対応する輝線が前記被写体の輝度変化に応じて生じるように、前記イメージセンサの露光時間を設定する第1の露光時間設定ステップと、前記イメージセンサが、輝度変化する前記被写体を、設定された前記露光時間で撮影することによって、前記輝線を含む画像である輝線画像を取得する輝線画像取得ステップと、取得された前記輝線画像に含まれる前記輝線のパターンによって特定されるデータを復調することにより情報を取得する情報取得ステップとを含み、前記輝線画像取得ステップでは、前記イメージセンサが移動されている期間に、複数の前記被写体を撮影することによって、前記輝線が現われた部位を複数含む前記輝線画像を取得し、前記情報取得ステップでは、前記部位ごとに、当該部位の前記輝線のパターンによって特定されるデータを復調することによって、複数の前記被写体のそれぞれの位置を取得し、前記情報通信方法は、さらに、取得された複数の前記被写体のそれぞれの位置、および前記イメージセンサの移動状態に基づいて、前記イメージセンサの位置を推定する位置推定ステップを含んでもよい。
これにより、例えば、図22に示すように、複数の照明などの被写体による輝度変化によって、イメージセンサを含む受信機の位置を正確に推定することができる。
また、被写体から情報を取得する情報通信方法であって、イメージセンサによる前記被写体の撮影によって得られる画像に、前記イメージセンサに含まれる露光ラインに対応する輝線が前記被写体の輝度変化に応じて生じるように、前記イメージセンサの露光時間を設定する第1の露光時間設定ステップと、前記イメージセンサが、輝度変化する前記被写体を、設定された前記露光時間で撮影することによって、前記輝線を含む画像である輝線画像を取得する輝線画像取得ステップと、取得された前記輝線画像に含まれる前記輝線のパターンによって特定されるデータを復調することにより情報を取得する情報取得ステップと、取得された前記情報を提示する情報提示ステップとを含み、前記情報提示ステップでは、前記イメージセンサのユーザに対して、予め定められたジェスチャを促す画像を前記情報として提示してもよい。
これにより、例えば、図35A〜図36Bに示すように、ユーザが、促されたとおりのジェスチャを行うか否かによって、そのユーザに対する認証などを行うことができ、利便性を高めることができる。
また、被写体から情報を取得する情報通信方法であって、イメージセンサによる前記被写体の撮影によって得られる画像に、前記イメージセンサに含まれる露光ラインに対応する輝線が前記被写体の輝度変化に応じて生じるように、前記イメージセンサの露光時間を設定する露光時間設定ステップと、前記イメージセンサが、輝度変化する前記被写体を、設定された前記露光時間で撮影することによって、前記輝線を含む輝線画像を取得する画像取得ステップと、取得された前記輝線画像に含まれる前記輝線のパターンによって特定されるデータを復調することにより情報を取得する情報取得ステップとを含み、前記画像取得ステップでは、反射面に映る複数の前記被写体を撮影することによって前記輝線画像を取得し、前記情報取得ステップでは、前記輝線画像に含まれる輝線の強度に応じて、前記輝線を、複数の前記被写体のそれぞれに対応する輝線に分離し、前記被写体ごとに、当該被写体に対応する輝線のパターンによって特定されるデータを復調することにより情報を取得してもよい。
これにより、例えば、図42に示すように、複数の照明などの被写体がそれぞれ輝度変化する場合でも、被写体のそれぞれから適切な情報を取得することができる。
また、被写体から情報を取得する情報通信方法であって、イメージセンサによる前記被写体の撮影によって得られる画像に、前記イメージセンサに含まれる露光ラインに対応する輝線が前記被写体の輝度変化に応じて生じるように、前記イメージセンサの露光時間を設定する露光時間設定ステップと、前記イメージセンサが、輝度変化する前記被写体を、設定された前記露光時間で撮影することによって、前記輝線を含む輝線画像を取得する画像取得ステップと、取得された前記輝線画像に含まれる前記輝線のパターンによって特定されるデータを復調することにより情報を取得する情報取得ステップとを含み、前記画像取得ステップでは、反射面に映る前記被写体を撮影することによって前記輝線画像を取得し、前記情報通信方法は、さらに、前記輝線画像内における輝度分布に基づいて、前記被写体の位置を推定する位置推定ステップを含んでもよい。
これにより、例えば、図43に示すように、輝度分布に基づいて適切な被写体の位置を推定することができる。
また、輝度変化によって信号を送信する情報通信方法であって、送信対象の第1の信号を変調することによって、輝度変化の第1のパターンを決定する第1の決定ステップと、送信対象の第2の信号を変調することによって、輝度変化の第2のパターンを決定する第2の決定ステップと、発光体が、決定された前記第1のパターンにしたがった輝度変化と、決定された前記第2のパターンにしたがった輝度変化とを、交互に行うことによって、前記第1および第2の信号を送信する送信ステップとを含んでもよい。
これにより、例えば、図37Aに示すように、第1の信号と第2の信号とをそれぞれ遅滞なく送信することができる。
また、前記送信ステップでは、輝度変化を、前記第1のパターンにしたがった輝度変化と、前記第2のパターンにしたがった輝度変化とで切り替えるときには、緩衝時間を空けて切り替えてもよい。
これにより、例えば、図37Bに示すように、第1の信号と第2の信号との混信を抑えることができる。
また、輝度変化によって信号を送信する情報通信方法であって、送信対象の信号を変調することによって、輝度変化のパターンを決定する決定ステップと、発光体が、決定された前記パターンにしたがって輝度変化することによって前記送信対象の信号を送信する送信ステップとを含み、前記信号は、複数の大ブロックからなり、前記複数の大ブロックのそれぞれは、第1のデータと、前記第1のデータに対するプリアンブルと、前記第1のデータに対するチェック信号とを含み、前記第1のデータは、複数の小ブロックからなり、前記小ブロックは、第2のデータと、前記第2のデータに対するプリアンブルと、前記第2のデータに対するチェック信号とを含んでもよい。
これにより、例えば、図38に示すように、ブランキング期間を要する受信機でも、ブランキング期間を必要としない受信機でも、適切にデータを取得することができる。
また、輝度変化によって信号を送信する情報通信方法であって、複数の送信機がそれぞれ、送信対象の信号を変調することによって、輝度変化のパターンを決定する決定ステップと、送信機ごとに、当該送信機に備えられた発光体が、決定された前記パターンにしたがって輝度変化することによって前記送信対象の信号を送信する送信ステップとを含み、前記送信ステップでは、互いに周波数またはプロトコルが異なる信号を送信してもよい。
これにより、例えば、図40に示すように、複数の送信機からの信号の混信を抑えることができる。
また、輝度変化によって信号を送信する情報通信方法であって、複数の送信機がそれぞれ、送信対象の信号を変調することによって、輝度変化のパターンを決定する決定ステップと、送信機ごとに、当該送信機に備えられた発光体が、決定された前記パターンにしたがって輝度変化することによって前記送信対象の信号を送信する送信ステップとを含み、前記送信ステップでは、前記複数の送信機のうちの1つの送信機は、他方の送信機から送信される信号を受信し、受信された信号と混信しない態様で、他の信号を送信してもよい。
これにより、例えば、図41に示すように、複数の送信機からの信号の混信を抑えることができる。
(実施の形態3)
本実施の形態では、上記実施の形態1または2におけるスマートフォンなどの受信機と、LEDや有機ELなどの点滅パターンとして情報を送信する送信機とを用いた各適用例について説明する。
図54は、実施の形態3における受信機の動作の一例を示すフローチャートである。
まず、受信機は、照度センサで信号を受信する(8101)。次に、受信機は、受信した信号を基に、サーバから位置情報などの情報を取得する(8102)。次に、受信機は、照度センサの受光方向を撮像可能なイメージセンサを起動する(8103)。次に、受信機は、イメージセンサで信号の一部または全部を受信し、その一部または全部が、照度センサで受信した信号と同一の信号であるかどうかを確認する(8104)。次に、受信機は、撮像画像(撮影画像)中の送信機の位置と、受信機に備えられた9軸センサからの情報と、送信機の位置情報とから、受信機の位置を推定する(8105)。このように、受信機は、消費電力の少ない照度センサを起動しておき、その照度センサによって信号が受信された場合に、イメージセンサを起動する。そして、受信機は、そのイメージセンサによる撮像を利用した位置推定を行う。これによって、消費電力を抑えながら、受信機の位置を精度よく推定することができる。
図55は、実施の形態3における受信機の動作の他の例を示すフローチャートである。
受信機は、照度センサのセンサ値から、輝度の周期的な変化を認識する(8111)。次に、受信機は、照度センサの受光方向を撮像可能なイメージセンサを起動し、信号を受信する(8112)。つまり、上述と同様に、受信機は、消費電力の少ない照度センサを起動しておき、その照度センサによって輝度の周期的な変化が受信された場合に、イメージセンサを起動する。そして、受信機は、そのイメージセンサによる撮像によって、正確な信号を受信する。これにより、消費電力を抑えながら、正確な信号を受信することができる。
図56Aは、実施の形態3における送信機の一例を示すブロック図である。
送信機8115は、電源部8115aと、信号制御部8115bと、発光部8115cと、発光部8115dとを備える。電源部8115aは、信号制御部8115bに電力を供給する。信号制御部8115bは、その電源部8115aから供給される電力を、発光部8115cおよび発光部8115dに振り分け、発光部8115cおよび発光部8115dの輝度変化を制御する。
図56Bは、実施の形態3における送信機の他の例を示すブロック図である。
送信機8116は、電源部8116aと、信号制御部8116bと、発光部8116cと、発光部8116dとを備える。電源部8116aは、発光部8116cおよび発光部8116dに電力を供給する。ここで、信号制御部8116bは、電源部8116aから供給される電力を制御することによって、発光部8116cおよび発光部8116dの輝度変化を制御する。このように、発光部8116cおよび発光部8116dのそれぞれに電力を供給する電源部8116aが信号制御部8116bに制御されることによって、電力の使用効率を高めることができる。
図57は、実施の形態3における複数の送信機を含むシステムの構成例を示す図である。
このシステムは、集中制御部8118、送信機8117および送信機8120を備える。集中制御部8118は、送信機8117および送信機8120のそれぞれの輝度変化による信号の送信を制御する。例えば、集中制御部8118は、送信機8117および送信機8120のそれぞれから同じタイミングで同じ信号を送信させたり、何れか一方の送信機のみに、その送信機に固有の信号を送信させたりする。
送信機8120は、2つの送信ユニット8121および8122と、信号変更部8123と、信号記憶部8124と、同期信号入力部8125と、同期制御部8126と、受光部8127とを備える。
2つの送信ユニット8121および8122は、それぞれ図56Aに示す送信機8115と同様の構成を有し、輝度変化することによって信号を送信する。具体的には、送信ユニット8121は、電源部8121a、信号制御部8121b、発光部8121cおよび発光部8121dを備える。送信ユニット8122は、電源部8122a、信号制御部8122b、発光部8122cおよび発光部8122dを備える。
信号変更部8123は、送信対象の信号を輝度変化のパターンを示す信号に変調する。信号記憶部8124は、その輝度変化のパターンを示す信号を記憶している。送信ユニット8121の信号制御部8121bは、信号記憶部8124に格納されている信号を読み出して、その信号に応じて発光部8121cおよび発光部8121dを輝度変化させる。
同期信号入力部8125は、集中制御部8118による制御に応じて同期信号を取得する。同期制御部8126は、その同期信号が取得されると、送信ユニット8121と送信ユニット8122との輝度変化を同期させる。つまり、同期制御部8126は、信号制御部8121bおよび信号制御部8122bを制御することによって、送信ユニット8121と送信ユニット8122との輝度変化を同期させる。ここで、受光部8127は、送信ユニット8121と送信ユニット8122からの発光を検出する。同期制御部8126は、その受光部8127によって検出された光に応じて、信号制御部8121bおよび信号制御部8122bへのフィードバック制御を行う。
図58は、実施の形態3における送信機の他の例を示すブロック図である。
送信機8130は、輝度変化によって信号を送信する送信ユニット8131と、信号の送信を行わずに発光する非送信ユニット8132とを備える。
送信ユニット8131は、図56Aに示す送信機8115と同様の構成を有し、電源部8131a、信号制御部8131b、および発光部8131c〜8131fを備える。また、非送信ユニット8132は、電源部8132aおよび発光部8132c〜8132fを備え、信号制御部を備えていない。つまり、電源を含むユニットが複数あって、それらのユニット間で輝度変化の同期制御ができない場合には、図58に示す構成のように、何れか1つのユニットにのみ信号制御部を備え、その1つのユニットだけを輝度変化させる。
ここで、このような送信機8130では、送信ユニット8131の発光部8131c〜8131fは一列に連続的に配置される。つまり、発光部8131c〜8131fの集合に、非送信ユニット8132の発光部8132c〜8132fの何れかが混じることはない。これにより、輝度変化する発光体のサイズが大きくなるため、受信機は、その輝度変化によって送信される信号を容易に受信することができる。
図59Aは、実施の形態3における送信機の一例を示す図である。
送信機8134は、例えばサイネージとして構成され、3つの発光部(発光領域)8134a〜8134cを備える。なお、これらの発光部8134a〜8134cからの光は互いに干渉することはない。ここで、発光部8134a〜8134cのうちの何れか1つだけを輝度変化させて信号を送信させることができる場合には、図59Aの(a)に示すように、中央にある発光部8134bを輝度変化させることが望ましい。また、発光部8134a〜8134cのうちの2つを輝度変化させることができる場合には、図59Aの(b)に示すように、中央にある発光部8134bと、端にある発光部8134aまたは発光部8134cとを輝度変化させることが望ましい。このような位置にある発光部を輝度変化させることによって、受信機は、輝度変化によって送信される信号を適切に受信することができる。
図59Bは、実施の形態3における送信機の一例を示す図である。
送信機8135は、例えばサイネージとして構成され、3つの発光部8135a〜8135cを備える。なお、これらの発光部8135a〜8135cのうちの互いに隣接する発光部からの光は相互に干渉する。ここで、発光部8135a〜8135cのうちの何れか1つだけを輝度変化させて信号を送信させることができる場合には、図59Bの(a)に示すように、端に配置されている発光部8135aまたは発光部8135cを輝度変化させることが望ましい。これにより、信号を送信するための輝度変化が他の発光部からの光に干渉されることを抑えることができる。また、発光部8135a〜8135cのうちの2つを輝度変化させることができる場合には、図59Bの(b)に示すように、中央にある発光部8135bと、端にある発光部8135aまたは発光部8135cとを輝度変化させることが望ましい。このような位置にある発光部を輝度変化させることによって、輝度変化の面積が大きくなるため、受信機は、輝度変化によって送信される信号を適切に受信することができる。
図59Cは、実施の形態3における送信機の一例を示す図である。
送信機8134は、3つの発光部8134a〜8134cのうち2つを輝度変化させることがきる場合には、図50Cに示すように、両端にある発光部8134aおよび発光部8134cを輝度変化させてもよい。この場合には、受信機による撮像において、輝度変化する部位が映る撮像範囲を広げることができる。
図60Aは、実施の形態3における送信機の一例を示す図である。
送信機8137は例えばサイネージとして構成され、文字部分「A Shop」と発光部8137aとが輝度変化することによって信号を送信する。発光部8137aは例えば水平方向に長い矩形状に形成されて一様に輝度変化する。この発光部8137aが一様に輝度変化することによって、受信機は、輝度変化によって送信される信号を適切に受信することができる。
図60Bは、実施の形態3における送信機の一例を示す図である。
送信機8138は例えばサイネージとして構成され、文字部分「A Shop」と発光部8138aとが輝度変化することによって信号を送信する。発光部8138aは例えばサイネージの縁に沿うように枠状に形成されて一様に輝度変化する。つまり、発光部を任意の直線に射影したときに連続した射影部分の長さが最大になるように、その発光部8138aは形成されている。この発光部8138aが一様に輝度変化することによって、受信機は、輝度変化によって送信される信号をより適切に受信することができる。
図61は、実施の形態3における受信機、送信機およびサーバの処理動作の一例を示す図である。
例えばスマートフォンとして構成される受信機8142は、自らの位置を示す位置情報を取得し、その位置情報をサーバ8141に送信する。なお、受信機8142は、例えばGPSなどを利用したり、他の信号を受信したときにその位置情報を取得する。サーバ8141は、その位置情報によって示される位置に対応付けられたIDリストを受信機8142に送信する。IDリストには、「abcd」などのIDごとに、そのIDと、そのIDに対応付けられた情報とが含まれている。
受信機8142は、例えば照明機器として構成される送信機8143から信号を受信する。このとき、受信機8142は、IDの一部(例えば「 b 」)しか上述の信号として受信できない場合がある。この場合、受信機8142は、そのIDの一部を含むIDをIDリストから検索する。一意のIDが見つからない場合には、受信機8142は、さらに、送信機8143から、そのIDの他の部分を含む信号を受信する。これにより、受信機8142は、そのIDのうちのより多くの部分(例えば「 bc 」)を取得する。そして、受信機8142は、そのIDの一部(例えば「 bc 」)を含むIDをIDリストから再び検索する。このような検索を行うことによって、受信機8142は、IDの一部しか取得することができなくても、IDの全てを特定することができる。なお、受信機8142は、送信機8143から信号を受信するときには、IDの一部だけでなく、CRC(Cyclic Redundancy Check)などのチェック部分なども受信する。
図62は、実施の形態3における受信機、送信機およびサーバの処理動作の一例を示す図である。
例えばスマートフォンとして構成される受信機8152は、自らの位置を示す位置情報を取得する。なお、受信機8152は、例えばGPSなどを利用したり、他の信号を受信したときにその位置情報を取得する。さらに、受信機8152は、例えば照明機器として構成される送信機8153から信号を受信する。このとき、その信号には、IDのうち、そのIDの一部(例えば「 b 」)だけが含まれている。ここで、受信機8152は、その位置情報とIDの一部とをサーバ8151に送信する。
サーバ8151は、その位置情報によって示される位置に対応付けられたIDリストから、そのIDの一部を含むIDを検索する。一意のIDが見つからない場合には、サーバ8151はIDの特定が失敗したことを受信機8152に通知する。
次に、受信機8152は、送信機8153から、そのIDの他の部分を含む信号を受信する。これにより、受信機8152は、そのIDのうちのより多くの部分(例えば「 be 」)を取得する。そして、受信機8152は、そのIDの一部(例えば「 be 」)と位置情報とをサーバ8151に送信する。
サーバ8151は、その位置情報によって示される位置に対応付けられたIDリストから、そのIDの一部を含むIDを検索する。一意のIDが見つかると、サーバ8151は、そのID(例えば「abef」)が特定されたことを受信機8152に通知するとともに、そのIDに対応付けられた情報を受信機8152に送信する。
図63は、実施の形態3における受信機、送信機およびサーバの処理動作の一例を示す図である。
受信機8152は、IDのうちの一部だけでなくその全てを、位置情報とともにサーバ8151に送信してもよい。このとき、その完全な状態のID(例えば「wxyz」)がIDリストに含まれていない場合には、サーバ8151は、受信機8152にエラーを通知する。
図64Aは、実施の形態3における複数の送信機の同期を説明するための説明図である。
送信機8155aおよび送信機8155bは輝度変化することによって信号を送信する。ここで、送信機8155aは、同期信号を送信機8155bに送信することによって、その送信機8155bと同期して輝度変化する。また、送信機8155aと送信機8155bとは、それぞれ発信源から信号を取得して、その信号に応じた輝度変化を行う。こで、発信源から送信機8155aへの信号送信にかかる時間(第1の遅延時間)と、発信源から送信機8155bへの信号送信にかかる時間(第2の遅延時間)とが異なる場合がある。そこで、それらの送信機8155a,8155bと発信源との間における信号の往復時間が測定され、それらの往復時間の1/2が上述の第1または第2の遅延時間として特定される。送信機8155aは、それらの第1または第2の遅延時間の差がキャンセルされるように同期信号を送信することによって、送信機8155bと同期した輝度変化を行う。
図64Bは、実施の形態3における複数の送信機の同期を説明するための説明図である。
受光センサ8156は、送信機8155aおよび送信機8155bからの光を検出して、その結果を検出信号として送信機8155aおよび送信機8155bに出力する。送信機8155aおよび送信機8155bは、その受光センサ8156からの検出信号を受信すると、その検出信号に基づいて互いに同期した輝度変化を行ったり、信号の強度の調整を行う。
図65は、実施の形態3における送信機および受信機の動作の一例を示す図である。
例えばテレビとして構成される送信機8165は、画像と、その画像に対応付けられたID(ID 1000)とを制御部8166から取得する。そして、送信機8165は、その画像を表示するとともに、輝度変化することによって、そのID(ID 1000)を受信機8167に送信する。受信機8167は、撮像することによって、そのID(ID 1000)を受信するとともに、そのID(ID 1000)に対応付けられた情報を表示する。ここで、制御部8166は、送信機8165に出力される画像を他の画像に変更する。このとき、制御部8166は、送信機8165に出力されるIDも変更する。つまり、制御部8166は、その他の画像とともに、他の画像に対応付けられた他のID(ID 1001)を送信機8165に出力する。これにより、送信機8165は、その他の画像を表示するとともに、輝度変化することによって、他のID(ID 1001)を受信機8167に送信する。受信機8167は、撮像することによって、その他のID(ID 1001)を受信するとともに、その他のID(ID 1001)に対応付けられた情報を表示する。
図66は、実施の形態3における送信機および受信機の動作の一例を示す図である。
送信機8170は、例えばサイネージとして構成されており、画像を切り替えて表示する。そして、送信機8170は、画像を表示するときには、表示される画像に対応するIDと、その画像が表示される時刻とを示すID時刻情報を、輝度変化することによって受信機8171に送信する。例えば、送信機8170は、時刻t1には、丸い図形を示す画像を表示するとともに、その画像に対応するID(ID:1000)と、その画像が表示されている時刻(TIME:t1)とを示すID時刻情報を送信する。
ここで、送信機8170は、現在表示されている画像に対応するID時刻情報だけでなく、過去に表示されていた画像に対応するID時刻情報を少なくとも1つ送信する。例えば、送信機8170は、時刻t2には、四角い図形を示す画像を表示するとともに、その画像に対応するID(ID:1001)と、その画像が表示されている時刻(TIME:t2)とを示すID時刻情報を送信する。さらに、このとき、送信機8170は、丸い図形を示す画像に対応するID(ID:1000)と、その画像が表示されていた時刻(TIME:t1)とを示すID時刻情報を送信する。同様に、時刻t3では、送信機8170は、三角形の図形を示す画像を表示するとともに、その画像に対応するID(ID:1002)と、その画像が表示されている時刻(TIME:t3)とを示すID時刻情報を送信する。さらに、このとき、送信機8170は、四角い図形を示す画像に対応するID(ID:1001)と、その画像が表示されていた時刻(TIME:t2)とを示すID時刻情報を送信する。つまり、送信機8170は、複数のID時刻情報を同じタイミングに送信する。
例えば、ユーザは、四角い図形を示す画像に関連する情報を得るために、その四角い図形を示す画像が表示されている時刻t2に、受信機8171のイメージセンサを送信機8170にかざして、受信機8171による撮像を開始する。
ここで、受信機8171は、時刻t2に撮像を開始しても、その四角い図形を示す画像が送信機8170に表示されている間に、その画像に対応するID時刻情報を取得することができない場合がある。このような場合であっても、上述のように、過去に表示されていた画像に対応するID時刻情報も送信機8170から送信されているため、受信機8171は、時刻t3には、三角形の図形を示す画像に対応するID時刻情報(ID:1002,TIME:t3)だけでなく、四角い図形を示す画像に対応するID時刻情報(ID:1001,TIME:t2)も取得することができる。そして、受信機8171は、それらのID時刻情報の中から、送信機8170にかざされた時刻(t2)を示すID時刻情報(ID:1001,TIME:t2)を選択し、そのID時刻情報によって示されるID(ID:1001)を特定する。これにより、受信機8171は、時刻t3に、その特定されたID(ID:1001)に基づいて、四角い図形を示す画像に関する情報を例えばサーバなどから得ることができる。
なお、上述の時刻は、絶対的な時刻に限らず、受信機8171が送信機8170にかざされた時刻と、受信機8171がID時刻情報を取得した時刻との間の時間(いわゆる相対時刻)であってもよい。また、送信機8170は、現在表示されている画像に対応するID時刻情報とともに、過去に表示されていた画像に対応するID時刻情報を送信したが、未来に表示される予定の画像に対応するID時刻情報を送信してもよい。また、送信機8170は、受信機8171による受信が困難な状況にある場合には、送信される過去または未来のID時刻情報の数を増やしてもよい。
また、送信機8170がサイネージではなくテレビとして構成される場合には、送信機8170は、ID時刻情報の代わりに、表示されている画像に対応するチャンネルを示す情報を送信してもよい。つまり、放送されているテレビ番組の画像がリアルタイムに送信機8170で表示されている場合には、送信機8170で表示された画像の表示時刻は、チャンネルごとに一意に特定することができる。したがって、受信機8171は、撮像によって得られた画像と、そのチャンネルとに基づいて、受信機8171が送信機8170にかざされた時刻、つまり、受信機8171が撮像を開始した時刻を特定することができる。そして、受信機8171は、チャンネルとその時刻とに基づいて、撮像によって得られた画像に関する情報を例えばサーバなどから得ることができる。なお、送信機8170は、ID時刻情報の代わりに、表示されている画像の表示時刻を示す情報を送信してもよい。この場合には、受信機8171は、そのときに放送されている全てのテレビ番組の中から、撮像によって得られた画像を含むテレビ番組を検索し、そのテレビ番組のチャンネルとその表示時刻とに基づいて、その画像に関連する情報をサーバなどから得ることができる。
図67は、実施の形態3における送信機、受信機およびサーバの動作の一例を示す図である。
図67の(a)に示すように、受信機8176は、送信機8175を撮像することによって、輝線を含む画像を取得し、その画像から送信機8175のIDを特定(取得)する。さらに、受信機8176は、そのIDをサーバ8177に送信し、そのIDに関連付けられた情報をサーバ8177から取得する。
一方、図67の(b)に示すように、受信機8176は、送信機8175を撮像することによって、輝線を含む画像を取得し、その画像を撮像データとしてサーバ8177に送信してもよい。また、受信機8176は、輝線を含む画像に対して、画像の情報量が少なくなるような前処理を行い、前処理が行われた画像を撮像データとしてサーバ8177に送信してもよい。この前処理は例えば画像の二値化処理などである。サーバ8177は、その撮像データを取得すると、その撮像データによって示される画像から送信機8175のIDを特定(取得)する。さらに、サーバ8177は、そのIDに関連付けられた情報を受信機8176に送信する。
図68は、実施の形態3における送信機および受信機の動作の一例を示す図である。
ユーザが位置Aにいるときには、受信機8183は、輝度変化する送信機8181から送信される信号を取得することによって、受信機8183の位置を特定する。その結果、受信機8183は、その特定された位置を示す点8183bを、その位置の誤差範囲8183aととともに表示する。
次に、ユーザが位置Aから移動して位置Bに着くと、受信機8183は、送信機8181から信号を取得することができない状態になる。このとき、受信機8183は、自らに備えられている9軸センサなどを用いることによって、自らの位置を推定する。そして、受信機8183は、その推定された位置を示す点8183bを、その位置の誤差範囲8183aととともに表示する。このとき、その位置は、9軸センサによって推定されたものであるため、誤差範囲8183aは広く表示される。
次に、ユーザが位置Bから移動して位置Cに着くと、受信機8183は、輝度変化する他の送信機8182から送信される信号を取得することによって、受信機8183の位置を特定する。その結果、受信機8183は、その特定された位置を示す点8183bを、その位置の誤差範囲8183aととともに表示する。ここで、受信機8183は、9軸センサを用いて推定された位置を示す点8183bおよび誤差範囲8183aを、上述のように特定された位置および誤差範囲に直ぐに切り替えて表示することなく、滑らかにそれらを移動させて切り替える。また、このときには、誤差範囲8183aは小さくなる。
図69は、実施の形態3における受信機の外観の一例を示す図である。
受信機8183は、例えばスマートフォン(高機能携帯電話)として構成され、図69の(a)に示すように、受信機8183の前面には、イメージセンサ8183c、照度センサ8183d、およびディスプレイ8183eが配置されている。イメージセンサ8183cは、上述のように輝度変化する被写体を撮像することによって、輝線を含む画像を取得する。照度センサ8183dは、上述の被写体の輝度変化を検出する。したがって、照度センサ8183dは、被写体の状態または状況によっては、イメージセンサ8183cの代わりとして用いることができる。ディスプレイ8183eは、画像などを表示する。ここで、受信機8183は、輝度変化する被写体としての機能を備えていてもよい。この場合には、受信機8183は、ディスプレイ8183eを輝度変化させることによって信号を送信する。
また、図69の(b)に示すように、受信機8183の背面には、イメージセンサ8183f、照度センサ8183g、およびフラッシュ発光部8183hが配置されている。イメージセンサ8183fは、上述のイメージセンサ8183cと同じものであって、上述のように輝度変化する被写体を撮像することによって、輝線を含む画像を取得する。照度センサ8183gは、上述の照度センサ8183dと同じものであって、被写体の輝度変化を検出する。したがって、照度センサ8183gは、被写体の状態または状況によっては、イメージセンサ8183fの代わりとして用いることができる。フラッシュ発光部8183hは、撮像のためにフラッシュを発する。ここで、受信機8183は、輝度変化する被写体としての機能を備えていてもよく、この場合には、フラッシュ発光部8183hを輝度変化させることによって信号を送信する。
図70は、実施の形態3における送信機、受信機およびサーバの動作の一例を示す図である。
例えばスマートフォンとして構成される送信機8185は、ディスプレイ8185aのうちのバーコード部分8185bを除く部分を輝度変化させることによって、すなわち、可視光通信によって、例えば「クーポン 100円引き」を示す情報を送信する。また、送信機8185は、バーコード部分8185bを輝度変化させずに、そのバーコード部分8185bにバーコードを表示させる。このバーコードは、上述の可視光通信によって送信される情報と同じ情報を示す。さらに、送信機8185は、ディスプレイ8185aのうちのバーコード部分8185bを除く部分に、可視光通信によって送信される情報を示す文字または絵、例えば文字「クーポン 100円引き」を表示する。このような文字または絵が表示されることによって、送信機8185のユーザは、どのような情報が送信されているかを容易に把握することができる。
受信機8186は、撮像することによって、可視光通信によって送信された情報と、バーコードによって示される情報とを取得し、これらの情報をサーバ8187に送信する。サーバ8187は、これらの情報が一致または関連するか否かを判定し、一致または関連すると判定したときには、それらの情報にしたがった処理を実行する。または、サーバ8187は、その判定結果を受信機8186に送信し、受信機8186にそれらの情報にしたがった処理を実行させる。
なお、送信機8185は、バーコードによって示される情報のうちの一部を可視光通信によって送信してもよい。また、バーコードには、サーバ8187のURLが示されていてもよい。また、送信機8185は、受信機としてIDを取得して、そのIDをサーバ8187に送信することによって、そのIDに対応付けられている情報を取得してもよい。このIDに対応付けられている情報は、上述の可視光通信によって送信される情報、または、バーコードによって示される情報と同一である。また、サーバ8187は、受信機8186を介して送信機8185から送信される情報(可視光通信の情報またはバーコードの情報)に対応付けられたIDを、送信機8185に送信してもよい。
図71は、実施の形態3における送信機および受信機の動作の一例を示す図である。
例えばスマートフォンとして構成される送信機8185は、ディスプレイ8185aを輝度変化させることによって信号を送信する。受信機8188は、遮光性を有するコーン状の容器8188bと、照度センサ8188aとを備える。照度センサ8188aは、容器8188bの内部に格納され、その容器8188bの先端付近に配置されている。送信機8185から可視光通信によって信号が送信される場合には、受信機8188における容器8188bの開口部(底部)がディスプレイ8185aに向けられる。これにより、容器8188b内には、ディスプレイ8185aからの光以外の光が入り込まないため、受信機8188の照度センサ8188aは、ノイズとなる光の影響を受けることなく、ディスプレイ8185aからの光を適切に受光することができる。その結果、受信機8188は、送信機8185からの信号を適切に受信することができる。
図72は、実施の形態3における送信機および受信機の動作の一例を示す図である。
送信機8190は、例えばバス停留所の標識塔として構成されており、輝度変化することによって、バスの運行状況などを示す運行情報を受信機8183に送信する。例えば、バスの行き先と、その行き先のバスがバス停留所に到着する時刻と、そのバスの現在地などを示す運行情報が受信機8183に送信される。受信機8183は、その運行情報を受信すると、その運行情報によって示される内容をディスプレイに表示する。
ここで、例えば、互いに異なる行き先のバスがそのバス停留所に止まる場合には、送信機8190は、それらの行き先のバスに関する運行情報を送信する。受信機8183は、それらの運行情報を受信すると、それらの運行情報の中から、ユーザによって利用される頻度の多い行き先のバスの運行情報を選択し、その運行情報によって示される内容をディスプレイに表示する。具体的には、受信機8183は、例えばGPSなどを用いることによって、ユーザによって利用されたバスの行き先を特定し、その行き先の履歴を記録している。受信機8183は、この履歴を参照することによって、ユーザによって利用される頻度の多い行き先のバスの運行情報を選択する。または、受信機8183は、それらの運行情報の中から、ユーザの操作によって選択された運行情報によって示される内容をディスプレイに表示してもよい。または、受信機8183は、ユーザの操作によって選択された頻度の多い行き先のバスの運行情報を優先的に表示してもよい。
図73は、実施の形態3における送信機および受信機の動作の一例を示す図である。
例えばサイネージとして構成されている送信機8191は、輝度変化することによって、複数の店舗の情報を受信機8183に送信する。この情報は、複数の店舗に関する情報を纏めたものであって、各店舗に固有の情報ではない。したがって、受信機8183は、撮像によってその情報を受信すると、1つの店舗だけでなく複数の店舗に関する情報を表示することができる。ここで、受信機8183は、それらの複数の店舗に関する情報のうち、撮像範囲に含まれている店舗(例えば、「B shop」)に関する情報を選択し、その選択された情報を表示する。また、受信機8183は、その情報を表示する際には、その情報を表すための言語を、予め登録されている言語に翻訳し、その翻訳された言語でその情報を表示する。また、送信機8191には、受信機8183のイメージセンサ(カメラ)による撮像を促すメッセージが文字などによって表示されていてもよい。具体的には、専用のアプリケーションプログラムを起動させて、カメラで撮像を行えば、情報の提供を受けることができることを知らせるメッセージ(例えば「カメラで情報をGET」など)が送信機8191に表示される。
図74は、実施の形態3における送信機および受信機の動作の一例を示す図である。
例えば、受信機8183は、複数の人物8197および街灯8195を含む被写体を撮像する。街灯8195は、輝度変化によって情報を送信する送信機8195aを備えている。この撮像によって、受信機8183は、送信機8195aの像が上述の輝線模様として表れた画像を取得する。さらに、受信機8183は、その輝線模様によって示されるIDに関連付けられているARオブジェクト8196aを例えばサーバなどから取得する。そして、受信機8183は、通常撮影によって得られる通常撮影画像8196にそのARオブジェクト8196aを重畳し、そのARオブジェクト8196aが重畳された通常撮影画像8196を表示する。
図75Aは、実施の形態3における送信機によって送信される情報の構成の一例を示す図である。
例えば、送信機によって送信される情報は、プリアンブル部と、固定長のデータ部と、チェック部とからなる。受信機は、チェック部を用いてデータ部のチェックを行い、これらの各部分からなる情報を正常に受信する。ここで、受信機は、プリアンブル部とデータ部とを受信し、チェック部を受信することができなかったときには、そのチェック部を用いたチェックを省略する。このようなチェックが省略される場合であっても、受信機は、それらの各部分からなる情報を正常に受信することができる。
図75Bは、実施の形態3における送信機によって送信される情報の構成の他の例を示す図である。
例えば、送信機によって送信される情報は、プリアンブル部と、チェック部と、可変長のデータ部とからなる。送信機によって送信される次の情報も、プリアンブル部と、チェック部と、可変長のデータ部とからなる。ここで、受信機は、受信中に、プリアンブル部を受信して、さらに次のプリアンブル部を受信したときに、先のプリアンブル部から次のプリアンブル部の直前までの情報を、1つの意味を成す情報として認識する。また、受信機は、チェック部を用いることによって、そのチェック部の次に受信されるデータ部の終端を特定してもよい。この場合には、受信機は、上述の次のプリアンブル部(プリアンブル部の全てまたは一部)を受信することができなくても、直前に送信された1つの意味を成す情報を適切に受信することができる。
図76は、実施の形態3における送信機による4値PPM変調方式の一例を示す図である。
送信機は、4値PPM変調方式によって、送信対象の信号を輝度変化のパターンに変調する。このとき、送信機は、送信対象の信号がどのような信号であっても、輝度変化する光の明るさを一定に保つことができる。
例えば、明るさを75%に保つ場合には、送信機は、送信対象の信号「00」、「01」、「10」および「11」のそれぞれを、連続する4つのスロットのうちの何れか1つが輝度L(Low)を示し、残りの3つが輝度H(High)を示す輝度変化のパターンに変調する。具体的には、送信機は、送信対象の信号「00」を、1番目のスロットが輝度Lを示し、2〜4番目のスロットが輝度Hを示す輝度変化のパターン(L、H、H、H)に変調する。つまり、この輝度変化では、1番目のスロットと2番目のスロットとの間に輝度の立ち上がりがある。これと同様に、送信機は、送信対象の信号「01」を、2番目のスロットが輝度Lを示し、1番目、3番目および4番目のスロットが輝度Hを示す輝度変化のパターン(H、L、H、H)に変調する。つまり、この輝度変化では、2番目のスロットと3番目のスロットとの間に輝度の立ち上がりがある。
また、明るさを50%に保つ場合には、送信機は、送信対象の信号「00」、「01」、「10」および「11」のそれぞれを、4つのスロットのうちの何れか2つが輝度L(Low)を示し、残りの2つが輝度H(High)を示す輝度変化のパターンに変調する。具体的には、送信機は、送信対象の信号「00」を、1番目および4番目のスロットが輝度Lを示し、2番目および3番目のスロットが輝度Hを示す輝度変化のパターン(L、H、H、L)に変調する。つまり、この輝度変化では、1番目のスロットと2番目のスロットとの間に輝度の立ち上がりがある。これと同様に、送信機は、送信対象の信号「01」を、1番目および2番目のスロットが輝度Lを示し、3番目および4番目のスロットが輝度Hを示す輝度変化のパターン(L、L、H、H)に変調する。または、送信機は、送信対象の信号「01」を、2番目および4番目のスロットが輝度Lを示し、1番目および3番目のスロットが輝度Hを示す輝度変化のパターン(H、L、H、L)に変調する。つまり、これらの輝度変化では、2番目のスロットと3番目のスロットとの間に輝度の立ち上がりがある。
また、明るさを25%に保つ場合には、送信機は、送信対象の信号「00」、「01」、「10」および「11」のそれぞれを、4つのスロットのうちの何れか3つが輝度L(Low)を示し、残りの1つが輝度H(High)を示す輝度変化のパターンに変調する。具体的には、送信機は、送信対象の信号「00」を、1番目、3番目および4番目のスロットが輝度Lを示し、2番目のスロットが輝度Hを示す輝度変化のパターン(L、H、L、L)に変調する。つまり、この輝度変化では、1番目のスロットと2番目のスロットとの間に輝度の立ち上がりがある。これと同様に、送信機は、送信対象の信号「01」を、1番目、2番目および4番目のスロットが輝度Lを示し、3番目のスロットが輝度Hを示す輝度変化のパターン(L、L、H、L)に変調する。つまり、この輝度変化では、2番目のスロットと3番目のスロットとの間に輝度の立ち上がりがある。
送信機は、上述のような4値PPM変調方式によって、ちらつきを抑えることができるとともに、明るさを段階的に容易に調節することができる。また、受信機は、輝度の立ち上がりの位置を特定することによって、その輝度変化のパターンを適切に復調することができる。なお、受信機は、4つのスロットからなるスロット群と、次のスロット群との間の境界における輝度の立ち上がりの有無を、輝度変化のパターンの復調に利用することなく無視する。
図77は、実施の形態3における送信機によるPPM変調方式の一例を示す図である。
送信機は、図76に示す4値PPM変調方式と同様に、送信対象の信号を輝度変化のパターンに変調するが、スロットごとに輝度をLとHとに切り替えることなく、PPM変調を行ってもよい。つまり、送信機は、図76に示す連続する4つのスロットの時間幅(以下、単位時間幅という)における輝度の立ち上がり位置を、送信対象の信号に応じて切り替えることによって、PPM変調を行う。例えば、送信機は、図77に示すように、送信対象の信号「00」を、単位時間幅のうちの25%の位置で輝度が立ち上がるような輝度変化のパターンに変調する。これと同様に、送信機は、図77に示すように、送信対象の信号「01」を、単位時間幅のうちの50%の位置で輝度が立ち上がるような輝度変化のパターンに変調する。
また、送信機は、明るさを75%に保つ場合には、送信対象の信号「00」を、上述の単位時間幅における0〜25%の位置で輝度Lを示し、25〜100%の位置で輝度Hを示す輝度変化のパターンに変調する。ここで、送信機は、明るさを99%に保つ場合には、送信対象の信号「00」を、上述の単位時間幅における24〜25%の位置で輝度Lを示し、0〜24%の位置および25〜100%の位置で輝度Hを示す輝度変化のパターンに変調する。同様に、送信機は、明るさを1%に保つ場合には、送信対象の信号「00」を、上述の単位時間幅における0〜25%の位置および26〜100%の位置で輝度Lを示し、25〜26%の位置で輝度Hを示す輝度変化のパターンに変調する。
このように、スロットごとに輝度をLとHとに切り替えることなく、単位時間幅の任意の位置で輝度をLとHとに切り替えることによって、明るさを連続的に調節することができる。
図78は、実施の形態3における送信機におけるPPM変調方式の一例を示す図である。
送信機は、図77に示すPPM変調方式と同様に変調を行うが、送信対象の信号がどのような信号であっても、その信号を、単位時間幅の最初には必ず輝度Hを示し、且つ単位時間幅の最後には必ず輝度Lを示す輝度変化のパターンに変調する。これにより、単位時間幅と次の単位時間幅との境界には輝度の立ち上がりが発生するため、受信機は、その境界を適切に特定することができる。したがって、受信機および送信機はクロックのズレを補正することができる。
図79Aは、実施の形態3におけるヘッダ(プリアンブル部)に対応する輝度変化のパターンの一例を示す図である。
送信機は、例えば図75Aおよび図75Bに示すヘッダ(プリアンブル部)を送信する場合には、図79Aに示すパターンにしたがって輝度変化する。つまり、ヘッダが7スロットで構成される場合には、送信機は、L、H、L、H、L、H、Hによって示されるパターンにしたがって輝度変化する。また、ヘッダが8スロットで構成される場合には、送信機は、H、L、H、L、H、L、H、Hによって示されるパターンにしたがって輝度変化する。これらのパターンは、図76に示す輝度変化のパターンと区別できるため、これらのパターンによって示される信号がヘッダであることを受信機に明確に知らせることができる。
図79Bは、実施の形態3における輝度変化のパターンの一例を示す図である。
図76に示すように、4値PPM変調方式では、明るさを50%に保った状態で、データ部に含まれる送信対象の信号「01」を変調する場合には、送信機は、その信号を、2つのパターンのうちのいずれかのパターンに変調する。つまり、L、L、H、Hによって示される第1のパターン、または、H、L、H、Lによって示される第2のパターンに変調する。
ここで、ヘッダに対応する輝度変化のパターンが図79Aに示すようなパターンである場合、送信機は、上述の送信対象の信号「01」を、L、L、H、Hによって示される第1のパターンに変調することが望ましい。例えば、上述のデータ部に含まれる送信対象の信号「11,01,11」は、上記第1のパターンを用いた場合には、「H、H、L、L、L、L、H、H、H、H、L、L」のパターンに変調される。一方、上記第2のパターンを用いた場合には、上述のデータ部に含まれる送信対象の信号「11,01,11」は、「H、H、L、L、H、L、H、L、H、H、L、L」のパターンに変調される。この場合、そのパターン「H、H、L、L、H、L、H、L、H、H、L、L」には、図79Aに示す、7スロットによって構成されるヘッダのパターンと同じパターンが含まれる。したがって、ヘッダとデータ部との区別を明確にするために、上述の送信対象の信号「01」を第1のパターンに変調することが望ましい。
図80Aは、実施の形態3における輝度変化のパターンの一例を示す図である。
図76に示すように、4値PPM変調方式では、送信対象の信号「11」を変調する場合には、送信機は、輝度の立ち上がりが生じないように、その信号を「H、H、H、L」のパターン、「H、H、L、L」のパターン、または「H、L、L、L」のパターンに変調する。しかし、図80Aに示すように、送信機は、明るさを調整するために、送信対象の信号「11」を、「H、H、H、H」のパターンまたは「L、L、L、L」のパターンに変調してもよい。
図80Bは、実施の形態3における輝度変化のパターンの一例を示す図である。
図76に示すように、4値PPM変調方式では、明るさを75%に保って、送信対象の信号「11,00」を変調する場合には、送信機は、その信号を「H、H、H、L、L、H、H、H」のパターンに変調する。しかし、輝度Lが連続して発生しようとする場合には、輝度Lが連続しないように、連続する輝度Lのうち、最後の輝度L以外の輝度をHに変更してもよい。この場合、送信機は、その信号「11,00」を「H、H、H、H、L、H、H、H」のパターンに変調する。
これにより、輝度Lが連続しないため、送信機の負荷を抑えることができる。また、送信機に備えられるコンデンサの容量を小さくすることができ、制御回路の容積を小さくすることができる。さらに、送信機の光源の負荷が小さいため、光源を作りやすくすることができる。さらに、送信機の電力効率を高めることができる。また、輝度Lが連続しないことが保証されるため、受信機はその輝度変化のパターンを容易に復調することができる。
(本実施の形態のまとめ)
本実施の形態における情報通信方法は、輝度変化によって信号を送信する情報通信方法であって、送信対象の信号を変調することによって、輝度変化のパターンを決定する決定ステップと、発光体が、決定された前記パターンにしたがって輝度変化することによって前記送信対象の信号を送信する送信ステップとを含み、前記輝度変化のパターンは、予め定められた時間幅における任意の各位置に、互いに異なる2つの輝度値のうちの一方が出現するパターンであって、前記決定ステップでは、送信対象の互いに異なる信号のそれぞれに対して、前記時間幅における輝度の立ち上がり位置または立ち下がり位置である輝度変化位置が互いに異なり、且つ、前記時間幅における前記発光体の輝度の積分値が、予め設定された明るさに応じた同一の値となるように、前記輝度変化のパターンを決定する。
例えば、図77に示すように、送信対象の互いに異なる信号「00」、「01」、「10」および「11」のそれぞれに対して、輝度の立ち上がり位置(輝度変化位置)が互いに異なり、且つ、予め定められた時間幅(単位時間幅)における発光体の輝度の積分値が、予め定められた明るさ(例えば99%または1%など)に応じた同一の値となるように、輝度変化のパターンが決定される。これにより、送信対象の信号のそれぞれに対して、発光体の明るさを一定に保つことができ、ちらつきを抑えることができるとともに、その発光体を撮像する受信機は、輝度変化位置に基づいて、その輝度変化のパターンを適切に復調することができる。また、輝度変化のパターンは、単位時間幅における任意の各位置に、互いに異なる2つの輝度値(輝度H(High)または輝度L(Low))のうちの一方が出現するパターンであるため、発光体の明るさを連続的に変化させることができる。
また、前記情報通信方法は、さらに、複数の画像のそれぞれを順に切り替えて表示する画像表示ステップを含み、前記決定ステップでは、前記画像表示ステップで画像が表示されるごとに、表示されている画像に対応する識別情報を前記送信対象の信号として変調することによって、前記識別情報に対する輝度変化のパターンを決定し、前記送信ステップでは、前記画像表示ステップで画像が表示されるごとに、表示されている画像に対応する識別情報に対して決定された輝度変化のパターンにしたがって前記発光体が輝度変化することによって前記識別情報を送信してもよい。
これにより、例えば図65に示すように、画像が表示されるごとに、表示されている画像に対応する識別情報が送信されるため、ユーザは、表示される画像に基づいて、受信機に受信させる識別情報を容易に選択することができる。
また、前記送信ステップでは、前記画像表示ステップで画像が表示されるごとに、さらに、過去に表示された画像に対応する識別情報に対して決定された輝度変化のパターンにしたがって前記発光体が輝度変化することによって前記識別情報を送信してもよい。
これにより、例えば図66に示すように、表示される画像が切り替わったために、切り替わり前に送信された識別信号を受信機が受信できなかった場合でも、現在表示されている画像に対応する識別情報とともに、過去に表示された画像に対応する識別情報も送信されるため、切り替わり前に送信された識別情報を、改めて受信機で適切に受信することができる。
また、前記決定ステップでは、前記画像表示ステップで画像が表示されるごとに、表示されている画像に対応する識別情報と、前記画像が表示されている時刻とを前記送信対象の信号として変調することによって、前記識別情報および前記時刻に対する輝度変化のパターンを決定し、前記送信ステップでは、前記画像表示ステップで画像が表示されるごとに、表示されている画像に対応する識別情報および時刻に対して決定された輝度変化のパターンにしたがって前記発光体が輝度変化することによって前記識別情報および前記時刻を送信し、さらに、過去に表示された画像に対応する識別情報および時刻に対して決定された輝度変化のパターンにしたがって前記発光体が輝度変化することによって前記識別情報および前記時刻を送信してもよい。
これにより、例えば図66に示すように、画像が表示されるごとに、複数のID時刻情報(識別情報および時刻からなる情報)が送信されるため、受信機は、受信された複数のID時刻情報の中から、過去に送信されて受信できなかった識別信号を、そのID時刻情報のそれぞれに含まれる時刻に基づいて容易に選択することができる。
また、前記発光体は、それぞれ発光する複数の領域を有し、前記複数の領域のうち互いに隣接する領域の光が相互に干渉し、前記複数の領域のうちの1つだけが、決定された前記輝度変化のパターンにしたがって輝度変化する場合、前記送信ステップでは、前記複数の領域のうちの端に配置された領域だけが、決定された前記輝度変化のパターンにしたがって輝度変化してもよい。
これにより、例えば図59Bの(a)に示すように、端に配置された領域(発光部)だけが輝度変化するため、端以外に配置された領域だけが輝度変化する場合と比べて、他の領域からの光によるその輝度変化への影響を抑えることができる。その結果、受信機は、撮影によって、その輝度変化のパターンを適切に捉えることができる。
また、前記複数の領域のうちの2つだけが、決定された前記輝度変化のパターンにしたがって輝度変化する場合、前記送信ステップでは、前記複数の領域のうちの端に配置された領域と、前記端に配置された領域に隣接する領域とが、決定された前記輝度変化のパターンにしたがって輝度変化してもよい。
これにより、例えば図59Bの(b)に示すように、端に配置された領域(発光部)と、その端に配置された領域に隣接する領域(発光部)とが輝度変化するため、互いに離れた領域が輝度変化する場合と比べて、空間的に連続して輝度変化する範囲の面積を広く保つことができる。その結果、受信機は、撮影によって、その輝度変化のパターンを適切に捉えることができる。
本実施の形態における情報通信方法は、被写体から情報を取得する情報通信方法であって、前記被写体の撮影に用いられるイメージセンサの位置を示す位置情報を送信する位置情報送信ステップと、前記位置情報によって示される位置に対応付けられた、複数の識別情報を含むIDリストを受信するリスト受信ステップと、前記イメージセンサによる前記被写体の撮影によって得られる画像に、前記イメージセンサに含まれる露光ラインに対応する輝線が前記被写体の輝度変化に応じて生じるように、前記イメージセンサの露光時間を設定する露光時間設定ステップと、前記イメージセンサが、輝度変化する前記被写体を、設定された前記露光時間で撮影することによって、前記輝線を含む輝線画像を取得する画像取得ステップと、取得された前記輝線画像に含まれる前記輝線のパターンによって特定されるデータを復調することにより情報を取得する情報取得ステップと、取得された前記情報を含む識別情報を前記IDリストから検索する検索ステップとを含む。
これにより、例えば図61に示すように、予めIDリストが受信されているため、取得された情報「 bc 」が識別情報の一部だけであっても、IDリストに基づいて適切な識別情報「abcd」を特定することができる。
また、前記検索ステップにおいて、取得された前記情報を含む識別情報が一意に特定されない場合には、前記画像取得ステップおよび前記情報取得ステップを繰り返し行うことによって、新たな情報を取得し、前記情報通信方法は、さらに、取得された前記情報と、前記新たな情報とを含む識別情報を前記IDリストから検索する再検索ステップを含んでもよい。
これにより、例えば図61に示すように、取得された情報「 b 」が識別情報の一部だけであって、その情報だけでは識別情報が一意に特定されない場合であっても、新たな情報「 c 」が取得されるため、その新たな情報とIDリストに基づいて適切な識別情報「abcd」を特定することができる。
本実施の形態における情報通信方法は、被写体から情報を取得する情報通信方法であって、イメージセンサによる前記被写体の撮影によって得られる画像に、前記イメージセンサに含まれる露光ラインに対応する輝線が前記被写体の輝度変化に応じて生じるように、前記イメージセンサの露光時間を設定する露光時間設定ステップと、前記イメージセンサが、輝度変化する前記被写体を、設定された前記露光時間で撮影することによって、前記輝線を含む輝線画像を取得する画像取得ステップと、取得された前記輝線画像に含まれる前記輝線のパターンによって特定されるデータを復調することにより識別情報を取得する情報取得ステップと、取得された前記識別情報と、前記イメージセンサの位置を示す位置情報とを送信する送信ステップと、前記位置情報によって示される位置に対応付けられた、複数の識別情報を含むIDリストに、取得された前記識別情報がない場合には、エラーを通知するためのエラー通知情報を受信するエラー受信ステップとを含む。
これにより、例えば図63に示すように、取得された識別情報がIDリストにない場合には、エラー通知情報を受信するため、そのエラー通知情報を受信した受信機のユーザは、その取得された識別情報に関連付けられた情報を得ることができないことを容易に把握することができる。
(実施の形態4)
本実施の形態では、上記実施の形態1〜3におけるスマートフォンなどの受信機と、LEDや有機ELなどの点滅パターンとして情報を送信する送信機とを用いた、シチュエーションごとの適用例について説明する。
<シチュエーション:店前>
まず、送信機として構成されている広告用の看板を掲げている店舗の前に、受信機を携帯したユーザがいるシチュエーションでの適用例について、図81〜図85を用いて説明する。
図81は、店前のシチュエーションでの受信機の動作の一例を示す図である。
例えば、ユーザは、スマートフォンとして構成される受信機8300(端末装置)を携帯しながら歩いているときに、店舗の看板8301を見つける。この看板8301は、上記実施の形態1〜3の何れかの送信機のように輝度変化によって信号を送信する送信機(被写体)である。ここで、ユーザは、その店舗に興味があり、且つ、その看板8301が輝度変化によって信号を送信していると判断すると、受信機8300を操作することによって、その受信機8300の可視光通信用のアプリケーションソフトウェア(以下、通信アプリケーションという)を起動させる。
図82は、店前のシチュエーションでの受信機8300の動作の他の例を示す図である。
受信機8300は、ユーザによる操作を受け付けることなく、通信アプリケーションを自動的に起動させてもよい。例えば、受信機8300は、GPSまたは9軸センサなどを利用することによって自らの現在地を検出し、看板8301に対して予め定められた特定領域にその現在地が入ったか否かを判断する。なお、この特定領域は看板8301の周辺の領域である。そして、受信機8300は、受信機8300の現在地がその特定領域に入ったと判断すると、通信アプリケーションを起動させる。また、受信機8300は、その受信機8300を突き出する動作、または受信機8300を回転させる動作を、内蔵された9軸センサなどを利用することによって検出し、通信アプリケーションを起動させてもよい。これにより、ユーザの操作を省くことができ、使い勝手を向上することができる。
図83は、店前のシチュエーションでの受信機8300の次の動作の一例を示す図である。
上述のように通信アプリケーションを起動させた受信機8300は、輝度変化によって信号を送信する送信機として構成された看板8301を撮像(可視光撮影)する。つまり、受信機8300は看板8301と可視光通信を行う。
図84は、店前のシチュエーションでの受信機8300の次の動作の一例を示す図である。
受信機8300は、上述の撮像によって、輝線を含む画像を取得する。そして、受信機8300は、その輝線のパターンによって特定されるデータを復調することにより、看板8301の機器IDを取得する。つまり、受信機8300は、実施の形態1〜3における可視光撮影または可視光通信によって、看板8301から機器IDを取得する。さらに、受信機8300は、その機器IDをサーバに送信し、その機器IDに関連付けられた広告情報(サービス情報)をサーバから取得する。
なお、受信機8300は、事前に保持している複数の広告情報の中から、その機器IDに関連付けられた広告情報を取得してもよい。この場合には、受信機8300は、受信機8300の現在地が上述の特定領域に入ったと判断したときに、その特定領域または現在地をサーバに通知し、その特定領域に対応する全ての機器IDと、その機器IDの各々に関連付けられた広告情報とをサーバから事前に取得してこれらを保持(キャッシュ)しておく。これにより、受信機8300は、その特定領域内において看板8301の機器IDを取得したときには、その機器IDに対応する広告情報をわざわざサーバに要求することなく、予め保持している各機器IDに関連付けられた広告情報の中から、その看板8301の機器IDに関連付けられた広告情報を迅速に取得することができる。
受信機8300は、看板8301の機器IDに関連付けられた広告情報を取得すると、その広告情報を表示する。例えば、受信機8300は、看板8301によって示される店舗のクーポンと、空席状況と、それらと同一の内容を示すバーコードとを表示する。
ここで、受信機8300は、可視光通信によって、機器IDだけでなく特典データもその看板8301から取得してもよい。この特典データは、例えばランダムID(乱数)、あるいは、その特典データが送信される時刻または時間帯などを示す。受信機8300は、特典データを取得したときには、機器IDとともにその特典データもサーバに送信する。そして、受信機8300は、その機器IDおよび特典データに関連付けられた広告情報をサーバから取得する。これにより、受信機8300は、特典データに応じて異なる広告情報を受けることができる。例えば、受信機8300は、看板8301を撮像したときの時間帯が早朝であれば、早朝割引のクーポンを示す広告情報を取得して表示することができる。つまり、同じ看板による広告に、特典データ(時間帯など)に応じた変化を付けることができる。その結果、ユーザは、時間帯などに適したサービスの提供を受けることができる。なお、本実施の形態では、サービス情報などの情報のユーザへの提示(表示)をサービスの提供という。
また、受信機8300は、可視光通信によって、看板8301の空間的な配置を高精度(誤差1m以内)に示す3次元情報を機器IDとともにその看板8301から取得してもよい。あるいは、受信機8300は、その機器IDに関連付けられた3次元情報をサーバから取得してもよい。また、受信機8300は、3次元情報の代わりに、または、3次元情報とともに、看板8301の大きさを示すサイズ情報を取得してもよい。受信機8300は、そのサイズ情報を取得すると、そのサイズ情報によって示される看板8301の大きさと、撮像によって得られた画像に映し出された看板8301の大きさとの差に基づいて、受信機8300から看板8301までの距離を算出することができる。
また、受信機8300は、可視光通信によって取得した機器IDをサーバに送信する際には、自らに予め保持されている保持情報(付属情報)を機器IDとともにサーバに送信してもよい。例えば、保持情報は、受信機8300のユーザの個人情報(性別または年齢など)またはユーザIDである。このような保持情報を機器IDとともに受信したサーバは、その機器IDに関連付けられた少なくとも1つの広告情報のうち、その保持情報(個人情報またはユーザID)に対応付けられた広告情報を受信機8300に送信する。つまり、受信機8300は、個人情報などに合った店舗の広告情報、または、ユーザIDに対応する店舗の広告情報などを受け取ることができる。その結果、ユーザは、より有益なサービスの提供を受けることができる。
あるいは、保持情報は、受信機8300に事前に設定された受信条件を示す。この受信条件は、例えば店舗が飲食店の場合には来客人数である。このような保持情報を機器IDとともに受信したサーバは、その機器IDに関連付けられた少なくとも1つの広告情報のうち、その受信条件(来客人数)に対応付けられた広告情報を受信機8300に送信する。つまり、受信機8300は、来客人数に合った店舗の広告情報、具体的には、その来客人数に対する空席状況を示す情報を受け取ることができる。また、店舗は、来店人数や曜日・時間帯に応じて割引率を変更した広告情報を表示させることで、集客と利益の最適化を図ることができる。
あるいは、保持情報は、受信機8300で事前に検出された現在地を示す。このような保持情報を機器IDとともに受信したサーバは、その機器IDに関連付けられた広告情報だけでなく、その保持情報によって示される現在地(現在地とその周辺)に対応する他の機器IDと、他の機器IDに関連付けられた広告情報とを受信機8300に送信する。これにより、受信機8300は、他の機器IDと、他の機器IDに関連付けられた広告情報とをキャッシュしておくことができる。したがって、受信機8300がその現在地(現在地とその周辺)において他の送信機との間で可視光通信を行ったときには、サーバにアクセスすることなく、他の送信機の機器IDに関連付けられた広告情報を素早く取得することができる。
図85は、店前のシチュエーションでの受信機8300の次の動作の一例を示す図である。
受信機8300は、上述のようにサーバから広告情報を取得すると、例えば、その広告情報によって示される空席状況として、「空席有り」と記述されたボタンを表示する。ここで、ユーザがボタン「空席有り」に指を触れる操作を行うと、受信機8300は、その操作結果をサーバに通知する。サーバは、その通知を受けると、看板8301の店舗に対する仮予約を行い、その仮予約が完了したことを受信機8300に通知する。受信機8300は、サーバからその通知を受けると、ボタン「空席有り」の代わりに、仮予約が完了したことを示す文字列「仮予約」を表示する。受信機8300は、看板8301によって示される店舗のクーポンと、仮予約したことを証明する文字列「仮予約」と、それらと同一の内容を示すバーコードとを含む画像を事前取得画像としてメモリに格納しておく。
ここで、サーバは、図84および図85を用いて説明した動作によって、看板8301と受信機8300との間で行われた可視光通信に関する情報をロギングすることができる。つまり、サーバは、可視光通信を行った送信機(看板)の機器ID、可視光通信が行われた場所(受信機8300の現在地)、可視光通信が行われた時間帯などを示す特典データ、および、可視光通信を行った受信機8300のユーザの個人情報などをロギングすることができる。サーバは、ロギングされたこれらの情報のうちの少なくとも1つを用いて、看板8301の価値、つまり店舗の広告および宣伝に対する看板8301の寄与の度合いを広告効果として解析することができる。
<シチュエーション:店内>
次に、受信機8300を携帯したユーザが、表示された広告情報(サービス情報)に対応する店舗に入ったシチュエーションでの適用例について、図86〜図94を用いて説明する。
図86は、店内のシチュエーションでの表示装置の動作の一例を示す図である。
例えば、上述の看板8301と可視光通信を行った受信機8300のユーザは、表示された広告情報に対応する店舗に入る。このとき、受信機8300は、可視光通信を用いて表示された広告情報に対応する店舗にユーザが入ったこと(入店)を検知する。例えば、受信機8300は、看板8301と可視光通信を行った後に、看板8301の機器IDに関連付けられた店舗の所在地を示す店舗情報をサーバから取得する。そして、受信機8300は、GPSまたは9軸センサなどを利用して得られる受信機8300の現在地がその店舗情報によって示される店舗の所在地に入ったか否かを判断する。ここで、受信機8300は、現在地が店舗の所在地に入ったと判断することによって、上述の入店を検知する。
そして、受信機8300は、入店を検知すると、例えばサーバなどを介して表示装置8300bに入店を通知する。あるいは、受信機8300は可視光通信または無線通信によって入店を表示装置8300bに通知する。表示装置8300bは、その通知を受けると、その店舗で提供される商品または役務のメニューなどを示す商品役務情報を取得し、その商品役務情報によって示される上記メニューを表示する。なお、表示装置8300bは、受信機8300のユーザまたは店舗の店員によって携帯される携帯端末であっても、店舗に備えられている装置であってもよい。
図87は、店内のシチュエーションでの表示装置8300bの次の動作の一例を示す図である。
ユーザは、表示装置8300bに表示されているメニューの中から、所望の商品を選択する。つまり、ユーザは、メニューの中の、所望の商品の名称が表示されている部分に指を触れる操作を行う。これにより、表示装置8300bは商品選択の操作結果を受け付ける。
図88は、店内のシチュエーションでの表示装置8300bの次の動作の一例を示す図である。
商品選択の操作結果を受け付けた表示装置8300bは、選択された商品を表す画像およびその商品の値段を表示する。これにより、表示装置8300bは、選択された商品のユーザへの確認を促す。なお、上述の商品を表す画像、および商品の値段を示す情報などは、例えば上述の商品役務情報に含まれている。
図89は、店内のシチュエーションでの受信機8300の次の動作の一例を示す図である。
確認を促されたユーザは、その商品を注文するための操作を行う。受信機8300は、その操作が行なわれると、電子決済に必要な決済情報を、表示装置8300bまたはサーバを介して店舗のPOS(Pint of Sale)システムに通知する。さらに、受信機8300は、その店舗の看板8301との可視光通信を利用して取得されて格納されている上述の事前取得画像があるか否かを判断する。受信機8300は、その事前取得画像があると判断すると、その事前取得画像を表示する。
なお、本シチュエーションでは、表示装置8300bを用いたが、表示装置8300bを用いることなく、受信機8300が表示装置8300bによる処理を代わりに行ってもよい。この場合、受信機8300は、入店を検知すると、その店舗で提供される商品または役務のメニューなどを示す商品役務情報をサーバから取得し、その商品役務情報によって示される上記メニューを表示する。また、受信機8300は、商品を注文するための操作を受け付けると、注文された商品と、電子決済に必要な決済情報とを、サーバを介して店舗のPOSシステムに通知する。
図90は、店内のシチュエーションでの受信機8300の次の動作の一例を示す図である。
店舗の店員は、その受信機8300に表示されている事前取得画像のバーコードに、POSシステムのバーコードスキャナ8302を当てる。バーコードスキャナ8302は、その事前取得画像のバーコードを読み込む。その結果、POSシステムは、そのバーコードによって示されるクーポンに応じた電子決済を行う。そして、POSシステムのバーコードスキャナ8302は、電子決済が完了したことを示す決済完了情報を輝度変化によって受信機8300に送信する。つまり、バーコードスキャナ8302は、可視光通信の送信機としての機能も有する。受信機8300は、可視光通信によって決済完了情報を取得すると、その決済完了情報を表示する。この決済完了情報は、例えば「お買い上げありがとうございます」というメッセージと、決済された金額とを示す。このような電子決済が行われることによって、POSシステム、サーバおよび受信機8300は、店舗の前で表示された広告情報(サービス情報)に対応する店舗で、ユーザがその広告情報によって示されるサービスを利用したと判定することができる。
以上のように、図86〜図90に示すような受信機8300およびPOSシステムなどの動作によって、店内における商品の注文が行われる。したがって、ユーザは、店舗に入れば、表示装置8300bまたは受信機8300に自動的に表示されるその店舗のメニューから商品の注文を行うことできる。つまり、店舗の店員は、メニューをユーザに見せて、ユーザから商品の注文を直接受け付ける必要がない。その結果、店員の負担を大幅に削減することができる。また、上述の例では、バーコードスキャナ8302がバーコードを読み込んだが、バーコードスキャナ8302を用いなくてもよい。例えば、受信機8300は、バーコードに示される情報を、サーバを介してPOSシステムに送信してもよい。そして、受信機8300は、決済完了情報をそのPOSシステムからサーバを介して取得してもよい。これにより、店員による作業をさらに削減することができ、ユーザは店員を通さずに商品の注文を行うことができる。あるいは、表示装置8300bと受信機8300が可視光通信で注文や課金のデータをやりとりしたり、可視光通信によって交換した鍵を用いた無線通信で前記データをやりとりしてもよい。
また、看板8301は、チェーンストアに属する複数の店舗のうちの1つの店舗によって出されている場合がある。このような場合、看板8301との可視光通信を用いて取得される広告情報は、チェーンストアに属する全ての店舗で利用可能である。しかし、同じチェーンストアの中でも、看板8301を出している店舗(広告店舗)と、出していない店舗(非広告店舗)とで、ユーザが受けるサービスに違いを設けてもよい。例えば、ユーザが非広告店舗に入った場合には、ユーザは、事前取得画像に示されるクーポンどおりの割引率(例えば20%)のサービスを受け、ユーザが広告店舗に入った場合には、そのクーポンの割引率よりも高い割引率(例えば30%)のサービスを受ける。つまり、受信機8300は、広告店舗への入店を検知した場合には、10%のさらなる割引を示す付加的なサービス情報をサーバから取得して、30%(20%+10%)の割引率を示す画像を、図89に示す事前取得画像の代わりに表示する。なお、受信機8300は、サーバから取得された上述の店舗情報に基づいて、ユーザが広告店舗に入店したか、非広告店舗に入店したかを検知する。店舗情報には、チェーンストアに属する複数の店舗のそれぞれの所在地とともに、それらの店舗が広告店舗であるか非広告店舗であるかが示されている。
また、同じチェーンストアの中に複数の非広告店舗がある場合には、非広告店舗のそれぞれでユーザが受けるサービスに違いを設けてもよい。例えば、看板8301の位置から、または、看板8301と可視光通信を行ったときの受信機8300の現在地から、非広告店舗までの距離に応じたサービスが、その非広告店舗に入ったユーザに提供される。あるいは、受信機8300と看板8301とが可視光通信を行った時刻と、ユーザが非広告店舗に入った時刻との差(時間差)に応じたサービスが、その非広告店舗に入ったユーザに提供される。つまり、受信機8300は、上述の距離(看板8301の位置)と時間差に応じて異なる、さらなる割引を示す付加的なサービス情報をサーバから取得して、さらなる割引が反映された割引率(例えば30%)を示す画像を、図89に示す事前取得画像の代わりに表示する。なお、このようなサービスは、サーバまたはPOSシステムによって、あるいは、これらが相互に連携することによって決定される。また、このようなサービスは、広告店舗および非広告店舗の区別なく、チェーンストアに属する全ての店舗に対して適用してもよい。
また、ユーザが非広告店舗に入って、広告情報を利用した注文を行った場合には、非公告店舗のPOSシステムは、注文によって得られた金額の一部を、広告店舗のPOSシステムに還元してもよい。
さらに、サーバは、広告情報が表示されるごとに、その広告情報が利用されたか否かを判定することができ、その判定された結果を集積することによって、看板8301の広告効果を解析することができる。また、サーバは、さらに、看板8301の位置、広告情報が表示された時刻、広告情報が利用された店舗の位置、広告情報が利用された時刻、およびユーザの入店の時刻のうち、少なくとも1つを集積することによって、看板8301の広告効果の解析精度の向上を図ることができるとともに、広告効果が最も高い看板8301の位置を見つけることができる。
また、受信機8300は、広告情報が商品注文に利用された利用回数分のさらなる割引を示す付加的なサービス情報をサーバから取得して、その利用回数分のさらなる割引が反映された割引率(例えば30%)を示す画像を、図89に示す事前取得画像の代わりに表示してもよい。例えば、サーバは、利用回数が多ければ、割引率をさらに高くするようなサービスをPOSシステムと連携して行ってもよい。
また、サーバは、店舗によって出されている全ての看板8301の機器IDのそれぞれに関連付けられた広告情報が受信機8300によって受信された場合(全ての広告情報の取得がコンプリートされた場合)には、得得サービスを、その看板8301の店舗に入ったユーザに提供してもよい。得得サービスは、例えば、割引率が極めて高いサービスや、注文商品以外の商品を無料で提供するサービスである。つまり、受信機8300がユーザの入店を検知すると、サーバは、その店舗に関連付けられている全ての看板のそれぞれに対しても受信機8300が可視光通信などを含む処理を行ったか否かを判定する。そして、その処理を行ったと判定された場合には、受信機8300は、さらなる割引を示す付加的なサービス情報を上述の得得サービスとしてサーバから取得して、さらなる割引が反映された割引率(例えば50%)を示す画像を、図89に示す事前取得画像の代わりに表示する。
また、受信機8300は、看板8301と可視光通信を行って広告情報を表示した時刻と、ユーザが店舗に入った時刻との差に応じて異なる、さらなる割引率を示す付加的なサービス情報をサーバから取得して、さらなる割引が反映された割引率(例えば30%)を示す画像を、図89に示す事前取得画像の代わりに表示してもよい。例えば、受信機8300は、その差が小さいほど高い割引率を示す付加的なサービス情報をサーバから取得する。
図91は、店内のシチュエーションでの受信機8300の次の動作の一例を示す図である。
注文および電子決済を終えた受信機8300は、店舗内の照明機器として構成される送信機から輝度変化によって送信される信号を受信し、その信号をサーバに送信することによって、ユーザの座席位置(例えば黒丸)を示す店舗内の案内図を取得する。さらに、受信機8300は、上記実施の形態1〜3の何れかと同様に、その受信された信号を用いて受信機8300の位置を特定する。そして、受信機8300は、特定された受信機8300の位置(例えば星印)を案内図中に表示する。これにより、ユーザは、店舗内をどのように進めば自らの座席に行けるかを容易に把握することができる。
また、受信機8300は、ユーザが移動しているときにも、店舗内の照明機器として構成される近くの送信機と可視光通信を行うことによって、上述のような受信機8300の位置の特定を随時行っている。したがって、受信機8300は、表示されている受信機8300の位置(例えば星印)を逐次更新する。これにより、ユーザを座席まで適切に案内することができる。
図92は、店内のシチュエーションでの受信機8300の次の動作の一例を示す図である。
受信機8300は、ユーザが座席に着くと、照明機器として構成される送信機8303と可視光通信を行うことによって、受信機8300の位置を特定し、その位置がユーザの座席位置にあると判断する。そして、受信機8300は、ユーザ名またはニックネームとともに、座席に着いたことを、サーバを介して店舗内の端末に通知する。これにより、店員は、どの座席にどのユーザが座っているかを把握することができる。
図93は、店内のシチュエーションでの受信機8300の次の動作の一例を示す図である。
送信機8303は、輝度変化することによって、顧客IDと、注文商品ができたことを知らせるメッセージとを含む信号を送信する。なお、受信機8300は、例えば、商品のメニューなどを示す商品役務情報をサーバから取得するときに、上述の顧客IDもサーバから取得して保持している。受信機8300は、送信機8303を可視光撮影することによって上述の信号を受信する。さらに、受信機8300は、その信号に含まれる顧客IDが、予め保持している顧客IDと一致するか否かを判定する。ここで、受信機8300は、一致すると判定すると、その信号に含まれるメッセージ(例えば「商品ができました」)を表示する。
図94は、店内のシチュエーションでの受信機8300の次の動作の一例を示す図である。
注文商品をユーザの座席に届けた店員は、その注文商品を届けたことを証明するために、ハンディーターミナル8302aを受信機8300に向ける。ハンディーターミナル8302aは、送信機として構成されており、注文商品を届けたことを示す信号を受信機8300に輝度変化によって送信する。受信機8300は、ハンディーターミナル8302aを撮像することによって、その信号を受信し、その信号によって示されるメッセージ(例えば、「お食事をお楽しみください」)を表示する。
<シチュエーション:店探し>
次に、受信機8300を携帯したユーザが興味のある店舗を探しているシチュエーションでの適用例について、図95〜図97を用いて説明する。
図95は、店探しのシチュエーションでの受信機8300の動作の一例を示す図である。
ユーザは、興味のある飲食店が掲載されたサイネージ8304を見つける。このとき、ユーザは、そのサイネージ8304が輝度変化によって信号を送信していると判断すると、図81に示す例と同様に、受信機8300を操作することによって、その受信機8300の通信アプリケーションを起動させる。なお、図82に示す例と同様に、受信機8300は通信アプリケーションを自動的に起動させてもよい。
図96は、店探しのシチュエーションでの受信機8300の次の動作の一例を示す図である。
受信機8300は、サイネージ8304の全体、または、サイネージ8304のうち、ユーザが興味をもつ飲食店が掲載されている部分を撮像することによって、そのサイネージ8304またはその飲食店を識別するためのIDを受信する。
図97は、店探しのシチュエーションでの受信機8300の次の動作の一例を示す図である。
受信機8300は、上述のIDを受信すると、そのIDをサーバに送信し、そのIDに関連付けられた広告情報(サービス情報)をサーバから取得して表示する。このとき、受信機8300は、そのIDとともに、飲食店に入る予定の人数(付属情報)をサーバに通知してもよい。これにより、受信機8300は、その人数に応じた広告情報を取得することができる。例えば、受信機8300は、その通知された人数分の空席がその飲食店にあるか否かを示す広告情報を取得することができる。
<シチュエーション:映画広告>
次に、受信機8300を携帯したユーザが、興味のある映画広告が掲載されたサイネージの前にいるシチュエーションでの適用例について、図98〜図101を用いて説明する。
図98は、映画広告のシチュエーションでの受信機8300の動作の一例を示す図である。
ユーザは、興味のある映画広告が掲載されたサイネージ8305と、例えば液晶ディスプレイとして構成され、映画広告用の動画像を表示するサイネージ8306とを見つける。サイネージ8305は、例えば、映画広告を示す画像が描かれた透過性のフィルムと、そのフィルムの背面側に配置されてそのフィルムを照らす複数のLEDとを備えている。つまり、このサイネージ8305は、複数のLEDの発光によって、フィルムに描かれた画像を静止画像として明るく表示する。また、このサイネージ8305は、輝度変化することによって信号を送信する送信機として構成されている。
ここで、ユーザは、そのサイネージ8305が輝度変化によって信号を送信していると判断すると、図81に示す例と同様に、受信機8300を操作することによって、その受信機8300の通信アプリケーションを起動させる。なお、図82に示す例と同様に、受信機8300は通信アプリケーションを自動的に起動させてもよい。
図99は、映画広告のシチュエーションでの受信機8300の次の動作の一例を示す図である。
受信機8300は、サイネージ8305を撮像することによって、そのサイネージ8305のIDを取得する。そして、受信機8300は、そのIDをサーバに送信し、そのIDに関連付けられた映画広告用の動画像データをサービス情報としてサーバからダウンロードして再生する。
図100は、映画広告のシチュエーションでの受信機8300の次の動作の一例を示す図である。
上述のようにダウンロードされた動画像データの再生によって表示される動画像は、例えばサイネージ8306によって表示される動画像と同一である。したがって、ユーザは、映画広告用の動画像を見たい場合には、サイネージ8306の前に立ち止まっていることなく、任意の場所でその動画像を見ることができる。
図101は、映画広告のシチュエーションでの受信機8300の次の動作の一例を示す図である。
受信機8300は、動画像データだけでなく、その動画像データとともに映画の上映時間などを示す上映情報もサービス情報としてダウンロードしてもよい。これにより、受信機8300は、上映情報の内容を表示してユーザに通知することができるとともに、その上映情報を他の端末(他のスマートフォンなど)と共有することができる。
<シチュエーション:美術館>
次に、受信機8300を携帯したユーザが美術館に入って館内の各展示物を鑑賞するシチュエーションでの適用例について、図102〜図107を用いて説明する。
図102は、美術館のシチュエーションでの受信機8300の動作の一例を示す図である。
ユーザは、例えば美術館に入館しようとしたときに、その美術館の入口に掛けられた案内掲示板8307を見つける。このとき、ユーザは、その案内掲示板8307が輝度変化によって信号を送信していると判断すると、図81に示す例と同様に、受信機8300を操作することによって、その受信機8300の通信アプリケーションを起動させる。なお、図82に示す例と同様に、受信機8300は通信アプリケーションを自動的に起動させてもよい。
図103は、美術館のシチュエーションでの受信機8300の次の動作の一例を示す図である。
受信機8300は、案内掲示板8307を撮像することによって、その案内掲示板8307のIDを取得する。そして、受信機8300は、そのIDをサーバに送信し、そのIDに関連付けられたサービス情報として、その美術館の案内用アプリケーションプログラム(以下、美術館アプリという)をサーバからダウンロードして起動させる。
図104は、美術館のシチュエーションでの受信機8300の次の動作の一例を示す図である。
受信機8300は、美術館アプリが起動すると、その美術館アプリにしたがって、美術館内の案内図を表示する。さらに、受信機8300は、上記実施の形態1〜3の何れかと同様に、受信機8300の美術館における位置を特定する。そして、受信機8300は、特定された受信機8300の位置(例えば星印)を案内図中に表示する。
受信機8300は、上述のように位置を特定するためには、例えば、美術館アプリをダウンロードする際に、案内掲示板8307の大きさおよび形状などを示す形態情報をサーバから取得しておく。そして、受信機8300は、その形態情報によって示される案内掲示板8307の大きさおよび形状と、上述の撮像によって得られた画像に映し出された案内掲示板8307の大きさおよび形状とに基づいて、三角測量の方法などにしたがって、案内掲示板8307に対する受信機8300の相対的な位置を特定する。
図105は、美術館のシチュエーションでの受信機8300の次の動作の一例を示す図である。
上述のように美術館アプリを起動させた受信機8300は、美術館内にユーザが入ると、美術館内にある照明機器として構成される近くの送信機と可視光通信を行うことによって、受信機8300の位置の特定を随時行う。例えば、受信機8300は、照明機器として構成された送信機8308を撮像することによって、その送信機8308から送信機8308のIDを取得する。そして、受信機8300は、そのIDに関連付けられた、送信機8308の位置を示す位置情報と、送信機8308の大きさおよび形状などを示す形態情報をサーバから取得する。そして、受信機8300は、その形態情報によって示される送信機8308の大きさおよび形状と、上述の撮像によって得られた画像に映し出された送信機8308の大きさおよび形状とに基づいて、三角測量の方法などにしたがって、送信機8308に対する受信機8300の相対的な位置を推定する。また、受信機8300は、サーバから取得された位置情報によって示される送信機8308の位置と、上述のように推定された受信機8300の相対的な位置とに基づいて、受信機8300の美術館における位置を特定する。
そして、受信機8300は、受信機8300の位置の特定が行われるごとに、特定された最新の位置に、表示されている星印を移動させる。これによって、美術館に入っているユーザは、受信機8300に表示されている案内図と星印とを見れば、自分が美術館のどこにいるのかを容易に把握することができる。
図106は、美術館のシチュエーションでの受信機8300の次の動作の一例を示す図である。
美術館内に入ったユーザは、興味のある展示物8309を見つけると、受信機8300がその展示物8309を撮像することができるように、その受信機8300を展示物8309にかざす動作を行う。ここで、展示物8309は、照明機器8310による光によって照らし出されている。また、照明機器8310は、展示物8309に対して専用に用いられるものであり、輝度変化によって信号を送信する送信機として構成されている。したがって、展示物8309は、輝度変化する光によって照らし出され、照明機器8310からの信号を間接的に送信している。
受信機8300は、例えば内蔵された9軸センサからの出力に基づいて、受信機8300を展示物8309にかざす動作を検出すると、その展示物8309を撮像することによって、照明機器8310からの信号を受信する。この信号は、例えば展示物8309のIDなどを示す。そして、受信機8300は、そのIDに関連付けられた展示物8309の紹介情報(サービス情報)をサーバから取得する。この紹介情報は、展示物8309を紹介するための図を示すとともに、その紹介のための文章を、日本語、英語、およびフランス語などの各国の言語によって示す。
受信機8300は、紹介情報をサーバから取得すると、その紹介情報によって示される図と文章とを表示する。ここで、受信機8300は、文章を表示するときには、各国の言語の文章の中から、ユーザによって予め設定されている言語の文章を抽出し、その言語の文章のみを表示する。また、受信機8300は、ユーザによる選択操作によって、その言語を変更してもよい。
図107は、美術館のシチュエーションでの受信機8300の次の動作の一例を示す図である。
受信機8300は、紹介情報の図および文章の表示がユーザの操作によって終了されると、再び、照明機器として構成された近くの送信機(例えば、照明機器8311)と可視光通信を行うことによって、受信機8300の位置の特定を行う。そして、受信機8300は、受信機8300の新たな位置が特定されると、その特定された新たな位置に、表示されている星印を移動させる。これによって、展示物8309を鑑賞したユーザは、受信機8300に表示されている案内図と星印とを見ることによって、次に鑑賞したい展示物へ容易に移動することができる。
<シチュエーション:バス停留所>
次に、受信機8300を携帯したユーザがバス停留所にいるシチュエーションでの適用例について、図108〜図109を用いて説明する。
図108は、バス停留所のシチュエーションでの受信機8300の動作の一例を示す図である。
ユーザは、例えば、バスに乗車するためにバス停留所に行く。そこで、ユーザは、そのバス停留所にある標識塔8312が輝度変化によって信号を送信していると判断すると、図81に示す例と同様に、受信機8300を操作することによって、その受信機8300の通信アプリケーションを起動させる。なお、図82に示す例と同様に、受信機8300は通信アプリケーションを自動的に起動させてもよい。
図109は、バス停留所のシチュエーションでの受信機8300の次の動作の一例を示す図である。
受信機8300は、標識塔8312を撮像することによって、その標識塔8312があるバス停留所のIDを取得する。そして、受信機8300は、そのIDをサーバに送信し、そのIDに関連付けられた運行状況情報をサーバから取得する。なお、この運行状況情報は交通状況を示す情報であって、ユーザに提供されるサービスを示すサービス情報である。
ここで、サーバは、そのバス停留所を含む地域において運行している各バスから情報を収集することによって、それらのバスの運行状況を管理している。したがって、サーバは、受信機8300からバス停留所のIDを取得したときには、管理されている運行状況に基づいて、そのIDのバス停留所にバスが到着するまでの時間を推定し、その推定された時間を示す運行状況情報を受信機8300に送信する。
運行状況情報を取得した受信機8300は、その運行状況情報によって示される時間を、例えば「到着まで後10分」のように表示する。これにより、ユーザはバスの運行状況を容易に把握することができる。
(補足)
撮像側の走査方向が携帯端末の垂直方向(上下方向)である場合に、露光時間を短くして撮像すると、LEDの照明装置全体のON/OFFに対して、図110の(a)のように、走査方向と同じ方向に白・黒のパターンである輝線を撮像することができる。図110の(a)では、縦長のLED照明装置の長辺方向を、撮像側の走査方向に対して垂直になるように撮像しているため(携帯端末の左右方向)、走査方向と同じ方向に、多数の白・黒パターンの輝線を撮像することができる。即ち、送受信可能な情報量を大きくすることができる。一方、図110の(b)のように、縦長のLED照明装置を、撮像側の走査方向に対して平行になるように撮像した場合(携帯端末の上下方向)、撮像できる白・黒パターンの輝線は少なくなる。即ち、送信可能な情報量が小さくなる。
このように、撮像側の走査方向に対するLED照明装置の向きによって、多数の白・黒パターンの輝線が撮像できる場合(縦長のLED照明装置の長辺方向を、撮像側の走査方向に対して垂直になるように撮像した場合)と、少数の白・黒パターンの輝線の撮像しかできない場合(縦長のLED照明装置の長辺方向を、撮像側の走査方向に対して平行にした場合)とが生じる。
本実施の形態では、少数の白・黒パターンの輝線しか撮像できない場合であっても、多数の輝線を撮像可能な照明装置の制御方法について説明する。
図111に縦方向に複数のLEDを配した照明装置と、その駆動信号の一例を示す。図111の(a)は、縦方向に複数のLEDを配した照明装置である。各LED素子が可視光通信信号を符号化した横縞の最小単位に相当するものとし、符号化したON/OFF信号に相当するものとする。このように、白・黒のパターンを生成し、各LED素子をON/OFFして、照明することにより、撮像側の走査方向と、縦長のLED照明装置の長辺方向が並行であったとして、LED素子単位の白・黒パターンを撮影することが可能となる。
図111の(c)および(d)は、白・黒のパターンを生成し、各LED素子をON/OFFして照明する例を示している。照明装置において、白・黒のパターンとして照明すると、短時間であっても、明かりにムラが生じる場合がある。そのため、逆位相のパターンを生成し、交互に照明する例を示したものが、図111の(c)および(d)になる。図111の(c)において、ONになっていた素子は、図111の(d)において、OFFとなっており、図111の(c)において、OFFになっていた素子は、図111の(d)において、ONとなっている。このように、白・黒のパターンを、正位相のパターンと、逆位相のパターンを順次交互に、照明することにより、明かりのムラを生じさせることなく、かつ、撮像側の走査方向と、照明装置の向きとの関係に影響を受けず、可視光通信において多くの情報を送受信することが可能となる。また、正位相のパターン、逆位相のパターンの2種類のパターンを交互に生成し、照明する場合に限らず、3種類以上のパターンを生成し、照明することも考えられる。図112は、4種類のパターンを順次照明する例を示している。
通常は、LED照明全体で点滅を行い(図111の(b))、所定時間だけ、白・黒パターンを生成し、LED素子単位で照明する構成も考えられる。例えば、所定のデータ単位の送受信の時間は、LED照明全体で点滅を行い、その後、短時間で、LED素子単位で白・黒パターンを照明する構成が考えられる。ここで、所定のデータ単位は、例えば、第1のヘッダから、次の第2のヘッダのまでのデータ単位をいう。このとき、図110の(a)の方向で撮像した場合はLED照明全体での点滅を撮像した輝線から信号を受信し、図110の(b)の方向で受信した場合はLED素子単位での発光パターンから信号を受信する。
なお、本実施の形態は、LED照明装置に限定するものではなく、LED素子と同じように、小さな素子単位でON/OFFを制御できる素子であればどのような素子であってもよい。また、照明装置に限らず、テレビや、プロジェクターや、サイネージなどの装置であってもよい。
また、本実施の形態では、白・黒パターンで照明する例について説明したが、白・黒パターンではなく色を用いても良い。例えば、RGBのうち、RGは常時点灯させ、Bだけ使って点滅させてもよい。RやGよりもBだけ使うほうが人間に認識されにくく、ちらつきを抑制することが可能となる。他の例として、白・黒パターンの代わりに加法混色において補色になる色(赤とシアンのパターン、緑とマゼンタのパターン、黄と青のパターンなど)を使って、ON/OFFを表示させてもよい。加法混色において補色になる色を用いることにより、ちらつきを抑制することが可能となる。
また、本実施の形態では、LED素子を1次元に配置する例を用いて説明したが、LED素子を1次元に並べるのではなく、2次元に配置して、2次元バーコードのように表示を行ってもよい。
(本実施の形態のまとめ)
本実施の形態におけるサービス提供方法は、複数の露光ラインを有するイメージセンサを備える端末装置を用いて、前記端末装置のユーザにサービスを提供するサービス提供方法であって、前記イメージセンサの各露光ラインの露光を順次異なる時刻で開始し、かつ、前記各露光ラインの露光時間が、隣接する露光ラインとの間で、部分的に時間的な重なりを持つように、1/480秒以下の露光時間で被写体の撮影を行うことにより画像データを取得する画像取得ステップと、前記画像データに現れる、前記各露光ラインに対応する輝線パターンを復調することにより、前記被写体の識別情報を取得する可視光通信ステップと、前記被写体の識別情報に関連付けられているサービス情報を前記ユーザに提示するサービス提示ステップとを含む。
これにより、被写体および端末装置がそれぞれ送信機および受信機として互いに通信することを利用して、端末装置のユーザに被写体に関連したサービス情報が提示されるため、ユーザにとって有益な情報をサービスとしてそのユーザに多様な形態で提供することができる。例えば、前記サービス提示ステップでは、前記被写体に関連する店舗の広告、空席状況または予約状況を示す情報と、商品または役務の価格の割引率を示す情報と、映画広告用の動画像と、上映時間を示す情報と、建物内部を案内するための情報と、展示物を紹介するための情報と、交通状況を示す情報とのうちの少なくも1つを、前記サービス情報として提示する。
また、前記サービス提供方法は、さらに、前記端末装置が前記被写体の識別情報をサーバに送信する識別情報送信ステップと、前記被写体の識別情報に関連付けられている前記サービス情報を前記端末装置が前記サーバから取得するサービス取得ステップとを含み、前記サービス提示ステップでは、取得された前記サービス情報を前記端末装置が前記ユーザに提示してもよい。
これにより、サービス情報を被写体の識別情報に関連付けてサーバに管理させることができるため、サービス情報の更新などのメンテナンスを容易にすることができる。
また、前記識別情報送信ステップでは、前記被写体の識別情報とともに付属情報を前記サーバに送信し、前記サービス取得ステップでは、前記被写体の識別情報と前記付属情報とに関連付けられている前記サービス情報を取得してもよい。
これにより、付属情報に応じた、ユーザにとってより適切なサービスを提供することができる。例えば、図84および図97を用いて説明した動作のように、前記識別情報送信ステップでは、前記ユーザの個人情報、前記ユーザの識別情報、前記ユーザを含むグループの人数を示す人数情報、または、前記端末装置の位置を示す位置情報を、前記付属情報として送信する。
また、前記サービス提供方法は、さらに、前記端末装置の位置を示す位置情報を前記端末装置がサーバに送信する位置送信ステップと、前記位置情報によって示される位置を含む所定の範囲にある少なくとも1つの機器の識別情報と、前記識別情報のそれぞれに関連付けられている少なくとも1つのサービス情報とを、前記端末装置が前記サーバから取得して保持する事前取得ステップとを含み、前記サービス提示ステップでは、前記事前取得ステップで保持された前記少なくとも1つのサービス情報の中から、前記被写体の前記識別情報に関連付けられているサービス情報を前記端末装置が選択して、当該サービス情報を前記ユーザに提示してもよい。
これにより、例えば図82を用いて説明した動作のように、端末装置が被写体の識別情報を取得したときには、その後にサーバなどと通信することなく、予め保持されている少なくとも1つのサービス情報の中から、その被写体の識別情報に関連付けられているサービス情報を取得して提示することができる。したがって、サービスの提供を高速化することができる。
また、前記サービス提供方法は、さらに、前記ユーザの位置を特定することによって、前記サービス提示ステップで提示されたサービス情報に対応する店舗に、前記ユーザが入ったか否かを判別する入店判別ステップと、前記入店判別ステップで、前記ユーザが前記店舗に入ったと判別されたときには、前記店舗の商品または役務に関する商品役務情報を、前記端末装置がサーバから取得して前記ユーザに提示する商品役務提示ステップとを含んでもよい。
これにより、例えば図86〜図90を用いて説明した動作のように、ユーザが店舗に入れば、店舗のメニューなどを商品役務情報としてユーザに自動的に提示することができる。したがって、店舗の店員はメニューなどをユーザに提示する必要がなく、ユーザは店舗に対して簡単に注文を行うことができる。
また、前記サービス提供方法は、さらに、前記ユーザの位置を特定することによって、前記サービス提示ステップで提示されたサービス情報に対応する店舗に、前記ユーザが入ったか否かを判別する入店判別ステップと、前記入店判別ステップで、前記ユーザが前記店舗に入ったと判別されたときには、前記被写体の位置、および、前記サービス情報が提示された時刻のうちの、少なくとも一方に応じて異なる前記店舗の付加的なサービス情報を、前記端末装置が前記ユーザに提示する付加サービス提示ステップとを含んでもよい。
これにより、例えば図86〜図90を用いて説明した処理のように、ユーザが入った店舗から被写体が近いほど、あるいは、ユーザが店舗に入った時刻と、サービス情報が提示された時刻(または被写体の撮影が行われた時刻)とが近いほど、ユーザにとってより有益なサービス情報を付加的なサービス情報としてそのユーザに提示することができる。具体的には、チェーンストアに属する複数の店舗のそれぞれが、サービス提示ステップで提示されたサービス情報に対応する店舗であり、それらの店舗のうちの1つの店舗(広告店舗)によって被写体である看板が出されている場合がある。このような場合には、上記チェーンストアに属する複数の店舗のうち広告店舗は、典型的には、その被写体(看板)に最も近い位置にある。したがって、ユーザが入った店舗から被写体が近いほど、あるいは、ユーザが店舗に入った時刻と、サービス情報が提示された時刻とが近いほど、ユーザが入った店舗が広告店舗である可能性が高い。そこで、ユーザが広告店舗に入った可能性が高い場合には、ユーザにとってより有益なサービス情報を付加的なサービス情報としてそのユーザに提示することができる。
また、前記サービス提供方法は、さらに、前記ユーザの位置を特定することによって、前記サービス提示ステップで提示されたサービス情報に対応する店舗に、前記ユーザが入ったか否かを判別する入店判別ステップと、前記入店判別ステップで、前記ユーザが前記店舗に入ったと判別されたときには、前記ユーザが前記サービス情報によって示されるサービスを前記店舗で利用した回数に応じて異なる前記店舗の付加的なサービス情報を、前記端末装置が前記ユーザに提示する付加サービス提示ステップとを含んでもよい。
これにより、例えば図86〜図90を用いて説明した動作のように、サービスの利用回数が多いほど、ユーザにとってより有益なサービス情報を付加的なサービス情報としてそのユーザに提示することができる。例えば、商品価格の20%割引を示すサービス情報の利用回数が閾値を超えると、10%のさらなる割引を示す付加的なサービス情報をユーザに提示することができる。
また、前記サービス提供方法は、さらに、前記ユーザの位置を特定することによって、前記サービス提示ステップで提示されたサービス情報に対応する店舗に、前記ユーザが入ったか否かを判別する入店判別ステップと、前記入店判別ステップで、前記ユーザが前記店舗に入ったと判別されたときには、前記店舗に関連付けられている、前記被写体以外の全ての他の被写体のそれぞれに対しても、前記画像取得ステップ、前記可視光通信ステップおよび前記サービス提示ステップを含む処理が行われたか否かを判定するコンプリート判定ステップと、前記コンプリート判定ステップで前記処理が行われたと判定されたときには、前記店舗の付加的なサービス情報を、前記端末装置が前記ユーザに提示する付加サービス提示ステップとを含んでもよい。
これにより、例えば図86〜図90を用いて説明した動作のように、例えば店舗が幾つかの被写体を看板として出し、それらの看板の全てに対して画像取得ステップ、可視光通信ステップおよびサービス提示ステップが行なわれている場合には、ユーザにとって最も有益なサービス情報を付加的なサービス情報としてそのユーザに提示することができる。
また、前記サービス提供方法は、さらに、前記ユーザの位置を特定することによって、前記サービス提示ステップで提示されたサービス情報に対応する店舗に、前記ユーザが入ったか否かを判別する入店判別ステップと、前記入店判別ステップで、前記ユーザが前記店舗に入ったと判別されたときには、前記サービス情報が提示された時刻と、前記ユーザが前記店舗に入った時刻との差分に応じて異なる前記店舗の付加的なサービス情報を、前記端末装置が前記ユーザに提示する付加サービス提示ステップとを含んでもよい。
これにより、例えば図86〜図90を用いて説明した動作のように、サービス情報が提示された時刻(または被写体の撮影が行われた時刻)と、ユーザが店舗に入った時刻との差分が小さいほど、ユーザにとってより有益なサービス情報を付加的なサービス情報としてそのユーザに提示することができる。つまり、被写体の撮像によってサービス情報の提示を受けてから入店までの時間が短いユーザに対しては、より有益なサービスを付加的に提供することができる。
また、前記サービス提供方法は、さらに、前記サービス提示ステップで提示されたサービス情報に対応する店舗で、前記ユーザが前記サービス情報によって示されるサービスを利用したか否かを判定する利用判定ステップと、前記サービス情報が提示されるごとに、前記利用判定ステップにおいて判定された結果を集積し、集積された内容に基づいて前記被写体の広告効果を解析する解析ステップとを含んでもよい。
例えば図86〜図90を用いて説明した動作のように、商品価格の20%割引などのサービスがサービス情報に示されている場合に、そのサービスが例えば電子決済によって利用されたか否かが判定される。つまり、被写体の撮像時にユーザにサービスが提供されるごとに、そのサービスが利用されたか否かが判定される。その結果、例えば、利用されたと判定されることが多い場合には、被写体の広告効果は高いと解析することができる。つまり、被写体の広告効果を利用結果に基づいて適切に解析することができる。
また、前記解析ステップでは、前記利用判定ステップにおいて判定された結果とともに、前記被写体の位置、前記サービス情報が提示された時刻、前記店舗の位置、および、前記店舗に前記ユーザが入った時刻のうちの、少なくとも1つを集積し、集積された内容に基づいて前記被写体の広告効果を解析してもよい。
これにより、被写体の広告効果をより詳細に解析することができる。例えば、被写体の位置を変えた場合には、位置を変える前と後とでの広告効果を比較することができ、その結果、広告効果の高い位置に被写体を出すことができる。
また、前記サービス提供方法は、さらに、前記サービス提示ステップで提示されたサービス情報に対応する店舗で、前記ユーザが前記サービス情報によって示されるサービスを利用したか否かを判定する利用判定ステップと、前記利用判定ステップで前記サービスを利用したと判定されたときには、前記サービスが利用された店舗である利用店舗が、前記被写体に関連付けられた特定店舗であるか否かを判定する店舗判定ステップと、前記店舗判定ステップで前記利用店舗が前記特定店舗でないと判定されたときには、前記利用店舗において前記サービスを利用して決済された金額の少なくとも一部を、電子商取引を用いて、前記特定店舗に還元する還元ステップとを含んでもよい。
これにより、例えば図86〜図90を用いて説明した動作のように、特定店舗(例えば、被写体である看板を出している広告店舗)でサービスが利用されない場合であっても、特定店舗は、例えば被写体である看板の設置に対する代償として、利益を得ることができる。
また、前記サービス提示ステップでは、前記画像取得ステップにおいて輝度変化する光に照らされた前記被写体が撮影された場合には、前記被写体を紹介するための前記サービス情報を前記端末装置が前記ユーザに提示し、前記画像取得ステップにおいて輝度変化する照明機器が前記被写体として撮影された場合には、前記被写体が配置された建物内部を案内するための前記サービス情報を前記端末装置が前記ユーザに提示してもよい。
これにより、例えば図105および図106を用いて説明した動作のように、例えば美術館などの館内の案内サービスと、被写体である展示物の紹介サービスとを適切にユーザに提供することができる。
また、本実施の形態における情報通信方法は、複数の発光素子を有する被写体から情報を取得する情報通信方法であって、イメージセンサによる前記被写体の撮影によって得られる画像に、前記イメージセンサに含まれる露光ラインに対応する輝線が前記被写体の輝度変化に応じて生じるように、前記イメージセンサの露光時間を設定する露光時間設定ステップと、第1の情報を示すための輝度変化のパターンにしたがって前記複数の発光素子の全てが同じ態様で輝度変化する前記被写体を、設定された前記露光時間で前記イメージセンサが撮影することによって、前記輝線を含む画像である輝線画像を取得する画像取得ステップと、取得された前記輝線画像に含まれる前記輝線のパターンによって特定されるデータを復調することにより前記第1の情報を取得する第1の情報取得ステップと、前記複数の発光素子のそれぞれが、互いに異なる2つの輝度値のうちの一方の輝度値で発光する前記被写体を撮影し、撮影によって得られる画像に示される、前記露光ラインに平行な方向に沿う輝度の明暗の配列によって特定されるデータを復調することにより第2の情報を取得する第2の情報取得ステップとを含む。
または、本実施の形態における情報通信方法は、輝度変化によって信号を送信する情報通信方法であって、送信対象の第1の信号を変調することによって、輝度変化のパターンを決定する決定ステップと、決定された前記輝度変化のパターンにしたがって、発光体が有する複数の発光素子の全てが同じ態様で輝度変化することによって、前記第1の信号を送信する第1の送信ステップと、前記複数の発光素子のそれぞれが、互いに異なる2つの輝度値のうちの一方の輝度値で発光することにより、前記発光体が配置された空間上に、輝度の明暗の配列を現すことによって、送信対象の第2の信号を送信する第2の送信ステップとを含む。
これにより、例えば図110〜図112を用いて説明した動作のように、被写体または発光体である照明装置が、一列に配列された複数のLEDを備えた細長いものであっても、受信機は、撮影の向きに関わらず、その照明装置からの情報または信号を適切に取得することができる。つまり、受信機に備えられているイメージセンサの露光ライン(撮像側の操作方向)と、複数のLEDの配列方向とが平行でない場合には、受信機は、照明装置の全体の輝度変化から情報または信号を適切に取得することができる。さらに、受信機は、露光ラインと上述の配列方向とが平行である場合でも、受信機は、露光ラインに平行な方向に沿う輝度の明暗の配列から、情報または信号を適切に取得することができる。言い換えれば、情報の受信に対する、撮像の向きの依存性を抑えることができる。
(実施の形態5)
本実施の形態では、上記実施の形態1〜4におけるスマートフォンなどの受信機と、LEDや有機ELなどの点滅パターンとして情報を送信する送信機とを用いた適用例について説明する。
図113は、実施の形態5における送信機の動作の一例を示す図である。
送信機8321、送信機8322および送信機8323はそれぞれ、上記実施の形態1〜4の何れかの送信機と同様の機能を備え、輝度変化によって信号を送信(可視光通信)する照明機器として構成されている。また、これらの送信機8321〜8323はそれぞれ互いに異なる周波数で輝度変化することによって信号を送信する。例えば、送信機8321は、周波数a(例えば9200Hz)で輝度変化することによって、その送信機8321のID「1000」を送信し、送信機8322は、周波数b(例えば9600Hz)で輝度変化することによって、その送信機8322のID「2000」を送信し、送信機8323は、周波数c(例えば10000Hz)で輝度変化することによって、その送信機8322のID「3000」を送信する。
受信機は、これらの送信機8321〜8323が全て画角に含まれるように、送信機8321〜8323を上記実施の形態1〜4と同様に撮像(可視光撮影)する。その撮像によって得られる画像には、各送信機に対応する輝線パターンが現れている。なお、輝線パターンからは、その輝線パターンに対応する送信機の輝度変化の周波数を特定することができる。
ここで、仮に、送信機8321〜8323のそれぞれの周波数が同一である場合には、送信機のそれぞれに対応する輝線パターンから特定される周波数も同一となる。さらに、それらの輝線パターンが互いに隣接している場合には、それらの輝線パターンから特定される周波数が同一であるため、それらの輝線パターンを区別することが難しくなる。
そこで、上述のように、送信機8321〜8323が互いに異なる周波数で輝度変化することによって、受信機は、それらの輝線パターンを容易に区別することができ、それぞれの輝線パターンによって特定されるデータを復調することによって、送信機8321〜8323のそれぞれのIDを適切に取得することができる。つまり、受信機は、送信機8321〜8323からの信号を適切に区別することができる。
なお、送信機8321〜8323のそれぞれの周波数は、リモートコントローラによって設定されてもよく、ランダムに設定されてもよい。また、送信機8321〜8323のそれぞれは、隣の送信機と通信し、隣の通信機の周波数と異なるように、自らの送信機の周波数を自動的に設定してもよい。
図114は、実施の形態5における送信機の動作の一例を示す図である。
上述の例では、送信機のそれぞれが異なる周波数で輝度変化するが、5つ以上の送信機がある場合には、それぞれが異なる周波数で輝度変化しなくてもよい。つまり、5つ以上の送信機のそれぞれは、4種類の周波数のうちの何れか1つの周波数で輝度変化すればよい。
例えば、図114に示すように、5つ以上の送信機のそれぞれに対応する輝線パターン(図114中の矩形領域)が隣接している状況であっても、周波数の種類は送信機の数だけ必要ではなく、4種類(周波数a,b,c,d)あれば、互いに隣接する輝線パターンの周波数を確実に異ならせることができる。このことは、四色問題または四色定理によって理由付けられる。
つまり、本実施の形態では、複数の送信機のそれぞれは、少なくとも4種類の周波数のうちの何れか1つの周波数で輝度変化し、複数の送信機のうちの2つ以上の発光体は、同一の周波数で輝度変化する。また、受信機のイメージセンサの受光面に、その複数の送信機が投影される場合に、その受光面上で互いに隣接する全ての送信機(送信機の像である輝線パターン)間で輝度変化の周波数が異なるように、その複数の送信機のそれぞれは輝度変化する。
図115は、実施の形態5における送信機の動作の一例を示す図である。
送信機は、予め定められた時間単位(スロット)ごとに、高い輝度の光(H)または低い輝度の光(L)を出力することによって輝度変化し、この輝度変化によって信号を送信する。ここで、送信機は、ヘッダとボディとからなるブロックごとに信号を送信する。ヘッダは、例えば図79Aに示すように7スロットを用いて(L,H,L,H,L,H,H)として表現される。そして、ボディは、複数のシンボル(00,01,10または11)からなり、各シンボルは4スロット(4値PPM)を用いて表現される。また、ブロックは、予め定められた数(図115の例では19)のスロットを用いて表現される。また、IDは、例えば4つのブロックのそれぞれに含まれるボディを結合することによって得られるものである。なお、ブロックは33個のスロットを用いて表現されてもよい。
受信機の撮像によって得られる輝線パターンは、そのヘッダに対応するパターン(ヘッダパターン)と、ボディに対応するパターン(データパターン)とを含む。データパターンには、ヘッダパターンと同じパターンが含まれていない。したがって、受信機は、輝線パターンからヘッダパターンを容易に見つけることができ、ヘッダパターンと次のヘッダパターンとの間の画素数(ブロックに対応する露光ラインの数)を計測することができる。受信機は、1ブロックのスロット数(図115の例では19)は周波数に関わらず固定の数に定められているため、この計測された画素数に応じて送信機の周波数(1スロットの時間幅の逆数)を特定することができる。つまり、受信機は、画素数が多いほど低い周波数を特定し、画素数が少ないほど高い周波数を特定する。
このように、受信機は、送信機の撮像によって、その送信機のIDを取得することができるとともに、その送信機の周波数を特定することができる。ここで、受信機は、このように特定される周波数を利用して、取得されたIDが適切なものであるか否かを判定すること、つまり、IDのエラー検出を行うことができる。具体的には、受信機は、IDに対するハッシュ値を算出し、そのハッシュ値と、特定された周波数とを比較する。受信機は、そのハッシュ値と周波数とが一致する場合には、取得されたIDが適切なものであると判定し、一致しない場合には、取得されたIDが不適切なもの(エラー)であると判定する。例えば、受信機は、IDを予め定められた除数で除算した余りをハッシュ値として扱う。逆に言えば、送信機は、送信対象のIDに対するハッシュ値と同じ値の周波数(1スロットの時間幅の逆数)で輝度変化することによって、その送信対象のIDを送信する。
図116は、実施の形態5における送信機および受信機の動作の一例を示す図である。
送信機は、上述のようにハッシュ値と同じ値の周波数を用いるのではなく、任意の周波数を用い、その任意の周波数で輝度変化してもよい。この場合、送信機は、その送信機のIDと異なる値を示す信号を送信する。例えば、送信機のIDが「100」であって、その送信機が任意の周波数として2kHzを用いる場合には、送信機は、IDと周波数とを組み合せた信号「1002」を送信する。同様に、他の送信機のIDが「110」であって、他の送信機が任意の周波数として1kHzを用いる場合には、他の送信機は、IDと周波数とを組み合せた信号「1101」を送信する。
この場合には、受信機は、送信機から送信されて取得された信号のうちの下一桁目の数値を、エラー検出に利用し、残りの桁の数値を送信機のIDとして抽出する。そして、受信機は、輝度パターンから特定された周波数と、取得された信号に含まれる上記下一桁目の数値とを比較する。受信機は、その下一桁目の数値と周波数とが一致する場合には、抽出されたIDが適切なものであると判定し、一致しない場合には、抽出されたIDが不適切なもの(エラー)であると判定する。
これにより、受信機においてエラー検出を可能としながらも、送信機における輝度変化の周波数の設定の自由度を増すことができる。
図117は、実施の形態5における受信機の動作の一例を示す図である。
図117に示すように、受信機による撮像(可視光撮影)によって得られる画像において、輝線パターン8327aと輝線パターン8327bのそれぞれの一部が重なる場合がある。このような場合、受信機は、輝線パターン8327aと輝線パターン8327bとが重なる部分8327cからはデータの復調を行わず、輝線パターン8327aと輝線パターン8327bのそれぞれの部分8327c以外の部分からデータの復調を行う。これにより、受信機は、輝線パターン8327aと輝線パターン8327bのそれぞれから適切なIDを取得することができる。
図118は、実施の形態5における受信機の動作の一例を示す図である。
送信機は、図118の(a)に示すように、例えばブロックごとに、そのブロックを送信するための輝度変化の周波数を切り替える。これにより、受信機は、ブロックとブロックの区切りをさらに容易に判別することができる。
また、送信機は、図118の(b)に示すように、例えばブロックのヘッダを送信するための輝度変化の周波数と、そのブロックのボディを送信するための輝度変化の周波数とを異ならせる。これにより、ボディにヘッダと同じパターンが出現することを抑えることができる。その結果、受信機は、ヘッダとボディの区別をさらに適切に判定することができる。
図119は、実施の形態5における送信機、受信機およびサーバを有するシステムの動作の一例を示す図である。
本実施の形態におけるシステムは、送信機8331と、受信機8332と、サーバ8333とを備える。送信機8331は、上記実施の形態1〜4の何れかの送信機と同様の機能を備え、送信機8331のIDを輝度変化によって送信(可視光通信)する照明機器として構成されている。受信機8332は、上記実施の形態1〜4の何れかの受信機としての機能を備え、送信機8331を撮像(可視光撮影)することによって、その送信機8331から送信機8331のIDを取得する。サーバ8333は、送信機8331および受信機8332と例えばインターネットなどのネットワークを介して通信する。
なお、本実施の形態では、送信機8331のIDは変更されることがなく、固定されている。一方、送信機8331の輝度変化(可視光通信)に用いられる周波数は、設定によって任意に変更可能である。
このようなシステムでは、送信機8331は、まず、輝度変化(可視光通信)に用いられ周波数をサーバ8333に登録する。具体的には、送信機8331は、自らのIDと、その周波数を示す登録周波数情報と、送信機8331に関連する関連情報とをサーバ8333に送信する。サーバ8333は、送信機8331のIDと登録周波数情報と関連情報とを受信すると、これらを関連付けて記録する。つまり、送信機8331のIDと、送信機8331の輝度変化に用いられる周波数と、関連情報とが互いに関連付けられて記録される。これにより、送信機8331の輝度変化に用いられる周波数が登録される。
次に、送信機8331は、その登録された周波数の輝度変化によって、送信機8331のIDを送信する。受信機8332は、送信機8331を撮像することによって、そのIDを取得するとともに、上述と同様に、その送信機8331の輝度変化の周波数を特定する。
次に、受信機8332は、その取得されたIDと、特定された周波数を示す特定周波数情報とをサーバ8333に送信する。サーバ8333は、受信機8332によって送信されたIDおよび特定周波数情報を受信すると、そのIDに関連付けて記録されている周波数(登録周波数情報によって示される周波数)を検索し、その記録されている周波数と、特定周波数情報によって示される周波数とが一致するか否かを判定する。ここで、一致すると判定すると、サーバ8333は、そのIDおよび周波数に関連付けて記録されている関連情報(データ)を受信機8332に送信する。
これにより、受信機8332によって特定される周波数が、サーバ8333に登録された周波数に一致しなければ、サーバ8333から受信機8332に関連情報が送信されることはない。したがって、受信機8332が送信機8331からIDを一度だけでも取得してしまえば、受信機8332がサーバ8333から関連情報をいつでも受け取り可能な状態になってしまうことを、サーバ8333に登録される周波数を随時変更することによって防ぐことができる。つまり、送信機8331は、サーバ8333に登録される周波数(つまり輝度変化に用いられる周波数)を変更することによって、変更前にIDを取得した受信機8332による関連情報の取得を禁止することができる。言い換えれば、周波数の変更によって、関連情報の取得に対して有効期限を設定することができる。例えば、受信機8332のユーザが、送信機8331が設置されたホテルに宿泊した場合、宿泊後にホテルの管理者が周波数を変更する。これによって、受信機8332は、そのユーザが宿泊した日だけ関連情報を取得することができ、宿泊後にその受信機8332が関連情報を取得することを禁止することができる。
なお、サーバ8333は、1つのIDに複数の周波数を関連付けて登録しておいてもよい。例えば、サーバ8333は、登録周波数情報を受信機8332から取得するごとに、常に最新の4つの登録周波数情報によって示される周波数をIDに関連付けて登録する。これにより、過去にIDを取得した受信機8332であっても、周波数が3回変更されるまでは、関連情報をサーバ8333から取得することができる。また、サーバ8333は、登録されている周波数ごとに、その周波数が送信機8331に設定されていた時刻または時間帯を管理しておいてもよい。この場合には、サーバ8333は、IDおよび特定周波数情報を受信機8332から受けたときには、その特定周波数情報によって示される周波数に対して管理されている時間帯などを確認することによって、その受信機8332がIDを取得した時間帯を特定することができる。
図120は、実施の形態5における送信機の構成を示すブロック図である。
送信機8334は、上記実施の形態1〜4の何れかの送信機と同様の機能を備えるとともに、周波数記憶部8335、ID記憶部8336、チェック値記憶部8337、チェック値比較部8338、チェック値算出部8339、周波数算出部8340、周波数比較部8341、送信部8342、およびエラー報知部8343を備えている。
周波数記憶部8335は、輝度変化(可視光通信)に用いられる周波数を記憶している。ID記憶部8336は、送信機8334のIDを記憶している。チェック値記憶部8337は、ID記憶部8336に記憶されているIDが適切なものであるかを判定するためのチェック値を記憶している。
チェック値算出部8339は、ID記憶部8336に記憶されているIDを読み出し、そのIDに対して所定の関数を適用することによって、そのIDに対するチェック値(算出チェック値)を算出する。チェック値比較部8338は、チェック値記憶部8337に記憶されているチェック値を読み出し、そのチェック値と、チェック値算出部8339によって算出された算出チェック値とを比較する。チェック値比較部8338は、算出チェック値がチェック値と異なると判定すると、エラーをエラー報知部8343に通知する。例えば、チェック値記憶部8337は、ID記憶部8336に記憶されているIDが偶数であることを示す値「0」をチェック値として記憶している。チェック値算出部8339は、ID記憶部8336に記憶されているIDを読み出して値「2」で除算することによって、その余りを算出チェック値として算出する。そして、チェック値比較部8338は、チェック値「0」と、上述の除算の余りである算出チェック値とを比較する。
周波数算出部8340は、ID記憶部8336に記憶されているIDを、チェック値算出部8339を介して読み出し、そのIDから周波数(算出周波数)を算出する。例えば、周波数算出部8340は、IDを予め定められた値で除算することによって、その余りを周波数として算出する。周波数比較部8341は、周波数記憶部8335に記憶されている周波数(記憶周波数)と、算出周波数とを比較する。周波数比較部8341は、算出周波数が記憶周波数と異なると判定すると、エラーをエラー報知部8343に通知する。
送信部8342は、周波数算出部8340によって算出された算出周波数で輝度変化することによって、ID記憶部8336に記憶されているIDを送信する。
エラー報知部8343は、チェック値比較部8338および周波数比較部8341のうちの少なくとも一方からエラーが通知されたときには、ブザー音、点滅または点灯などによってエラーを報知する。具体的には、エラー報知部8343は、エラーの報知用にランプを備え、そのランプを点灯または点滅させることによってエラーを報知する。または、エラー報知部8343は、送信機8334の電源スイッチがONに切り替えられたときに、IDなどの信号を送信するために輝度変化する光源を、所定の期間(例えば10秒)だけ、人間が認知し得る周期で点滅させることによってエラーを報知する。
これにより、ID記憶部8336に記憶されているIDと、そのIDから算出される周波数が適切なものであるかがチェックされるため、誤ったIDの送信と、誤った周波数での輝度変化とを防ぐことができる。
図121は、実施の形態5における受信機の構成を示すブロック図である。
受信機8344は、上記実施の形態1〜4の何れかの受信機と同様の機能を備えるとともに、受光部8345、周波数検出部8346、ID検出部8347、周波数比較部8348、および周波数算出部8349を備えている。
受光部8345は、例えばイメージセンサを備え、輝度変化する送信機を撮像(可視光撮影)することによって、輝線パターンを含む画像を取得する。ID検出部8347は、送信機のIDをその画像から検出する。つまり、ID検出部8347は、その画像に含まれる輝線パターンによって特定されるデータを復調することによって、送信機のIDを取得する。周波数検出部8346は、送信機の輝度変化の周波数をその画像から検出する。つまり、周波数検出部8346は、図115を用いて説明した例のように、その画像に含まれる輝線パターンから送信機の周波数を特定する。
周波数算出部8349は、ID検出部8347によって検出されたIDから、例えば上述のようにIDに対して除算を行うことによって、送信機の周波数を算出する。周波数比較部8348は、周波数検出部8346によって検出された周波数と、周波数算出部8349によって算出された周波数とを比較する。ここで、周波数比較部8348は、これらの周波数が異なる場合には、検出されたIDが誤りであると判断し、ID検出部8347に対してIDの検出をやり直させる。これにより、誤ったIDを取得することを防ぐことができる。
図122は、実施の形態5における送信機の動作の一例を示す図である。
送信機は、予め定められた時間単位において輝度変化がある位置を異ならせることによって、シンボル「00,01,10,11」のそれぞれを区別して送信してもよい。
例えば、シンボル「00」を送信するときには、送信機は、時間単位における最初の区間である第1区間だけ輝度変化することによって、そのシンボル「00」を送信する。また、シンボル「01」を送信するときには、送信機は、時間単位における二番目の区間である第2区間だけ輝度変化することによって、そのシンボル「01」を送信する。同様に、シンボル「10」を送信するときには、送信機は、時間単位における三番目の区間である第3区間だけ輝度変化することによって、そのシンボル「10」を送信し、シンボル「11」を送信するときには、送信機は、時間単位における四番目の区間である第4区間だけ輝度変化することによって、そのシンボル「11」を送信する。
このように本実施の形態では、何れのシンボルを送信するときにも、1つの区間内では輝度変化するため、1つの区間(スロット)の全体を低い輝度にしてしまう上述の送信機と比べて、ちらつきを抑えることができる。
図123は、実施の形態5における送信機の動作の一例を示す図である。
送信機は、予め定められた時間単位において輝度変化の有無を異ならせることによって、シンボル「0,1」のそれぞれを区別して送信してもよい。例えば、シンボル「0」を送信するときには、送信機は、時間単位において輝度変化しないことによって、そのシンボル「0」を送信する。また、シンボル「1」を送信するときには、送信機は、時間単位において輝度変化することによって、そのシンボル「1」を送信する。
図124は、実施の形態5における送信機の動作の一例を示す図である。
送信機は、予め定められた時間単位における輝度変化の激しさ(周波数)を異ならせることによって、シンボル「00,01,10,11」のそれぞれを区別して送信してもよい。例えば、シンボル「00」を送信するときには、送信機は、時間単位において輝度変化しないことによって、そのシンボル「00」を送信する。また、シンボル「01」を送信するときには、送信機は、時間単位において輝度変化すること(低い周波数で輝度変化すること)によって、そのシンボル「01」を送信する。また、シンボル「10」を送信するときには、送信機は、時間単位において激しく輝度変化すること(高い周波数で輝度変化すること)によって、そのシンボル「10」を送信する。そして、シンボル「11」を送信するときには、送信機は、時間単位においてさらに激しく輝度変化すること(より高い周波数で輝度変化すること)によって、そのシンボル「11」を送信する。
図125は、実施の形態5における送信機の動作の一例を示す図である。
送信機は、予め定められた時間単位における輝度変化の位相を異ならせることによって、シンボル「0,1」のそれぞれを区別して送信してもよい。例えば、シンボル「0」を送信するときには、送信機は、時間単位において予め定められた位相で輝度変化することによって、そのシンボル「0」を送信する。また、シンボル「1」を送信するときには、送信機は、時間単位において、上記位相と逆の位相で輝度変化することによって、そのシンボル「1」を送信する。
図126は、実施の形態5における送信機の動作の一例を示す図である。
送信機は、IDなどの信号を送信する際には、例えば赤色、緑色、および青色などの色ごとに輝度変化してもよい。これにより、色ごとの輝度変化を認識することができる受信機に対しては、送信機はより多くの情報量の信号を送信することができる。また、何れかの色の輝度変化をクロック合わせに使用してもよい。例えば、赤色の輝度変化をクロック合わせに使用してもよい。この場合、赤色の輝度変化がヘッダとして役割を果たす。その結果、赤色以外の色(緑色および青色)の輝度変化には、ヘッダを用いる必要がなく、冗長なデータの送信を抑えることができる。
図127は、実施の形態5における送信機の動作の一例を示す図である。
送信機は、例えば赤色、緑色および青色などの複数の色を合成することで合成色(例えば白色)の輝度を表現してもよい。つまり、送信機は、赤色、緑色、および青色などの色ごとに輝度変化することによって、合成色の輝度変化を表現する。この合成色の輝度変化によって、上述の可視光通信と同様に、送信対象の信号が送信される。ここで、赤色、緑色および青色のうちの何れか1つ以上の色の輝度を、合成色の予め定められた輝度を表現するための調整用に用いてもよい。これにより、合成色の輝度変化によって信号を送信することができるとともに、赤色、緑色および青色のうちの何れか2つの色の輝度変化によって信号を送信することができる。つまり、送信機は、上述のような合成色(例えば白色)の輝度変化のみ認識可能な受信機に対しても、信号を送信することができるとともに、赤色、緑色および青色などの各色も認識可能な受信機に対しては、より多くの信号を例えば付帯情報として送信することができる。
図128は、実施の形態5における送信機の動作の一例を示す図である。
送信機は4つの光源を備えている。これらの4つの光源(例えばLED電灯)はそれぞれ、図128に示されるCIExy色度図において互いに異なる位置8351a,8351b,8352a,8352bによって表される色の光を発する。
送信機は、第1点灯送信と第2点灯送信とを切り替えることによって、各信号を送信する。ここで、第1点灯送信は、4つの光源のうち、位置8351aの色の光を発する光源と、位置8351bの色の光を発する光源とを点灯させることによって、信号「0」を送信する処理である。また、第2点灯送信は、位置8352aの色の光を発する光源と、位置8352bの色の光を発する光源とを点灯させることによって、信号「1」を送信する処理である。受信機のイメージセンサは、位置8351a,8351b,8352a,8352bのそれぞれによって表される色を識別することができるため、受信機は信号「0」と信号「1」とを適切に受信することができる。
ここで、第1点灯送信が行われているときには、CIExy色度図において位置8351a,8351bの中間にある位置によって表される色が人間の目に映る。同様に、第2点灯送信が行われているときには、CIExy色度図において位置8352a,8352bの中間にある位置によって表される色が人間の目に映る。したがって、4つの光源の色および輝度を適切に調整することによって、位置8351a,8351bの中間にある位置と、位置8352a,8352bの中間にある位置とを(位置8353に)一致させることができる。これにより、第1点灯送信と第2点灯送信とが切り替えられても、人間の目には、送信機の発光色が固定されていように映るため、人間がちらつきを感じることを抑えることができる。
図129は、実施の形態5における送信機および受信機の動作の一例を示す図である。
送信機は、ID記憶部8361、乱数生成部8362、加算部8363、暗号部8364、および送信部8365を備えている。ID記憶部8361は、送信機のIDを記憶している。乱数生成部8362は、一定時間ごとに異なる乱数を生成する。加算部8363は、ID記憶部8361に記憶されているIDに対して、乱数生成部8362によって生成された最新の乱数を組み合わせ、その結果を編集IDとして出力する。暗号部8364は、その編集IDに対して暗号化を行うことによって暗号化編集IDを生成する。送信部8365は輝度変化することによって、その暗号化編集IDを受信機に送信する。
受信機は、受信部8366、復号部8367およびID取得部8368を備えている。受信部8366は、送信機を撮像(可視光撮影)することによって、暗号化編集IDを送信機から受信する。復号部8367は、その受信された暗号化編集IDを復号することによって編集IDを復元する。ID取得部8368は、復元された編集IDからIDを抽出することによってそのIDを取得する。
例えば、ID記憶部8361はID「100」を記憶しており、乱数生成部8362は最新の乱数「817」を生成する(例1)。この場合、加算部8363は、ID「100」に対して乱数「817」を組み合わせることによって、編集ID「100817」を生成して出力する。暗号部8364は、その編集ID「100817」に対して暗号化を行うことによって、暗号化編集ID「abced」を生成する。受信機の復号部8367は、その暗号化編集ID「abced」を復号することによって、編集ID「100817」を復元する。そして、ID取得部8368は、復元された編集ID「100817」からID「100」を抽出する。言い換えれば、ID取得部8368は、編集IDの下3桁を削除することによって、ID「100」を取得する。
次に、乱数生成部8362は新たな乱数「619」を生成する(例2)。この場合、加算部8363は、ID「100」に対して乱数「619」を組み合わせることによって、編集ID「100619」を生成して出力する。暗号部8364は、その編集ID「100619」に対して暗号化を行うことによって、暗号化編集ID「difia」を生成する。送信機の復号部8367は、その暗号化編集ID「difia」を復号することによって、編集ID「100619」を復元する。そして、ID取得部8368は、復元された編集ID「100619」からID「100」を抽出する。言い換えれば、ID取得部8368は、編集IDの下3桁を削除することによって、ID「100」を取得する。
このように、送信機はIDを単純に暗号化することなく、一定時間ごとに変更される乱数が組み合わされたものを暗号化するため、送信部8365から送信される信号から簡単にIDが解読されることを防ぐことができる。つまり、単純に暗号化されたIDが送信機から受信機に何度か送信される場合には、そのIDが暗号化されていても、そのIDが同じであれば、送信機から受信機に送信される信号も同じであるため、そのIDが解読される可能性がある。しかし、図129に示す例では、一定時間ごとに変更される乱数がIDに組み合わされて、その乱数が組み合わされたIDが暗号化される。したがって、同じIDが受信機に何度か送信される場合でも、それらのIDの送信のタイミングが異なれば、送信機から受信機へ送信される信号を異ならせることができる。その結果、IDが容易に解読されるのを防ぐことができる。
図130は、実施の形態5における送信機および受信機の動作の一例を示す図である。
送信機は、ID記憶部8371、計時部8372、加算部8373、暗号部8374、および送信部8375を備えている。ID記憶部8371は、送信機のIDを記憶している。計時部8372は計時し、現在日時(現在の年月日および時刻)を出力する。加算部8373は、ID記憶部8371に記憶されているIDに対して、計時部8372から出力された現在日時を送信日時として組み合わせ、その結果を編集IDとして出力する。暗号部8374は、その編集IDに対して暗号化を行うことによって暗号化編集IDを生成する。送信部8375は輝度変化することによって、その暗号化編集IDを受信機に送信する。
受信機は、受信部8376、復号部8377、有効判定部8378、および計時部8379を備えている。受信部8376は、送信機を撮像(可視光撮影)することによって、暗号化編集IDを送信機から受信する。復号部8377は、その受信された暗号化編集IDを復号することによって編集IDを復元する。計時部8379は計時し、現在日時(現在の年月日および時刻)を出力する。有効判定部8378は、復元された編集IDからIDを抽出することによってそのIDを取得する。さらに、有効判定部8378は、復元された編集IDから送信日時を抽出し、その送信日時と、計時部8379から出力された現在日時とを比較することによって、そのIDの有効性を判定する。例えば、有効判定部8378は、送信日時と現在日時との差が予め定められた時間よりも長い場合、または、送信日時が現在日時よりも新しい場合には、そのIDが無効であると判定する。
例えば、ID記憶部8371はID「100」を記憶しており、計時部8372は現在日時「201305011200」(2013年5月1日12時0分)を送信日時として出力する(例1)。この場合、加算部8373は、ID「100」に対して送信日時「201305011200」を組み合わせることによって、編集ID「100201305011200」を生成して出力する。暗号部8374は、その編集ID「100201305011200」に対して暗号化を行うことによって、暗号化編集ID「ei39ks」を生成する。受信機の復号部8377は、その暗号化編集ID「ei39ks」を復号することによって、編集ID「100201305011200」を復元する。そして、有効判定部8378は、復元された編集ID「100201305011200」からID「100」を抽出する。言い換えれば、有効判定部8378は、編集IDの下12桁を削除することによって、ID「100」を取得する。さらに、有効判定部8378は、復元された編集ID「100201305011200」から送信日時「201305011200」を抽出する。そして、有効判定部8378は、送信日時「201305011200」が、計時部8379から出力された現在日時よりも古く、その送信日時と現在日時との差が例えば10分以内であれば、そのID「100」が有効であると判定する。
一方、ID記憶部8371はID「100」を記憶しており、計時部8372は現在日時「201401011730」(2014年1月1日17時30分)を送信日時として出力する(例2)。この場合、加算部8373は、ID「100」に対して送信日時「201401011730」を組み合わせることによって、編集ID「100201401011730」を生成して出力する。暗号部8374は、その編集ID「100201401011730」に対して暗号化を行うことによって、暗号化編集ID「002jflk」を生成する。受信機の復号部8377は、その暗号化編集ID「002jflk」を復号することによって、編集ID「100201401011730」を復元する。そして、有効判定部8378は、復元された編集ID「100201401011730」からID「100」を抽出する。言い換えれば、有効判定部8378は、編集IDの下12桁を削除することによって、ID「100」を取得する。さらに、有効判定部8378は、復元された編集ID「100201401011730」から送信日時「201401011730」を抽出する。そして、有効判定部8378は、送信日時「201401011730」が、計時部8379から出力された現在日時よりも新しければ、そのID「100」が無効であると判定する。
このように、送信機はIDを単純に暗号化することなく、一定時間ごとに変更される現在日時が組み合わされたものを暗号化するため、送信部8375から送信される信号から簡単にIDが解読されることを防ぐことができる。つまり、単純に暗号化されたIDが送信機から受信機に何度か送信される場合には、そのIDが暗号化されていても、そのIDが同じであれば、送信機から受信機に送信される信号も同じであるため、そのIDが解読される可能性がある。しかし、図130に示す例では、一定時間ごとに変更される現在日時がIDに組み合わされて、その現在日時が組み合わされたIDが暗号化される。したがって、同じIDが受信機に何度か送信される場合でも、それらのIDの送信のタイミングが異なれば、送信機から受信機へ送信される信号を異ならせることができる。その結果、IDが容易に解読されるのを防ぐことができる。
さらに、暗号化編集IDが送信された送信日時と現在日時とを比較することによって、取得されたIDが有効か否かが判定されるため、IDの有効性を送受信の時間に基づいて管理することができる。
なお、図129および図130に示す受信機は、暗号化編集IDを取得すると、その暗号化編集IDをサーバに送信し、そのサーバからIDを取得してもよい。
(駅での案内)
図131は、電車のホームにおける本発明の利用形態の一例を示したものである。ユーザが、携帯端末を電子掲示板や照明にかざし、可視光通信により、電子掲示板に表示されている情報、または、電子掲示板の設置されている駅の電車情報・駅の構内情報などを取得する。ここでは、電子掲示板に表示されている情報自体が、可視光通信により、携帯端末に送信されてもよいし、電子掲示板に対応するID情報が携帯端末に送信され、携帯端末が取得したID情報をサーバに問い合わせることにより、電子掲示板に表示されている情報を取得してもよい。サーバは、携帯端末からID情報が送信されてきた場合に、ID情報に基づき、電子掲示板に表示されている内容を携帯端末に送信する。携帯端末のメモリに保存されている電車のチケット情報と、電子掲示板に表示されている情報とを対比し、ユーザのチケットに対応するチケット情報が電子掲示板に表示されている場合に、携帯端末のディスプレイに、ユーザの乗車予定の電車が到着するホームへの行き先を示す矢印を表示する。降車時に出口や乗り換え経路に近い車両までの経路を表示するとしてもよい。座席指定がされている場合は、その座席までの経路を表示するとしてもよい。矢印を表示する際には、地図や、電車案内情報における電車の路線の色と同じ色を用いて矢印を表示することにより、より分かりやすく表示することができる。また、矢印の表示とともに、ユーザの予約情報(ホーム番号、車両番号、発車時刻、座席番号)を表示することもできる。ユーザの予約情報を併せて表示することにより、誤認識を防ぐことが可能となる。チケット情報がサーバに保存されている場合には、携帯端末からサーバに問い合わせてチケット情報を取得し対比するか、または、サーバ側でチケット情報と電子掲示板に表示されている情報とを対比することにより、チケット情報に関連する情報を取得することができる。ユーザが乗換検索を行った履歴から目的の路線を推定し、経路を表示してもよい。また、電子掲示板に表示されている内容だけでなく、電子掲示板が設置されている駅の電車情報・構内情報を取得し、対比を行ってもよい。ディスプレイ上の電子掲示板の表示に対してユーザに関連する情報を強調表示してもよいし、書き換えて表示してもよい。ユーザの乗車予定が不明である場合には、各路線の乗り場への案内の矢印を表示してもよい。駅の構内情報を取得した場合には、売店・お手洗いへなどの案内する矢印をディスプレイに表示してもよい。ユーザの行動特性を予めサーバで管理しておき、ユーザが駅構内で売店・お手洗いに立ち寄ることが多い場合に、売店・お手洗いなどへ案内する矢印をディスプレイに表示する構成にしてもよい。売店・お手洗いに立ち寄る行動特性を有するユーザに対してのみ、売店・お手洗いなどへ案内する矢印を表示し、その他のユーザに対しては表示を行わないため処理量を減らすことが可能となる。売店・お手洗いなどへ案内する矢印の色を、ホームへの行き先を案内する矢印と異なる色としてもよい。両方の矢印を同時に表示する際には、異なる色とすることにより、誤認識を防ぐことが可能となる。尚、図131では電車の例を示したが、飛行機やバスなどでも同様の構成で表示を行うことが可能である。
(案内看板の翻訳)
図132は、空港や駅構内、観光地や病院などに設置された電子案内表示板から可視光通信により情報を取得する場合における一例を示したものである。可視光通信により、電子案内表示板から表示内容の情報を取得し、表示内容の情報を携帯端末に設定されている言語情報に翻訳をした上で、携帯端末のディスプレイ上に表示を行う。ユーザの言語に翻訳されて表示されるため、ユーザは容易に情報を理解することができる。言語の翻訳は、携帯端末内で行ってもよいし、サーバにおいて行ってもよい。サーバにおいて翻訳を行う場合には、可視光通信により取得した表示内容の情報と、携帯端末の言語情報をサーバに送信し、サーバにおいて翻訳を行い、携帯端末に送信を行い、携帯端末のディスプレイ上に表示を行ってもよい。また、電子案内表示板からID情報を取得した場合には、ID情報をサーバに送信し、ID情報に対応する表示内容情報をサーバから取得する構成でもよい。更に、携帯端末に保存されている国籍情報やチケット情報や手荷物預入情報に基づき、ユーザが次に向かうべき場所へ案内する矢印を表示してもよい。
(クーポンのポップアップ)
図133は、ユーザが店舗に近づくと、可視光通信により取得したクーポン情報が表示される、または、ポップアップが携帯端末のディスプレイに表示される一例を示したものである。ユーザは、携帯端末を用いて、可視光通信により、電子掲示板などから店舗のクーポン情報を取得する。次に、店舗から所定の範囲内にユーザが入ると、店舗のクーポン情報、または、ポップアップが表示される。ユーザが、店舗から所定の範囲内に入ったか否かは、携帯端末のGPS情報と、クーポン情報に含まれる店舗情報とを用いて判断される。クーポン情報に限らず、チケット情報でもよい。クーポンやチケットが利用できる店舗などが近づくと自動的にアラートしてくれるため、ユーザはクーポンやチケットを適切に利用することが可能となる。
図134は、レジや改札などでクーポン情報・チケット情報、または、ポップアップが携帯端末のディスプレイに表示される一例を示したものである。レジや改札に設置された照明から、可視光通信により、位置情報を取得し、取得した位置情報がクーポン情報・チケット情報に含まれる情報と一致した場合に、表示が行われる。なお、バーコードリーダが発光部を有し、発光部と可視光通信を行うことにより、位置情報を取得してもよいし、携帯端末のGPSから位置情報を取得してもよい。レジ付近に送信機が設置されており、ユーザが受信機をその送信機にかざすことで、受信機のディスプレイにクーポンや支払情報が表示されるとしてもよいし、受信機がサーバと通信して支払い処理を行うとしてもよい。また、クーポン情報・チケット情報に店舗などに設置されているWi−Fi情報が含まれており、ユーザの携帯端末がクーポン情報・チケット情報に含まれるWi−Fi情報と同一の情報を取得した場合に、表示を行ってもよい。
(操作用アプリケーションの起動)
図135は、ユーザが携帯端末を用いて、可視光通信により、家電より情報を取得する一例を示したものである。可視光通信により、家電からID情報、または、当該家電に関する情報を取得した場合に、当該家電を操作するためのアプリケーションが自動的に立ち上がる。図135では、テレビを用いた例を示している。このような構成により、携帯端末を家電にかざすだけで、家電を操作するためのアプリケーションを起動することが可能となる。
(バーコードリーダの動作中に送信を停止する)
図136は、バーコードリーダ8405aが商品のバーコードを読み取る際に、バーコードリーダ8405aの付近で可視光通信用のデータ通信を中止する一例を示したものである。バーコード読み取り時に可視光通信を停止することで、バーコードリーダ8405aがバーコードを誤認識することを防ぐことができる。バーコードリーダ8405aは、バーコード読み取りボタンが押されたときに送信停止信号を可視光信号送信機8405bへ送信し、ボタンから指が離されたとき、あるいは、ボタンから指が離されて所定の時間経過したときに送信再開信号を可視光信号送信機8405bへ送信する。送信停止信号や送信再開信号は、有線/無線通信や赤外線通信や音波による通信で行う。バーコードリーダ8405aは、バーコードリーダ8405aに備えた加速度センサの計測値からバーコードリーダ8405aが動かされたと推定したときに送信停止信号を送信し、バーコードリーダ8405aが所定の時間動かされなかったと推定したときに送信再開信号を送信してもよい。バーコードリーダ8405aは、バーコードリーダ8405aに備えた静電センサや照度センサの計測値からバーコードリーダ8405aが握られたと推定したときに送信停止信号を送信し、手が離されたと推定した時に送信再開信号を送信してもよい。バーコードリーダ8405aは、バーコードリーダ8405aの接地面に設けられたスイッチが押下状態から開放されることからバーコードリーダ8405aが持ち上げられたことを検知して送信停止信号を送信し、前記ボタンが押されることからバーコードリーダ8405aが置かれたことを検知して送信再開信号を送信してもよい。バーコードリーダ8405aは、バーコードリーダ置き場のスイッチや赤外線センサの計測値からバーコードリーダ8405aが持ち上げられたことを検出して送信停止信号を送信し、バーコードリーダ8405aが戻されたことを検出して送信再開信号を送信してもよい。レジ8405cは、操作が開始されたときに送信停止信号を送信し、精算操作が行われた時に送信再開信号を送信してもよい。
例えば照明として構成される送信機8405bは、送信停止信号を受信したとき、信号送信を停止し、また、100Hz〜100kHzのリップル(輝度変化)が小さくなるように動作する。または、信号パターンの輝度変化を小さくして信号送信を継続する。または、搬送波の周期をバーコードリーダ8405aのバーコードの読み取り時間より長くする、または、搬送波の周期をバーコードリーダ8405aの露光時間より短くする。これにより、バーコードリーダ8405aの誤動作を防ぐことができる。
図137に示すように、例えば照明として構成される送信機8406bは、人感センサやカメラでバーコードリーダ8406aの付近に人がいることを検知し、信号送信を停止する。あるいは、前記送信機8405bが送信停止信号を受信したときと同様の動作を行う。送信機8406bは、バーコードリーダ8406aの付近に人がいなくなったことを検知したときに信号送信を再開する。送信機8406bは、バーコードリーダ8406aの動作音を検出し、所定の時間、信号送信を停止するとしてもよい。
(パソコンからの情報送信)
図138は、本発明の利用形態の一例を示したものである。
例えばパソコンとして構成される送信機8407aは、備え付けられたディスプレイや接続されたディスプレイやプロジェクタなどの表示装置を通して可視光信号を送信する。送信機8407aは、ブラウザが表示しているウェブサイトのURLや、クリップボードの情報や、フォーカスを持つアプリケーションが定めた情報を送信する。例えば、ウェブサイトで取得したクーポン情報を送信する。
(データベース)
図139は、送信機が送信するIDを管理するサーバの保持するデータベースの構成の一例を示したものである。
データベースは、IDをキーとした問い合わせに対して渡すデータを保持するID−データテーブルと、IDをキーとした問い合わせの記録を保存するアクセスログテーブルを持つ。ID−データテーブルは、送信機が送信するID、IDをキーとした問い合わせに対して渡すデータ、データを渡す条件、IDをキーとしたアクセスがあった回数、条件をクリアしてデータが渡された回数を持つ。データを渡す条件には、日時や、アクセス回数や、アクセス成功回数や、問い合わせ元の端末の情報(端末の機種、問い合わせを行ったアプリケーション、端末の現在位置など)や、問い合わせ元のユーザ情報(年齢、性別、職業、国籍、使用言語、信教など)がある。アクセス成功回数を条件とすることで、「アクセス1回あたり1円、ただし100円を上限としてそれ以降はデータを返さない」といったサービスの方法が可能となる。ログテーブルは、IDをキーとしたアクセスがあったとき、そのIDや、要求したユーザのIDや、時刻や、その他の付帯情報や、条件をクリアしてデータを渡したかどうかや、渡したデータの内容を記録する。
(受信開始のジェスチャ)
図140は、本通信方式による受信を開始するジェスチャ動作の一例を示したものである。
ユーザは、例えばスマートフォンとして構成される受信機を突き出し、手首を左右に回転させる動作により、受信を開始させる。受信機は、9軸センサの計測値からこの動作を検出し、受信を開始する。受信機は、この動作の少なくともどちらか一方を検出した場合に受信を開始するとしてもよい。受信機を突き出す動作には、受信機が送信機へ近づくことで、送信機がより大きく撮像され、受信速度や精度が向上するという効果がある。手首を左右に回転させる動作には、受信機の角度を変化させることで、本方式の角度依存性を解消し、安定して受信が可能になるという効果がある。
なお、この動作は、ホーム画面がフォアグラウンドになっているときのみ行うとしてもよい。これにより、他のアプリを使用中にユーザの意図に反して本通信が行われることを防ぐことができる。
なお、受信機が突出される動作の検出時にイメージセンサを起動し、手首を左右に振る動作がなければ受信をやめるとしてもよい。イメージセンサの起動には数百ミリ秒から2秒程度の時間がかかるため、これにより、より応答性を高めることができる。
(電力線による送信機の制御)
図141は、本発明の送信機の一例を示したものである。
信号制御部8410gは、送信機8410aの送信状態(送信する信号の内容や送信の有無や送信に用いる輝度変化の強さなど)を制御する。信号制御部8410gは、送信機8410aの制御内容を配電制御部8410fに送る。配電制御部8410fは、送信機8410aの電源部8410bへ供給する電圧や電流や周波数を変化させることで、変化の大きさや変化の時刻の形で制御内容を伝える。電源部8410bは電圧や電流や周波数の多少の変化には影響されず一定の出力を行うため、電源部8410bの安定化能力を超えた変化、例えば、電力供給をカットするタイミングや時間幅によって信号を表現することによって信号を伝達する。輝度制御部8410dは、電源部8410bによる変換を考慮して、配電制御部8410fの送信した内容を受け取り、発光部の輝度変化パターンを変化させる。
(符号化方式)
図142は、可視光通信画像の符号化方式の一つを説明する図である。
この符号化方式では、白と黒の割合が同程度となるため、正相画像と逆相画像の平均輝度が同程度となり、人間がちらつきを感じにくいという利点がある。
(斜方向から撮像した場合でも受光可能な符号化方式)
図143は、可視光通信画像の符号化方式の一つを説明する図である。
画像1001aは白と黒のラインを均一な幅で表示した画像である。この画像1001aを斜めから撮像すると、その撮像によって得られる画像1001bでは、左方のラインは細く、右方のラインは太く表れる。また、画像1001aを曲面に投影した場合は、その撮像によって得られる画像1001iでは、異なる太さのラインが表れる。
そこで、以下の符号化方式によって可視光通信画像を作成する。可視光通信画像1001cは、左から、白のライン、白のラインの3倍の太さの黒のライン、その黒のラインの3分の1の太さの白のラインで構成されている。このように、左隣のラインの3倍の太さのライン、左隣のラインの3分の1の太さのラインが続いた画像としてプリアンブルを符号化する。可視光通信画像1001d、1001eのように、左隣のラインと同じ太さのラインを「0」として符号化する。可視光通信画像1001f、1001gのように、左隣のラインの2倍の太さ、あるいは、左隣のラインの半分の太さのラインを「1」として符号化する。即ち、符号化対象ラインの太さを左隣のラインの太さと異ならせる場合に、その符号化対象ラインを「1」として符号化する。この符号化方式を用いた例として、プリアンブルに続いて「010110001011」を含む信号は、可視光通信画像1001hのような画像によって表現される。なお、ここでは、左隣のラインと同じ太さのラインを「0」、左隣のラインと異なる太さのラインを「1」として符号化したが、左隣のラインと同じ太さのラインを「1」、左隣のラインと異なる太さのラインを「0」として符号化しても構わない。また、左隣のラインとの対比に限らず、右隣のラインとの対比を行ってもよい。つまり、符号化対象ラインの太さと右隣のラインの太さとの対比において、太さが同じか異なるかによって、「1」、「0」を符号化しても構わない。このように、送信機側では、符号化対象ラインと異なる色であり、かつ、隣接するラインの太さと符号化対象ラインの太さを同じにすることで、「0」を符号化し、異なる太さとすることで、「1」を符号化する。
受信機側では、可視光通信画像を撮像し、撮像した可視光通信画像において、白または黒のラインの太さを検出する。復号対象のラインとは異なる色であり、かつ、復号対象のラインに隣接する(左隣、または、右隣)ラインの太さと、復号対象のラインの太さとを比較し、太さが同じ場合には、復号対象ラインを「0」として復号し、太さが異なる場合には、復号対象ラインを「1」として復号する。太さが同じ場合に「1」、太さが異なる場合に「0」として復号してもよい。復号を行った、1、0のデータ列に基づいて、最終的にデータの復号を行う。
この符号化方式は局所的なラインの太さの関係を用いている。画像1001bや画像1001iに見られるように、近傍のラインの太さの比は大きくは変化しないため、斜め方向から撮像された場合や、曲面に投影された場合でも、この符号方式で作成された可視光通信画像は正しく復号できる。
この符号化方式では、白と黒の割合が同程度になるため、正相画像と逆相画像の平均輝度が同程度となり、人間がちらつきを感じにくいという利点がある。また、この符号化方式は、白黒の別はないため、正相信号と逆相信号のどちらの可視光通信画像であっても、同じアルゴリズムで復号可能であるという利点がある。
また、符号の追加が容易であるという利点がある。例えば、可視光通信画像1001jは、左隣の4倍の太さのラインと左隣の4分の1のラインの組み合わせである。このように、「左隣の5倍と5分の1」「左隣の3倍と3分の2」のように、多くのユニークなパターンが存在しており、特別な意味を持つ信号として定義可能である。例えば、可視光通信画像は複数枚で一つのデータを表すことができるが、送信するデータが変更されたためこれまでに受信したデータの一部が無効になったことを表示するキャンセル信号として可視光通信画像1001jを用いることが考えられる。なお、色については、白、黒に限らず、異なる色であれば、どのような色であってもよい。例えば、補完色を用いても構わない。
(距離によって情報量が異なる符号化方式)
図144、図145は、可視光通信画像の符号化方式の一つを説明する図である。
図144の(a−1)のように、四つに区切った画像のうち一つの部分を黒、残りの部分を白とすることで2ビットの信号を表現すると、この画像の平均輝度は、白を100%、黒を0%とした場合、75%となる。図144の(a−2)のように、白と黒の部分を逆にすると、平均輝度は25%となる。
画像1003aは、図143の符号化方式で作成した可視光通信画像の白の部分を図144の(a−1)の画像で、黒の部分を図144の(a−2)の画像で表現した可視光通信画像である。この可視光通信画像は、図143の符号化方式で符号化した信号Aと、図144の(a−1)および(a−2)で符号化した信号Bを表している。近くの受信機1003bが可視光通信画像1003aを撮像すると、精細な画像1003dが得られ、信号Aと信号Bの両方が受信できる。遠くの受信機1003cが可視光通信画像1003aを撮像すると、小さな画像1003eが得られる。画像1003eでは、詳細な部分は確認できず、図144の(a−1)の部分が白く、図144の(a−2)の部分が黒くなった画像となるため、信号Aのみが受信できる。これにより、可視光通信画像と受信機の距離が近いほど多くの情報を伝達することができる。信号Bを符号化する方式としては、図144の(b−1)と(b−2)の組み合わせや、図144の(c−1)と(c−2)の組み合わせを用いてもよい。
信号Aと信号Bを用いることにより、信号Aで基本的で重要な情報を表し、信号Bで付加的な情報を表すことが可能となる。また、受信機が信号A・BをID情報としてサーバに送信し、サーバがID情報に対応する情報を受信機に送信する場合は、信号Bの有無によってサーバが送信する情報を変化させることが可能となる。
(データを分割した符号化方式)
図146は、可視光通信画像の符号化方式の一つを説明する図である。
送信する信号1005aを、複数のデータ片1005b、1005c、1005dに分割する。各データ片にそのデータ片の位置を示すアドレスを付加し、さらに、プリアンブルや誤り検出・訂正符号やフレームタイプ記述等を付加し、フレームデータ1005e、1005f、1005gを構成する。フレームデータを符号化して可視光通信画像1005h、1005i、1005jを作成して表示する。表示領域が十分大きい場合は、複数の可視光通信画像を連結した可視光通信画像1005kを表示する。
尚、図146のように、映像中に可視光通信画像を挿入する方法として、固体光源を用いた表示機器の場合には、通常に可視光通信信号画像を表示しておき、表示する期間のみに固定光源を点灯させ、それ以外の期間は固体光源を消灯する方法で実現することにより、幅広い表示装置、たとえば、DMDを用いたプロジェクターを始め、LCOSをはじめとする液晶を用いたプロジェクターや、MEMSをもちいた表示装置類はもちろん適応可能となる。また、画像表示をサブフレームに分割して表示するタイプの表示装置、たとえば、PDPや、ELなどのバックライトなどの光源を用いない表示機器においても、一部のサブフレームを可視光通信画像に置き換えることで適応が可能となる。なお、固体光源としては、半導体レーザ、LED光源などが考えられる。
(逆相画像を挿入する効果)
図147と図148は、可視光通信画像の符号化方式の一つを説明する図である。
図147の(1006a)のように、送信機は、映像と可視光通信画像(正相画像)の間に黒画像を挿入する。これを受信機で撮像した画像は、図147の(1006b)に示す画像のようになる。受信機は、同時に露光される画素のラインが黒一色である部分の探索は容易であるため、可視光通信画像が撮像されている位置を、その次のタイミングで露光される画素の位置として容易に特定できる。
図147の(1006a)のように、送信機は、可視光通信画像(正相画像)を表示した後に、白黒を反転させた逆走の可視光通信画像を表示させる。受信機は、正相画像と逆相画像の画素値の差を求めることで、正相画像のみを利用した場合の2倍のSN比が得られる。逆に、同じSN比を確保する場合は、白黒の輝度差を半分に抑えることができ、人間が見た際のちらつきを抑えることができる。また、図148の(1007a)および(1007b)のように、映像と可視光通信画像の輝度の差の期待値の移動平均は、正相画像と逆相画像でキャンセルされる。人間の視覚の時間分解能は1/60秒程度であるため、可視光通信画像を表示する時間をこれ以下にすることで、人間にとって可視光通信画像が表示されていないように感じさせることができる。
図147の(1006c)に示すように、送信機は、さらに、正相画像と逆相画像の間にも黒画像を挿入してもよい。この場合、受信機による撮像によって、図147の(1006d)に示す画像が得られる。図147の(1006b)に示す画像では、正相画像のパターンと逆相画像のパターンが隣接しているため境界部分で画素値が平均化されてしまうことがあったが、図147の(1006d)に示す画像ではそのような問題が発生しない。
(超解像)
図149は、可視光通信画像の符号化方法の一つを説明する図である。
図149の(a)のように、映像データと可視光通信で送信する信号データが分離されている場合は、映像データに超解像処理を行い、得られた超解像画像に可視光通信画像を重畳する。即ち、可視光通信画像には超解像処理を行わない。図149の(b)のように、映像データにすでに可視光通信画像が重畳されている場合には、(1)可視光通信画像のエッジ(白・黒など色の違いによりデータを示している部分)を急峻なまま保つ、(2)可視光通信画像の正相画像と逆相画像の平均画像が一様輝度となるように超解像処理を行う。このように、映像データに可視光通信画像が重畳されているか否かにより、可視光通信画像に対する処理を変更することにより、可視光通信をより適切に行う(エラー率を低下させる)ことが可能となる。
(可視光通信に対応していることの表示)
図150は、送信機の動作の一つを説明する図である。
送信機8500aは、可視光通信に対応していることを、投影または表示する画像に重畳して表示する。この表示は、例えば、送信機8500aを起動してから所定の時間の間のみ表示される。
送信機8500aは、自身が可視光通信に対応していることを、接続された機器8500cへ送信する。機器8500cは、送信機8500aが可視光通信に対応していることを表示する。例えば、機器8500cのディスプレイに、送信機8500aが可視光通信に対応していることを表示する。機器8500cは、接続された送信機8500aが可視光通信に対応している場合に、可視光通信用のデータを送信機8500aへ送信する。送信機8500aが可視光通信に対応している旨の表示は、機器8500cが送信機8500aに接続された際に表示されてもよいし、機器8500cから送信機8500aに対して可視光通信用のデータが送信された場合に表示されてもよい。機器8500cから可視光通信用のデータが送信された際に表示する場合は、送信機8500aは、データから可視光通信を示す識別情報を取得し、識別情報がデータに可視光通信用のデータが含まれていることを示している場合に、送信機8500aが可視光通信に対応していることを表示してもよい。
このように、投影画面、または、機器のディスプレイに送信機(照明、プロジェクタ、映像表示機器)が可視光通信に対応している旨、または、対応しているか否かを示す表示を行うことにより、ユーザは送信機が可視光通信に対応しているか容易に把握することができる。従って、機器から、送信機に対して可視光通信用のデータを送信しているにも関わらず、可視光通信を行うことができなくなるという誤動作を防ぐことが可能となる。
(可視光通信信号を用いた情報取得)
図151は、可視光通信の応用例の一つを説明する図である。
送信機8501aは、機器8501cから映像データと信号データを受信し、可視光通信画像8501bを表示する。受信機8501dは、可視光通信画像8501bを撮像し、可視光通信画像に含まれた信号を受信する。受信機8501dは、受信信号に含まれた情報(アドレスやパスワード等)から機器8501cと通信を行い、送信機8501aが表示している映像そのものやその付帯情報(映像ID、URL、パスワード、SSID、翻訳データ、音声データ、ハッシュタグ、商品情報、購買情報、クーポン、空席情報等)を受信する。機器8501cは送信機8501aへの送信状況をサーバ8501eへ送信し、受信機8501dはサーバ8501eから前記情報を得るとしても良い。
(データフォーマット)
図152は、可視光通信データのフォーマットの一つを説明する図である。
図152の(a)に示すデータは、記憶域中に映像データの位置を示す映像アドレステーブルと、可視光通信により送信する信号データの位置を示す位置アドレステーブルとを持つ。可視光通信に対応していない映像表示装置では、映像アドレステーブルのみが参照されるため、入力に信号アドレステーブルと信号データが含まれていても映像表示には影響しない。これにより、可視光通信に対応していない映像表示装置に対する後方互換性が保たれる。
図152の(b)に示すデータのフォーマットでは、後に続くデータが映像データであることを示す識別子を映像データの前に配し、後に続くデータが信号データであることを示す識別子を信号データの前に配している。識別子とすることにより、映像データ、または、信号データのある場合にのみ、データに挿入されるため、全体の符号量を小さくすることができる。また、映像データであるか、信号データであるかを示す識別情報を配してもよい。更に、番組情報において、可視光通信用のデータを含むか否かを示す識別情報を含んでいてもよい。番組情報に可視光通信用のデータを含むか否かを示す識別情報が含まれることにより、ユーザは、番組検索の際に、可視光通信可能か否か判断することが可能となる。なお、番組情報に含まれるのは、可視光通信用のデータを含むことを示す識別子であってもよい。更に、データ毎に識別子・識別情報を付加することにより、データ毎の輝度の切り替えや、超解像の切り替えなど処理の切り替えを行うことができ、可視光通信時におけるエラー率を低減させることが可能となる。
図152の(a)に示すデータのフォーマットは、光ディスク等の蓄積型メディアからデータを読み出す状況に適し、図152の(b)に示すデータのフォーマットは、テレビ放送などストリーミング型のデータに適している。なお、信号データには、可視光通信によって送信する信号の値、送信開始時刻、送信終了時刻、ディスプレイや投影面上の送信に利用する場所、可視光通信画像の輝度、可視光通信画像のバーコードの向き等の情報を含む。
(立体形状を推定して受信する)
図153と図154は、可視光通信の応用例の一つを説明する図である。
図153に示すように、例えばプロジェクタとして構成される送信機8503aは、映像と可視光通信画像に加え、測距用画像を投影する。測距用画像に示されるドットパターンは、任意のドットの近傍の所定数のドットの位置関係が、他の任意の組み合わせのドットの位置関係と異なるドットパターンである。受信機は、測距用画像を撮像することで、局所的なドットパターンを特定し、投影面8503bの立体形状を推定することができる。受信機は、投影面の立体形状によって歪んだ可視光通信画像を平面画像へ復元して信号を受信する。なお、測距用画像や可視光通信画像は、人間には知覚できない赤外線で投影されてもよい。
図154に示すように、例えばプロジェクタとして構成される送信機8504aは、赤外線で測距用画像を投影する赤外線投影装置8504bを備える。受信機は、測距用画像から投影面8504cの立体形状を推定し、可視光通信画像の歪みを復元して信号を受信する。なお、送信機8504aは、映像を可視光で投影し、可視光通信画像を赤外線で投影してもよい。なお、赤外線投影装置8504bは、可視光通信画像を赤外線で投影してもよい。
(立体投影)
図155と図156は、可視光通信画像の表示方法の一つを説明する図である。
立体投影を行う場合や円筒状の表示面に可視光通信画像を表示する場合は、図155に示すように、可視光通信画像8505a〜8505fを表示させることで、広い角度からの受信が可能になる。可視光通信画像8505a、8505bを表示させることで、水平方向に広い角度から受信が可能になる。可視光通信画像8505aと8505bを組み合わせることで、受信機を傾けても受信可能となる。可視光通信画像8505aと可視光通信画像8505bを交代で表示させてもよいし、それらの画像を合成した画像である可視光通信画像8505fを表示してもよい。さらに、可視光通信画像8505cと可視光通信画像8505dを加えることで、垂直方向に広い角度から受信が可能となる。可視光通信画像8505eのように、中間色で投影する部分や投影しない部分を設けることで、可視光通信画像の区切りを表現してもよい。可視光通信画像8505a〜8505fを回転させることで、さらに広い角度から受信可能とすることができる。なお、図155では、円筒状の表示面に可視光通信画像を表示させたが、円柱の表示面に可視光通信画像を表示させてもよい。
立体投影を行う場合や、球状の表示面に可視光通信画像を表示する場合は、図156に示すように、可視光通信画像8506a〜8506dを表示させることで、広い角度からの受信が可能となる。可視光通信画像8506aでは、水平方向における受信可能領域は広いが、垂直方向における受信可能領域が狭いため、逆の性質を持つ可視光通信画像8506bと組み合わせて可視光通信画像8506aを表示させる。可視光通信画像8506aと可視光通信画像8506bを交代で表示させても良いし、それらの画像を合成した画像である可視光通信画像8506cを表示してもよい。可視光通信画像8506aの上部のようにバーコードが集中する部分は表示が細かく、信号を誤って受信する可能性が高い。そこで、可視光通信画像8506dのようにこの部分を中間色で表示する、あるいは、何も投影しないことで、受信誤りを防ぐことができる。
(ゾーン毎に異なる通信プロトコル)
図157は、実施の形態5における送信機と受信機の動作の一例を示す図である。
受信機8420aは、基地局8420hからゾーン情報を受け取り、自身がどのゾーンに位置しているかを認識し、受信プロトコルを選択する。基地局8420hは、例えば携帯電話の通信基地局やWi−FiアクセスポイントやIMES送信機やスピーカーや無線送信機(Bluetooth(登録商標)、ZigBee、特定小電力無線局等)として構成される。なお、受信機8420aは、GPS等から得た位置情報をもとにゾーンを特定してもよい。例として、ゾーンAでは9.6kHzの信号周波数で通信し、ゾーンBでは、天井照明は15kHz、サイネージは4.8kHzの信号周波数で通信すると定めるとする。受信機8420aは、位置8420jでは、基地局8420hの情報から現在地がゾーンAであることを認識し、9.6kHzの信号周波数で受信を行い、送信機8420b・8420cの送信した信号を受信する。受信機8420aは、位置8420lでは、基地局8420iの情報から現在地がゾーンBであることを認識し、さらに、インカメラが上方に向けられていることから天井照明からの信号を受信しようとしていることを推定し、15kHzの信号周波数で受信を行い、送信機8420e・8420fの送信した信号を受信する。受信機8420aは、位置8420mでは、基地局8420iの上方から現在地がゾーンBであることを認識し、さらに、アウトカメラを突き出す動きからサイネージの送信する信号を受信しようとしていることを推定し、4.8kHzの信号周波数で受信を行い、送信機8420gの送信する信号を受信する。受信機8420aは、位置8420kでは、基地局8420hと基地局8420iの両方の信号が受信され、現在地がゾーンAとゾーンBのどちらであるか判断できないため、9.6kHzと15kHzの両方で受信処理を行う。なお、ゾーンによってプロトコルが異なる部分は周波数だけではなく、送信信号の変調方式や信号フォーマットやIDを問い合わせるサーバが異なるとしても良い。なお、基地局8420h・8420iは、ゾーン内のプロトコルを受信機に送信してもよいし、ゾーンを示すIDのみを送信し、受信機がゾーンIDをキーにサーバからプロトコル情報を獲得するとしてもよい。
送信機8420b〜8420fは、基地局8420h・8420iの送信するゾーンIDやプロトコル情報を受信し、信号送信プロトコルを決定する。基地局8420hと基地局8420iの両方の送信する信号を受信可能な送信機8420dは、より信号強度強い基地局のゾーンのプロトコルを利用する、または、両方のプロトコルを交互に用いる。
(ゾーンの認識とゾーン毎のサービス)
図158は、実施の形態5における受信機と送信機の動作の一例を示す図である。
受信機8421aは、受信した信号から、自身の位置の属するゾーンを認識する。受信機8421aは、ゾーン毎に定められたサービス(クーポンの配布、ポイントの付与、道案内等)を提供する。一例として、受信機8421aは、送信機8421bの左側から送信する信号を受信し、ゾーンAに居ることを認識する。ここで、送信機8421bは、送信方向によって異なる信号を送信するとしてもよい。また、送信機8421bは、2217aのような発光パターンの信号を用いることで、受信機までの距離に応じて異なる信号が受信されるように信号を送信してもよい。また、受信機8421aは、送信機8421bの撮像される方向と大きさから、送信機8421bとの位置関係を認識し、自身の位置するゾーンを認識してもよい。
同じゾーンに位置することを示す信号の一部を共通としてもよい。例えば、送信機8421bと送信機8421cから送信される、ゾーンAを表すIDは前半を共通とする。これにより、受信機8421aは、信号の前半を受信するだけで自身の位置するゾーンを認識可能となる。
(本実施の形態のまとめ)
本実施の形態における情報通信方法は、輝度変化によって信号を送信する情報通信方法であって、複数の送信対象の信号のそれぞれを変調することによって、複数の輝度変化のパターンを決定する決定ステップと、複数の発光体のそれぞれが、決定された複数の輝度変化のパターンのうちの何れか1つのパターンにしたがって輝度変化することによって、前記何れか1つのパターンに対応する送信対象の信号を送信する送信ステップとを含み、前記送信ステップでは、前記複数の発光体のうちの2つ以上の発光体のそれぞれは、当該発光体に対して予め定められた時間単位ごとに、互いに輝度の異なる2種類の光のうちの何れか一方の光が出力されるように、且つ、前記2つ以上の発光体のそれぞれに対して予め定められた前記時間単位が互いに異なるように、互いに異なる周波数で輝度変化する。
これにより、図113を用いて説明した動作のように、2つ以上の発光体(例えば、照明機器として構成された送信機)のそれぞれが互いに異なる周波数で輝度変化するため、それらの発光体から送信対象の信号(例えば、発光体のID)を受信する受信機は、それらの送信対象の信号を容易に区別して取得することができる。
また、前記送信ステップでは、前記複数の発光体のそれぞれは、少なくとも4種類の周波数のうちの何れか1つの周波数で輝度変化し、前記複数の発光体のうちの2つ以上の発光体は、同一の周波数で輝度変化してもよい。例えば、前記送信ステップでは、前記複数の送信対象の信号を受信するためのイメージセンサの受光面に、前記複数の発光体が投影される場合に、前記受光面上で互いに隣接する全ての発光体間で輝度変化の周波数が異なるように、前記複数の発光体のそれぞれは輝度変化する。
これにより、図114を用いて説明した動作のように、輝度変化に用いられる周波数が少なくとも4種類あれば、同一の周波数で輝度変化する発光体が2つ以上ある場合であっても、つまり、周波数の種類の数が複数の発光体の数よりも少ない場合であっても、四色問題または四色定理に基づいて、イメージセンサの受光面上で互いに隣接する全ての発光体間で輝度変化の周波数を確実に異なるせることができる。その結果、受信機は、複数の発光体から送信される送信対象の信号のそれぞれを容易に区別して取得することができる。
また、前記送信ステップでは、前記複数の発光体のそれぞれは、送信対象の信号のハッシュ値によって特定される周波数で輝度変化することによって、前記送信対象の信号を送信してもよい。
これにより、図113を用いて説明した動作のように、複数の発光体のそれぞれは、送信対象の信号(例えば、発光体のID)のハッシュ値によって特定される周波数で輝度変化するため、受信機は、送信対象の信号を受信したときには、実際の輝度変化から特定される周波数と、ハッシュ値によって特定される周波数とが一致するか否かを判定することができる。つまり、受信機は、受信された信号(例えば、発光体のID)にエラーがあったか否かを判定することができる。
また、前記情報通信方法は、さらに、信号記憶部に記憶されている送信対象の信号から、予め定められた関数にしたがって、当該送信対象の信号に対応する周波数を第1の周波数として算出する周波数算出ステップと、周波数記憶部に記憶されている第2の周波数と、算出された前記1の周波数とが一致するか否かを判定する周波数判定ステップと、前記第1の周波数と前記第2の周波数とが一致しないと判定された場合には、エラーを報知する周波数エラー報知ステップとを含み、前記第1の周波数と前記第2の周波数とが一致すると判定された場合には、前記決定ステップでは、前記信号記憶部に記憶されている前記送信対象の信号を変調することによって輝度変化のパターンを決定し、前記送信ステップでは、前記複数の発光体のうちの何れか1つの発光体が、決定された前記パターンにしたがって、前記第1の周波数で輝度変化することによって、前記信号記憶部に記憶されている前記送信対象の信号を送信してもよい。
これにより、図120を用いて説明した動作のように、周波数記憶部に記憶されている周波数と、信号記憶部(ID記憶部)に記憶されている送信対象の信号から算出された周波数とが一致するか否かが判定され、一致しないと判定された場合にはエラーが報知されるため、発光体による信号送信機能の異常検出を容易に行うことができる。
また、前記情報通信方法は、さらに、信号記憶部に記憶されている送信対象の信号から、予め定められた関数にしたがって第1のチェック値を算出するチェック値算出ステップと、チェック値記憶部に記憶されている第2のチェック値と、算出された前記1のチェック値とが一致するか否かを判定するチェック値判定ステップと、前記第1のチェック値と前記第2のチェック値とが一致しないと判定された場合には、エラーを報知するチェック値エラー報知ステップとを含み、前記第1のチェック値と前記第2のチェック値とが一致すると判定された場合には、前記決定ステップでは、前記信号記憶部に記憶されている前記送信対象の信号を変調することによって輝度変化のパターンを決定し、前記送信ステップでは、前記複数の発光体のうちの何れか1つの発光体が、決定された前記パターンにしたがって輝度変化することによって、前記信号記憶部に記憶されている前記送信対象の信号を送信してもよい。
これにより、図120を用いて説明した動作のように、チェック値記憶部に記憶されているチェック値と、信号記憶部(ID記憶部)に記憶されている送信対象の信号から算出されたチェック値とが一致するか否かが判定され、一致しないと判定された場合にはエラーが報知されるため、発光体による信号送信機能の異常検出を容易に行うことができる。
また、本実施の形態における情報通信方法は、被写体から情報を取得する情報通信方法であって、イメージセンサによる前記被写体の撮影によって得られる画像に、前記イメージセンサに含まれる複数の露光ラインに対応する複数の輝線が前記被写体の輝度変化に応じて生じるように、前記イメージセンサの露光時間を設定する露光時間設定ステップと、前記イメージセンサが、輝度変化する前記被写体を、設定された前記露光時間で撮影することによって、前記複数の輝線を含む輝線画像を取得する画像取得ステップと、取得された前記輝線画像に含まれる前記複数の輝線のパターンによって特定されるデータを復調することにより情報を取得する情報取得ステップと、取得された前記輝線画像に含まれる前記複数の輝線のパターンに基づいて、前記被写体の輝度変化の周波数を特定する周波数特定ステップとを含む。例えば、前記周波数特定ステップでは、前記複数の輝線のパターンに含まれる、それぞれヘッダを示すために予め定められた複数のパターンである複数のヘッダパターンを特定し、前記複数のヘッダパターン間の画素数に応じた周波数を、前記被写体の輝度変化の周波数として特定する。
これにより、図115を用いて説明した動作のように、被写体の輝度変化の周波数が特定されるため、輝度変化の周波数が異なる複数の被写体が撮影される場合には、それらの被写体からの情報を容易に区別して取得することができる。
また、前記画像取得ステップでは、それぞれ輝度変化する複数の被写体を撮影することによって、それぞれ複数の輝線によって表される複数のパターンを含む前記輝線画像を取得し、前記情報取得ステップでは、取得された前記輝線画像に含まれる前記複数のパターンのそれぞれの一部が重なっている場合には、前記複数のパターンのそれぞれから前記一部を除く部分によって特定されるデータを復調することにより、前記複数のパターンのそれぞれから情報を取得してもよい。
これにより、図117を用いて説明した動作のように、複数のパターン(複数の輝線パターン)が重なっている部分からはデータの復調が行われないため、誤った情報を取得してしまうことを防ぐことができる。
また、前記画像取得ステップでは、前記複数の被写体を互いに異なるタイミングで複数回撮影することによって、複数の輝線画像を取得し、前記周波数特定ステップでは、輝線画像ごとに、当該輝線画像に含まれる前記複数のパターンのそれぞれに対する周波数を特定し、前記情報取得ステップでは、前複数の輝線画像から、同一の周波数が特定された複数のパターンを検索し、検索された前記複数のパターンを結合し、結合された前記複数のパターンによって特定さるデータを復調することにより情報を取得してもよい。
これにより、複数の輝線画像から、同一の周波数が特定された複数のパターン(複数の輝線パターン)が検索され、検索された複数のパターンが結合され、結合された複数のパターンから情報が取得されるため、複数の被写体が移動している場合であっても、それらの複数の被写体からの情報を容易に区別して取得することができる。
また、前記情報通信方法は、さらに、識別情報のそれぞれに対して周波数が登録されているサーバに対して、前記情報取得ステップで取得された情報に含まれる前記被写体の識別情報と、前記周波数特定ステップで特定された周波数を示す特定周波数情報とを送信する送信ステップと、前記識別情報と、前記特定周波数情報によって示される周波数とに関連付けられた関連情報を前記サーバから取得する関連情報取得ステップとを含んでもよい。
これにより、図119を用いて説明した動作のように、被写体(送信機)の輝度変化に基づいて取得された識別情報(ID)と、その輝度変化の周波数とに関連付けられた関連情報が取得される。したがって、被写体の輝度変化の周波数を変更し、サーバに登録されている周波数を変更後の周波数に更新することによって、周波数の変更前に識別情報を取得した受信機がサーバから関連情報を取得することを防ぐことができる。つまり、被写体の輝度変化の周波数の変更に合わせて、サーバに登録されている周波数も変更することによって、被写体の識別情報を過去に取得した受信機が無期限にサーバから関連情報を取得し得る状態になってしまうことを防ぐことができる。
また、前記情報通信方法は、さらに、前記情報取得ステップで取得された前記情報から一部を抽出することによって、前記被写体の識別情報を取得する識別情報取得ステップと、前記情報取得ステップで取得された前記情報のうち、前記一部以外の残りの部分によって示される数を、前記被写体に対して設定されている輝度変化の設定周波数として特定する設定周波数特定ステップとを含んでもよい。
これにより、図116を用いて説明した動作のように、複数の輝線のパターンから得られる情報に、被写体の識別情報と、被写体に設定されている輝度変化の設定周波数とを互いに依存することなく含めることができるため、識別情報と設定周波数との自由度を高めることができる。
(実施の形態6)
本実施の形態では、上記実施の形態1〜5におけるスマートフォンなどの受信機と、LEDの点滅パターンとして情報を送信する送信機とを用いた各適用例について説明する。
図159は、実施の形態6の送信信号の一例を示す図である。
送信信号Dを所定の大きさのデータ片Dx(例えば、Dx=D1,D2,D3)に分割し、各データ片から計算した誤り検出・訂正用のフレームチェックシーケンスFCSとヘッダHdrを各データ片に付加する。さらに、元のデータから計算した誤り検出・訂正用のフレームチェックシーケンスFCS2とヘッダHdr2を付加する。Hdr、Dx、FCSからなるデータは、イメージセンサで受信されるための構成である。イメージセンサは短時間に連続したデータを受信することに適しているため、Hdr、Dx、FCSは連続的に送信する。Hdr2, Dx, FCS2からなるデータは、照度センサで受信されるための構成である。イメージセンサで受信されるHdrとFCSは短いほうが望ましいが、照度センサで受信されるHdr2とFCS2はより長い信号列とすることができる。Hdr2に長い信号系列を用いることで、ヘッダ検出精度を高めることができる。FCS2を長くすることで、多くのビット誤りを検出・訂正できる符号を採用することができ、誤り検出・訂正の性能を向上させることができる。なお、Hdr2とFCS2を送信せず、代わりにHdrやFCSを照度センサで受信するとしてもよい。照度センサは、HdrとHdr2の両方、または、FCSとFCS2の両方を受信するとしてもよい。
図160は、実施の形態6の送信信号の一例を示す図である。
FCS2は信号長が長く、頻繁に挿入されているとイメージセンサでの受信効率が悪化する。そこで、FCS2の挿入頻度を減らし、代わりにFCS2の場所を示す信号PoFCS2を挿入する。例として、信号表現に単位時間あたり2ビットの情報量を持つ4PPMを用いた場合、FCS2にCRC32を用いると16単位の送信時間が必要になるが、値域が0〜3のPoFCS2は1単位時間で送信できる。FCS2のみを挿入する場合よりも送信時間が短縮されることで、イメージセンサ受信の効率を向上させることができる。照度センサは、送信信号Dに続くPoFCS2を受信し、PoFCS2からFCS2の送信時刻を特定してFCS2を受信する。さらに、FCS2に続くPoFCS2を受信し、次のFCS2の送信時刻を特定して次のFCS2を受信する。先に受信したFCS2と後に受信したFCS2が同じであれば、受信機は同じ信号を受信していると推定する。
図161A〜図161Cは、実施の形態6における受信機の撮像画像(輝線画像)の一例を示す図である。
図161Aに示す撮像画像では、写りが小さいため、輝線の数が少ない。したがって、この撮像画像からは、一度に少量のデータしか受信できない。図161Bに示す撮像画像は、ズームを用いて撮像した画像であり、写りが大きいため、輝線の数が多い。したがって、ズームを用いて撮像すれば、一度に多量のデータを受信できる。また、遠くからデータを受信可能で、小さな送信機の信号も受信できる。ズーム方法には、光学ズーム、または、Exズームを用いる。光学ズームはレンズの焦点距離を長くすることによるズームである。Exズームは、撮像素子の能力より低い解像度で撮像している場合に、撮像素子の全部ではなく一部だけを用いて撮像することで撮像画像の一部を拡大するズーム方法である。図161Cに示す撮像画像は、電子ズーム(画像の拡大)を用いて撮像した画像である。写りは大きくなるが、電子ズームによる拡大では輝線が太くなり、ズーム前と輝線の数が変わらないため、受信特性はズーム前と変わらない。
図162Aおよび図162Bは、実施の形態6における受信機の撮像画像(輝線画像)の一例を示す図である。
図162Aに示す撮像画像は、被写体にフォーカスを合わせて撮像した画像であり、図162Bに示す撮像画像は、フォーカスを外して撮像した画像である。図162Bに示す撮像画像では、ぼかして撮像したため実際の送信機の周囲まで輝線が観察でき、より多くの輝線が観察できる。したがって、フォーカスを外して撮像すれば、一度に多くのデータを受信でき、また、より遠くからデータを受信することができる。マクロモードを用いて撮像することでも、図162Bに示す撮像画像と同様の画像を撮像することができる。
図163A〜図163Cは、実施の形態6における受信機の撮像画像(輝線画像)の一例を示す図である。
露光時間を、可視光通信モードよりも長く、通常撮像モードよりも短く設定して撮像することで、図163Aに示すような画像が得られる。このような画像が得られる撮像モードを輝線検出モード(中間モード)と呼ぶ。図163Aに示す画像では、左中央では送信機の輝線が観察でき、それ以外の部分では暗めの通常の撮像画像が現れている。この画像を受信機に表示することで、ユーザが受信機を目当ての送信機に向けて撮像することを容易にすることができる。輝線検出モードでは、通常撮像モードよりも暗く撮像されるため、高感度モードで撮像することで、通常撮像モードに近い、人間が視認しやすい明るさの画像を撮像することができる。感度を高く設定しすぎると輝線の暗い部分が明るくなってしまうため、感度は輝線が観察できる程度に設定する。受信機は、ユーザが画像をタッチする等の手段で指定した部分に撮像されている送信機の送信信号を、可視光通信モードに移行して受信する。受信機は、撮像画像中に輝線(送信信号)が見つかった場合に、自動的に可視光通信モードに移行して信号を受信するとしてもよい。
受信機は撮像画像中の輝線から送信信号を見つけ出し、その部分を図163Bに示すように強調して表示することで、信号が送信されている部分をユーザにわかりやすく提示することができる。輝線は、送信信号だけではなく、被写体の模様によっても観察されることがある。そこで、1枚の画像の輝線から送信信号の有無を判断するのではなく、複数の画像において輝線の位置が変化している場合に送信信号があると判断してもよい。
輝線検出モードで撮像した画像は通常撮像モードで撮像した画像よりも暗く視認性が悪いため、画像処理によって視認性を高めた画像を表示してもよい。図163Cに示す画像は、エッジを抽出して被撮像物の境界を強調した画像の一例である。
図164は、実施の形態6における受信機の撮像画像(輝線画像)の一例を示す図である。具体的には、図164は、信号送信の周期を1/9600秒とした送信機を、図の下部に示した露光時間の比で撮像した図である。送信周期である1/9600秒より短い露光時間では、撮像画像はほぼ同等で、鮮明な輝線が撮像できる。露光時間が長くなると輝線の輪郭がぼやけるが、この信号表現の例では、送信周期の約1.5倍までの露光時間であれば輝線のパターンが観察可能であり、信号を受信可能である。また、この信号表現の例では、送信周期の約20倍までの露光時間であれば輝線を観察可能であり、この範囲の露光時間を輝線検出モードの露光時間として用いることができる。
どの程度の露光時間まで信号が受信できるかは、信号表現の方法によって異なる。輝線が少なく、輝線間の間隔が長くなる信号表現規則を用いれば、伝送効率は落ちるが、より長い露光時間でも信号を受信可能とし、また、より長い露光時間でも輝線を観察することができる。
(中間撮像モードの露光時間)
図164より、露光時間が変調周期の3倍程度までであればはっきりとした輝線が観察できる。変調周波数は480Hz以上であるため、中間撮像モード(中間モード)の露光時間は、1/160秒以下とすることが望ましい。
また、露光時間が1/10000秒以下では、照明光下では高感度モードで撮像しても非発光物は見えにくいため、中間撮像モードの露光時間は1/10000秒以上であることが望ましい。ただし、今後撮像素子の感度が向上することで、この制限は緩和することができる。
図165は、実施の形態6における送信信号の一例を示す図である。
受信機は、受信した複数のデータ片を統合して一連の信号を受信するため、送信信号が急に変更されると、変更前後のデータ片が混じってしまい、信号を正しく統合することができない。そこで、図165の(a)のように、送信機は、送信信号変更時に、緩衝帯として所定の時間のあいだ通常点灯を行い、信号を送信しない。受信機は、前記所定の時間T1より短い所定の時間T2の間、信号を受信することができない場合に、それまでに受信したデータ片を破棄することで、変更前後のデータ片の混合を回避することができる。または、図165の(b)のように、送信機は、送信信号変更時に、それを通知する信号Xを繰り返し送信する。繰り返し送信することで、送信信号変更通知Xの受信漏れを防ぐ。または、図165の(c)のように、送信機は、送信信号変更時に、プリアンブルを繰り返し送信する。受信機は、通常の信号においてプリアンブルが現れる周期よりも短い周期でプリアンブルを受信した場合に、それまでに受信したデータ片を破棄する。
図166は、実施の形態6における受信機の動作の一例を示す図である。
図166の(a)に示す画像は、ジャストフォーカスで送信機を撮像した画像である。受信機は、フォーカスを外して撮像することで、図166の(b)のような画像を撮像することができる。さらにフォーカスを外すと、撮像画像は図166の(c)に示す画像のようになる。図166の(c)では、複数の送信機の輝線が重なってしまい、受信機は信号を受信することができない。そのため、受信機は、複数の送信機の輝線が重ならないようにフォーカスを調整して撮像する。撮像範囲に一つの送信機だけが存在する場合は、受信機は、撮像画像中で送信機の大きさが最大となるようにフォーカスを調整する。
受信機は、撮像画像を輝線と平行な方向に圧縮してもよいが、輝線と垂直な方向には画像圧縮を行わない。または、受信機は、垂直な方向の圧縮の程度を低くする。これにより、圧縮によって輝線がぼやけて受信誤りが発生することを防ぐことができる。
図167および図168は、実施の形態6における受信機のスクリーンに表示するユーザへの指示の一例を示す図である。
受信機は、複数の送信機を撮像することで、各送信機の位置情報と、撮像画像中の各送信機の位置と大きさと角度から、三角測量の要領で受信機の位置を推定できる。そこで、一つの送信機のみが受信可能な形で撮像されている場合に、ユーザが受信機の方向を変えたり後方に下がって撮像したりすることで複数の送信機を撮像させるため、受信機は、矢印などを含む画像を表示することによって、撮像方向や移動方向の指示を行う。図167の(a)は、受信機を右へ向けて右側の送信機を撮像させる指示の表示例であり、図167の(b)は、後ろに下がって手前の送信機を撮像させる指示の表示例である。図168は、受信機にとって他の送信機の位置が不明であるため、受信機を振るなどして他の送信機を撮像させる指示の表示例である。一枚の撮像画像中に複数の送信機が撮影されるほうが望ましいが、画像処理や9軸センサのセンサ値を用いて複数枚の画像中の送信機の位置関係を推定してもよい。受信機は、一つの送信機から受信したIDを用い、周辺の送信機の位置情報をサーバに問い合わせ、最も撮像しやすい送信機を撮像するようにユーザへ指示を行ってもよい。
受信機は、9軸センサのセンサ値からユーザが受信機を移動させていることを検知し、移動が終了して所定の時間経過後に、最後に受信した信号に基づいた画面の表示を行う。これにより、ユーザが意図した送信機へ受信機を向ける際に、受信機の移動中に他の送信機の信号を受信してしまい、意図しない送信機の送信信号に基づいた処理を行ってしまうことを防ぐことができる。
受信機は、移動されている間も受信処理を続け、受信した信号に基づいた処理、例えば、受信信号をキーとしたサーバからの情報取得等を行ってもよい。この場合、その処理の後も受信処理を続け、最後に受信した信号に基づいた処理を最終的な処理とする。
受信機は、所定の回数受信した信号を処理したり、ユーザへ通知したりするとしてもよい。受信機は、移動されている間に最も多い回数受信できた信号を処理するとしてもよい。
受信機は、信号の受信に成功したときや、撮像画像中に信号の存在を検知したときに、ユーザに通知する通知手段を備えていてもよい。通知手段は、音、バイブレーション、またはディスプレイの更新(ポップアップ表示等)などによって通知する。これにより、ユーザは、送信機の存在を知ることができる。
図169は、実施の形態6における信号送信方法の一例を示す図である。
例えばディスプレイとして構成される複数の送信機が隣接して配置されている。複数の送信機は、同一の信号を送信する場合、信号送信のタイミングを同期させ、図169の(a)のように全面から信号を送信する。この構成により、受信機には複数のディスプレイが一つの大きな送信機として観察されるため、受信機はより高速に、また、より遠距離から信号を受信できる。複数の送信機が異なる信号を送信する場合は、図169の(b)のように、複数の送信機は、信号を送信しない緩衝帯(非送信領域)を設けて信号を送信する。この構成により、受信機は、複数の送信機が緩衝帯を隔てた互いに別の送信機であると認識し、別々の信号を受信することができる。
図170は、実施の形態6における信号送信方法の一例を示す図である。
図170の(a)に示すように、液晶ディスプレイは、バックライト消灯期間を設け、バックライトの消灯中に液晶の状態を変化させることで、状態変化中の画像を不可視とし、動的解像感を高めることができる。このようなバックライト制御を行っている液晶ディスプレイに対しては、図170の(b)に示すように、バックライトの点灯周期に合わせて信号を重畳する。一揃いのデータ(Hdr、Data、FCS)を連続して送信することで、受信効率を高めることができる。また、バックライトの点灯期間の最初と最後では発光部は明るい状態(Hi)となる。発光部が暗い状態(Lo)がバックライト消灯期間と連続すると、信号としてLoが送信されているのか、バックライト消灯期間のため暗い状態にあるのかの判断が受信機にはできないためである。
バックライト消灯期間は、平均輝度を低くした信号を重畳してもよい。
信号を重畳することで、重畳しない場合と比べて平均輝度が変化するため、バックライト点灯期間を増減したり、バックライト点灯時の輝度を上下させて、平均輝度が等しくなるように調整する。
図171は、実施の形態6における信号送信方法の一例を示す図である。
液晶ディスプレイは、バックライト制御を位置ごとに異なるタイミングで行うことで、画面全体の輝度変化を低減させることができる。これをバックライトスキャンと呼ぶ。バックライトスキャンは通常は図171の(a)のように端から順にバックライトを点灯するように行われる。このとき、撮像画像8802aが得られる。しかし、撮像画像8802aでは、輝線が存在している部分が分断されており、ディスプレイの画面全体がひとつの送信機であることを推定できない場合がある。そこで、図171の(b)のように、縦軸をバックライトスキャンの分割方向の空間軸、横軸を時間軸として表示したときに発光している(信号を重畳している)部分が全てつながるようにバックライトスキャンの順序を設定することで、撮像画像8802bを得ることができる。撮像画像8802bでは、輝線部分が全て連結しており、一つの送信機からの送信信号であることが容易に推定できる。また、連続して受信可能な輝線の数が増えるため、速く、遠くから信号を受信できる。また、送信機の大きさの推定も容易となるため、撮像画像中の送信機の位置、大きさ、角度から受信機の位置を精度よく推定することができる。
図172は、実施の形態6における信号送信方法の一例を示す図である。
時分割バックライトスキャンにおいて、バックライトの点灯期間が短く、縦軸をバックライトスキャンの分割方向の空間軸、横軸を時間軸とするグラフ上において、発光している(信号を重畳している)部分をつなぐことができない場合は、それぞれの発光部分において図170の場合と同様にバックライトの発光タイミングに合わせて信号を重畳する。このとき、グラフ上の他のバックライト点灯部分との距離が最大になるようにバックライトを制御することで、隣接部分の輝線が混じることを防ぐことができる。
図173は、実施の形態6におけるユースケースを説明するための図である。本実施の形態におけるシステムは、可視光通信を行う照明器具100、可視光通信機能を持つウェアラブルデバイス101、スマートフォン102、およびサーバー103から構成される。
本実施の形態の目的は、可視光通信を用いて、ユーザーが店舗で買い物をする場合の、一連の手間を省き、買い物にかかる時間を短縮することにある。従来、店舗で商品を購入する際は、予めその店舗のサイトを検索してクーポン情報を取得する必要があった。また店内でそのクーポン対象になっている商品を探す場合に時間がかかってしまうという課題があった。
図173に示すように、照明器具100は、店舗(例として家電量販店を想定する)の前で、定期的に可視光通信を用いて、自機の照明ID情報を送信している。ユーザーのウェアラブルデバイス101は、この照明ID情報を受信すると、近距離無線通信を用いて、スマートフォン102に照明ID情報を送信する。スマートフォン102は携帯回線などを用いてサーバー103にユーザーの情報と照明ID情報を送信する。スマートフォン102は、サーバー103よりユーザーの目の前にある店舗のポイント情報や、クーポン情報等を受け取る。ユーザーは、サーバー103より受け取った情報を、ウェアラブルデバイス101やスマートフォン102で閲覧する。ユーザーは表示された店舗の商品情報をその場で購入したり、店舗内の展示場所まで誘導を受けることが可能となる。以下、図を用いて詳細に説明する。
図174は、スマートフォン102がサーバー103に送信する情報テーブルを示す図である。スマートフォン102に保持されているその店舗の会員番号、店舗のID情報、送信時刻、位置情報に加え、スマートフォン102に蓄えられているユーザーの趣向情報や生体情報、検索履歴や行動履歴情報をスマートフォン102は送信する。
図175は、サーバー103のブロック図である。送受信部201は、スマートフォン102から送信された情報を受信する。制御部202は、全体の制御を行う。会員情報DB203には、会員番号やその会員番号のユーザーの氏名や生年月日、ポイント情報、購入履歴等が保存されている。店舗DB204には、店舗IDと、その店舗で販売している商品情報、店舗の陳列情報、店舗の地図情報など、店舗内の情報が保存されている。通知情報生成部205は、ユーザーの趣向に沿ったクーポン情報やおすすめ商品情報を生成する。
図176は、上記システムの全体の処理を示すフローチャートである。ウェアラブルデバイス101は照明器具100から照明IDを受信する(S301)。次にウェアラブルデバイス101は照明IDをBluetooth(登録商標)等の近接無線通信等を用いて、スマートフォン102に送信する(S302)。次にスマートフォン102は、図174で示した、自身の持つユーザーの履歴情報と、会員番号と、照明IDをサーバー103に送信する(S303)。サーバー103はデータを受信すると、データは、まず制御部202へ送信される(S304)。次に制御部202は会員番号を会員情報DB203に照会し、会員情報を取得する(S305)。次に制御部202は照明IDを店舗DB204に照会し、店舗情報を取得する(S306)。店舗情報には、店舗に在庫がある商品情報、店舗として販売を促進したい商品の情報、クーポン情報や、店舗の店内地図情報等が含まれる。制御部202は会員情報と、店舗情報を通知情報生成部に送信する(S307)。通知情報生成部205は、会員情報と、店舗情報から、ユーザーに適した広告情報を生成し、制御部202へ送信する(S308)。制御部202は会員情報と広告情報を送受信部201へ送信する(S309)。会員情報には、ユーザーのポイント情報や有効期限情報などが含まれる。送受信部201は会員情報と広告情報をスマートフォン102に送信する(S310)。スマートフォン102は受信した情報を表示画面に表示する(S311)。
さらに、スマートフォン102はサーバー103から受けた情報をウェアラブルデバイス101へ転送する(S312)。ウェアラブルデバイス101の通知設定がONであるならば、ウェアラブルデバイス101は情報を表示する(S314)。なお、ウェアラブルデバイスは情報を表示する際は、ヴァイブレーション等でユーザーに注意喚起を促すことが望ましい。これは、ユーザーは必ずしもその店舗に入るわけではないため、クーポン情報などを送信していても、ユーザーが気づかない場合があるためである。
図177は、サーバー103がスマートフォン102へ送信する情報テーブルを示す図である。店舗地図DBとは、店内のどの位置にどの商品が陳列されているかといった店内の案内情報である。店舗の商品情報とは、その店舗に在庫がある商品の情報や商品の価格情報などである。ユーザー会員情報とはユーザーのポイント情報や、会員カードの有効期限情報などである。
図178は、ユーザーが店舗前でサーバー103から情報を受け取ってから実際に商品を購入するまでのウェアラブルデバイス101に表示される画面フローを示す図である。店舗前では、ユーザーが来店した場合に付与されるポイントと、クーポン情報が表示されている。ユーザーがクーポン情報をタップすると、サーバー103から送信された、ユーザーの趣向に沿った情報が表示される。例えばユーザーがテレビをタップすると、おすすめのテレビの情報が表示される。ここで購入ボタンを押すと、受取方法の選択画面が表示され、自宅への配送か、店内での受取かを選ぶこととができる。本実施の形態では、ユーザーがどの店舗にいるかが分かっているため、店舗で受け取ることができるというメリットがある。フロー403で売り場へ誘導するを選択すると、ウェアラブルデバイス101はGuideModeへ移行する。このモードは矢印等を用いてユーザーを特定の場所へ誘導するモードであり、選択した商品が実際に陳列されている場所へとユーザーを誘導することができる。商品棚の前に案内されると、ウェアラブルデバイス101は購入の要否を問い合わせる画面に遷移する。ユーザーは該当商品を実際に見ることでサイズや色、使い勝手などを試してから商品の購入判断をすることが可能となる。
なお、本発明における可視光通信は、精度よくユーザーの位置を特定することが可能である。このため、例えば図179のように工場内の危険地域にユーザーが入りそうな場合には警告を与えることも可能である。さらに、警告を発するかどうかは、ウェアラブルデバイス側で決定することが可能であるため、例えば特定の年齢以下の子供には警告を出すといった自由度の高い警告システムを構築することができる。
(実施の形態7)
図180は、既に説明した実施の形態に記載の受信方法を用いたサービス提供システムを示す図である。
まず、サーバex8002を管理する企業A ex8000に対して、他の企業Bや個人ex8001が、携帯端末への情報の配信を依頼する。例えば、サイネージと可視光通信した携帯端末に対して、詳細な広告情報や、クーポン情報、または、地図情報などの配信を依頼する。サーバを管理する企業A ex8000は、任意のID情報に対応させて携帯端末へ配信する情報を管理する。携帯端末ex8003は、可視光通信により被写体ex8004からID情報を取得し、取得したID情報をサーバex8002へ送信する。サーバex8002は、ID情報に対応する情報を携帯端末へ送信するとともに、ID情報に対応する情報を送信した回数をカウントする。サーバを管理する企業A ex8000は、カウントした回数に応じた料金を、依頼した企業Bや個人ex8001に対して課金する。例えば、カウント数が大きい程、課金する額を大きくする。
図181は、サービス提供のフローを示すフローチャートである。
Step ex8000において、サーバを管理する企業Aが、他企業Bより情報配信の依頼を受ける。次に、Step ex8001において、企業Aが管理するサーバにおいて、配信依頼を受けた情報を、特定のID情報と関連付ける。Step ex8002では、携帯端末が、可視光通信により、被写体から特定のID情報を受信し、企業Aが管理するサーバへ送信する。可視光通信方法の詳細については、他の実施の形態において既に説明しているため省略する。サーバは、携帯端末から送信された特定のID情報に対応する情報を携帯端末に対して送信する。Step ex8003では、サーバにおいて、情報配信した回数をカウントする。最後に、Step ex8004において、情報配信したカウント数に応じた料金を企業Bに対して課金する。このように、カウント数に応じて、課金を行うことにより、情報配信の宣伝効果に応じた適切な料金を企業Bに課金することが可能となる。
図182は、他の例におけるサービス提供を示すフローチャートである。図181と重複するステップについては説明を省略する。
Step ex8008において、情報配信の開始から所定時間が経過したか否か判断する。所定時間内と判断されれば、Step ex8011において、企業Bに対しての課金は行わない。一方、所定期間が経過していると判断された場合には、Step ex8009において、情報を配信した回数をカウントする。そして、Step ex8010において、情報配信したカウントに応じた料金を企業Bに対して課金する。このように、所定期間内は無料で情報配信を行うことから、企業Bは宣伝効果などを確認した上で、課金サービスを受けることができる。
図183は、他の例におけるサービス提供を示すフローチャートである。図182と重複するステップについては説明を省略する。
Step ex8014において、情報を配信した回数をカウントする。Step ex8015において、情報配信開始から所定期間が経過していないと判断された場合には、Step ex8016において課金は行わない。一方、所定期間が経過していると判断された場合には、Step ex8017において、情報を配信した回数が所定値以上か否か判断を行う。情報を配信した回数が所定値に満たない場合には、カウント数をリセットし、再度、情報を配信した回数をカウントする。この場合、情報を配信した回数が所定値未満だった、所定期間については企業Bに対して課金は行わない。Step ex8017において、カウント数が所定値以上であれば、Step ex8018においてカウント数を一度リセットし、再度カウントを再開する。Step ex8019において、カウント数に応じた料金を企業Bに対して課金する。このように、無料で配信を行った期間内におけるカウント数が少なかった場合に、再度、無料配信の期間を設けることで、企業Bは適切なタイミングで課金サービスを受けることができる。また、企業Aもカウント数が少なかった場合に、情報内容を分析し、例えば、季節と対応しない情報になっているような場合に、情報内容を変更するように企業Bに対し提案することが可能となる。なお、再度、無料の情報配信期間を設ける場合には、初回の所定の期間よりも短い期間としてもよい。初回の所定の期間よりも短くすることにより、企業Aに対する負担を小さくすることができる。また、一定期間を空けて、無料の配信期間を再度設ける構成としてもよい。例えば、季節の影響を受ける情報であれば、季節が変わるまで一定期間を空けて、再度、無料の配信期間を設けることができる。
なお、情報の配信回数によらず、データ量に応じて、課金料金を変更するとしてもよい。一定のデータ量の配信は無料として、所定のデータ量以上は、課金する構成としてもよい。また、データ量が大きくなるにつれて、課金料金も大きくしてもよい。また、情報を特定のID情報に対応付けて管理する際に、管理料を課金してもよい。管理料として課金することにより、情報配信を依頼した時点で、料金を決定することが可能となる。
(実施の形態8)
本実施の形態では、上記各実施の形態におけるスマートフォンなどの受信機と、LEDや有機ELの点滅パターンとして情報を送信する送信機とを用いた各適用例について説明する。
(受信しやすい変調方式)
図184A、図184Bおよび図185は、実施の形態8における信号の符号化の一例を示す図である。
送信信号はヘッダ(H)とボディ(Body)で構成される。ヘッダには、ユニークな信号パターンが含まれている。受信機は、受信信号中からこのユニークなパターンを見つけ出し、その位置を基準にして受信信号のどの部分がヘッダまたはボディを表しているかを認識し、データを受信する。
送信信号が図184Aの(a)のパターンで変調されるとき、受信機は、ヘッダとそれに続くボディを連続で受信したときにデータを受信できる。受信機が連続で信号を受信できる時間的な長さは、撮像画像(撮影画像)に映る送信機の大きさによって決定される。送信機が小さい場合や、送信機を遠くから撮像した場合には、受信機が連続で信号を受信できる時間は短い。受信機が連続で信号を受信できる時間(連続受信時間)が、ヘッダとボディを含む1ブロックの送信時間と同じである場合は、ヘッダの送信開始時点と受信開始時点が等しい場合にのみ、受信機はデータを受信できる。図184Aの(a)は、連続受信時間がヘッダとボディを含む1ブロックの送信時間より少し長い場合を示す。矢印線は連続受信時間を表しており、太線で表したタイミングで信号を受信した場合にはデータを受信可能であるが、細線で表したタイミングで信号を受信した場合には、受信信号中にヘッダとボディが揃っていないため、データを受信することはできない。
そこで、送信信号を図184Aの(b)のパターンで変調することで、より広い受信タイミングでデータの受信を可能とすることができる。送信機は、「ボディ・ヘッダ・ボディ」を一組として変調された信号を送信する。ここで、同じ組にある2つのボディは同じ信号である。受信機は、ボディに含まれる全ての信号を連続で受信しなくても、ヘッダの前後のそれぞれにあるボディの部分をつなぎ合わせることでボディを復元できるため、ヘッダに含まれる全ての信号を連続で受信できればデータを受信可能である。図184Aでは、データを受信可能な受信タイミングを太線で表しており、(b)の場合は(a)の場合に比べてより広い受信タイミングでデータの受信が可能であることがわかる。
図184Aの(b)の変調方式の場合、ボディの信号長が固定値であれば、受信機はボディを復元できる。または、ヘッダにボディの信号長の情報が含まれていれば、受信機はボディを復元できる。
つまり、図184Bに示すように、受信機は、まず、輝線が含まれる撮影画像(輝線画像)から、ユニークな輝線のパターンからなるヘッダを見つける。そして、受信機は、そのヘッダの後(図184B中の(1)の方向)に続くボディの各信号を順次読み出す。このとき、受信機は、信号を読み出すごとに、ボディの信号長の分だけ、そのボディの信号を読み出したか否かを判断する。つまり、ボディに含まれる全ての信号を読み出したか否かを判断する。読み出していないと判断したときには、受信機は、読み出された信号の後に続く信号を読み出す。しかし、その後に続く信号がない場合には、受信機は、ヘッダの前(図184B中の(2)の方向)に続くボディの各信号を順次読み出す。これにより、ボディに含まれる全ての信号が読み出される。ここで、ボディの信号長が固定長であれば、受信機は、その信号長を予め保持しており、その信号長を用いて上述の判断を行う。または、受信機は、ヘッダからボディの信号長を特定し、その信号長を用いて上述の判断を行う。
また、ボディの信号長が可変長である場合でも、同一の送信機が変調したボディは同一の信号長となるように変調方式を定めることで、受信機は、二つのヘッダ間の信号長からボディの信号長を推定してボディを復元できる。このとき、図184Aの(b)の変調方式では、ヘッダ二つとボディ二つ分の信号を一度に受信しなければならない。しかし、図185に示す変調方式であれば、ヘッダ二つとボディ一つ分の信号を受信するだけで、ボディの信号長を推定できる。なお、図185では、「ボディ・ヘッダ・ボディ・ヘッダ2(H2)」を一組とした変調方式であり、受信機は、ヘッダに含まれる全ての信号を連続で受信できればデータを受信可能である。
このように、本実施の形態における送信機は、送信対象の信号のうちの一部であるボディに対応する第1の輝度変化のパターンと、そのボディを特定するためのヘッダを示す第2の輝度変化のパターンとを決定し、第1の輝度変化のパターン、第2の輝度変化のパターン、その第1の輝度変化のパターンの順に、それぞれのパターンにしたがって輝度変化することによって、ヘッダおよびボディを送信する。また、送信機は、さらに、ヘッダと異なる他のヘッダを示す第3の輝度変化のパターンを決定し、第1の輝度変化のパターン、第2の輝度変化のパターン、第1の輝度変化のパターン、第3の輝度変化のパターンの順に、それぞれのパターンにしたがって輝度変化することによって、ヘッダ、ボディおよび他のヘッダを送信してもよい。
(輝線による通信と画像認識の併用)
図186は、実施の形態8における撮像画像の一例を示す図である。
受信機は、撮像画像中の輝線から信号を読み取るとともに、輝線以外の部分を画像処理によって解析することができる。これにより、例として、受信機は、例えばデジタルサイネージとして構成される送信機から信号を受信し、同じ信号を受信した場合であってもそのときに送信機の画面上に写っている画像によって異なる広告を表示すること等が可能となる。
輝線は画像処理においてノイズとなるため、輝線の左右の画素から輝線部分の画素値を補間してから画像処理を行うとしてもよい。また、輝線部分を除いた画像に対して画像処理を行ってもよい。
(可視光信号の受信に適した撮像素子の利用方法)
図187A〜図187Cは、実施の形態8における受信機の構成および動作の一例を示す図である。
図187Aに示すように、8910aは、受信機の撮像素子である。撮像素子は、画像を撮像する部分である有効画素と、暗電流等のノイズ測定のためのオプティカルブラックと、無効領域8910bで構成される。オプティカルブラックには、さらに、垂直方向のノイズを測定するVOBと、水平方向のノイズを測定するHOBがある。輝線は8910cの向き(水平方向)に発生するため、VOBや無効領域8910bに露光している時間は輝線が得られず、信号を受信することができない。そのため、可視光通信時には、VOBと無効領域8910bを利用しないか最小限の利用とする撮像モードに切り替えることで、信号を受信可能な時間を増やすことができる。
図187Bに示すように、VOBと無効領域8910bを利用しないようにすることによって、有効画素を含む領域である有効画素領域において露光されている時間を延ばすことができる。具体的には、図187Bの(a)に示すように、通常撮影時には、時刻t0〜t10、時刻t10〜t20、および時刻t20〜t30のそれぞれの間で1枚の撮影画像が取得される。また、それぞれの撮影画像を取得するためには、VOBと無効領域8910bも利用されるため、有効画素領域において露光されている時間(電荷が読み出される時間であって、図187B中の網掛け部分)は、時刻t3〜t10、時刻t13〜t20、および時刻t23〜t30である。
一方、可視光通信時において、VOBと無効領域8910bを利用しないようにすることによって、図187Bの(b)に示すように、VOBと無効領域8910bを利用していた時間だけ、有効画素領域において露光されている時間を延ばすことができる。つまり、可視光通信で受信可能な時間を増やすことができる。その結果、多くの信号を受信することができる。
なお、図187Cの(a)に示すように、通常撮影時には、有効画素領域の各露光ラインの露光は、隣の露光ラインの露光が開始されてから、所定時間m経過した後に開始される。一方、図187Cの(b)に示すように、可視光通信時において、有効画素領域において露光されている時間が延ばされると、有効画素領域の各露光ラインの露光は、隣の露光ラインの露光が開始されてから、所定時間n(n>m)経過した後に開始される。
このように、本実施の形態における受信機は、通常撮影を行う際には、イメージセンサのオプティカルブラックを含む領域にある複数の露光ラインのそれぞれに対して、その露光ラインの隣の露光ラインに対する電荷の読み出しが行われた時点から所定の時間経過後に、電荷の読み出しを行う。そして、受信機は、可視光通信を行う際には、オプティカルブラックを電荷の読み出しに用いることなく、イメージセンサにおけるオプティカルブラック以外の領域にある複数の露光ラインのそれぞれに対して、その露光ラインの隣の露光ラインに対する電荷の読み出しが行われた時点から、上記所定の時間よりも長い時間経過後に、電荷の読み出しを行う。
また、可視光通信時には、デモザイキングやクリッピング等の処理で縦の画素数が減らないような撮像モードとすることで、信号を受信可能な時間をさらに増やすことができる。
VOBや無効領域8910bを利用せず、縦の画素を減らさないモードで撮像すると、撮像画像の下端と次のフレームの撮像画像の上端の露光タイミングが時間的に連続することになり、信号を連続的に受信することができる。また、VOB等を完全に無効にできない場合でも、誤り訂正が可能な方式で送信信号を変調することで、信号を連続的に受信することができる。
図187Aでは、水平方向のフォトダイオードを同時に露光するため水平方向の輝線があらわれる。可視光通信時には、この露光モードと、垂直方向のフォトダイオードを同時に露光する露光モードを交互に繰り返すことで、水平の輝線と垂直の輝線を得ることができるため、送信機がどのような形状であっても安定して信号を受信できる。
(連続的な信号受信)
図187Dは、実施の形態8における信号受信方法の一例を示す図である。
撮像素子には、受光した光の強度を画像にする画素である有効画素と、受光した光の強度を画像にせず、例えば暗電流の強度の基準として用いる無効画素がある。そのため、通常撮像モードでは、(a)に示すように、無効画素のみが受光している時間が存在し、その間は信号を受信することができない。そこで、可視光通信モードでは、(b)のように無効画素のみが受光する時間を最小限にしたり、(c)のように常に有効画素が受光するように設定したりすることで,受信可能な時間を長くとることができる。また、これにより、連続的な受信を可能とすることができる。(b)の場合は、受信ができない時間が存在するが、送信データに誤り訂正符号を用いることで、一部の信号が受信できない場合でも全体の信号を推定することができる。
(小さく撮像された送信機からの信号の受信方法)
図187Eは、実施の形態8における信号受信方法の一例を示すフローチャートである。
図187Eに示すように、ステップ9000aでstartし、ステップ9000bで信号を受信して、ステップ9000cでヘッダを検出する。ステップ9000dでヘッダに続くボディのデータサイズは既知かどうかを確認して、YESの場合はステップ9000fに進む。NOの場合はステップ9000eへ進み、ヘッダに続くボディのデータサイズをヘッダから読み出して、ステップ9000fに進む。ステップ9000fでヘッダに続いてボディを意味する信号を全て受信できたかどうかを確認して、YESの場合はステップ9000gへ進み、ヘッダに続いて受信した信号からボディ部分を読み出して、ステップ9000pで終了する。NOの場合はステップ9000hへ進み、ヘッダに続いて受信した部分とヘッダの前に受信した部分のデータ長を合わせるとボディのデータ長に足りるかどうかを確認して、YESの場合はステップ9000iへ進み、ヘッダに続いて受信した部分とヘッダの前に受信した部分を連結することでボディ部分を読み出して、ステップ9000pで終了する。NOの場合はステップ9000jへ進み、送信機から多くの輝線を撮像する手段があるかどうかを確認して、YESの場合はステップ9000nへ進み、輝線を多く撮像できる設定に変更して、ステップ9000bへ戻る。NOの場合はステップ9000kへ進み、送信機が存在するが撮像される大きさが不十分であることを通知して、ステップ9000mで送信機の方向を通知し、そちらへ近づけば受信可能となることを通知して、ステップ9000pで終了する。
この方法により、撮像画像中の送信機を通る露光ラインが少ない場合でも、安定して信号を受信することができる。
(可視光信号の受信に適した撮像画像サイズ)
図188および図189Aは、実施の形態8における受信方法の一例を示す図である。
撮像素子の有効画素領域が4:3である場合は、16:9で撮像すると、画像の上下の部分がクリッピングされる。輝線が水平方向に現れる場合は、このクリッピングで輝線が失われ、信号を受信可能な時間が短くなる。同様に、撮像素子の有効画素領域が16:9の場合に4:3で撮像すると、画像の左右の部分がクリッピングされ、輝線が垂直方向に現れる場合に信号を受信可能な時間が短くなる。そこで、クリッピングが発生しない縦横比、すなわち、図188では4:3を、図189Aでは16:9を、可視光通信モードでの撮像縦横比とする。これにより、受信可能な時間を長くとることができる。
つまり、本実施の形態における受信機は、さらに、イメージセンサによって得られる画像の縦幅と横幅の比率を設定する。そして、受信機は、可視光通信を行う際には、設定された比率によって、画像における露光ライン(輝線)と垂直な方向の端がクリッピングされるか否かを判定し、端がクリッピングされると判定したときには、設定された比率を、その端がクリッピングされない比率である非クリッピング比率に変更する。そして、受信機のイメージセンサは、輝度変化する被写体を撮影することによって、その非クリッピング比率の輝線画像を取得する。
図189Bは、実施の形態8における受信方法の一例を示すフローチャートである。
この受信方法では、受信時間を伸ばし、小さな送信機からの信号を受信するための撮像アスペクト比を設定する。
つまり、図189Bに示すように、ステップ8911Baでstartして、ステップ8911Bbで可視光通信モードへ撮像モードを変更する。ステップ8911Bcで撮像画像のアスペクト比設定は有効画素のアスペクト比と最も近い設定になっているかどうかを確認する。YESの場合はステップ8911Bdへ進み、撮像画像のアスペクト比設定を有効画素のアスペクト比と最も近い設定にする。ステップ8911Beで終了する。NOの場合はステップ8911Beへ進み、終了する。可視光通信モードにおいてこのようにアスペクト比を設定することで、受信できない時間を減らすことができる。また、小さい送信機や遠くの送信機からの信号を受信できるようになる。
図189Cは、実施の形態8における受信方法の一例を示すフローチャートである。
この受信方法では、時間あたりのサンプル数を増やすための撮像アスペクト比を設定する。
つまり、図189Cに示すように、ステップ8911Caでstartして、ステップ8911Cbで可視光通信モードへ撮像モードを変更する。ステップ8911Ccで露光ラインの輝線が確認できるが時間あたりのサンプル数が少なく信号が受信できないかを確認する。YESの場合はステップ8911Cdへ進み、撮像画像のアスペクト比設定を有効画素のアスペクト比と最も異なる設定にする。ステップ8911Ceで撮像フレームレートを上げて、ステップ8911Ccへ戻る。NOの場合はステップ8911Cfへ進み、信号を受信して、終了する。
可視光通信モードにおいてこのようにアスペクト比を設定することで、周波数の高い信号を受信することができる。また、ノイズの大きな環境でも受信できるようになる。
(ズームを利用した可視光信号の受信)
図190は、実施の形態8における受信方法の一例を示す図である。
受信機は、撮像画像8913aの中から輝線が存在する領域を見つけ出し、できるだけ多くの輝線が発生するようにズームを行う。撮像画像8913bのように、輝線の方向に垂直な方向に、輝線領域が画面の上端下端にかかるまで拡大することで、輝線の数を最大にすることができる。
また、受信機は、輝線がはっきりと表示される領域を見つけ出し、8913cのように、その部分が大きく映るようにズームを行うとしてもよい。
なお、撮像画像中に複数の輝線領域が存在する場合は、それぞれの輝線領域について順次上記の処理を行うとしてもよい。また、撮像画像中からユーザが指定した輝線領域について上記の処理を行うとしてもよい。
(可視光信号の受信に適した画像データサイズの圧縮方法)
図191は、実施の形態8における受信方法の一例を示す図である。
撮像画像(a)を、撮像部から画像処理部へ伝送する際や、撮像端末(受信機)からサーバへ送信する際に、画像データサイズの圧縮が必要な場合は、(c)のように、輝線に水平な方向に縮小や画素間引きを行うと輝線の情報量を減じることなくデータサイズを圧縮することができる。(b)や(d)のような縮小や画素間引きを行うと、輝線の数が減ってしまったり、輝線の認識が難しくなる。画像圧縮の際も、輝線に垂直な方向には圧縮しない、または、垂直方向の圧縮率を水平方向の圧縮率より小さくすることで、受信効率の低減を防ぐことができる。なお、移動平均フィルタは垂直方向と水平方向のいずれにも適用してもよく、データサイズ縮小とノイズ低減の両方に有効である。
つまり、本実施の形態における受信機は、さらに、輝線画像に含まれる複数の輝線のそれぞれに平行な方向に、その輝線画像を圧縮することによって、圧縮画像を生成し、その圧縮画像を送信する。
(受信エラー検出精度が高い変調方式)
図192は、実施の形態8における信号変調方法の一例を示す図である。
パリティビットによる誤り検出は1ビットの受信誤りを検出するため、「01」と「10」の取り違えと「00」と「11」の取り違えは検出できない。(a)の変調方式では、「01」と「10」はLの位置が一つ異なるだけであるので取り違えやすいが、(b)の変調方式では「01」と「10」、「00」と「11」のLの位置がそれぞれ二つ異なっている。(b)の変調方式を用いることで、高い精度で受信誤りを検出できる。これは、図76から図78における変調方式においても同様である。
つまり、本実施の形態では、所定の輝度値(例えばL)が現れるタイミングが互いに隣接する2つの輝度変化のパターンが、同一のパリティの信号単位(例えば、「01」と「10」)に割り当てられていないように、そのタイミングが互いに異なる輝度変化のパターンが、互いに異なる信号単位のそれぞれに対して予め割り当てられている。そして、本実施の形態における送信機は、送信対象の信号に含まれる信号単位のそれぞれに対して、その信号単位に割り当てられた輝度変化のパターンを決定する。
(状況の違いによる受信機の動作の変更)
図193は、実施の形態8における受信機の動作の一例を示す図である。
受信機8920aは、受信が開始された状況によって異なる動作をする。例えば、日本で起動された場合は、60kHzの位相偏移変調方式で変調された信号を受信し、受信したIDをキーにサーバ8920dからデータをダウンロードする。アメリカで起動された場合には、50kHzの周波数偏移変調方式で変調された信号を受信し、受信したIDをキーにサーバ8920eからデータをダウンロードする。受信機の動作を変更させる前記状況には、受信機8920aが存在している場所(国や建物)、受信機8920aと通信している基地局や無線アクセスポイント(Wi−Fi、Bluetooth(登録商標)、IMES等)、時刻等がある。
例えば、受信機8920aは、位置情報や最後にアクセスした無線基地局(キャリア通信網やWi−FiやBluetooh(登録商標)やIMES等の基地局)や可視光通信によって最後に受信したIDを、サーバ8920fに送信する。サーバ8920fは、受信した情報を基に受信機8920aの位置を推定し、その位置付近の送信機の送信信号を受信できる受信アルゴリズムと、その位置付近の送信機のIDを管理しているID管理サーバの情報(URI等)を送信する。受信機8920aは、受信したアルゴリズムを用いて送信機8920bや8920cの信号を受信し、受信したID管理サーバ8920d、8920eへIDをキーとした問い合わせを行う。
この方法により、国や地域や建物といった単位で異なる方式の通信を行うことができる。また、本実施の形態における受信機8920aは、信号を受信したときには、その信号の変調に利用された周波数に応じて、アクセス対象となるサーバを切り替えたり、受信アルゴリズムを切り替えたり、図192に示す信号変調方法を切り替えてもよい。
(人間への可視光通信の周知)
図194は、実施の形態8における送信機の動作の一例を示す図である。
送信機8921aの発光部は、図194の(a)に示すように、人間が視認可能な点滅と可視光通信とを繰り返す。人間に視認可能な点滅を行うことで、可視光通信が可能であることを人間に知らせることができる。ユーザは送信機8921aが点滅していることで可視光通信が可能であることに気づき、受信機8921bを送信機8921aに向けて可視光通信を行い、送信機8921aのユーザ登録を行う。
つまり、本実施の形態における送信機は、発光体が輝度変化によって信号を送信するステップと、発光体が人の目で視認されるように点滅するステップとを交互に繰り返し行う。
送信機は、図194の(b)のように、可視光通信部と点滅部(通信状況表示部)とを別に設けてもよい。
送信機は、図77または図78の変調方式を用いて、図194の(c)のように、動作することで、可視光通信を行いながら、人間には発光部が点滅しているように見せることができる。つまり、送信機は、例えば明るさ75%の高輝度可視光通信と、明るさ1%の低輝度可視光通信とを交互に繰り返し行う。例えば、送信機に異常等が発生して普段とは異なる信号を送信しているときに図194の(c)に示す動作をすることで、可視光通信をやめることなくユーザに注意を促すことができる。
(散光板による受信範囲の拡大)
図195は、実施の形態8における受信機の一例を示す図である。
図195の(a)は、受信機8922aの通常モードの様子を示し、図195の(b)は、受信機8922aの可視光通信モードの様子を示す。受信機8922aは、撮像部の前に散光板8922bを備える。受信機8922aは、可視光通信モード時に散光板8922bを撮像部の前に移動させ、光源が広がって撮像されるようにする。このとき、複数の光源からの光が重ならないように、散光板8922bの位置を調整する。なお、散光板8922bに代わり、マクロレンズやズームレンズを用いてもよい。これにより、遠くの送信機や小さい送信機の信号を受信することができる。
なお、散光板8922bを移動させる代わりに、撮像部の撮像方向を移動させてもよい。
なお、散光板8922bが映るイメージセンサの領域は通常撮像モードでは利用せず、可視光通信モードでのみ利用するとしてもよい。これにより、散光板8922bも撮像部も移動させることなく、上記の効果が得られる。
(複数の送信機からの信号送信の同期方法)
図196と図197は、実施の形態8における送信システムの一例を示す図である。
プロジェクションマッピング等のために複数のプロジェクタを用いる場合は、混信をさけるため、一箇所の投影には一つのプロジェクタのみが信号を送信するか、複数のプロジェクタの信号送信タイミングを同期する必要がある。図196は、送信タイミングの同期のための仕組みを示す。
同じ投影面に投影を行うプロジェクタAとプロジェクタBが、図196のように信号を送信する。受信機がこれを撮像して受信し、信号aと信号bの時間差を計算し、各プロジェクタの信号送信タイミングを調整する。
動作開始時にはプロジェクタAとプロジェクタBは同期していないため、どちらも信号を送信しない時間(全休止時間)を設けることで、信号aと信号bが重なって受信できなくなることを防ぐ。プロジェクタのタイミング調整が進むに連れてプロジェクタが送信する信号を変化させても良い。例えば、動作開始時には全休止時間を長くとり、タイミング調整が進むにつれて全休止時間を短くすることで、効率よくタイミング調整が可能となる。
正確にタイミングを調整するためには、1枚の撮像画像中に信号aと信号bが含まれていることが望ましい。受信機の撮像フレームレートは60fpsから7.5fpsのものが多い。信号送信の周期を7.5分の1秒以下にすることで、7.5fpsで撮像された画像中に信号aと信号bを収めることができる。また、信号送信の周期を60分の1秒以下とすることで、30fpsで撮像された画像中に確実に信号aと信号bを収めることができる。
図197は、複数のディスプレイから構成される送信機を同期する場合を示す図である。同期するディスプレイが1枚の画像中に収まるように撮像し、タイミング調整を行う。
(照度センサとイメージセンサによる可視光信号の受信)
図198は、実施の形態8における受信機の動作の一例を示す図である。
イメージセンサは、照度センサに比べて消費電力が高いため、受信機8940aは、照度センサ8940cで信号を検知した際にイメージセンサ8940bを起動して信号を受信する。図198の(a)に示すように、受信機8940aは、送信機8940dが送信した信号を、照度センサ8940cで受信する。その後、受信機8940aは、イメージセンサ8940bを起動し、イメージセンサで送信機8940dの送信信号を受信し、送信機8940dの位置を認識する。このとき、イメージセンサ8940bは信号の一部を受信した時点で、その一部が照度センサ8940cで受信した信号と同一であれば、受信機8940aは同一の信号を受信したと仮に判断し、後段の処理、例えば現在位置の表示等、を行う。イメージセンサ8940bで全部の信号が受信できた時点で、判断を完了する。
なお、仮判断時には、判断が完了していないことを表示してもよい。例えば、現在位置の表示を半透明にしたり、位置の誤差を表示する。
なお、前記信号の一部とは、例えば、全体の信号長の20%や、誤り検出符号部分等として定めることができる。
図198の(b)に示す状況では、照度センサ8940cでは、信号が混信して受信することができないが、信号が存在することは認識できる。例えば、照度センサ8940cのセンサ値をフーリエ変換したとき、送信信号の変調周波数にピークが現れた場合、信号が存在していると推定できる。受信機8940aは、照度センサ8940cのセンサ値から信号が存在していると推定したときは、イメージセンサ8940bを起動し、送信機8940e、8940fからの信号を受信する。
(受信開始のトリガ)
図199は、実施の形態8における受信機の動作の一例を示す図である。
イメージセンサや照度センサ(以下では、これらを総称して受光センサと呼ぶ)を起動していると電力を消費するため、不要時には停止させておき、必要なときに起動することで消費電力効率を向上させることができる。なお、照度センサの消費電力はイメージセンサと比べて少ないため、以下では、照度センサは常時起動し、イメージセンサのみを制御するとしてもよい。
図199の(a)では、受信機8941aは、9軸センサのセンサ値から移動を検出し、受光センサを起動して受信を開始する。
図199の(b)では、9軸センサのセンサ値から、受信機を倒す動作を検出し、上に向けられた側の受光センサを起動して受信を開始する。
図199の(c)では、9軸センサのセンサ値から、受信機を突き出す動作を検出し、突き出される方向の受光センサを起動して受信を開始する。
図199の(d)では、9軸センサのセンサ値から、受信機を上に向ける動作や振る動作を検出し、上に向けられた側の受光センサを起動して受信を開始する。
つまり、本実施の形態における受信機は、さらに、受信機(受信装置)が、予め定められた態様で動かされたか否かを判定し、予め定められた態様で動かされたと判定したときには、イメージセンサを起動する。
(受信開始のジェスチャ)
図200は、本通信方式による受信を開始するジェスチャ動作の一例を示す図である。
例えばスマートフォンとして構成される受信機8942aは、9軸センサのセンサ値から、受信機を立てて横方向にスライドさせる動作、または、横方向へのスライドを繰り返す動作を検出する。その後、受信機8942aは、受信を開始し、受信したIDをもとに送信機8942bの位置を取得する。その後、受信機8942aは、複数の送信機8942bと自身の相対位置関係から、自身の位置を取得する。受信機8942aは、スライドされることで、安定して複数の送信機8942bを撮像することができ、三角測量の方法で、自己位置を高精度に推定することができる。
なお、この動作は、ホーム画面がフォアグラウンドになっているときのみ行うとしてもよい。これにより、他のアプリを使用中にユーザの意図に反して本通信が行われることを防ぐことができる。
(カーナビへの応用例)
図201と図202は、実施の形態8における送受信システムの応用例の一例を示す図である。
例えばカーナビとして構成される送信機8950bは、Bluetooth(登録商標)のペアリング情報や、Wi−FiのSSIDとパスワードや、IPアドレス等、送信機8950bに無線接続するための情報を送信する。例えばスマートフォンとして構成される受信機8950aは、受信した情報をもとに送信機8950bと無線接続を確立し、以降のやりとりはこの無線接続を介して行う。
例えば、ユーザはスマートフォン8950aに目的地や探索する店舗情報などを入力し、スマートフォン8950aは、無線接続を介してカーナビ8950bに、入力された情報を伝達し、カーナビ8950bは経路情報を表示する。また、例えば、スマートフォン8950aは、カーナビ8950bのコントローラとして動作し、カーナビ8950bが再生する音楽や映像をコントロールする。また、例えば、スマートフォン8950aが保持する音楽や映像をカーナビ8950bで再生する。また、例えば、カーナビ8950bが周辺の店舗情報や道路の混雑情報を取得し、スマートフォン8950aに表示させる。また、例えば、スマートフォン8950aは、着信があったとき、無線接続されたカーナビ8950bのマイクとスピーカーを使って通話処理を行う。なお、スマートフォン8950aは、着信があったときに無線接続を確立して上記の動作を行うとしてもよい。
カーナビ8950bは、無線接続された自動接続モードに設定されているときは、登録された端末に自動で無線接続する。カーナビ8950bは、自動接続モードではないとき、可視光通信を用いて接続情報を送信して接続を待ち受ける。なお、カーナビ8950bは、自動接続モードの際も可視光通信を用いて接続情報を送信して接続を待ち受けてもよい。なお、カーナビは、手動で接続された場合には、自動接続モードを解除するとしてもよく、さらに、自動で接続された端末との接続を切断するとしてもよい。
(コンテンツ保護への応用例)
図203は、実施の形態8における送受信システムの応用例の一例を示す図である。
例えば、テレビとして構成される送信機8951bは、自身や接続された機器8951cに保持されたコンテンツ保護情報を送信する。例えばスマートフォンとして構成される受信機8951aは、前記コンテンツ保護情報を受信し、その後所定の時間の間は、送信機8951bや機器8951cのコンテンツ保護情報で保護されたコンテンツを再生できるように、コンテンツ保護を行う。これにより、ユーザが所有する別の機器に保持しているコンテンツを受信機で再生することができる。
なお、送信機8951bはコンテンツ保護情報をサーバに格納し、受信機8951aは、受信した送信機8951bのIDをキーにサーバからコンテンツ保護情報を取得してもよい。
なお、受信機8951aは、取得したコンテンツ保護情報をさらに他の機器に送信するとしてもよい。
(電子錠としての応用例)
図204Aは、実施の形態8における送受信システムの応用例の一例を示す図である。
受信機8952aは、送信機8952bの送信したIDを受信し、サーバ8952cへ送信する。サーバ8952cは、受信機8952aから送信機8952bのIDが送られてきた場合に、扉8952dを解錠したり、自動ドアを開けたり、受信機8952aに登録された階に移動するエレベータを受信機8952aの居るフロアへ呼ぶ。これにより、受信機8952aが鍵の役割を果たし、ユーザは扉8952dに着く前に解錠等を行うことができる。
つまり、本実施の形態における受信機は、輝度変化する被写体(例えば上述の送信機)を撮影することによって、複数の輝線を含む画像である第1の輝線画像を取得し、取得された第1の輝線画像に含まれる複数の輝線のパターンによって特定されるデータを復調することにより第1の送信情報(例えば、被写体のID)を取得する。そして、受信機は、第1の送信情報が取得された後に、制御信号(例えば、被写体のID)を送信することによって、扉の開閉駆動機器に対してその扉を開かせる。
悪意のある操作を防ぐため、サーバ8952cは、受信機8952aのセキュアエレメント等のセキュリティ保護を利用して、通信相手が受信機8952aであることを確認してもよい。また、受信機8952aが確かに送信機8952bの近くに居るということを確認するため、サーバ8952cは、送信機8952bのIDを受信した際に、送信機8952bに異なる信号を送信する命令を発し、受信機8952aから前記信号が送られてきた場合に解錠を行うとしてもよい。
また、照明機器として構成される送信機8952bが、扉8952dに向かう通路に沿って複数個並んでいる場合には、受信機8952aは、それらの送信機8952bからIDを受信することによって、受信機8952aが扉8952dに近づいているか否かを判定することができる。例えば、それらのIDが取得された順に、それらのIDによって示される値が小さくなる場合には、受信機は、扉に近づいていると判定する。または、受信機は、それらのIDに基づいて、それぞれの送信機8952bの位置を特定し、さらに、それらの送信機8952bの位置と、撮影画像に映るそれらの送信機8952bの位置とに基づいて、自らの位置を推定する。そして、受信機は、予め保持されている扉8952dの位置と、推定された自らの位置とを随時比較することによって、扉8952dに近づいているか否かを判定する。そして、受信機は、扉8952dに近づいていると判定したときに、取得された何れかのIDをサーバ8952cに対して送信する。その結果、サーバ8952cは、扉8952dを開くための処理などを行う。
つまり、本実施の形態における受信機は、輝度変化する他の被写体を撮影することによって、複数の輝線を含む画像である第2の輝線画像を取得し、取得された第2の輝線画像に含まれる複数の輝線のパターンによって特定されるデータを復調することにより第2の送信情報(例えば、他の被写体のID)を取得する。そして、受信機は、取得された第1および第2の送信情報に基づいて、受信機が扉に近づいているか否かを判定し、扉に近づいていると判定したときに、制御信号(例えば、何れかの被写体のID)を送信する。
図204Bは、本実施の形態における情報通信方法のフローチャートである。
本実施の形態における情報通信方法は、被写体から情報を取得する情報通信方法であって、ステップSK21〜SK24を含む。
つまり、この情報通信方法は、イメージセンサによる前記被写体である第1の被写体の撮影によって得られる画像に、前記イメージセンサに含まれる各露光ラインに対応する複数の輝線が前記第1の被写体の輝度変化に応じて生じるように、前記イメージセンサの第1の露光時間を設定する第1の露光時間設定ステップSK21と、前記イメージセンサが、輝度変化する前記第1の被写体を、設定された前記第1の露光時間で撮影することによって、前記複数の輝線を含む画像である第1の輝線画像を取得する第1の輝線画像取得ステップSK22と、取得された前記第1の輝線画像に含まれる前記複数の輝線のパターンによって特定されるデータを復調することにより第1の送信情報を取得する第1の情報取得ステップSK23と、前記第1の送信情報が取得された後に、制御信号を送信することによって、扉の開閉駆動機器に対して前記扉を開かせる扉制御ステップSK24とを含む。
図204Cは、本実施の形態における情報通信装置のブロック図である。
本実施の形態における情報通信装置K20は、輝度変化によって信号を送信する情報通信装置であって、構成要素K21〜K24を備える。
つまり、この情報通信装置K20は、イメージセンサによる前記被写体の撮影によって得られる画像に、前記イメージセンサに含まれる各露光ラインに対応する複数の輝線が前記被写体の輝度変化に応じて生じるように、前記イメージセンサの露光時間を設定する露光時間設定部K21と、輝度変化する前記被写体を、設定された前記露光時間で撮影することによって、前記複数の輝線を含む画像である輝線画像を取得する前記イメージセンサを有する輝線画像取得部K22と、取得された前記輝線画像に含まれる前記複数の輝線のパターンによって特定されるデータを復調することにより送信情報を取得する情報取得部K23と、前記送信情報が取得された後に、制御信号を送信することによって、扉の開閉駆動機器に対して前記扉を開かせる扉制御部K24とを備える。
このような図204Bおよび図204Cによって示される情報通信方法および情報通信装置K20では、例えば図204Aに示すように、イメージセンサを備えた受信機を扉の鍵のように用いることができ、特別な電子錠を不要にすることができる。その結果、演算力が少ないような機器を含む多様な機器間で通信を行うことができる。
なお、上記各実施の形態において、各構成要素は、専用のハードウェアで構成されるか、各構成要素に適したソフトウェアプログラムを実行することによって実現されてもよい。各構成要素は、CPUまたはプロセッサなどのプログラム実行部が、ハードディスクまたは半導体メモリなどの記録媒体に記録されたソフトウェアプログラムを読み出して実行することによって実現されてもよい。例えばプログラムは、図204Bのフローチャートによって示される情報通信方法をコンピュータに実行させる。
(来店情報伝達としての応用例)
図205は、実施の形態8における送受信システムの応用例の一例を示す図である。
受信機8953aは、送信機8953bの送信したIDをサーバ8953cへ送信する。サーバ8953cは、受信機8953aに関連付けられた注文情報を店員8953dへ通知する。店員8953dは、前記注文情報に基いて商品等を準備する。これにより、ユーザが店舗等に入った時点で注文が準備されるため、ユーザは迅速に商品等を受け取ることができる。
(場所に応じた注文制御の応用例)
図206は、実施の形態8における送受信システムの応用例の一例を示す図である。
受信機8954aは、送信機8954bの送信信号を受信したときにのみ注文が行える画面を表示する。これにより、店舗は、付近にいない顧客の注文を回避することができる。
または、受信機8954aは、送信機8954bのIDを注文情報に加えて注文を行う。これにより、店舗は、注文主の位置を把握し、商品を届ける位置を把握することができる。あるいは、店舗は、注文主が来店するまでの時間を推定することができる。なお、受信機8954aは、移動速度から計算した店舗までの移動時間を注文情報に加えてもよい。また、受信機は、現在位置から判断して不自然な購買(例えば、現在位置の駅以外から出発する搭乗券の購入)に対して、その購買を受け付けないようにしてもよい。
(道案内への応用例)
図207は、実施の形態8における送受信システムの応用例の一例を示す図である。
受信機8955aは、例えば案内板として構成される送信機8955bの送信IDを受信し、案内板に表示された地図のデータをサーバから取得して表示する。このとき、サーバは受信機8955aのユーザに適した広告を送信し、受信機8955aはこの広告情報も表示するとしてもよい。受信機8955aは、現在地から、ユーザが指定した場所までの経路を表示する。
(所在連絡への応用例)
図208は、実施の形態8における送受信システムの応用例の一例を示す図である。
受信機8956aは、例えば家庭や学校の照明として構成される送信機8956bの送信するIDを受信し、そのIDをキーとして取得した位置情報を端末8956cへ送信する。これにより、端末8956cを持つ保護者は、受信機8956aを持つ児童が家に帰ったことや学校に着いたことを知ることができる。また、端末8956cを持つ監督者は、受信機8956aを持つ作業者の現在位置を把握することができる。
(利用ログ蓄積と解析への応用例)
図209は、実施の形態8における送受信システムの応用例の一例を示す図である。
受信機8957aは、例えば看板として構成される送信機8957bの送信するIDを受信し、サーバからクーポン情報を取得して表示する。受信機8957aは、その後のユーザの行動、例えば、クーポンを保存したり、クーポンに表示された店舗に移動したり、その店舗で買い物を行ったり、クーポンを保存せずに立ち去ったりといった行動をサーバ8957cに保存する。これにより、看板8957bから情報を取得したユーザのその後の行動を解析することができ、看板8957bの広告価値を見積もることができる。
(画面共有への応用例)
図210と図211は、実施の形態8における送受信システムの応用例の一例を示す図である。
例えばプロジェクタやディスプレイとして構成される送信機8960bは、自身へ無線接続するための情報(SSID、無線接続用パスワード、IPアドレス、送信機を操作するためのパスワード)を送信する。または、これらの情報にアクセスするためのキーとなるIDを送信する。例えばスマートフォンやタブレットやノートパソコンやカメラとして構成される受信機8960aは、送信機8960bから送信された信号を受信して前記情報を取得し、送信機8960bとの無線接続を確立する。この無線接続は、ルータを介して接続してもよいし、Wi−FiダイレクトやBluetooth(登録商標)やWireless Home Digital Interface等によって直接接続してもよい。受信機8960aは、送信機8960bによって表示される画面を送信する。これにより、手軽に受信機の画像を送信機に表示することができる。
なお、送信機8960bは、受信機8960aと接続されたときに、画面表示のためには、送信機が送信している情報の他にパスワードが必要であることを受信機8960aに伝え、正しいパスワードが送られない場合は送信された画面を表示しないとしてもよい。このとき、受信機8960aは、8960dのような、パスワード入力画面を表示し、ユーザにパスワードを入力させる。
図211は、受信機8960aを介して送信機8961cの画面を送信機8960bに表示させる例を示す図である。例えばノートパソコンとして構成される送信機8961cは、自身へ接続するための情報、または、その情報に関連付けられたIDを送信する。受信機8960aは、送信機8960bから送信された信号と送信機8961cから送信された信号を受信し、各送信機との接続を確立させ、送信機8960bに表示するための画像を送信機8961cから伝送させる。送信機8960bと送信機8961cは直接通信するとしてもよいし、受信機8960aやルータを介して通信するとしてもよい。これにより、送信機8960bの送信した信号を送信機8961cが受信できない場合でも、手軽に送信機8961cの画像を送信機8960bに表示させることができる。
なお、受信機8960aが、送信機8960bの送信した信号を受信した時刻と、送信機8961cの送信した信号を受信した時刻の差が所定の時間以下であったときのみ前記の動作を行うとしてもよい。
なお、送信機8961cは、受信機8960aから正しいパスワードを受信した場合にのみ画像を送信機8960bに送信するとしてもよい。
(無線アクセスポイントを利用した位置推定の応用例)
図212は、実施の形態8における送受信システムの応用例の一例を示す図である。
例えばスマートフォンとして構成される受信機8963aは、送信機8963bの送信するIDを受信する。受信機8963aは、受信したIDをキーとして送信機8963bの位置情報を取得し、撮像画像中の送信機8963bの位置と方向から、自身の位置を推定する。また、受信機8963aは、例えばWi−Fiアクセスポイントとして構成される無線発信機8963cからの信号を受信する。受信機8963aは、信号に含まれた無線発信機8963cの位置情報と電波発信方向情報から自身の位置を推定する。受信機8963aは、複数の手段で自己位置を推定することで、高精度に自己位置を推定することができる。
無線発信機8963cの情報を利用して自己位置を推定する手法について説明する。無線発信機8963cは、複数のアンテナから、異なる方向に、同期した信号を送信している。また、無線発信機8963cは、信号送信の方向を順次変更している。受信機8963aは、電波強度が最も強くなったときの電波発信方向が無線発信機8963cから自身への方向であると推測する。また、別のアンテナから発信され、それぞれ経路8963d、8963e、8963fを通った電波の到達時間の差から経路差を計算し、各電波発信角度差θ12、θ13、θ23から、無線発信機8963cと自身の距離を計算する。さらに、周囲の電界情報、電波反射物情報を利用することで、より高精度に自己位置を推定することができる。
(可視光通信と無線通信による位置推定)
図213は、可視光通信と無線通信とによる位置推定を行う構成を示す図である。つまり、図213は、可視光通信と無線通信とを用いて端末の位置推定を行う構成を示している。
携帯端末(スマートフォン端末)は、発光部と可視光通信を行うことにより、発光部のIDを取得する。取得したIDをサーバに問い合わせ、発光部の位置情報を取得する。これにより、携帯端末は、MIMO(multiple-input and multiple-output)アクセスポイントと発光部との間のx方向およびy方向のそれぞれの距離である、実距離L1および実距離L2を取得する。また、既に他の実施の形態において説明しているように、携帯端末は、その携帯端末の傾きθ1をジャイロセンサなどを用いて検出する。
一方、MIMOアクセスポイントから携帯端末に向けてビームフォーミングがなされている場合には、ビームフォームの角度θ2は、MIMOアクセスポイントが設定するものであり既知の値となる。従って、携帯端末は、無線通信などにより、ビームフォーミングの角度θ2を取得する。
その結果、携帯端末は、実距離L1および実距離L2と、携帯端末の傾きθ1およびビームフォーミングの角度θ2とを用いて、MIMOアクセスポイントを基準とする携帯端末の座標位置(x1,y1)を算出することができる。なお、MIMOアクセスポイントは複数のビームを形成することが可能であることから、複数のビームフォーミングを利用することにより、より精度の高い位置推定を行うことも可能である。
このように、本実施の形態によれば、可視光通信による位置推定と、無線通信による位置推定との両方を用いることにより、位置推定の精度をより高めることが可能となる。
以上、一つまたは複数の態様に係る情報通信方法について、実施の形態に基づいて説明したが、本発明は、この実施の形態に限定されるものではない。本発明の趣旨を逸脱しない限り、当業者が思いつく各種変形を本実施の形態に施したものや、異なる実施の形態における構成要素を組み合わせて構築される形態も、一つまたは複数の態様の範囲内に含まれてもよい。
また、図214、図215および図216に示すように、本発明の一態様に係る情報通信方法を応用してもよい。
図214は、実施の形態8における送受信システムの応用例の一例を示す図である。
可視光通信の受信機として構成されるカメラは、通常撮像モードで撮像を行う(Step1)。この撮像によって、カメラは、例えばEXIF(Exchangeable image file format)等のフォーマットによって構成される画像ファイルを取得する。次に、カメラは、可視光通信撮像モードで撮像を行う(Step2)。カメラは、この撮像によって得られる画像中の輝線のパターンに基づいて、被写体である送信機から可視光通信によって送信された信号(可視光通信情報)を取得する(Step3)。さらに、カメラは、その信号(受信情報)をキーとして扱ってサーバにアクセスすることにより、サーバからそのキーに対応する情報を取得する(Step4)。そしてカメラは、被写体から可視光通信によって送信された信号(可視光受信データ)、サーバから取得された情報、画像ファイルによって示される画像中の、被写体である送信機が映し出された位置を示すデータと、可視光通信によって送信された信号を受信した時刻(動画中における時刻)を示すデータなどをそれぞれ、上述の画像ファイル中のメタデータとして保存する。なお、カメラは、撮像によって得られる画像(画像ファイル)に複数の送信機が被写体として映し出されている場合には、送信機ごとに、その送信機に対応する幾つかのメタデータを、その画像ファイルに保存する。
可視光通信の送信機として構成されるディスプレイまたはプロジェクタは、上述の画像ファイルによって示される画像を表示するときには、その画像ファイルに含まれるメタデータに応じた信号を可視光通信によって送信する。例えば、ディスプレイまたはプロジェクタは、メタデータそのものを可視光通信によって送信してもよく、画像に映し出された送信機に関連付けられた信号をキーとして送信してもよい。
可視光通信の受信機として構成される携帯端末(スマートフォン)は、ディスプレイまたはプロジェクタの画像を撮像することによって、ディスプレイまたはプロジェクタから可視光通信によって送信される信号を受信する。携帯端末は、その受信した信号が上述のキーであれば、そのキーを用いて、ディスプレイ、プロジェクタまたはサーバから、そのキーに関連付けられた送信機のメタデータを取得する。また、携帯端末は、その受信した信号が、実在する送信機から可視光通信によって送信された信号(可視光受信データまたは可視光通信情報)であれば、ディスプレイ、プロジェクタまたはサーバから、その可視光受光データまたは可視光通信情報に対応する情報を取得する。
図215は、実施の形態8における送受信システムのカメラ(受信機)の動作を示すフローチャートである。
まず、カメラは、撮像ボタンの押下を検出すると(ステップS901)、通常撮像モードで撮像を行う(ステップS902)。そして、カメラは、シャッター速度を一定の速度以上に上げることにより、つまり、通常撮像モードよりも短い露光時間を設定することにより、可視光撮像モードでの撮像を行う(ステップS903)。これにより、カメラは、被写体から可視光通信によって送信される信号を取得する。
その後、カメラは、可視光通信によって取得された信号(情報)をキーとして扱うことにより、サーバからそのキーに対応付けられた情報を取得する(ステップS905)。次に、カメラは、通常撮像モードによる撮像によって得られた画像ファイルのメタデータ領域(EXIFのメータデータが格納される領域等)に、その信号、各情報および各データを保存する(ステップS905)。つまり、カメラは、可視光通信によって取得された信号と、サーバから取得された情報と、可視光通信によって信号を送信した被写体である送信機の画像(通常撮像モードによる撮像によって得られた画像)中の位置を示す位置データなどを保存する。
そして、カメラは、動画の撮像を行うか否かを判断し(ステップS906)、動画の撮像を行うと判断した場合には(ステップS906のY)、ステップS902からの処理を繰り返し実行する。一方、カメラは、動画の撮像を行わないと判断した場合には(ステップS906のN)、撮像の処理を終了する。
図216は、実施の形態8における送受信システムのディスプレイ(送信機)の動作を示すフローチャートである。
まず、ディスプレイは、画像ファイルのメタデータ領域を確認することにより、その画像ファイルによって示される画像中に映し出されている送信機が1つであるか複数であるかを判断する(ステップS911)。ここで、ディスプレイは、送信機が複数であると判断すると(ステップS911の複数)、さらに、可視光通信のモードとして分割送信モードが設定されているか否かを判断する(ステップS912)。そして、ディスプレイは、分割送信モードが設定されていると判断すると(ステップS912のY)、ディスプレイの表示領域(送信部分)を分割して、それぞれの表示領域から信号を送信する(ステップS914)。具体的には、ディスプレイは、送信機ごとに、その送信機が映し出されている領域、または、その送信機とその周辺とが映し出された領域を表示領域として扱い、その表示領域から、その送信機に対応する信号を可視光通信によって送信する。
一方、ディスプレイは、ステップS912で、分割送信モードに設定されていないと判断すると(ステップS912のN)、ディスプレイの表示領域の全体から、複数の送信機のそれぞれに対応する信号を可視光通信によって送信する(ステップS913)。つまり、ディスプレイは、複数の情報に関連付けられたキーを画面全体から送信する。
また、ディスプレイは、ステップS911で、送信機が1つであると判断すると(ステップS911の1つ)、ディスプレイの表示領域の全体から、その1つの送信機に対応する信号を可視光通信によって送信する(ステップS915)。つまり、ディスプレイは、画面全体から送信を行う。
さらに、ディスプレイは、ステップS913〜S915の何れかの後、可視光通信によって送信された信号(送信情報)をキーとして扱うアクセスを例えば携帯端末(スマートフォン)から受け付けると、画像ファイル中のそのキーに対応するメタデータを、アクセス元である携帯端末に渡す(ステップS916)。
(本実施の形態等のまとめ)
本実施の形態における情報通信方法は、被写体から情報を取得する情報通信方法であって、イメージセンサによる前記被写体である第1の被写体の撮影によって得られる画像に、前記イメージセンサに含まれる各露光ラインに対応する複数の輝線が前記第1の被写体の輝度変化に応じて生じるように、前記イメージセンサの第1の露光時間を設定する第1の露光時間設定ステップと、前記イメージセンサが、輝度変化する前記第1の被写体を、設定された前記第1の露光時間で撮影することによって、前記複数の輝線を含む画像である第1の輝線画像を取得する第1の輝線画像取得ステップと、取得された前記第1の輝線画像に含まれる前記複数の輝線のパターンによって特定されるデータを復調することにより第1の送信情報を取得する第1の情報取得ステップと、前記第1の送信情報が取得された後に、制御信号を送信することによって、扉の開閉駆動機器に対して前記扉を開かせる扉制御ステップとを含む。
これにより、例えば図204Aに示すように、イメージセンサを備えた受信機を扉の鍵のように用いることができ、特別な電子錠を不要にすることができる。その結果、演算力が少ないような機器を含む多様な機器間で通信を行うことができる。
また、前記情報通信方法は、さらに、前記イメージセンサが、輝度変化する第2の被写体を、設定された前記第1の露光時間で撮影することによって、複数の輝線を含む画像である第2の輝線画像を取得する第2の輝線画像取得ステップと、取得された前記第2の輝線画像に含まれる前記複数の輝線のパターンによって特定されるデータを復調することにより第2の送信情報を取得する第2の情報取得ステップと、取得された前記第1および第2の送信情報に基づいて、前記イメージセンサを備えた受信装置が前記扉に近づいているか否かを判定する接近判定ステップとを含み、前記扉制御ステップでは、前記受信装置が前記扉に近づいていると判定されたときに、前記制御信号を送信してもよい。
これにより、例えば図204Aに示すように、受信装置(受信機)が扉に近づいたときにのみ、つまり、適切なタイミングにのみ、その扉を開かせることができる。
また、前記情報通信方法は、さらに、前記第1の露光時間よりも長い第2の露光時間を設定する第2の露光時間設定ステップと、前記イメージセンサが、第3の被写体を、設定された前記第2の露光時間で撮影することによって、前記第3の被写体が映し出された通常画像を取得する通常画像取得ステップとを含み、前記通常画像取得ステップでは、前記イメージセンサのオプティカルブラックを含む領域にある複数の露光ラインのそれぞれに対して、当該露光ラインの隣の露光ラインに対する電荷の読み出しが行われた時点から所定の時間経過後に、電荷の読み出しを行い、前記第1の輝線画像取得ステップでは、前記オプティカルブラックを電荷の読み出しに用いることなく、前記イメージセンサにおける前記オプティカルブラック以外の領域にある複数の露光ラインのそれぞれに対して、当該露光ラインの隣の露光ラインに対する電荷の読み出しが行われた時点から、前記所定の時間よりも長い時間経過後に、電荷の読み出しを行ってもよい。
これにより、例えば図187A〜図187Eに示すように、第1の輝線画像が取得されるときには、オプティカルブラックに対する電荷の読み出し(露光)は行われないため、イメージセンサにおけるオプティカルブラック以外の領域である有効画素領域に対する電荷の読み出し(露光)にかかる時間を長くすることができる。その結果、その有効画素領域において信号を受信する時間を長くすることができ、多くの信号を取得することができる。
また、前記情報通信方法は、さらに、前記第1の輝線画像に含まれる前記複数の輝線のパターンにおける、当該複数の輝線のそれぞれに垂直な方向の長さが、予め定められた長さ未満であるか否かを判定する長さ判定ステップと、前記パターンの長さが前記予め定められた長さ未満であると判定された場合には、前記イメージセンサのフレームレートを、前記第1の輝線画像を取得したときの第1のフレームレートよりも遅い第2のフレームレートに変更するフレームレート変更ステップと、前記イメージセンサが、輝度変化する前記第1の被写体を、前記第2のフレームレートで、且つ、設定された前記第1の露光時間で撮影することによって、複数の輝線を含む画像である第3の輝線画像を取得する第3の輝線画像取得ステップと、取得された前記第3の輝線画像に含まれる前記複数の輝線のパターンによって特定されるデータを復調することにより前記第1の送信情報を取得する第3の情報取得ステップとを含んでもよい。
これにより、例えば図224Aに示すように、第1の輝線画像に含まれる輝線のパターン(輝線領域)によって示される信号長が、送信された信号の例えば1ブロック分に満たない場合には、フレームレートが落とされて、改めて輝線画像が第3の輝線画像として取得される。その結果、第3の輝線画像に含まれる輝線のパターンの長さを長くすることができ、送信された信号を1ブロック分取得することができる。
また、前記情報通信方法は、さらに、前記イメージセンサによって得られる画像の縦幅と横幅の比率を設定する比率設定ステップを含み、前記第1の輝線画像取得ステップは、設定された前記比率によって、前記画像における前記各露光ラインと垂直な方向の端がクリッピングされるか否かを判定するクリッピング判定ステップと、前記端がクリッピングされると判定されたときには、前記比率設定ステップで設定された前記比率を、前記端がクリッピングされない比率である非クリッピング比率に変更する比率変更ステップと、前記イメージセンサが、輝度変化する前記第1の被写体を撮影することによって、前記非クリッピング比率の前記第1の輝線画像を取得する取得ステップとを含んでもよい。
これにより、例えば図188および図189A〜図189Cに示すように、例えばイメージセンサの有効画素領域の横幅と縦幅の比率が4:3であって、画像の横幅と縦幅の比率が16:9に設定され、水平方向に沿う輝線が表れる場合、つまり、露光ラインが水平方向に沿っている場合には、上述の画像の上端および下端がクリッピングされると判定される。つまり、第1の輝線画像の端が欠落してしまうと判定される。この場合には、その画像の比率が、クリッピングされない比率である例えば4:3に変更される。その結果、第1の輝線画像の端の欠落を防ぐことができ、第1の輝線画像から多くの情報を取得することができる。
また、前記情報通信方法は、さらに、前記第1の輝線画像に含まれる前記複数の輝線のそれぞれに平行な方向に、前記第1の輝線画像を圧縮することによって、圧縮画像を生成する圧縮ステップと、前記圧縮画像を送信する圧縮画像送信ステップとを含んでもよい。
これにより、例えば図191に示すように、複数の輝線によって示される情報を欠落させることなく適切に第1の輝線画像を圧縮することができる。
また、前記情報通信方法は、さらに、前記イメージセンサを備える受信装置が、予め定められた態様で動かされたか否かを判定するジェスチャ判定ステップと、前記予め定められた態様で動かされたと判定したときには、前記イメージセンサを起動する起動ステップとを含んでもよい。
これにより、例えば図199に示すように、必要なときにのみイメージセンサを簡単に起動させることができ、消費電力効率の向上を図ることができる。
(実施の形態9)
本実施の形態では、上記各実施の形態におけるスマートフォンなどの受信機と、LEDや有機ELの点滅パターンとして情報を送信する送信機とを用いた各適用例について説明する。
図217は、実施の形態9における送信機と受信機の適用例を示す図である。
ロボット8970は、例えば自走式の掃除機としての機能と、上記各実施の形態における受信機としての機能とを有する。照明機器8971a,8971bは、それぞれ上記各実施の形態における送信機としての機能を有する。
例えば、ロボット8970は、室内を移動しながら、掃除を行うとともに、その室内を照らす照明機器8971aを撮影する。この照明機器8971aは、輝度変化することによって照明機器8971aのIDを送信している。その結果、ロボット8970は、上記各実施の形態と同様に、照明機器8971aからそのIDを受信し、そのIDに基づいて自らの位置(自己位置)を推定する。つまり、ロボット8970は、9軸センサによる検出結果と、撮影によって得られる画像に映る照明機器8971aの相対位置と、IDによって特定される照明機器8971aの絶対位置とに基づいて、移動しながら自己位置を推定している。
さらに、ロボット8970は、移動することによって照明機器8971aから離れると、照明機器8971aに対して消灯を命令する信号(消灯命令)を送信する。例えば、ロボット8970は、予め定められた距離だけ照明機器8971aから離れると、消灯命令を送信する。または、ロボット8970は、撮影によって得られる画像にその照明機器8971aが映らなくなったときに、あるいは、その画像に他の照明機器が映ると、消灯命令を照明機器8971aに送信する。照明機器8971aは、消灯命令をロボット8970から受信すると、その消灯命令に応じて消灯する。
次に、ロボット8970は、移動して掃除を行っている途中で、推定された自己位置に基づいて、照明機器8971bに近づいたことを検知する。つまり、ロボット8970は、照明機器8971bの位置を示す情報を保持しており、自己位置とその照明機器8971bの位置との間の距離が予め定められた距離以下になったときに、照明機器8971bに近づいたことを検知する。そして、ロボット8970は、その照明機器8971bに対して点灯を命令する信号(点灯命令)を送信する。照明機器8971bは、点灯命令を受けると、その点灯命令に応じて点灯する。
これにより、ロボット8970は、移動しながら自らの周りだけを明るくして、掃除を容易に行うことができる。
図218は、実施の形態9における送信機の適用例を示す図である。
例えば、図218の(a)に示すように、ディスプレイには、複数の発光領域A〜Fが並べて表示され、その発光領域A〜Fがそれぞれ輝度変化することによって信号を送信する。ここで、図218の(a)に示す例では、発光領域A〜Fはそれぞれ矩形状であり、水平方向および垂直方向に沿って配列されている。このような場合、輝度変化しない非輝度変化領域が、ディスプレイの水平方向に沿って、発光領域A,B,Cと、発光領域D,E,Fとの間を通ってそのディスプレイを横断している。さらに、輝度変化しない他の非輝度変化領域が、ディスプレイの垂直方向に沿って、発光領域A,Dと、発光領域B,Eとの間を通ってそのディスプレイを横断している。さらに、輝度変化しない他の非輝度変化領域が、ディスプレイの垂直方向に沿って、発光領域B,Eと、発光領域C,Fとの間を通ってそのディスプレイを横断している。
したがって、上記各実施の形態における受信機が、受信機の露光ラインを水平方向に向けた状態でそのディスプレイを撮影すると、その撮影によって得られる画像(撮影画像)の、水平方向に沿う非輝度変化領域に対応する部分には、輝線が表れない。つまり、その撮影画像では、輝線が表れている領域(輝線領域)が不連続になってしまう。また、受信機が、その露光ラインを垂直方向に向けた状態でそのディスプレイを撮影すると、撮影画像における、垂直方向に沿う2つの非輝度変化領域に対応する部分には、輝線が表れない。つまり、このときにも、その撮影画像では輝線領域が不連続になってしまう。このように輝線領域が不連続になってしまうと、輝度変化によって送信される信号を受信し難くなってしまう。
そこで、本実施の形態におけるディスプレイ8972は、上記各実施の形態における送信機としての機能を有し、輝線領域が連続するように、複数の発光領域A〜Fのそれぞれをずらして配置する。
例えば、図218の(b)に示すように、ディスプレイ8972は、上段の発光領域A,B,Cと、下段の発光領域D,E,Fとを互いに水平方向にずらして配置する。または、図218の(c)に示すように、ディスプレイ8972は、それぞれ平行四辺形あるいは菱形の発光領域A〜Fを表示する。これにより、ディスプレイ8972の垂直方向に沿って、発光領域A〜Fの間を通ってディスプレイ8972を横断する非輝度変化領域をなくすることができる。その結果、受信機が、その露光ラインを垂直方向に向けた状態でディスプレイ8972を撮影しても、撮影画像において、輝線領域を連続させることができる。
さらに、図218の(d)および(e)に示すように、ディスプレイ8972は、発光領域A〜Fのそれぞれを垂直方向にずらして配置してもよい。これにより、ディスプレイ8972の水平方向に沿って、発光領域A〜Fの間を通ってディスプレイ8972を横断する非輝度変化領域もなくすることができる。その結果、受信機が、その露光ラインを水平方向に向けた状態でディスプレイ8972を撮影しても、撮影画像において、輝線領域を連続させることができる。
また、図218の(f)に示すように、ディスプレイ8972は、それぞれ六角形の発光領域A〜Fを、それぞれの領域の辺が互いに平行になるように表示してもよい。このような場合にも、上述と同様に、ディスプレイ8972の水平方向および垂直方向に沿って、発光領域A〜Fの間を通ってディスプレイ8972を横断する非輝度変化領域をなくすることができる。その結果、受信機が、その露光ラインを水平方向に向けた状態でディスプレイ8972を撮影しても、その露光ラインを垂直方向に向けた状態でディスプレイ8972を撮影しても、撮影画像において、輝線領域を連続させることができる。
図219は、本実施の形態における情報通信方法のフローチャートである。
本実施の形態における情報通信方法は、輝度変化によって信号を送信する情報通信方法であって、ステップSK11およびSK12を含む。
つまり、この情報通信方法は、送信対象の信号を変調することによって、輝度変化のパターンを決定する決定ステップSK11と、決定された輝度変化のパターンにしたがって複数の発光体が輝度変化することによって、前記送信対象の信号を送信する送信ステップSK12とを含む。そして、前記複数の発光体が配置された面において、前記複数の発光体の外にあって輝度変化しない非輝度変化領域が、前記面の垂直方向および水平方向のうちの少なくとも一方に沿って前記複数の発光体の間を通って前記面を横断することがないように、前記複数の発光体が前記面上に配置されている。
図220は、本実施の形態における情報通信装置のブロック図である。
本実施の形態における情報通信装置K10は、輝度変化によって信号を送信する情報通信装置であって、構成要素K11およびK12を備える。
つまり、この情報通信装置K10は、送信対象の信号を変調することによって、輝度変化のパターンを決定する決定部K11と、決定された輝度変化のパターンにしたがって複数の発光体が輝度変化することによって、前記送信対象の信号を送信する送信部K12とを備える。そして、前記複数の発光体が配置された面において、前記複数の発光体の外にあって輝度変化しない非輝度変化領域が、前記面の垂直方向および水平方向のうちの少なくとも一方に沿って前記複数の発光体の間を通って前記面を横断することがないように、前記複数の発光体が前記面上に配置されている。
このような図219および図220によって示される情報通信方法および情報通信装置K10では、例えば図218に示すように、受信機に備えられたイメージセンサによる上述の面(ディスプレイ)の撮影によって取得される撮影画像において、輝線領域を連続させることができる。その結果、送信対象の信号を受信し易くすることができ、演算力が少ないような機器を含む多様な機器間で通信を行うことができる。
なお、上記各実施の形態において、各構成要素は、専用のハードウェアで構成されるか、各構成要素に適したソフトウェアプログラムを実行することによって実現されてもよい。各構成要素は、CPUまたはプロセッサなどのプログラム実行部が、ハードディスクまたは半導体メモリなどの記録媒体に記録されたソフトウェアプログラムを読み出して実行することによって実現されてもよい。例えばプログラムは、図219のフローチャートによって示される情報通信方法をコンピュータに実行させる。
図221Aは、実施の形態9における送信機および受信機の適用例を示す図である。
受信機8973は、上記各実施の形態における受信機としての機能を有するスマートフォンとして構成されている。この受信機8973は、図221Aの(a)に示すように、ディスプレイ8972を撮影し、撮影画像に表れる輝線を読み取ろうとする。ここで、ディスプレイ8972が暗い場合には、受信機8973は、その輝線を読み取れず、ディスプレイ8972からの信号を受信することができないことがある。このとき、受信機8973は、図221Aの(b)に示すように、予め定められたリズムでフラッシュを放つ。ディスプレイ8972は、そのフラッシュを受けると、図221Aの(c)に示すように、輝度を上げて明るい表示を行う。その結果、受信機8973は、撮影画像に表れる輝線を読み取ることができ、ディスプレイ8972からの信号を受信することができる。
図221Bは、実施の形態9における受信機8973の動作を示すフローチャートである。
受信機8973は、まず、受信開始のためのユーザによる操作またはジェスチャを受け付けたか否かを判定する(ステップS831)。ここで、受信機8973は、受け付けたと判定すると(ステップS831のY)、イメージセンサを用いた撮影による受信を開始する(ステップS832)。次に、受信機8973は、受信が完了することなく受信開始から所定の時間が経過したか否かを判定する(ステップS833)。ここで、受信機8973は、所定の時間が経過したと判定すると(ステップS833のY)、予め定められたリズムでフラッシュを点滅させ(ステップS834)、ステップS833からの処理を繰り返し実行する。なお、ステップS833の処理が繰り返される場合には、受信機8973は、受信が完了することなくフラッシュを点滅させてから所定の時間が経過したか否かを判定する。また、ステップS834では、受信機8973は、フラッシュを点滅させる代わりに、人間に聞こえ難い周波数の予め定められた音を発生したり、受信待ちであることを知らせるための信号をディスプレイ8972である送信機に送信してもよい。
図222は、実施の形態9における送信機および受信機の適用例を示す図である。
照明機器8974は、上記各実施の形態における送信機としての機能を有する。この照明機器8974は、輝度変化しながら例えば鉄道の駅にある路線掲示板8975を照らす。ユーザによってその路線掲示板8975に向けられた受信機8973は、その路線掲示板8975を撮影する。これにより、受信機8973は、その路線掲示板8975のIDを取得し、そのIDに関連付けられている情報であって、その路線掲示板8975に記載されている各路線についての詳細な情報を取得する。そして、受信機8973は、その詳細な情報を示す案内画像8973aを表示する。例えば、案内画像8973aは、路線掲示板8975に記載されている路線までの距離と、その路線に向かう方向と、その路線において次に電車が到着する時刻とを示す。
ここで、受信機8973は、その案内画像8973aがユーザによってタッチされると、補足案内画像8973bを表示する。この補足案内画像8973bは、例えば、鉄道の時刻表、案内画像8973aによって示される路線とは異なる別の路線に関する情報、および、その駅に関する詳細な情報、のうちの何れかをユーザによる選択操作に応じて表示するための画像である。
図223は、実施の形態9における送信機の適用例を示す図である。
照明機器8976a〜8976cはそれぞれ、上記各実施の形態における送信機としての機能を有し、店舗の看板8977を照らす。ここで、図223の(a)に示すように、照明機器8976a〜8976cはそれぞれ、同期して輝度変化することによって同じIDを送信してもよい。また、図223の(b)に示すように、両端に配置された照明機器8976aと照明機器8976cだけが、同期して輝度変化することによって同じIDを送信し、それらの照明機器の間に配置された照明機器8976bは、輝度変化によってIDを送信することなく、看板8977を照らしてもよい。また、図223の(c)に示すように、その照明機器8976bがIDを送信しない状態において、両端に配置された照明機器8976aと照明機器8976cは、輝度変化することによって互いに異なるIDを送信してもよい。この場合には、照明機器8976aと照明機器8976cとの間にある照明機器8976bは、IDの送信のための輝度変化を行わないため、照明機器8976aと照明機器8976cのそれぞれからの信号が混信してしまうことを防ぐことができる。なお、照明機器8976aによって送信されるIDと、照明機器8976cによって送信されるIDとは、互いに異なっていているが、これらのIDに対して同じ情報が関連付けられていてもよい。
図224Aは、実施の形態9における送信機および受信機の適用例を示す図である。
照明機器8978は、上記各実施の形態における送信機としての機能を有し、図224Aの(1)に示すように、常時、輝度変化することによって信号を送信している。
本実施の形態における受信機は、その照明機器8978を撮影する。このとき、図224Aに示すように、受信機の撮影範囲8979には、照明機器8978と、その照明機器8978以外の部分とが含まれる。つまり、この撮影範囲8979における上側の範囲aと下側の範囲cのそれぞれには、照明機器8978以外の部分が含まれ、撮影範囲8979における中央の範囲bには、照明機器8978が含まれる。
受信機は、図224Aの(2)および(3)に示すように、照明機器8978の撮影によって、照明機器8978の輝度変化によって生じる複数の輝線を含む撮影画像(輝線画像)を取得する。この輝線画像において、上述の上側の範囲aおよび下側の範囲cに対応する部分には輝線が表れず、中央の範囲bに対応する部分にのみ輝線が表れる。
ここで、受信機が例えば30fpsのフレームレートで照明機器8978を撮影する場合には、図224Aの(2)に示すように、輝線画像における輝線領域の長さbは短く、受信機が例えば15fpsのフレームレートで照明機器8978を撮影する場合には、図224の(3)に示すように、輝線画像における輝線領域の長さbは長い。なお、輝線領域(輝線のパターン)の長さは、その輝線領域に含まれる各輝線に垂直な方向の長さである。
したがって、本実施の形態における受信機は、例えば30fpsのフレームレートで照明機器8978を撮影し、輝線画像における輝線領域の長さbが予め定められた長さ未満であるか否かを判定する。予め定められた長さは、例えば、照明機器8978の輝度変化によって送信される信号の1ブロック分に相当する長さである。そして、受信機は、予め定められた長さ未満であると判定すると、そのフレームレートを例えば15fpsに変更する。これにより、受信機は、1ブロック分の信号を照明機器8978からまとめて受信することができる。
図224Bは、実施の形態9における受信機の動作を示すフローチャートである。
受信機は、まず、撮影画像に輝線が含まれているか、つまり、露光ラインによる縞が撮影されているか否かを判定する(ステップS841)。ここで、受信機は、撮影されていると判定すると(ステップS841のY)、どの撮像モード(撮影モード)に設定されているかを判断する(ステップS842)。受信機は、撮像モードが中間撮像モード(中間モード)または通常撮像モード(通常撮影モード)であると判断すると、その撮像モードを可視光撮像モード(可視光通信モード)に変更する(ステップS843)。
次に、受信機は、輝線領域(輝線のパターン)における輝線に垂直な方向の長さが所定の長さ以上であるか否かを判定する(ステップS844)。つまり、受信機は、露光ラインに垂直な方向に所定の大きさ以上の縞の領域があるか否かを判定する。ここで、所定の長さ以上ではないと判定すると(ステップS844のN)、受信機は、光学ズームが利用可能か否かを判定する(ステップS845)。ここで、光学ズームが利用可能であると判定すると(ステップS845のY)、受信機は、輝線領域が長くなるように、つまり、縞の領域が拡大するように、光学ズームを行う(ステップS846)。一方、光学ズームが利用できないと判定すると(ステップS845のN)、受信機は、Exズーム(Ex光学ズーム)が利用可能か否かを判定する(ステップS847)。ここで、Exズームが利用可能であると判定すると(ステップS847のY)、輝線領域が長くなるように、つまり、縞の領域が拡大するように、Exズームを行う(ステップS848)。一方、Exズームが利用できないと判定すると(ステップS847のN)、受信機は、撮像フレームレートを低くする(ステップS849)。そして、受信機は、設定されたフレームレートで照明機器8978を撮影することによって、信号を受信する(ステップS850)。
なお、図224Bに示す例では、光学ズームおよびExズームが利用できない場合にフレームレートを落としていが、それらのズームが利用できる場合に、フレームレートを落としてもよい。また、Exズームとは、イメージセンサの使用領域を限定し、撮影画角をせばめ、見かけ上の焦点距離を望遠にする機能である。
図225は、実施の形態9における受信機の動作を示す図である。
受信機は、撮影画像8980aに送信機である照明機器8978が小さく映っている場合には、光学ズームまたはExズームを用いることによって、照明機器8978が大きく映し出された撮影画像8980bを取得することができる。つまり、受信機は、光学ズームまたはExズームを用いることによって、輝線に垂直な方向に長い輝線領域を有する輝線画像(撮影画像)を取得することができる。
図226は、実施の形態9における送信機の適用例を示す図である。
送信機8981は、上記各実施の形態における送信機としての機能を有し、例えば、操作パネル8982と通信する。操作パネル8982は、送信スイッチ8982aと電源スイッチ8982bとを備えている。
送信スイッチ8982aがオンにされると、操作パネル8982は、可視光通信を行うように送信機8981に指示する。送信機8981は、その指示を受け付けると、輝度変化することによって信号を送信する。また、送信スイッチ8982aがオフにされると、操作パネル8982は、可視光通信を停止するように送信機8981に指示する。送信機8981は、その指示を受け付けると、輝度変化を行わず、信号の送信を停止する。
電源スイッチ8982bがオンにされると、操作パネル8982は、送信機8981の電源をオンにするように送信機8981に指示する。送信機8981は、その指示を受け付けると、自らの電源をオンにする。例えば、送信機8981が照明機器として構成されている場合には、送信機8981は電源オンによって周辺を照らし、送信機8981がテレビとして構成されている場合には、送信機8981は電源オンによって映像などを表示する。また、電源スイッチ8982bがオフにされると、操作パネル8982は、送信機8981の電源をオフするように送信機8981に指示する。送信機8981は、その指示を受け付けると、自らの電源をオフにして待機状態になる。
図227は、実施の形態9における受信機の適用例を示す図である。
スマートフォンとして構成される受信機8973は、例えば上記各実施の形態における送信機としての機能を有し、サーバ8983から認証IDおよび有効期限を取得する。受信機8973は、現時点がその有効期限内であれば、例えばディスプレイを輝度変化させることによって、その認証IDを周辺機器8984に送信する。周辺機器8984は、例えばカメラ、バーコードリーダまたはパーソナルコンピュータである。
周辺機器8984は、受信機8973からその認証IDを受信すると、その認証IDをサーバ8983に送信して照合を依頼する。サーバ8983は、周辺機器8984から送信された認証IDと、自らが保持し、受信機8973へ送信された認証IDとを照合し、一致すれば、一致したことを周辺機器8984に通知する。周辺機器8984は、一致したという通知をサーバ8983から受けると、自らに設定されているロックを解除したり、電子決済の支払い処理を行ったり、ログインなどの処理を行う。
図228Aは、実施の形態9における送信機の動作の一例を示すフローチャートである。
本実施の形態における送信機は、上記各実施の形態における送信機としての機能を有し、例えば照明機器またはディスプレイとして構成されている。このような送信機は、例えば、調光レベル(明るさのレベル)が所定のレベルよりも下回っているか否かを判定する(ステップS861a)。ここで、送信機は、所定のレベルよりも下回っていると判定すると(ステップS861aのY)、輝度変化によって信号を送信することを停止する(ステップS861b)。
図228Bは、実施の形態9における送信機の動作の一例を示すフローチャートである。
本実施の形態における送信機は、調光レベル(明るさのレベル)が所定のレベルを上回っているか否かを判定する(ステップS862a)。ここで、送信機は、所定のレベルを上回っていると判定すると(ステップS862aのY)、輝度変化によって信号を送信することを開始する(ステップS862b)。
図229は、本実施の形態における送信機の動作の一例を示すフローチャートである。
本実施の形態における送信機は、所定のモードが選択されているか否かを判定する(ステップS863a)。例えば、所定のモードは、エコモードまたは省電力モードなどである。ここで、送信機は、所定のモードが選択されていると判定すると(ステップS863aのY)、輝度変化によって信号を送信することを停止する(ステップS863b)。一方、送信機は、所定のモードが選択されていないと判定すると(ステップS863aのN)、輝度変化によって信号を送信することを開始する(ステップS863c)。
図230は、実施の形態9における撮像機器の動作の一例を示すフローチャートである。
本実施の形態における撮像機器は、例えばビデオカメラであって、録画中であるか否かを判定する(ステップS864a)。ここで、撮像機器は、録画中であると判定すると(ステップS864aのY)、輝度変化によって信号を送信する送信機に対して、可視光送信停止命令を送信する(ステップS864b)。この可視光送信停止命令を受けた送信機は、輝度変化による信号の送信(可視光送信)を停止する。一方、撮像機器は、録画中でないと判定すると(ステップS864aのN)、さらに、録画を停止したか否か、つまり、録画の直後であるか否かを判定する(ステップS864c)。ここで、撮像機器は、録画を停止したと判定すると(ステップS864cのY)、上述の送信機に対して、可視光送信開始命令を送信する(ステップS864d)。この可視光送信開始命令を受けた送信機は、輝度変化による信号の送信(可視光送信)を開始する。
図231は、実施の形態9における撮像機器の動作の一例を示すフローチャートである。
本実施の形態における撮像機器は、例えばデジタルスチルカメラであって、撮像ボタン(シャッターボタン)が半押しされているか否か、または、ピント合わせが行われているか否かを判定する(ステップS865a)。次に、撮像機器は、その撮像機器に備えられているイメージセンサの露光ラインに沿う方向に濃淡が現れているか否かを判定する(ステップS865b)。ここで、濃淡が表れていると判定されると(ステップS865bのY)、輝度変化によって信号を送信している送信機が撮像機器の近くにある可能性がある。そこで、撮像機器は、その送信機に対して、可視光送信停止命令を送信する(ステップS865c)。次に、撮像機器は、撮像を行うことによって撮影画像を取得する(ステップS865d)。そして、撮像機器は、上述の送信機に対して、可視光送信開始命令を送信する(ステップS865e)。これにより、撮像機器は、送信機による輝度変化の影響を受けることなく撮影画像を取得することができる。また、輝度変化による信号の送信が停止されている期間は、撮像機器によって撮像が行われている極わずかな期間に限られるため、可視光通信ができない期間を抑えることができる。
図232は、実施の形態9における送信機によって送信される信号の一例を示す図である。
本実施の形態における送信機は、上記各実施の形態における送信機としての機能を有し、スロットごとに高い輝度の光(Hi)または低い輝度の光(Lo)を出力ことによって、信号を送信する。具体的には、スロットは104.2μsの時間単位である。また、送信機は、Hiを出力することによって、1を示す信号を送信し、Loを出力することによって、0を示す信号を送信する。
図233は、実施の形態9における送信機によって送信される信号の一例を示す図である。
上述の送信機は、スロットごとにHiまたはLoを出力することによって、信号単位であるPHY(physical layer)フレームを順次送信する。PHYフレームは、8スロットからなるプリアンブルと、2スロットからなるFCS(Frame Check Sequence)と、20スロットからなるボディとを含む。なお、PHYフレームに含まれる各部分は、プリアンブル、FCS、ボディの順に送信される。
プリアンブルは、PHYフレームのヘッダに相当し、例えば「01010111」を含む。なお、プリアンブルは、7スロットから構成されていてもよい。この場合、プリアンブルは「0101011」を含む。FCSは、ボディに含まれる1の数が偶数の場合には「01」を含み、ボディに含まれる1の数が奇数の場合には「11」を含む。ボディは、4スロットからなるシンボルを5つ含む。シンボルは、4PPM変調の場合、「0111」、「1011」、「1101」、または「1110」を含む。
図234は、実施の形態9における送信機によって送信される信号の一例を示す図である。
上述のシンボルは受信機によって2ビットの値に変換される。例えば、シンボル「0111」、「1011」、「1101」および「1110」は、それぞれ「00」、「01」、「10」および「11」に変換される。したがって、PHYフレームのボディ(20スロット)は、10ビットの信号に変換される。この10ビットのボディは、PHYフレームの種別を示す3ビットからなるTYPEと、PHYフレームまたはボディのアドレスを示す2ビットからなるADDRと、データの実体を示す5ビットからなるDATAとを含む。例えば、PHYフレームの種別がTYPE1の場合には、TYPEは「000」を示す。ADDRは、「00」、「01」、「10」または「11」を示す。
受信機では、4つのPHYフレームのそれぞれのボディに含まれるDATAが結合される。この結合に、上述ADDRが利用される。つまり、受信機は、ADDR「00」を有するPHYフレームのボディに含まれるDATAと、ADDR「01」を有するPHYフレームのボディに含まれるDATAと、ADDR「10」を有するPHYフレームのボディに含まれるDATAと、ADDR「11」を有するPHYフレームのボディに含まれるDATAとを結合することによって、20ビットからなるデータを生成する。これにより、4つのPHYフレームがデコードされる。この生成されたデータは、16ビットからなる有効DATAと、4ビットからなるCRC(Cyclic Redundancy Check)とを含む。
図235は、実施の形態9における送信機によって送信される信号の一例を示す図である。
上述のPHYフレームの種別には、TYPE1、TYPE2、TYPE3およびTYPE4がある。これらの種別ごとに、ボディの長さ、ADDRの長さ、DATAの長さ、連結されるDATAの数(連結数)、有効DATAの長さ、およびCRCの種別が異なる。
例えば、TYPE1の場合には、TYPE(TYPEBIT)は「000」を示し、ボディの長さは20スロットであり、ADDRの長さは2ビットであり、DATAの長さは5ビットであり、連結数は4個であり、有効DATAの長さは16ビットであり、CRCの種別はCRC−4である。一方、TYPE2の場合には、TYPE(TYPEBIT)は「001」を示し、ボディの長さは24スロットであり、ADDRの長さは4ビットであり、DATAの長さは5ビットであり、連結数は8個であり、有効DATAの長さは32ビットであり、CRCの種別はCRC−8である。
このような図232〜図235に示す信号によって、適切に可視光通信を行うことができる。
図236は、実施の形態9における送信機と受信機とを含むシステム構成の一例を示す図である。
本実施の形態におけるシステムは、上記各実施の形態における送信機と同様の機能を有する送信機8991と、例えばスマートフォンとして構成される受信機8973と、コンテンツ共有サーバ8992と、ID管理サーバ8993とを備える。
例えば、コンテンツクリエイターは、商品を紹介するための静止画または動画を示すオーディオビデオデータなどのコンテンツと、その商品についてのメーカ、産地、原料または仕様などを示す商品情報とをコンテンツ共有サーバ8992にアップロードする。そして、コンテンツ共有サーバ8992は、そのコンテンツを識別するためのコンテンツIDに関連付けて商品情報をID管理サーバ8993に登録する。
次に、送信機8991は、ユーザによる操作に応じて、コンテンツ共有サーバ8992からコンテンツとコンテンツIDとをダウンロードし、コンテンツを表示するとともに、輝度変化することによって、つまり可視光通信によって、コンテンツIDを送信する。ユーザは、そのコンテンツを視聴し、そのコンテンツで紹介される商品に興味がある場合には、受信機8973を送信機8991に向けて撮影を行う。受信機8973は、送信機8991に表示されているコンテンツを撮影することによって、コンテンツIDを受信する。
次に、受信機8973は、ID管理サーバ8993にアクセスし、そのコンテンツIDについての問い合わせをID管理サーバ8993に行う。これにより、受信機8973は、ID管理サーバ8993から、そのコンテンツIDに関連付けられている商品情報を取得し、その商品情報を表示する。ここで、受信機8973は、その商品情報に対応する商品の購入を促す操作を受け付けると、その商品のメーカにアクセスして商品を購入するための処理を実行する。
次に、ID管理サーバは、コンテンツIDに対して行われた問い合わせの数、またはアクセスの数などを示す問い合わせ情報を、そのコンテンツIDに関連付けられている商品情報によって示されるメーカに通知する。メーカは、問い合わせ情報を受けると、その問い合わせ情報によって示される問い合わせの数などに応じたアフィリエイト報奨金を、コンテンツIDによって特定されるコンテンツクリエイターに、ID管理サーバ8993およびコンテンツ共有サーバ8992を介して電子決済によって支払う。
図237は、実施の形態9における送信機と受信機とを含むシステム構成の一例を示す図である。
図236に示す例の場合には、コンテンツ共有サーバ8992は、コンテンツと商品情報のアップロードが行われると、コンテンツIDに関連付けて商品情報をID管理サーバ8993に登録したが、このような登録を行わなくてもよい。例えば、図237に示すように、コンテンツ共有サーバ8992は、アップロードされた商品情報の商品を識別するための商品IDをID管理サーバから検索し、その商品IDをアップロードされたコンテンツに埋め込む。
次に、送信機8991は、ユーザによる操作に応じて、コンテンツ共有サーバ8992から、商品IDが埋め込まれたコンテンツとコンテンツIDをダウンロードし、コンテンツを表示するとともに、輝度変化することによって、つまり可視光通信によって、コンテンツIDおよび商品IDを送信する。ユーザは、そのコンテンツを視聴し、そのコンテンツで紹介される商品に興味がある場合には、受信機8973を送信機8991に向けて撮影を行う。受信機8973は、送信機8991に表示されているコンテンツを撮影することによって、コンテンツIDおよび商品IDを受信する。
次に、受信機8973は、ID管理サーバ8993にアクセスし、そのコンテンツIDおよび商品IDについての問い合わせをID管理サーバ8993に行う。これにより、受信機8973は、ID管理サーバ8993から、その商品IDに関連付けられている商品情報を取得し、その商品情報を表示する。ここで、受信機8973は、その商品情報に対応する商品の購入を促す操作を受け付けると、その商品のメーカにアクセスして商品を購入するための処理を実行する。
次に、ID管理サーバは、コンテンツIDおよび商品IDに対して行われた問い合わせの数、またはアクセスの数などを示す問い合わせ情報を、その商品IDに関連付けられている商品情報によって示されるメーカに通知する。メーカは、問い合わせ情報を受けると、その問い合わせ情報によって示される問い合わせの数などに応じたアフィリエイト報奨金を、コンテンツIDによって特定されるコンテンツクリエイターに、ID管理サーバ8993およびコンテンツ共有サーバ8992を介して電子決済によって支払う。
図238は、実施の形態9における送信機と受信機とを含むシステム構成の一例を示す図である。
本実施の形態におけるシステムは、図237に示すコンテンツ共有サーバ8992の代わりにコンテンツ共有サーバ8992aを備え、さらに、SNSサーバ8994を備える。このSNSサーバ8994は、ソーシャル・ネットワーキング・サービスを行うサーバであって、図237に示すコンテンツ共有サーバ8992によって行われる処理の一部を行う。
具体的には、SNSサーバ8994は、コンテンツクリエイターからアップロードされたコンテンツと商品情報とを取得し、その商品情報に対応する商品IDの検索を行い、そのコンテンツに商品IDを埋め込む。そして、SNSサーバ8994は、その商品IDが埋め込まれたコンテンツをコンテンツ共有サーバ8992aに転送する。コンテンツ共有サーバ8992aは、SNSサーバ8994から転送されたコンテンツを受け取り、その商品IDが埋め込まれたコンテンツとコンテンツIDとを送信機8991に送信する。
つまり、図238に示す例では、SNSサーバ8994とコンテンツ共有サーバ8992aとを含むユニットが、図237に示すコンテンツ共有サーバ8992としての役割を果たす。
このような図236〜図238に示すシステムでは、可視光通信を用いて問い合わせが行われた広告(コンテンツ)に対して、適切なアフィリエイト報奨金を適切に支払うことができる。
以上、一つまたは複数の態様に係る情報通信方法について、実施の形態に基づいて説明したが、本発明は、この実施の形態に限定されるものではない。本発明の趣旨を逸脱しない限り、当業者が思いつく各種変形を本実施の形態に施したものや、異なる実施の形態における構成要素を組み合わせて構築される形態も、一つまたは複数の態様の範囲内に含まれてもよい。
以下、本実施の形態について補足する。
(混合変調方式)
図239と図240は、実施の形態9における送信機の動作の一例を示す図である。
図239のように、送信機は、送信信号を複数の変調方式で変調し、変調された信号を交互に、または、同時に送信する。
同じ信号を複数の変調方式で変調して送信することで、いずれかの変調方式にしか対応していない受信機でも受信することができる。また、例えば、伝送速度が速い変調方式やノイズに強い変調方式や通信距離が長い変調方式を併用することで、受信側の環境に合わせて最適な方法で受信を行うことが出来る。
受信機が複数の変調方式の受信に対応している場合は、受信機は複数の方法で変調された信号を受信する。送信機は、同一の信号を変調する場合は同一の信号IDを付与して変調信号を送信する。これにより、受信機は、信号IDを確認することで、同じ信号が異なる変調方式で変調されていることを認識することができ、複数の種類の変調信号から同じ信号IDを持つ信号を合成することで、速く正確に信号を受信することができる。
例えば、送信機は、信号分割部と変調部1〜3とを備える。信号分割部は、送信信号を部分信号1と部分信号2と分割するとともに、その部分信号1に信号IDを付随させ、部分信号2に他の信号IDを付随させる。変調部1は、信号IDが付随された部分信号1に対して、周波数変調を行うことにより正弦波を示す信号を生成する。変調部2は、信号IDが付随された部分信号1に対して、変調部1と異なる周波数変調を行うことにより矩形波を示す信号を生成する。一方、変調部3は、他の信号IDが付随された部分信号2に対して、パルス位置変調を行うことにより矩形波を示す信号を生成する。
図240のように、送信機は、複数の変調方式で変調された信号を合わせて送信する。図240の例では、受信機は、露光時間を長く設定することで、低い周波数を用いた周波数変調方式で変調された信号のみを受信できる。また、受信機は、露光時間を短く設定することで、高い周波数帯を用いたパルス位置変調方式を受信することができる。このとき、受信機は、輝線に垂直な方向に輝度の平均をとることで、受光した光の強さを時間的に平均化することになり、露光時間が長い場合の信号を得ることが出来る。
(送信信号の検証とデジタル変調)
図241と図242は、実施の形態9における送信機の構成および動作の一例を示す図である。
図241に示すように、送信機は、信号記憶部、信号検証部、信号変調部、発光部、異常報知部、原鍵記憶部、および鍵生成部を備える。信号記憶部は、送信信号と、後述する検証鍵を用いて送信信号を変換した信号変換値を記憶する。この変換には一方向関数を用いる。原鍵記憶部は、例えば抵抗値や時定数等の回路定数等として鍵の元となる値である原鍵を記憶する。鍵生成部は、原鍵から検証鍵を生成する。
信号検証部は、検証鍵を用いて信号記憶部に記憶された送信信号を変換することで、信号変換値を得る。ここで得られた信号変換値と、信号記憶部に記憶された信号変換値が等しいかどうかによって、信号に改ざんがないかどうかを検証する。これにより、単純に信号記憶部の信号を他の送信機にコピーしただけでは、他の送信機では検証鍵が異なるため、信号を送信することができず、送信機の偽造防止を行うことが出来る。
信号に改ざんがあった場合には、異常報知部は、その旨を表示する。その方法としては、例えば、人間に視認できる周期で発光部を点滅させる、音を鳴らす、といった方法がある。異常報知を電源投入直後の所定の時間だけに限ることで、信号に異常があった場合でも、送信機を送信以外の用途に使用することができる。
信号に改ざんがなかった場合には、信号変調部は、信号を発光パターンへ変調する。この変調方式には、様々な変調方式を使うことが出来る。ここで用いることができる変調方式には、例えば、振幅偏移変調(ASK)、位相偏移変調(PSK)、周波数偏移変調(FSK)、直角位相振幅変調(QAM)、デルタ変調(DM)、最小偏位変調(MSK)、相補型符号変調(CCK)、直交周波数分割多重方式(OFDM)、振幅変調(AM)、周波数変調(FM)、位相変調(PM)、パルス幅変調(PWM)、パルス振幅変調(PAM)、パルス密度変調(PDM)、パルス位置変調(PPM)、パルス符号変調(PCM)、周波数ホッピングスペクトラム拡散(FHSS)、直接シーケンススペクトラム拡散(DSSS)等があり、送信信号の性質(アナログかデジタルか。連続データ送信かどうか等)や要求される性質(伝送速度や耐ノイズ性や伝送距離)に合わせて選択する。さらに、これらを組み合わせた変調方式を用いることができる。
なお、実施の形態1から9は、ここで述べた変調方式で変調した信号を用いた場合でも同様の効果が得られる。
図242に示すように、送信機は、信号検証部の代わりに信号復調部を備えてもよい。この場合、信号記憶部は、鍵生成部で生成する復号鍵とペアとなる暗号鍵を用いて送信信号を暗号化した、暗号化送信信号を保持する。信号復調部では、復号鍵を用いて暗号化送信信号を復号する。この構成により、送信機の偽造、すなわち、任意の信号を送信する送信機の作成を困難にすることができる。
(実施の形態10)
本実施の形態では、上記各実施の形態におけるスマートフォンなどの受信機と、LEDや有機ELの点滅パターンとして情報を送信する送信機とを用いた各適用例について説明する。
(複数の受光部による複数の方向からの信号の受信)
図243は、光センサを搭載した時計を示す図である。
この時計は、可視光通信の受信機として構成され、複数の光センサと、複数の光センサのそれぞれに対応する集光レンズとを備える。具体的には、図243の横断面図に示されているように、光センサの上面に集光レンズが配置されている。図243では、集光レンズは、所定の傾きを有して配置されている。集光レンズの形状は、これに限らず、集光可能な形状であれば、他の形状であってもよい。このような構成により、光センサは、レンズにより外界の光源からの光を集光して受光することが可能となる。従って、時計に搭載されているような小さな光センサであっても、可視光通信を行うことが可能となる。図243では、12個の領域に分割して、12個の光センサを搭載し、各光センサの上面に集光レンズを配置する構成となっている。このように、時計内を複数の領域に分け、複数の光センサを配置することにより、複数の光源からの情報を取得することが可能となる。例えば、図243では、光源1からの光を、第1光センサで受光し、光源2からの光を、第2光センサで受光することができる。また、光センサとして、太陽光発電池を用いることも可能である。光センサとして太陽光発電池を用いることにより、単一の光センサで太陽光発電を行うと同時に、可視光通信を行うことができるため、コストを削減し、かつ、コンパクトな形状とすることが可能となる。更に、複数の光センサを配置する場合には、複数の光源からの情報を同時に取得することができるため、位置推定精度を向上させることが可能となる。本実施の形態では、時計において光センサを設ける構成としたが、これに限らず、携帯電話や、携帯端末など移動可能な端末であれば、他の装置に光センサを設けてもよい。
図244は、実施の形態10における受信機の一例を示す図である。
例えば腕時計として構成される受信機9020aは、複数の受光部を備える。例えば、受信機9020aは、図244に示すように、腕時計の長針および短針を支持する回転軸の上端部に配置された受光部9020bと、腕時計の周縁部における、12時を示す文字付近に配置された受光部9020cとを備える。受光部9020bは、上述の回転軸の方向に沿って受光部9020bに向かう光を受け、受光部9020cは、その回転軸と12時を示す文字とを結ぶ方向に沿って受光部9020cに向かう光を受ける。これにより、ユーザが時刻を確認するときのように胸の前に受信機9020aを構えた時に、受光部9020bは、上方向からの光を受光できる。その結果、受信機9020aは天井照明からの信号を受信できる。さらに、ユーザが時刻を確認するときのように胸の前に受信機9020aを構えた時に、受光部9020cは、正面方向からの光を受光できる。その結果、受信機9020aは、正面にあるサイネージ等からの信号を受信することが出来る。
これらの受光部9020bおよび9020cは指向性を持たせることで、近い位置に複数の送信機がある場合でも混信することなく信号を受信することができる。
図245は、実施の形態10における受信機の一例を示す図である。
例えば、図245の(a)に示すように、腕時計として構成される受信機9021は、17個の受光素子(受光部)を備える。これらの受光素子は文字盤上に配置されている。また、これらの受光素子のうちの12個の受光素子は、文字盤上の1〜12時のそれぞれに対応する位置に配置され、残りの5個は、文字盤上の中央部分に配置されている。また、これらの17個の受光素子はそれぞれ互いに異なる指向性を有し、それぞれに対応付けられた方向の光(信号)を受ける。このように、指向性を持った受光素子を複数配置することで、受信機9021は、受信した信号の方向を推定することができる。また、図245の(b)に示すように、受光素子の手前に、光を受光素子に導くプリズムを配置してもよい。つまり、受信機9021は、文字盤上の周縁部に等間隔に配置された8つの受光素子と、それらの受光素子のうちの少なくとも1つに光を導く複数のプリズムとを備える。このようなプリズムを備えることにより、少ない数の受光素子でも、送信機の細かい方向を推定することができる。例えば、8個の受光素子のうち受光素子9021dのみが受光した場合は、受信機9021は、文字盤の中心とプリズム9021aとを結ぶ方向に送信機があると推定でき、受光素子9021dと受光素子9021eとが同一の信号を受信した場合は、文字盤の中心とプリズム9021bとを結ぶ方向に送信機があると推定できる。なお、腕時計の風防ガラスに指向性の機能やプリズムの機能を仕込んでもよい。
図246Aは、本発明の一態様に係る情報通信方法のフローチャートである。
本発明の一態様に係る情報通信方法は、携帯端末が情報を取得する情報通信方法であって、ステップSE11およびSE12を含む。
つまり、この情報通信方法は、携帯端末に備えられた、それぞれ指向性を有する複数の太陽光発電池のうちの少なくとも1つの太陽光発電池が、当該太陽光発電池の指向性に応じた方向に沿って放たれる可視光を受光する受光ステップ(SE11)と、受光された可視光によって特定される信号を復調することにより情報を取得する情報取得ステップ(SE12)とを含む。
図246Bは、本発明の一態様に係る携帯端末のブロック図である。
本発明の一態様に係る携帯端末E10は、情報を取得する携帯端末であって、それぞれ指向性を有する複数の太陽光発電池E11と情報取得部E12とを備える。情報取得部E12は、複数の太陽光発電池E11のうちの少なくとも1つの太陽光発電池E11が、その太陽光発電池E11の指向性に応じた方向に沿って放たれる可視光を受光した場合に、受光された可視光によって特定される信号を復調することにより情報を取得する。
このような図246Aおよび図246Bによって示される情報通信方法および携帯端末E10では、太陽光発電池E11を可視光通信のための光センサとして用いながら、発電にも利用することができるため、情報を取得する携帯端末E10のコストを抑えることができるとともに、携帯端末E10のコンパクト化を図ることができる。また、複数の太陽光発電池E11はそれぞれ指向性を有するため、可視光を受光した太陽光発電池E11の指向性に基づいて、その可視光を放つ送信機がある方向を推定することができる。さらに、複数の太陽光発電池E11はそれぞれ指向性を有するため、複数の送信機から放たれる可視光をそれぞれ区別して受光することができ、複数の送信機のそれぞれから情報を適切に取得することができる。
さらに、前記受光ステップ(SE11)では、図245の(b)に示すように、太陽光発電池E11(9021d,9021e)は、携帯端末E10(9021)に備えられたプリズム(9021a、9021bまたは9021c)を透過した可視光を受光してもよい。これにより、携帯端末E10に備えられる太陽光発電池E11の数を抑えながら、可視光を放つ送信機がある方向を高い精度で推定することができる。さらに、図245に示すように、携帯端末E10は腕時計であって、複数の太陽光発電池E11(受光素子)はそれぞれ腕時計の文字盤の周縁に沿って配置され、複数の太陽光発電池E11のそれぞれによって受光される可視光の向きは互いに異なっていてもよい。これにより、腕時計によって適切に情報を取得することができる。
(腕時計型受信機とスマートフォンの連携)
図247は、実施の形態10における受信システムの一例を示す図である。
例えば腕時計として構成される受信機9022bは、Bluetooth(登録商標)等の無線通信を介してスマートフォン9022aやメガネ型ディスプレイ9022cと接続される。受信機9022bは、信号を受信した場合や、信号が存在することが確認できた場合には、その信号を受信したことなどを示す情報をディスプレイ9022cへ表示する。受信機9022bは、受信した信号(受信信号)をスマートフォン9022aに伝える。スマートフォン9022aは、サーバ9022dから受信信号に紐付けられたデータを取得し、取得したデータをメガネ型ディスプレイ9022cへ表示する。
(腕時計型ディスプレイによる道案内)
図248は、実施の形態10における受信システムの一例を示す図である。
例えば腕時計として構成される受信機9023bは、Bluetooth(登録商標)等の無線通信を介してスマートフォン9022aと接続される。受信機9023bは、文字盤が液晶等のディスプレイで構成されており、時刻以外の情報を表示することができる。受信機9023bが受信した信号からスマートフォン9022aは現在地を認識し、目的地までの経路や距離を受信機9023bの表示面に表示する。
(周波数偏移変調と周波数多重変調)
図249Aと図249Bと図249Cは、実施の形態10における変調方式の一例を示す図である。
図249Aの(a)は、特定の信号を特定の変調周波数として表現する。受信側は、光パターン(光源の輝度変化のパターン)の周波数解析を行って支配的な変調周波数を求め、信号を復元する。
図249Cの(a)のように、変調周波数を時間的に変化させることで、多くの値を表現することができる。一般的なイメージセンサの撮像フレームレートは30fpsであるため、一つの変調周波数を30分の1秒以上続けることで、確実に受信させることができる。また、図249Cの(b)のように、周波数を変化させる際に、間に信号を重畳しない時間を設けることで、受信機が変調周波数の変化を認識しやすくすることができる。信号を重畳しない時間の光パターンは、明るさを一定にしたり、特定の変調周波数とすることで、信号重畳部分と区別することができる。ここで用いる特定の変調周波数として、30Hzの整数倍の周波数として定めると、差分画像にはあらわれにくく、受信処理の妨げになりにくい。信号を重畳しない時間の長さは、信号に使う光パターンの中でもっとも長い周期の信号と同じ長さ以上にすることで、受信が容易になる。例として、最も低い変調周波数の光パターンが100Hzであれば、信号を重畳しない時間の長さを100分の1秒以上とする。
図249Aの(b)は、特定のビットと特定の変調周波数を対応付け、対応するビットが1である変調周波数を重ねあわせた波形として光パターンを表現した例(1)である。具体的には、第1ビットが1の情報を送信する場合には、送信機は、周波数f1=1000Hzの光パターンで輝度変化する。また、第2ビットが1の情報を送信する場合には、送信機は、周波数f2=1100Hzの光パターンで輝度変化する。また、第3ビットが1の情報を送信する場合には、送信機は、周波数f3=1200Hzの光パターンで輝度変化する。したがって、例えば「110」のビット列からなる情報を送信する場合には、送信機は、時間T2において周波数f2の光パターンで輝度変化し、時間T2よりも長い時間T1において周波数f1の光パターンで輝度変化する。また、例えば「111」のビット列からなる情報を送信する場合には、送信機は、時間T2において周波数f2の光パターンで輝度変化し、時間T2よりも短い時間T3において周波数f3の光パターンで輝度変化し、さらに、時間T1において周波数f1の光パターンで輝度変化する。この場合、(a)の変調方式と比較して、高いCN比(Carrier to Noise Ratio)が必要となるが、より多くの値を表現することができる。例(1)では、オンとなるビットの数が多い場合、すなわち、多くの周波数が含まれた波形となった場合には、一つの周波数あたりのエネルギーが少なくなり、より高いCN比が必要となる問題がある。
そこで、光パターンを表現した例(2)では、波形に含まれる周波数の数を所定の数以下に限定する、即ち、周波数の数を所定の数以下で変動可能とする。または、光パターンを表現した例(3)では、波形に含まれる周波数の数を所定の数に限定する。これにより、上述の問題を回避することが出来る。例(3)では、含まれる周波数の数が決まっているため、信号とノイズの分離が例(1)および例(2)よりも容易に行うことができ、ノイズに最も耐性がある方法となっている。
n種類の周波数を用いて信号を表現する場合、例(1)では、2n−1通りの信号を表現することができる。さらに、周波数の種類をm種類までに限定すると例(2)では、(Σ(k=1〜m)nCk)−1通り、例(3)では、nCm通りの信号を表現することができる。
複数の変調周波数を重ねあわせる方法としては、(i)各々の波形を単純に足し合わせる方法、(ii)各々の波形に重みを付けた加重平均を行う方法、(iii)各々の周波数の波形を順番に繰り返す方法がある。受信側で離散コサイン級数展開等の周波数解析を行う場合、高周波数ほどピークが小さくなる傾向があるため、(ii)では、各周波数のピークが同程度の大きさになるように調節して加重平均を行うと良い。即ち、高周波数程、重みを付けるとよい。(iii)では、各周波数の波形を1回ずつ(1サイクルずつ)出力するのを繰り返すのではなく、出力回数(サイクル数)の比率を調整することで、受信時の周波数ピークの大きさを調整することができる。高周波数ほど出力するサイクル数を増やしてもよいし、高周波数ほど出力している時間を長くするとしてもよい。この調整により、周波数ピークの大きさを揃えて受信処理を行い易くすることもでき、周波数ピークの大きさの違いに意味を持たせることで、付加的な情報を表現することもできる。例えば、周波数ピークの大きさの順序に意味をもたせた場合、含まれる周波数がn種類であれば、log2(n!)ビットの情報量を付加することができる。1周期毎に周波数を変更してもよいし、1周期、または、半周期毎に周波数を変更してもよいし、半周期の定数倍ごとに周波数を変更してもよいし、一定時間毎に周波数を変更してもよい。周波数を変更するタイミングは、輝度が一番高くなったときでも良いし、一番低くなったときでもよいし、任意の値になったときでもよい。周波数を変更する前後の輝度を等しくする(=連続的に輝度を変更する)ことで、ちらつきを抑えることができる。そのためには、送信する各々の周波数の半波長の整数倍の長さの時間その周波数を出力すればよい。このとき、各々の周波数を出力している時間は異なる。また、ある周波数の信号を半周期の整数倍の長さの時間出力することで、デジタル出力の場合でも、受信側でその周波数が信号に含まれていることを周波数解析によって容易に認識することができる。同じ周波数を連続で送出するよりも、非連続で出力するほうが、ちらつきが人間の目やカメラに捉えられにくくてよい。例えば、周期T1を2回、T2を2回、T3を1回の割合で出力する場合は、T1T1T2T2T3よりも、T1T2T3T2T1のほうが良い。所定の順番での出力を繰り返すのではなく、順番を変更しながら出力するとしてもよい。この順番に意味を持たせることで、付加的な情報を表現することもできる。周波数ピークにはこの順番は現れないが、周波数の順序の解析を行うことで、この情報を取得することができる。周波数ピークの解析よりも周波数の順序の解析を行う場合のほうが、露光時間を短く設定する必要があるため、付加情報が必要な場合のみ露光時間を短く設定するとしてもよいし、露光時間を短く設定できる受信機のみがこの付加情報を取得できるとしてもよい。
図249Bは、図249Aの信号を2値の光パターンで表現した場合を示す。周波数を重ねあわせる方式として、(i)(ii)の方法は、アナログ波形が複雑な形になり、そのアナログ波形を2値化しても、複雑な形状を表現できない。そのため、受信機が正確な周波数ピークを得ることが出来ず、受信エラーが増加する。(iii)の方法は、アナログ波形が複雑な形状にならないため、2値化による影響が少なく、比較的正確な周波数ピークを得ることができる。そのため、2値や少数の値でデジタル化された光パターンの用いる場合は(iii)の方法が優れる。この変調方法は、光パターンの周波数で信号を表現しているという点に着目すると周波数変調の一種であると解釈できるし、パルスの時間幅の長短を調整することで信号を表現しているという点に着目するとPWM変調の一種であるとも解釈できる。
輝度が変化する時間の単位を離散値とすることで、パルス変調と同様に送受信することができる。送信する周波数の周期の長さに限らず、輝度が低い区間を最短の時間単位にすることで、平均輝度を高くすることができる。このとき、送信周波数の周期が長いほうが平均輝度は高くなるため、この周期が長い周波数の出力回数を多くすることで、平均輝度を高くすることができる。輝度が低い区間が同じ長さであっても、輝度が高い区間の長さを、送信周波数の周期から輝度が低い区間の長さを引いた長さにすることで、周波数解析を行った際には、送信周波数に周波数ピークが現れる。したがって、受信機の露光時間をそれほど短く設定しなくても、離散コサイン変換などの周波数解析手法を用いることで、信号を受信することができる。
図249Cの(c)に示すように、図249Cの(a)と同様に変調周波数の重ねあわせを時間的に変化させることで、多くの値を表現することができる。
高い変調周波数の信号は露光時間を短く設定しなければ受信できないが、ある程度の高さの変調周波数までは露光時間の設定なしに利用することができる。低い変調周波数から高い変調周波数までの周波数を用いて変調した信号を送信することで、全ての端末は低い変調周波数で表現された信号を受信することができ、露光時間を短く設定できる端末の場合は、高い変調周波数まで信号を受信することで、同一の送信機から、より多くの情報を速く受信することができる。あるいは、通常撮像モードで低い周波数の変調信号を見つけた場合に、可視光通信モードで高い周波数の変調信号を含んだ全体の送信信号を受信するとしてもよい。
周波数偏移変調方式や周波数多重変調方式は、パルス位置によって信号を表現するよりも低い変調周波数を使った場合でも人間の目にちらつきを感じさせないという効果があるため、多くの周波数帯域を用いることができる。
なお、実施の形態1から10は、ここで述べた受信方式・変調方式で変調した信号を用いた場合でも同様の効果が得られる。
(混合信号の分離)
図249Dと図249Eは、実施の形態10における混合信号の分離の一例を示す図である。
受信機は、図249Dの(a)の機能を備える。受光部は光パターンを受光する。周波数解析部は、光パターンをフーリエ変換することで周波数領域に信号を写像する。ピーク検出部は、光パターンの周波数成分のピークを検出する。ピーク検出部でピークが検出されなかった場合は、以降の処理を中断する。ピーク時間変化解析部は、ピーク周波数の時間変化を解析する。信号源特定部は、複数の周波数ピークが検出された場合に、同じ送信機から送信された信号の変調周波数がどの組み合わせであるのかを特定する。
これにより、複数の送信機が近くに配置されている場合にも信号の混信を避けて受信を行うことができる。また、送信機からの光が床や壁や天井等から反射した光を受光する際は、複数の送信機からの光が混合されることが多いが、このような場合でも、信号の混信を避けて受信を行うことができる。
例として、受信機が送信機Aの信号と送信機Bの信号が混じった光パターンを受信した場合、図249Dの(b)のような周波数ピークが得られる。fA1が消えてfA2が現れるため、fA1とfA2は同じ送信機からの信号であることが特定できる。同様にして、fA1とfA2とfA3が同じ送信機からの信号であり、fB1とfB2とfB3が同じ送信機からの信号であることが特定できる。
一つの送信機が変調周波数を変更する時間間隔を一定にすることで、同じ送信機からの信号を特定しやすくすることができる。
複数の送信機の変調周波数が変化するタイミングが等しい時、上述の方法では同じ送信機からの信号を特定できない。そこで、送信機の変調周波数を変更する時間間隔を送信機の個体ごとに異ならせることで、複数の送信機の変調周波数が変化するタイミングが常に等しいという状況を避けることができ、同じ送信機からの信号を特定することができるようになる。
図249Dの(c)に示すように、送信機が変調周波数を変更してから次に変更するまでの時間を、現在の変調周波数と、変更前の変調周波数から求められる値とすることで、複数の送信機が同じタイミングで変調周波数を変化させた場合でも、いずれの変調周波数の信号が同じ送信機から送信されたかを特定できる。
送信機が他の送信機の送信信号を認識し、変調周波数変化のタイミングが等しくならないように調整するとしてもよい。
以上の方法は、一つの送信信号が一つの変調周波数で構成される周波数偏移変調の場合だけでなく、一つの送信信号が複数の変調周波数で構成される場合にも、同様の方法で同様の効果が得られる。
図249Eの(a)に示すように、周波数多重変調方式で時間的に光パターンを変化させない場合は、同じ送信機からの信号を特定することができないが、図249Eの(b)に示すように、信号のない区間を含めたり、特定の変調周波数に変化させたりすることで、ピークの時間変化から、同じ送信機からの信号を特定することができるようになる。
図249Fは、実施の形態10における情報処理プログラムの処理を示すフローチャートである。
この情報処理プログラムは、上述の送信機の発光体(または発光部)を図249Aの(b)または図249Bの(b)に示す光パターンで輝度変化させるためのプログラムである。
つまり、この情報処理プログラムは、送信対象の情報を輝度変化によって送信するために、その送信対象の情報をコンピュータに処理させる情報処理プログラムである。具体的には、この情報処理プログラムは、送信対象の情報を符号化することによって、輝度変化の周波数を決定する決定ステップSA11と、発光体が決定された輝度変化の周波数にしたがって輝度変化することにより送信対象の情報を送信するように、決定された輝度変化の周波数を示す信号を出力する出力ステップSA12とをコンピュータに実行させる。決定ステップSA11では、第1の周波数(例えば周波数f1)と、第1の周波数と異なる第2の周波数(例えば周波数f2)とを、それぞれ輝度変化の周波数として決定する。出力ステップSA12では、発光体が、第1の時間(例えば時間T1)において第1の周波数にしたがって輝度変化し、第1の時間の経過後に、第1の時間と異なる第2の時間(例えば時間T2)において第2の周波数にしたがって輝度変化するように、第1および第2の周波数を示す信号を、決定された輝度変化の周波数を示す信号として出力する。
これにより、送信対象の情報を、第1および第2の周波数の可視光信号によって適切に送信することができる。また、第1の時間と第2の時間とを異ならせることによって、多様な状況に合わせた送信を行うことができる。その結果、多様な機器間の通信を可能にすることができる。
例えば、図249Aおよび図249Bに示すように、第1の時間は、第1の周波数の一周期分に相当する時間である。また、第2の時間は、第2の周波数の一周期分に相当する時間である。
また、出力ステップSA12では、第1の周波数を示す信号と、第2の周波数を示す信号とのそれぞれの出力回数が異なるように、第1の周波数を示す信号と、第2の周波数を示す信号とのうちの少なくも一方を繰り返し出力してもよい。これにより、多様な状況に合わせた送信を行うことができる。
また、出力ステップSA12では、第1および第2の周波数を示す信号のうち、低い周波数の信号の出力回数が、高い周波数の信号の出力回数よりも多くなるように、第1の周波数を示す信号と、第2の周波数を示す信号とのうちの少なくも一方を繰り返し出力してもよい。
これにより、出力される各信号によって示される周波数にしたがって発光体が輝度変化する場合には、発光体は明るい輝度で送信対象の情報を送信することができる。例えば、低い周波数である第1の周波数にしたがった輝度変化と、高い周波数である第2の周波数にしたがった輝度変化とで、暗い輝度が継続する時間が同じであると仮定する。この場合、第1の周波数(つまり低い周波数)にしたがった輝度変化では、第2の周波数(つまり高いの周波数)にしたがった輝度変化よりも、明るい輝度が継続する時間が長い。したがって、第1の周波数を示す信号が多く出力されることによって、発光体は明るい輝度で送信対象の情報を送信することができる。
また、出力ステップSA12では、第1および第2の周波数を示す信号のうち、高い周波数の信号の出力回数が、低い周波数の信号の出力回数よりも多くなるように、第1の周波数を示す信号と、第2の周波数を示す信号とのうちの少なくも一方を繰り返し出力してもよい。例えば、図249Aおよび図249Bに示すように、周波数f2の信号の出力回数が、周波数f1の信号の出力回数よりも多くなる。
これにより、出力される各信号によって示される周波数にしたがって発光体が輝度変化する場合には、その輝度変化によって送信される情報の受信効率を高めることができる。例えば、複数の周波数によって表現される可視光信号によって送信対象の情報が受信機に送信される場合には、受信機は、撮像によって得られる画像に対してフーリエ変換などの周波数解析を行うことにより、その可視光信号に含まれる周波数のピークを検出する。このとき、高い周波数ほどピーク検出が難しい。そこで、上述のように、第1および第2の周波数を示す信号のうち、高い周波数の信号の出力回数が、低い周波数の信号の出力回数よりも多くなるように、各信号が出力されるため、高い周波数のピーク検出を容易にすることができる。その結果、受信効率を向上することができる。
また、出力ステップSA12では、同じ周波数を示す信号が連続して出力されないように、第1の周波数を示す信号と、第2の周波数を示す信号とのうちの少なくも一方を繰り返し出力してもよい。例えば、図249Aおよび図249Bに示すように、周波数f1を示す信号は連続して出力されず、周波数f2を示す信号も連続して出力されない。
これにより、出力される各信号によって示される周波数にしたがって発光体が輝度変化する場合には、その発光体からの光のちらつきが人間の目やカメラに捉えられ難くすることができる。
図249Gは、実施の形態10における情報処理装置のブロック図である。
この情報処理装置A10は、上述の送信機の発光体を図249Aの(b)または図249Bの(b)に示す光パターンで輝度変化させるための装置である。
つまり、この情報処理装置A10は、送信対象の情報を輝度変化によって送信するために、送信対象の情報を処理する装置である。具体的には、情報処理装置A10は、送信対象の情報を符号化することによって、輝度変化の周波数を決定する周波数決定部A11と、発光体が決定された輝度変化の周波数にしたがって輝度変化することにより送信対象の情報を送信するように、決定された輝度変化の周波数を示す信号を出力する出力部A12とを備える。ここで、周波数決定部A11は、第1の周波数と、第1の周波数と異なる第2の周波数とを、それぞれ輝度変化の周波数として決定する。出力部A12は、発光体が、第1の時間において第1の周波数にしたがって輝度変化し、第1の時間の経過後に、第1の時間と異なる第2の時間において第2の周波数にしたがって輝度変化するように、第1および第2の周波数を示す信号を、決定された輝度変化の周波数を示す信号として出力する。このような情報処理装置A10では、上述の情報処理プログラムと同様の効果を奏することができる。
(可視光通信による照明を介した家電の操作)
図250Aは、実施の形態10における可視光通信システムの一例を示す図である。
例えば天井照明(照明機器)として構成される送信機は、Wi−FiやBluetooth(登録商標)等の無線通信機能を備える。送信機は、無線通信によって送信機に接続するための情報(発光機IDおよび認証IDなど)を可視光通信によって送信する。例えばスマートフォン(携帯端末)として構成される受信機Aは、受信した情報を基に、送信機と無線通信を行う。受信機Aは他の情報を用いて送信機と接続してもよく、その場合は受信機能を持たなくとも良い。受信機Bは、例えば電子レンジ等の電子機器(制御対象機器)として構成される。送信機は、ペアリングされた受信機Bの情報を受信機Aへ送信する。受信機Aは、操作可能な機器として受信機Bの情報を表示する。受信機Aは、受信機Bの操作命令(制御信号)を、無線通信を通じて送信機へ伝え、送信機は可視光通信を通じて操作命令を受信機Bへ伝える。これにより、ユーザは受信機Aを介して受信機Bを操作することができる。また、インターネット等を介して受信機Aと接続されている機器は、受信機Aを介して受信機Bを操作することができる。
受信機Bが送信機能を備え、送信機が受信機能を備えることで、双方向通信を行うことができる。送信機能は発光による可視光として実現してもよいし、音による通信を行っても良い。例えば、送信機は集音部を備え、受信機Bの発する音を認識することで、受信機Bの状態を認識することができる。例えば、受信機Bの運転終了音を認識し、受信機Aに伝え、受信機Aは受信機Bの運転終了をディスプレイに表示することでユーザに通知することができる。
受信機Aと受信機Bは、NFCを備える。受信機Aは、送信機からの信号を受信し、次に、NFCを介して受信機Bと通信を行い、直前に受信した信号を送信した送信機からの信号を受信機Bが受信可能であるということを、受信機Aと送信機に登録する。これを、送信機と受信機Bのペアリングと呼ぶ。受信機Aは、受信機Bが移動された場合等には、ペアリングの解除を送信機に登録する。受信機Bが別の送信機にペアリングされた場合には、新しくペアリングされた送信機は前にペアリングされていた送信機にその情報を伝え、前のペアリングを解除する。
図250Bは、実施の形態10におけるユースケースを説明するための図である。この図250Bを用いて、本発明のPPM方式もしくはFDM方式FSK方式もしくは周波数割り当て方式の変調方式を用いた受信部1028を用いた場合の実施の形態を述べる。
まず、照明機器である発光機1003の発光動作を述べる。天井や壁に取り付けられた照明器具やTVモニタ等の発光機1003では、まず時間毎に変化する乱数発生部1012を用いて、認証ID発生部1010で、認証IDを発生させる。発光機1003のIDとこの認証ID1004については、割り込み処理(ステップ1011)がない場合、発光機1003は、携帯端末1020より送られた「送信データ列」がないと判断して、(1)発光機IDと、(2)認証IDと、制御対象機器である電子機器1040から携帯端末1020経由で送られてきた送信データ列1009があるかどうかを識別するための識別子つまり(3)送信データ列フラグ=0の、3つをLED等の発光部1016から、連続的に、もしくは間欠的に外部に光信号を送る。
送られた光信号は、電子機器1040のフォトセンサ1041で受信され(ステップ1042)、電子機器1040は、ステップ1043で、電子機器1040の機器IDおよび認証ID(機器認証IDおよび発光機ID)が正規のものであるか確認する。確認の結果がYES(正規のもの)なら、電子機器1040は、送信データ列フラグ=1かをチェックする(ステップ1051)。チェックの結果がYESの場合(送信データ列フラグ=1)のみ、電子機器1040は、送信データ列のデータ、例えば料理のレシピ実行等のユーザーコマンドを実行する(ステップ1045)。
ここで電子機器1040の本発明の光変調方式を用いて光送信する仕組みを述べる。電子機器1040は、機器ID、機器を認証するための認証ID、および、前述のように電子機器1040が受信した、つまり確実に受信が可能な発光機1003の発光機IDを、表示部1047のLEDバックライト部1050等を用いて送る(ステップ1046)。
電子レンジやPOS機等の液晶等の表示部1047から、本発明の光信号がちらつきのない60Hz以上の変調周波数で、PPMもしくはFDMもしくはFSK方式で送られているため、一般消費者には光信号が送られていることはわからない。そのため、表示部1047には、例えば電子レンジのメニュー等の独立した表示ができる。
(電子機器1040が受信できる発光機1003のID検出方法)
電子レンジ等を使用しようとする使用者は、携帯端末1020のインカメラ部1017で発光機1003からの光信号を受け取り、インカメラ処理部1026で、発光機IDと発光機認証IDを受信しておく(ステップ1027)。電子機器1040の受光可能な発光機IDは、3G等の携帯電話の電波やWi−Fiを用いた位置情報とクラウド1032や携帯端末内部に記録されている、その位置に存在する発光機IDを検出してもよい(ステップ1025)。
使用者は携帯端末1020のアウトカメラ1019を、例えば電子レンジ(電子機器)1040の表示部1047に向けると、本発明の光信号1048を、MOSカメラを用いて復調することができる。シャッター速度を速めると、より高速のデータを受信できる。受信部1028では、電子機器1040の機器ID、認証ID、サービスID、もしくは、サービスIDから変換した、サービス提供用のクラウドのURLや、機器の状況を受信する。
ステップ1029では、3G Wi−Fi通信部1031を通して端末の内部にある、もしくは受信したURLを用いて外部にあるクラウド1032に接続し、サービスID、機器IDを送る。クラウド1032では、データベース1033にある、機器ID、サービスIDに各々対応したデータを検索し、携帯端末1020に送る。このデータを元にして携帯端末の画面にビデオデータやコマンドのボタン等を表示する。これを見た使用者は希望するコマンドを画面のボタンを押す等の入力方法により入力する(ステップ1030)。YES(入力)の場合、BTLE(Blue Tooth(登録商標) Low Energy)送受信部1021の送信機1022は、電子機器1040等の機器ID、機器認証ID、発光機ID、発光機認証ID、およびステップ1030のユーザコマンド等からなる送信データ列を送信する。
発光機1003は、BTLE送受信部1004の受信部1007で「送信データ列」を受信し、割り込み処理部1011で、「送信データ列」を受信したことを検出する(ステップ1013のYES)と、「送信データ列+ID+送信データフラグ=1」のデータを本発明の変調部で変調し、LED等の発光部1016から光送信する。「送信データ列」を受信したことを検出しない場合(ステップ1013のNOの場合)は、発光機1003は発光機ID等を連続的に送る。
前述のように、この電子機器1040は既に発光機1003からの信号を受信できることを実際に受信して確認しているので確実に受信できる。
この場合、割り込み処理部1011では、送信データ列の中に発光機IDが含まれるため、そのIDの発光機の光照射範囲内に送信対象の電子機器が存在することがわかる。従って、他の発光機から信号を送ることなく、電子機器がある極めて狭い位置にある発光機のみから送られるため、電波空間を効率的に使うことができる。
この方式を採用しない場合、ブルートゥース信号は遠くまで届くため、電子機器とは異なる他の位置にある発光機から光信号が送られてしまう。従って、ある発光機が発光期間中には、送信したい他の電子機器への光送信ができなくなる、もしくは妨害を与えるため、この方式による解決策は効果がある。
次に電子機器の誤動作対策を述べる。
フォトセンサ1041は、ステップ1042で光信号を受信する。まず、発光機IDをチェックするため、別の発光機IDの発光信号は除去できるため誤作動が減る。
本発明では、送信データ列1009には受信すべき電子機器の機器IDと機器認証IDが含まれる。従ってステップ1043で機器認証IDと機器IDがこの電子機器1040のIDかをチェックするので、誤動作しない。電子機器1040が別の電子機器へ送信された信号を誤って処理することによる電子レンジ等の誤作動を、防止できるという効果がある。
ユーザコマンドの実行の誤作動を防止する方法を述べる。
ステップ1044で送信データフラグ=1の時、ユーザコマンドがあると判断し、送信データフラグ=0の時は停止する。送信データフラグ=1の時、ユーザデータ列の機器ID、認証IDを認証してから、ユーザコマンド等の送信データ列を実行する、例えば、電子機器1040は、レシピを取り出し、画面に表示し、使用者がボタンを押せば、レシピすなわち600wを3分、200wを1分、スチーム調理を2分といった動作を誤動作することなく開始する。
ユーザコマンドを実行すると、電子レンジの場合、2.4GHzの電磁ノイズを発生する。これを低減するため、スマートフォンを介して、ブルートゥースやWi−Fiで命令を受け、動作する場合、間欠駆動部1061により間欠的、例えば2秒間には100msの程度、電子レンジの出力を止める。この間にブルートゥースやWi−Fi802.11n等の通信が可能となる。例えばレンジを止めない時は、スマートフォンからBTLEで発光機1003に停止命令を送ることが妨害される。一方、本発明では妨害電波の影響を受けないで送れ、光信号によりレンジを停止したり、レンジのレシピの変更をすることができる。
本実施の形態の特長が1つ数円位のコストのフォトセンサ1041を、表示部のついた電子機器に追加するだけで、クラウドと連携したスマートフォンと双方向の通信ができるため、低コストの白物家電に搭載しスマート家電化することができるという効果がある。ただし、実施の形態として白物家電を用いたが、表示部のついたPOS端末でもよいし、スーパーマーケットの電子値札板でもパソコンでも同様の効果が得られる。
また、この実施の形態では電子機器の上部にある照明器からしか発光機IDを受信できない。受信領域が狭いため、発光機毎にWi−Fi等の小さいゾーンIDを規定し、各々のゾーンの中で位置の下記のIDを割り当てることにより、発光部のIDの桁数を減らすという効果もある。この場合、本発明の前述のPPMやFSK、FDMを用いて送信する発光機のIDの桁数が減ることにより、小さな光源から光信号を受信したり、早くIDを取得したり、遠くの光源のデータを受信できる等の効果がある。
図250Cは、実施の形態10における信号送受信システムの一例を示す図である。
信号送受信システムは、多機能携帯電話であるスマートフォン(スマホ)と、照明機器であるLED発光機と、冷蔵庫などの家電機器と、サーバとを備えている。LED発光機は、BTLE(Bluetooth(登録商標) Low Energy)を用いた通信を行うとともに、LED(Light Emitting Diode)を用いた可視光通信を行う。例えば、LED発光機は、BTLEによって、冷蔵庫を制御したり、エアコンと通信する。また、LED発光機は、可視光通信によって、電子レンジ、空気清浄機またはテレビ(TV)などの電源を制御する。
テレビは、例えば太陽光発電素子を備え、この太陽光発電素子を光センサとして利用する。つまり、LED発光機が輝度変化することによって信号を送信すると、テレビは、太陽光発電素子によって発電される電力の変化によって、そのLED発光機の輝度変化を検出する。そして、テレビは、その検出された輝度変化によって示される信号を復調することによって、LED発光機から送信された信号を取得する。テレビは、その信号が電源ONを示す命令である場合には、自らの主電源をONに切り替え、その信号が電源OFFを示す命令である場合には、自らの主電源をOFFに切り替える。
また、サーバは、ルータおよび特定小電力無線局(特小)を介してエアコンと通信することができる。さらに、エアコンはBTLEを介してLED発光機と通信することができるため、サーバはLED発光機と通信することができる。したがって、サーバは、LED発光機を介してTVの電源をONとOFFとに切り替えることができる。また、スマートフォンは、サーバと例えばWi−Fi(Wireless Fidelity)などを介して通信することによって、サーバを介してTVの電源を制御することができる。
図250A〜図250Cに示すように、本実施の形態における情報通信方法は、携帯端末(スマートフォン)が、可視光通信と異なる無線通信(BTLEまたはWi−Fiなど)によって、制御信号(送信データ列またはユーザコマンド)を照明機器(発光機)に送信する無線通信ステップと、照明機器が、その制御信号に応じて輝度変化することによって可視光通信を行う可視光通信ステップと、制御対象機器(電子レンジなど)が、その照明機器の輝度変化を検出し、検出された輝度変化によって特定される信号を復調することにより制御信号を取得し、その制御信号に応じた処理を実行する実行ステップとを含む。これにより、携帯端末は、可視光通信のための輝度変化を行うことができなくても、無線通信によって、照明機器を携帯端末の代わりに輝度変化させることができ、制御対象機器を適切に制御することができる。なお、携帯端末はスマートフォンではなく腕時計であってもよい。
(干渉を排除した受信)
図251は、実施の形態10における干渉を排除した受信方法を示すフローチャートである。
まず、ステップ9001aでstartして、ステップ9001bで受光した光の強さに周期的な変化があるかどうかを確認して、YESの場合はステップ9001cへ進む。NOの場合はステップ9001dへ進み、受光部のレンズを広角にして広範囲の光を受光して、ステップ9001bへ戻る。ステップ9001cで信号を受信できるかどうかを確認して、YESの場合はステップ9001eへ進み、信号を受信して、ステップ9001gで終了する。NOの場合はステップ9001fへ進み、受光部のレンズを望遠にして狭い範囲の光を受光して、ステップ9001cへ戻る。
この方法により、複数の送信機からの信号の干渉を排除しつつ、広い方向にある送信機からの信号を受信することができる。
(送信機の方位の推定)
図252は、実施の形態10における送信機の方位の推定方法を示すフローチャートである。
まず、ステップ9002aでstartして、ステップ9002bで受光部のレンズを最大望遠にして、ステップ9002cで受光した光の強さに周期的な変化があるかどうかを確認して、YESの場合はステップ9002dへ進む。NOの場合はステップ9002eへ進み、受光部のレンズを広角にして広範囲の光を受光して、ステップ9002cへ戻る。ステップ9002dで信号を受信して、ステップ9002fで受光部のレンズを最大望遠とし、受光範囲の境界に沿うように受光方向を変化させ、受光強度が最大になる方向を検出し、送信機がその方向にあると推定して、ステップ9002dで終了する。
この方法により、送信機が存在する方向を推定することができる。なお、最初に最大広角にして、次第に望遠にしてもよい。
(受信の開始)
図253は、実施の形態10における受信の開始方法を示すフローチャートである。
まず、ステップ9003aでstartして、ステップ9003bでWi−FiやBluetooth(登録商標)やIMES等の基地局からの信号を受信したかどうかを確認して、YESの場合は、ステップ9003cへ進む。NOの場合はステップ9003bへ戻る。ステップ9003cで前記基地局が、受信開始のトリガとして受信機やサーバに登録されているかどうかを確認して、YESの場合はステップ9003dへ進み、信号の受信を開始して、ステップ9003eで終了する。NOの場合はステップ9003bへ戻る。
この方法により、ユーザが受信開始の操作をしなくても受信を開始することができる。また、常に受信を行うよりも消費電力を抑えることが出来る。
(他媒体の情報を併用したIDの生成)
図254は、実施の形態10における他媒体の情報を併用したIDの生成方法を示すフローチャートである。
まず、ステップ9004aでstartして、ステップ9004bで接続されているキャリア通信網やWi−FiやBluetooth(登録商標)等のID、または、上記IDから得た位置情報やGPS等から得た位置情報を上位ビットID索引サーバに送信する。ステップ9004cで上位ビットID索引サーバから可視光IDの上位ビットを受信して、ステップ9004dで送信機からの信号を可視光IDの下位ビットとして受信する。ステップ9004eで可視光IDの上位ビットと下位ビットを合わせてID解決サーバへ送信して、ステップ9004fで終了する。
この方法により、受信機の付近の場所で共通的に用いられる上位ビットを得ることができ、送信機が送信するデータ量を少なくすることができる。また、受信機が受信する速度を上げることができる。
なお、送信機は上位ビットと下位ビットの両方を送信しているとしてもよい。この場合は、この方法を用いている受信機は下位ビットを受信した時点でIDを合成することができ、この方法を用いていない受信機は送信機からID全体を受信することでIDを得る。
(周波数分離による受信方式の選択)
図255は、実施の形態10における周波数分離による受信方式の選択方法を示すフローチャートである。
まず、ステップ9005aでstartして、ステップ9005bで受光した光信号を周波数フィルタ回路にかける、または、離散フーリエ級数展開を行い周波数分解を行う。ステップ9005cで低周波数成分が存在するかどうかを確認して、YESの場合はステップ9005dへ進み、周波数変調等の低周波数領域で表現された信号をデコードして、ステップ9005eへ進む。NOの場合はステップ9005eへ進む。ステップ9005eで前記基地局が、受信開始のトリガとして受信機やサーバに登録されているかどうかを確認して、YESの場合はステップ9005fへ進み、パルス位置変調等の高周波数領域で表現された信号をデコードして、ステップ9005gへ進む。NOの場合はステップ9005gへ進む。ステップ9005gで信号の受信を開始して、ステップ9005hで終了する。
この方法により、複数の変調方式で変調された信号を受信することができる。
(露光時間が長い場合の信号受信)
図256は、実施の形態10における露光時間が長い場合の信号受信方法を示すフローチャートである。
まず、ステップ9030aでstartして、ステップ9030bで感度が設定できる場合は感度を最高に設定する。ステップ9030cで露光時間が設定できる場合は通常撮影モードよりも短い時間に設定する。ステップ9030dで2枚の画像を撮像して輝度の差分を求める。2枚の画像を撮像する間に撮像部の位置や方向が変化した場合はその変化をキャンセルして同じ位置・方向から撮像したかのような画像を生成して差分を求める。ステップ9030eで差分画像、または、撮像画像の露光ラインに平行な方向の輝度値を平均した値を求める。ステップ9030fで前記平均した値を、露光ラインに垂直な方向に並べ離散フーリエ変換を行って、ステップ9030gで所定の周波数の付近にピークがあるかどうかを認識して、ステップ9030hで終了する。
この方法により、露光時間が設定できない場合や通常画像を同時に撮像する場合等、露光時間が長い場合においても信号を受信することができる。
露光時間を自動設定としている場合、カメラを照明として構成される送信機へ向けると、自動露出補正機能によって露光時間は60分の1秒から480分の1秒程度に設定される。露光時間の設定ができない場合には、この条件で信号を受信する。実験では、照明を周期的に点滅させた場合、1周期の時間が露光時間の約16分の1以上であれば、露光ラインに垂直な方向に縞が視認でき、画像処理によって点滅の周期を認識することができた。このとき、照明が写っている部分は輝度が高すぎて縞が確認しづらいため、照明光が反射している部分から信号の周期を求めるのが良い。
周波数偏移変調方式や周波数多重変調方式のように、発光部を周期的に点灯・消灯させる方式を用いた場合は、パルス位置変調方式を用いた場合よりも、同じ変調周波数であっても人間にとってちらつきが視認しづらく、また、ビデオカメラで撮影した動画にもちらつきが現れにくい。そのため、低い周波数を変調周波数として用いることができる。人間の視覚の時間分解能は60Hz程度であるため、この周波数以上の周波数を変調周波数として用いることができる。
なお、変調周波数が受信機の撮像フレームレートの整数倍のときは、2枚の画像の同じ位置の画素は送信機の光パターンが同じ位相の時点で撮像を行うため、差分画像に輝線があらわれず、受信が行いにくい。受信機の撮像フレームレートは通常30fpsであるため、変調周波数は30Hzの整数倍以外に設定すると受信が行い易い。また、受信機の撮像フレームレートは様々なものが存在するため、互いに素な二つの変調周波数を同じ信号に割り当て、送信機は、その二つの変調周波数を交互に用いて送信することで、受信機は、少なくとも一つの信号を受信することで、容易に信号を復元できる。
図257は、送信機の調光(明るさを調整すること)方法の一例を示す図である。
輝度が高い区間と輝度が低い区間の割合を調整することで、平均輝度が変化し、明るさを調整することができる。このとき、輝度の高低を繰り返す周期T1を一定に保つことで、周波数ピークを一定に保つことが出来る。例えば、図257の(a)、(b)、(c)のいずれも、平均輝度よりも明るくなる第1の輝度変化と、第2の輝度変化の間の時間T1は一定に保ちながら、送信機を暗く調光する際には、平均輝度よりも明るく照明する時間を短くする。一方、送信機を明るく調光する際には、平均輝度よりも明るく照明する時間を長くする。図257の(b)、(c)は、(a)よりも暗く調光されており、図257の(c)は、最も暗く調光されている。これにより、同一の意味を持った信号を送信しながら調光を行うことが出来る。
輝度の高い区間の輝度、または、輝度が低い区間の輝度、または、その両方の輝度の値を変化させることで、平均輝度を変化させるとしてもよい。
図258は、送信機の調光機能を構成する方法の一例を示す図である。
構成部品の精度には限界があるため、同じ調光設定を行ったとしても、別の送信機とは明るさが微妙に異なる。しかし、送信機を並べて配置する場合には、隣接する送信機の明るさが異なっていると、不自然さが感じられる。そこで、ユーザは、調光補正操作部を操作することで、送信機の明るさを調整する。調光補正部は、補正値を保持し、調光制御部は、補正値に従って発光部の明るさを制御する。ユーザが調光操作部を操作することによって調光の程度が変化された場合には、調光制御部は、変化された調光設定値と調光補正部に保持された補正値をもとに、発光部の明るさを制御する。また、調光制御部は、連動調光部を通して、他の送信機に調光設定値を伝える。他の機器から連動調光部を通して調光設定値が伝えられた場合には、調光制御部は、その調光設定値と調光補正部に保持された補正値をもとに、発光部の明るさを制御する。
本発明の一つの実施形態によれば、発光体を輝度変化させることによって信号を送信する情報通信装置を制御する制御方法であって、情報通信装置のコンピュータに対して、複数の異なる信号を含む、送信対象の信号を変調させることによって、異なる信号毎に、異なる周波数の輝度変化のパターンを決定させる決定ステップと、単一の周波数に該当する時間に、単一の信号を変調した輝度変化のパターンのみを含むように、発光体を輝度変化させることによって送信対象の信号を送信させる送信ステップと、を有する、制御方法であってもよい。
例えば、単一の周波数に該当する時間に、複数の信号を変調した輝度変化のパターンを含む場合、時間経過による輝度変化の波形が複雑になり、適切に受信することが困難となる。しかしながら、単一の周波数に該当する時間に、単一の信号を変調した輝度変化のパターンのみを含むように制御することにより、受信する際により適切に受信を行うことが可能となる。
本発明の一つの実施の形態によれば、決定ステップは、所定の時間内において、複数の異なる信号のうちの一つの信号を送信させる送信回数が、他の信号を送信させる送信回数と異なるように、送信回数を決定させてもよい。
一つの信号を送信させる送信回数が、他の信号を送信させる送信回数と異なることにより、送信する際のちらつきを防ぐことが可能となる。
本発明の一つの実施の形態によれば、決定ステップは、所定の時間内において、高い周波数に該当する信号の送信回数を、他の信号の送信回数よりも多くさせてもよい。
受信側において周波数変換を行う際に、高い周波数に該当する信号は、輝度が小さくなるが、送信回数を多くすることにより、周波数変換を行う際の輝度値を大きくすることが可能となる。
本発明の一つの実施の形態によれば、輝度変化のパターンは、時間経過による輝度変化の波形が、矩形波、三角波、鋸波のいずれかとなるパターンであってもよい。
矩形波などにすることにより、より適切に受信を行うことが可能となる。
本発明の一つの実施の形態によれば、発光体の平均輝度の値を大きくする場合に、単一の周波数に該当する時間において、発光体の輝度が所定の値よりも大きくなる時間を、前記発光体の平均輝度の値を小さくする場合に対して、長くしてもよい。
単一の周波数に該当する時間において、発光体の輝度が所定の値よりも大きくなる時間を調整することにより、信号を送信し、かつ、発光体の平均輝度を調整することが可能となる。例えば、発光体を照明として使用する場合には、全体の明るさを暗くしたり、明るくしたりしながら、信号を送信することが可能となる。
受信機は,露光時間を設定するAPI(アプリケーション・プログラミング・インタフェースの略で、OSの機能を利用するための手段を指す)を利用することで、露光時間を所定の値に設定することができ、可視光信号を安定して受信することができる。また、受信機は、感度を設定するAPIを利用することで、感度を所定の値に設定することができ、送信信号の明るさが暗い場合や明るい場合でも可視光信号を安定して受信することができる。
(実施の形態11)
本実施の形態では、上記各実施の形態におけるスマートフォンなどの受信機と、LEDや有機ELの点滅パターンとして情報を送信する送信機とを用いた各適用例について説明する。
(露光時間の設定)
図259A〜図259Dは、実施の形態11における受信機の動作の一例を示すフローチャートである。
本発明の方式を用いてイメージセンサで可視光信号を受信するためには、露光時間を所定の時間より短い時間に設定する必要がある。所定の時間は可視光信号の変調方式と変調周波数によって決定される。一般に、変調周波数が高いほど露光時間を短くする必要がある。
露光時間を短くするにつれて輝線がはっきりと観察できるようになる一方で、露光時間が短くなると受光量が減るために撮像画像全体が暗くなる。すなわち、信号強度が減衰する。そのため、可視光信号の存在が検知できる範囲で露光時間を短くすることで、受信性能(受信速度や誤り率)を向上させることができる。
図259Aに示すように、受信機は、まず、撮像モードを可視光撮像モードにする(ステップS9201)。このときに、受信機は、モノクロ撮像機能があり、かつ、輝度情報のみで変調された信号を受信するか否かを判定する(ステップS9202)。ここで、モノクロ撮像機能があり、かつ、輝度情報のみで変調された信号を受信すると判定したときには(ステップS9202のY)、受信機は、撮像モードのうちの色に関するモードを、そのモノクロ撮像機能を用いるモノクロ撮像モードに設定する(ステップS9203)。これにより、輝度情報のみで変調された信号を受信する場合、つまり、輝度変化のみによって情報を表す可視光信号を受信する場合には、カラー情報を扱わないことで処理速度の向上を図ることができる。一方、ステップS9202において、モノクロ撮像機能があり、かつ、輝度情報のみで変調された信号を受信する、ことはないと判定したときには(ステップ9202のN)、つまり、色情報を利用して可視光信号が表現されている場合には、受信機は、撮像モードのうちの色に関するモードを、カラー撮像モードに設定する(ステップS9204)。
次に、受信機は、露光時間を指定する機能が、上述のイメージセンサを含む撮像部に備わっているか否かを判定する(ステップS9205)。ここで、備わっていると判定すると(ステップS9205のY)、受信機は、撮像画像に輝線が現れるように、その機能を用いて、露光時間を上述の所定の時間よりも短い時間に設定する(ステップS9206)。なお、受信機は、撮像画像中で、可視光信号を送信している送信機が見える範囲でできるだけ露光時間が短くなるように、その露光時間を設定してもよい。
一方、ステップS9205において、露光時間を指定する機能が備わっていないと判定すると(ステップS9205のN)、受信機は、さらに、感度を設定する機能が撮像部に備わっているか否かを判定する(ステップS9207)。ここで、感度を設定する機能が備わっていると判定すると(ステップS9207のY)、受信機は、その機能により、感度を最大に設定する(ステップS9208)。その結果、その最大にされた感度で撮像が行われることにより撮像画像が得られると、その撮像画像は明るくなる。そこで、受信機では、自動露出が有効に設定されていれば、その自動露出によって、露出が一定の範囲に収まるように、露光時間が短く設定される。なお、自動露出では、撮像が行われるごとに、その撮像により得られた撮像画像が自動露出の入力に用いられ、その撮像画像に基づいて、露出が一定の範囲に収まるように、露光時間が随時調整される。自動露出の詳細については後述する。
さらに、受信機は、F値(絞り)を設定する機能が撮像部に備わっているか否かを判定する(ステップS9209)。ここで、F値を設定する機能が備わっていると判定すると(ステップS9209のY)、受信機は、その機能により、F値を最小(絞りを開放)に設定する(ステップS9210)。その結果、その最小にされたF値で撮像が行われることにより撮像画像が得られると、その撮像画像は明るくなる。そこで、受信機では、自動露出が有効に設定されていれば、その自動露出によって、露出が一定の範囲に収まるように、露光時間が短く設定される。
さらに、受信機は、露出補正の値を指定する機能が撮像部に備わっているか否かを判定する(ステップS9211)。ここで、露出補正の値を指定する機能が備わっていると判定すると(ステップS9211のY)、受信機は、その機能により、露出補正の値を最小に設定する(ステップS9212)。その結果、受信機では、自動露出が有効に設定されていれば、その自動露出によって、露出を低くするために露光時間が短く設定される。
また、高速で運動する被写体を撮像するためのシーンモード(高速シーンモード)は一般に「スポーツ」や「アクション」の名称で定義されている。
図259Bに示すように、受信機は、ステップS9211またはステップS9212の後、高速シーンモードに設定する機能が撮像部に備わっており、かつ、高速シーンモードに設定することで、感度がシーンモード設定前よりも低く設定されたり、F値がシーンモード設定前よりも高く設定されたり、露出補正の値がシーンモード設定前よりも高く設定されたりすることがないという条件を満たすか否かを判定する(ステップS9213)。ここで、上記条件を満たすと判定すると(ステップS9213のY)、受信機は、シーンモードを高速シーンモードに設定する(ステップS9214)。その結果、受信機では、自動露出が有効に設定されていれば、高速で運動する被写体をぶれさせずに撮像するために、その自動露出によって、露光時間が短く設定される。
次に、受信機は、自動露出を有効に設定し(ステップS9215)、被写体を撮像する(ステップS9216)。
図259Cに示すように、受信機は、ステップS9215の後、ズーム機能が撮像部に備わっているか否かを判定する(ステップS9217)。ここで、ズーム機能が備わっていると判定すると(ステップS9217のY)、受信機は、さらに、ズームの中心位置を指定することができるか否か、つまり、その中心位置を撮像画像内の任意の位置にすることができるか否かを判定する(ステップS9218)。中心位置を指定することができると判定すると(ステップS9218のY)、受信機は、ズームの中心位置を撮像画像内の明るい部分に指定することにより、その明るい部分に対応する被写体が中央で大きく撮像されるようにズームする(ステップS9219)。一方、中心位置を指定することができないと判定すると(ステップS9218のN)、受信機は、撮像画像の中心が所定の値の明るさよりも明るいか否か、または、撮像画像中の所定の各箇所における明るさの平均よりも明るいか否かを判定する(ステップS9220)。ここで、明るいと判定すると(ステップS9220のY)、受信機はズームを行う(ステップS9221)。つまり、このときにも、明るい部分に対応する被写体が中央で大きく撮像される。
一般的に、撮像部を備える装置の多くでは、測光方式に中央重点測光が用いられているため、撮像画像内で明るい部分が中央あると、測光位置を他の位置に指定しない場合でも明るい部分を基準として露出が調整される。これにより、露光時間が短く設定される。また、ズームによって明るい部分の面積が増え、より明るい画面を基準に露出が調整されるため、露光時間が短く設定される。
次に、受信機は、測光位置またはフォーカス位置を指定する機能があるか否かを判定する(ステップS9222)。ここで、その機能があると判定すると(ステップS9222のY)、受信機は、撮像画像の中で明るい場所を見つけ出すための処理を行う。つまり、受信機は、撮像画像の中から、所定の明るさよりも明るい、所定の形状および大きさを有する領域の場所を見つけ出すための処理を行う。具体的には、受信機は、まず、自動露出のための露出評価の計算式が既知であるか否かを判定する(ステップS9224)。既知であると判定した場合には(ステップS9224のY)、受信機は、その既知の計算式と同じ計算式を用いて、撮像画像中の各領域の明るさを評価することにより、上述の明るい領域の場所を見つける(ステップS9226)。一方、露出評価の計算式が未知であると判定した場合には(ステップS9224のN)、受信機は、所定の形状および大きさの領域における各画素の明るさの平均値を算出する所定の計算式を用いて、撮像画像中の各領域の明るさを評価することにより、上述の明るい領域の場所を見つける(ステップS9225)。なお、所定の形状は、例えば、矩形、円形、または十字形状などである。また、その領域は非連続の複数の領域から構成されていてもよい。また、上述の平均値の算出には、単純な平均ではなく、中心部ほど大きい重みがつけられる加重平均を用いてもよい。
受信機は、見つけられた全ての明るい領域の合計の面積が所定の面積より小さいか否かを判定する(ステップS9227)。ここで、小さいと判定すると(ステップS9227のY)、受信機は、この明るい領域の合計の面積が所定の面積以上の大きさで撮像されるようにズームを行う(ステップS9228)。次に、受信機は、測光位置を指定できるか否かを判定する(ステップS9229)。測光位置を指定できると判定した場合には(ステップS9229のY)、受信機は、最も明るい領域の場所を測光位置として指定する(ステップS9230)。自動露出では、測光位置の明るさで露出が調整されるため、最も明るい領域の場所を測光位置として指定することで、自動露出によって露光時間が短く設定される。一方、ステップS9229において、測光位置を指定できないと判定した場合(ステップS9229のN)、つまり、フォーカス位置が指定できる場合には、受信機は、最も明るい領域の場所をフォーカス位置として指定する。受信機には各種の撮像部が搭載可能であって、その各種の撮像部のうちの一部の撮像部の自動露出では、フォーカス位置の明るさで露出が調整される。したがって、最も明るい領域の場所をフォーカス位置として指定することで、自動露出によって露光時間が短く設定される。ここで指定される場所は、明るさの評価または計算に用いた領域の場所と異なっていてもよく、撮像部の設定方式に合わせて設定される。例として、指定の形式が中心点を指定する形式であれば、受信機は、最も明るい領域の中心を指定し、指定の形式が、矩形領域を指定する形式であれば、受信機は、最も明るい領域の中心を含む矩形領域を指定する。
次に、受信機は、撮像画像中に、測光位置またはフォーカス位置として指定された場所の領域よりも明るい領域があるか否かを判定する(ステップS9232)。ここで、その領域があると判定すると(ステップS9232のY)、受信機は、ステップS9217からの処理を繰り返し実行する。一方、その領域がないと判定すると(ステップS9232のN)、受信機は、被写体を撮像する(ステップS9233)。
次に、受信機は、ステップS9233の撮像によって得られた撮像画像に基づいて自動露出を終了すべきか否か、または、自動露出を有効に設定してから一定時間が経過したか否かを判定する(ステップS9234)。ここで、例えば自動露出を終了すべきでないと判定した場合(ステップS9234のN)、受信機は、さらに、ステップS9233の撮像によって得られた撮像画像に基づいて、撮像部の位置または撮像方向が変化したか否かを判定する(ステップS9235)。撮像部の位置または撮像方向が変化したと判定した場合は(ステップS9235のY)、受信機は、再度、ステップS9217からの処理を行う。これにより、測光位置やフォーカス位置として指定した場所が撮像画像中で移動した場合であっても、その時点で最も明るい領域の場所を指定し直すことができる。一方、ステップS9235において、撮像部の位置または撮像方向が変化していないと判定した場合は(ステップS9235のN)、受信機は、ステップS9232からの処理を繰り返し行う。なお、受信機は、撮像によって1枚の撮像画像を取得する度に最も明るい領域を検索し、測光位置やフォーカス位置を指定し直してもよい。
また、ステップS9234において、自動露出を終了すべきと判定した場合、露光時間が変化しなくなった場合、または、一定時間が経過したと判定した場合(ステップS9234のY)、あるいは、ステップS9206において露光時間が設定された場合、受信機は、自動露出を無効に設定し(ステップS9236)、被写体を撮像する(ステップS9237)。そして、受信機は、その撮像によって可視光信号を受信したか否かを判定する(ステップS9238)。ここで、可視光信号を受信していないと判定した場合には(ステップS9238のN)、受信機は、さらに、所定の時間が経過したか否かを判定する(ステップS9239)。所定の時間が経過していないと判定した場合には(ステップS9239のN)、受信機は、ステップS9237からの処理を繰り返し実行する。一方、所定の時間が経過したと判定した場合には(ステップS9239のY)、つまり、所定の時間が経過しても可視光信号を受信することができなかった場合には、受信機は、ステップS9232からの処理を繰り返し実行することにより、最も明るい領域の検索をやり直す。
なお、受信機は、ズーム機能を利用している場合には、ズームを任意のタイミングでオフにしてもよい。つまり、受信機は、ズームがオフのときに、ズーム中には撮像されないがズームをしなければ撮像される範囲に、明るい被写体があるかどうかを検出してもよい。なお、この明るい被写体は、輝度変化によって可視光信号を送信する送信機である可能性が高い。これにより、広い範囲に存在する送信機からの信号を受信することができる。
ここで、自動露出および測光方法について説明する。
以下、図259A〜図259Dにおける自動露出について説明する。自動露出は、受信機の撮像部が、露光時間と感度と絞りとを調節し、測光結果を所定の値に自動的に調整する動作、処理または機能である。
測光結果を得るための測光方法には、平均測光(全面測光)、中央重点測光、スポット測光(部分測光)、および分割測光等の方式がある。平均測光では、撮像により得られる画像全体の平均の明るさを算出する。中央重点測光では、画像の中央(または指定部分)に近いほど重みを重くした明るさの加重平均値を算出する。スポット測光では、画像の中央または指定部分を中心として定義された所定の一箇所(または数カ所)の範囲の明るさの平均値(または加重平均値)を算出する。分割測光では、画像を複数の部分に分けてそれぞれの部分で測光を行い、総合的な明るさの値を算出する。
自動露出の機能を有する撮像部では、直接的に露光時間を短くする設定することができなくても、その自動露光の機能によって、間接的に露光時間を設定することができる。例えば、感度を高く(例えば最大値に)設定すると、他の条件が同じであれば、撮像により得られる画像が明るくなってしまうため、自動露出によって露光時間を短く設定することができる。また、絞りを開くように(つまり開放に)設定すると、同様に、露光時間を短く設定することができる。また、露出補正のレベルを示す値を低く(例えば最小値に)設定すると、自動露出によって、撮像により得られる画像は暗くなる。つまり、露光時間が短く設定される。画像内の最も明るい場所を測光位置に指定することで、露光時間を短く設定することができる。また、測光方法の指定が可能であれば、スポット測光を指定することで、露光時間を短く設定することができる。測光範囲の指定が可能であれば、測光範囲を最小に指定することで、露光時間を短く設定することができる。画像内の明るい部分の面積が大きい場合は、その部分を超えないようになるべく大きく測光範囲を指定することで、露光時間を短く設定することができる。測光位置を複数指定することが可能であれば、同じ場所を測光位置として複数回指定することで、露光時間を短く設定することができる。画像内の明るい場所をズームで大きく写し、その場所を測光位置として指定することで、露光時間を短く設定することができる。
ここで、EXズームについて説明する。
図260は、EXズームを説明するための図である。
図259Cにおけるズーム、つまり、大きな像を得る方法には、レンズの焦点距離を調整して撮像素子に写る像の大きさを変化させる光学ズームと、撮像素子に写った像をデジタル処理で補間して大きな像を得るデジタルズームと、撮像に用いられる複数の撮像素子を変更することで大きな像を得るEXズームとがある。EXズームは、撮像画像の解像度に比べてイメージセンサに含まれる撮像素子の数が多い場合に利用できる。
例えば、図260に示すイメージセンサ10080aでは、32×24個の撮像素子がマトリックス状に配列されている。つまり、撮像素子が横に32個、縦に24個配置されている。このイメージセンサ10080aによる撮像によって、横16×縦12の解像度の画像を得る場合、図260の(a)に示すように、イメージセンサ10080aに含まれる32×24個の撮像素子のうち、イメージセンサ10080aにおいて全体的に均等に分散して配置された16×12個の撮像素子(例えば、図260の(a)におけるイメージセンサ1080a中の黒四角によって示される撮像素子)だけが撮像に用いられる。つまり、縦方向および横方向のそれぞれに配列される複数の撮像素子のうち、奇数番目または偶数番目の撮像素子だけが撮像に用いられる。これにより、所望の解像度の画像10080bが得られる。なお、図260において、イメージセンサ1008aに被写体が現れているが、これは、各撮像素子と、撮像によって得られる画像との対応関係を分かりやすくするためである。
このイメージセンサ10080aを備えた受信機は、広い範囲を撮像することで、送信機を探索したり、多くの送信機からの情報を受信したりする場合は、イメージセンサ10080aにおいて全体的に均等に分散して配置された一部の撮像素子のみを用いて撮像する。
また、受信機は、EXズームを行うときには、図260の(b)に示すように、イメージセンサ10080aにおいて、局所的に密に配置された一部の撮像素子(例えば、図260の(b)におけるイメージセンサ1080a中の黒四角によって示される16×12個の撮像素子)のみを撮像に用いる。これにより、画像10080bのうち、その一部の撮像素子に対応する部分がズームされることになり、画像10080dが得られる。このようなEXズームによって、送信機を大きく撮像することで、可視光信号を長時間受信できるようになり、受信速度が向上し、また、遠くから可視光信号を受信できる。
デジタルズームでは、可視光信号を受ける露光ラインの数を増やすことはできず、可視光信号の受信時間も増加しないため、可能な限り他のズームを用いるほうがよい。光学ズームは、レンズやイメージセンサの物理的な移動時間が必要であるが、EXズームは電子的な設定変更のみで行われるため、ズームにかかる時間が短いという利点がある。この観点から、各ズームの優先順位は、(1)EXズーム、(2)光学ズーム、(3)デジタルズームである。受信機は、この優先順位と、ズーム倍率の必要性とに応じて、いずれか1つまたは複数のズームを選択して用いてもよい。なお、図260の(a)および(b)に示す撮像方法では、使用していない撮像素子を用いることで、画像ノイズを抑えることが可能である。
図261Aは、実施の形態10における受信プログラムの処理を示すフローチャートである。
この受信プログラムは、受信機に備えられたコンピュータに例えば図259A〜図260に示す処理を実行させるプログラムである。
つまり、この受信プログラムは、発光体から情報を受信するための受信プログラムである。具体的には、この受信プログラムは、イメージセンサの露光時間を自動露出を用いて設定する露光時間設定ステップSA21と、輝度変化する発光体を、設定された露光時間でイメージセンサに撮像させることによって、イメージセンサに含まれる複数の露光ラインのそれぞれに対応する輝線を含む画像である輝線画像を取得する輝線画像取得ステップSA22と、取得された輝線画像に含まれる複数の輝線のパターンを復号することにより情報を取得する情報取得ステップSA23とをコンピュータに実行させる。また、露光時間設定ステップSA21では、図259AのステップS9208のように、イメージセンサの感度を、そのイメージセンサに対して予め定められた範囲のうちの最大値に設定し、最大値の感度に応じた露光時間を自動露出によって設定する。
これにより、イメージセンサの露光時間を直接設定することができなくても、一般的なカメラに搭載されている自動露出の機能を利用して、適切な輝線画像を取得し得る程度の短い露光時間を設定することができる。つまり、自動露出では、イメージセンサによる撮像によって取得された画像の明るさに基づいて露出が調整される。そこで、イメージセンサの感度が大きな値に設定されれば、その画像が明るくなるため、露出を抑えるために、イメージセンサの露光時間が短く設定される。イメージセンサの感度を最大値に設定すれば、露光時間をより短く設定することができ、適切な輝線画像を取得することができる。つまり、発光体からの情報を適切に受信することができる。その結果、多様な機器間の通信を可能にすることができる。なお、感度は例えばISO感度である。
また、露光時間設定ステップSA21では、図259AのステップS9212のように、イメージセンサの露出補正のレベルを示す値を、そのイメージセンサに対して予め設定された範囲のうちの最小値に設定し、最大値の感度および最小値のレベルの露出補正に応じた露光時間を自動露出によって設定する。
これにより、露出補正のレベルを示す値が最小値に設定されるため、露出を抑えようとする自動露出の処理によって、露光時間をより短く設定することができ、より適切な輝線画像を取得することができる。なお、露出補正のレベルを示す値の単位は例えばEVである。
また、露光時間設定ステップSA21では、図259Cに示すように、発光体を含む被写体のイメージセンサによる撮像によって取得される第1の画像において他の部分より明るい部分を特定する。そして、その明るい部分に対応する被写体の一部を光学ズームによって拡大する。さらに、イメージセンサによる、拡大された被写体の一部の撮像によって取得される第2の画像を、自動露出の入力に用いることによって、露光時間を設定する。また、輝線画像取得ステップSA22では、拡大された被写体の一部を、設定された露光時間でイメージセンサに撮像させることによって、輝線画像を取得する。
これにより、第1の画像の明るい部分に対応する被写体の一部が光学ズームによって拡大されるため、つまり、明るい発光体が光学ズームによって拡大されるため、第2の画像を第1の画像よりも全体的に明るくすることができる。そして、その明るい第2の画像が自動露出の入力に用いられるため、露出を抑えようとする自動露出の処理によって、露光時間をより短く設定することができ、適切な輝線画像を取得することができる。
また、露光時間設定ステップSA21では、図259Cに示すように、発光体を含む被写体のイメージセンサによる撮像によって取得される第1の画像の中央部分が、第1の画像における複数の位置の明るさの平均よりも明るいか否かを判定する。そして、中央部分が明るいと判定された場合には、中央部分に対応する被写体の一部を光学ズームによって拡大する。さらに、イメージセンサによる、拡大された被写体の一部の撮像によって取得される第2の画像を、自動露出の入力に用いることによって、露光時間を設定する。また、輝線画像取得ステップSA22では、拡大された被写体の一部を、設定された露光時間でイメージセンサに撮像させることによって、輝線画像を取得する。
これにより、第1の画像の明るい中央部分に対応する被写体の一部が光学ズームによって拡大されるため、つまり、明るい発光体が光学ズームによって拡大されるため、第2の画像を第1の画像よりも全体的に明るくすることができる。そして、その明るい第2の画像が自動露出の入力に用いられるため、露出を抑えようとする自動露出の処理によって、露光時間をより短く設定することができ、適切な輝線画像を取得することができる。また、光学ズームは、拡大の中心位置を任意に設定することができなければ、画角または画像の中央部分を拡大する。したがって、その中心位置を任意に設定することができない場合であっても、第1の画像の中央部分が明るければ、光学ズームを利用することによって、第2の画像を全体的に明るくすることができる。さらに、第1の画像の中央部分が暗い場合にも、光学ズームによる拡大が行われると、第2の画像が暗くなり、露光時間が長くなってしまう。そこで、上述のように、中央部分が明るいと判定された場合に限って、光学ズームによる拡大を行うことによって、露光時間が長くなることを防ぐことができる。
また、露光時間設定ステップSA21では、図260に示すように、イメージセンサに含まれるK個(Kは3以上の整数)の撮像素子のうち、イメージセンサ内で均等に分散して配置されたN個(NはK未満2以上の整数)の撮像素子のみによる、発光体を含む被写体の撮像によって取得される第1の画像において、他の部分より明るい部分を特定する。さらに、イメージセンサに含まれるK個の撮像素子のうち、明るい部分に対応する密集したN個の撮像素子のみによる撮像によって取得される第2の画像を、自動露出の入力に用いることによって、露光時間を設定する。また、輝線画像取得ステップSA22では、イメージセンサに含まれる密集したN個の撮像素子のみに、設定された露光時間で撮像させるとによって、輝線画像を取得する。
これにより、いわゆるEXズームによって、第1の画像における明るい部分が中央になくても、第2の画像を全体的に明るくすることができ、露光時間をより短く設定することができる。
また、露光時間設定ステップSA21では、図259Cに示すように、イメージセンサが被写体を撮像することによって取得される画像内における測光位置を設定し、設定された測光位置の明るさに応じた露光時間を自動露出によって設定する。
これにより、撮像によって取得される画像内において明るい部分が測光位置に設定されれば、露出を抑えようとする自動露出の処理によって、露光時間をより短く設定することができ、適切な輝線画像を取得することができる。
また、受信プログラムは、さらに、イメージセンサの撮像モードを、撮影によってカラーの画像を取得するためのカラー撮像モードから、撮影によってモノクロの画像を取得するためのモノクロ撮像モードに切り替える撮像モード設定ステップをコンピュータに実行させてもよい。この場合、露光時間設定ステップSA21では、モノクロ撮像モードによって取得される画像を自動露出の入力に用いることによって、露光時間を設定する。
これにより、モノクロ撮像モードによって取得される画像が自動露出の入力に用いられるため、色の情報に影響されることなく、適切な露光時間を設定することができる。また、モノクロ撮像モードによって露光時間が設定される場合には、そのモードにしたがった撮像によって輝線画像が取得される。したがって、発光体から輝度変化だけで情報が送信されている場合には、その情報を適切に取得することができる。
また、露光時間設定ステップSA21では、イメージセンサによる発光体の撮像によって画像が取得されるたびに、取得された画像を自動露出の入力に用いることによって、イメージセンサの露光時間を更新する。ここで、例えば図259DのステップS9234に示すように、随時更新される露光時間の変動幅が所定の範囲以下になったときに、自動露出による露光時間の更新を終了することにより、露光時間を設定する。
これにより、露光時間の変動が安定したときに、つまり、撮像によって取得される画像の明るさが自動露出によって目標とされている明るさに収まったときに、そのときの露光時間が、輝線画像の取得のための撮像に用いられる。したがって、適切な輝線画像を取得することができる。
図261Bは、実施の形態10における受信装置のブロック図である。
この受信装置A20は、例えば図259A〜図260に示す処理を実行する上述の受信機である。
つまり、この受信装置A20は、発光体から情報を受信するための装置であって、イメージセンサの露光時間を自動露出を用いて設定する露光時間設定部A21と、輝度変化する発光体を、設定された露光時間でイメージセンサに撮像させることによって、イメージセンサに含まれる複数の露光ラインのそれぞれに対応する輝線を含む画像である輝線画像を取得する撮像部A22と、取得された輝線画像に含まれる複数の輝線のパターンを復号することにより情報を取得する復号部A23とを備える。露光時間設定部A21は、イメージセンサの感度を、そのイメージセンサに対して予め定められた範囲のうちの最大値に設定し、最大値の感度に応じた露光時間を自動露出によって設定する。この受信装置A20では、上述の受信プログラムと同様の効果を奏することができる。
本発明の一態様に係る受信プログラムは、上記の情報処理プログラムによって出力された信号にしたがって輝度変化する発光体から、情報を受信するための受信プログラムであって、イメージセンサの露光時間を自動露出を用いて設定する露光時間設定ステップと、輝度変化する前記発光体を含む被写体を、設定された前記露光時間で前記イメージセンサに撮像させることによって、前記イメージセンサに含まれる複数の露光ラインのそれぞれに対応する輝線を含む画像である輝線画像を取得する輝線画像取得ステップと、取得された前記輝線画像に含まれる前記複数の輝線のパターンを復号することにより情報を取得する情報取得ステップとをコンピュータに実行させ、前記露光時間設定ステップでは、前記イメージセンサの感度を、当該イメージセンサに対して予め定められた範囲のうちの最大値に設定し、前記最大値の感度に応じた前記露光時間を前記自動露出によって設定する。
これにより、図259A〜図261Bに示すように、イメージセンサの露光時間を直接設定することができなくても、一般的なカメラに搭載されている自動露出の機能を利用して、適切な輝線画像を取得し得る程度の短い露光時間を設定することができる。つまり、自動露出では、イメージセンサによる撮像によって取得された画像の明るさに基づいて露出が調整される。そこで、イメージセンサの感度が大きな値に設定されれば、その画像が明るくなるため、露出を抑えるために、イメージセンサの露光時間が短く設定される。イメージセンサの感度を最大値に設定すれば、露光時間をより短く設定することができ、適切な輝線画像を取得することができる。つまり、発光体からの情報を適切に受信することができる。その結果、多様な機器間の通信を可能にすることができる。なお、感度は例えばISO感度である。
また、前記露光時間設定ステップでは、前記イメージセンサの露出補正のレベルを示す値を、当該イメージセンサに対して予め設定された範囲のうちの最小値に設定し、前記最大値の感度および前記最小値のレベルの露出補正に応じた前記露光時間を前記自動露出によって設定してもよい。
これにより、露出補正のレベルを示す値が最小値に設定されるため、露出を抑えようとする自動露出の処理によって、露光時間をより短く設定することができ、より適切な輝線画像を取得することができる。なお、露出補正のレベルを示す値の単位は例えばEVである。
また、前記露光時間設定ステップでは、前記発光体を含む被写体の前記イメージセンサによる撮像によって取得される第1の画像において他の部分より明るい部分を特定し、前記明るい部分に対応する前記被写体の一部を光学ズームによって拡大し、前記イメージセンサによる、拡大された前記被写体の一部の撮像によって取得される第2の画像を、前記自動露出の入力に用いることによって、前記露光時間を設定し、前記輝線画像取得ステップでは、拡大された前記被写体の一部を、設定された前記露光時間で前記イメージセンサに撮像させることによって、前記輝線画像を取得してもよい。
これにより、第1の画像の明るい部分に対応する被写体の一部が光学ズームによって拡大されるため、つまり、明るい発光体が光学ズームによって拡大されるため、第2の画像を第1の画像よりも全体的に明るくすることができる。そして、その明るい第2の画像が自動露出の入力に用いられるため、露出を抑えようとする自動露出の処理によって、露光時間をより短く設定することができ、適切な輝線画像を取得することができる。
また、前記露光時間設定ステップでは、前記発光体を含む被写体の前記イメージセンサによる撮像によって取得される第1の画像の中央部分が、前記第1の画像における複数の位置の明るさの平均よりも明るいか否かを判定し、前記中央部分が明るいと判定された場合には、前記中央部分に対応する前記被写体の一部を光学ズームによって拡大し、前記イメージセンサによる、拡大された前記被写体の一部の撮像によって取得される第2の画像を、前記自動露出の入力に用いることによって、前記露光時間を設定し、前記輝線画像取得ステップでは、拡大された前記被写体の一部を、設定された前記露光時間で前記イメージセンサに撮像させることによって、前記輝線画像を取得してもよい。
これにより、第1の画像の明るい中央部分に対応する被写体の一部が光学ズームによって拡大されるため、つまり、明るい発光体が光学ズームによって拡大されるため、第2の画像を第1の画像よりも全体的に明るくすることができる。そして、その明るい第2の画像が自動露出の入力に用いられるため、露出を抑えようとする自動露出の処理によって、露光時間をより短く設定することができ、適切な輝線画像を取得することができる。また、光学ズームは、拡大の中心位置を任意に設定することができなければ、画角または画像の中央部分を拡大する。したがって、その中心位置を任意に設定することができない場合であっても、第1の画像の中央部分が明るければ、光学ズームを利用することによって、第2の画像を全体的に明るくすることができる。さらに、第1の画像の中央部分が暗い場合にも、光学ズームによる拡大が行われると、第2の画像が暗くなり、露光時間が長くなってしまう。そこで、上述のように、中央部分が明るいと判定された場合に限って、光学ズームによる拡大を行うことによって、露光時間が長くなることを防ぐことができる。
また、前記露光時間設定ステップでは、前記イメージセンサに含まれるK個(Kは3以上の整数)の撮像素子のうち、前記イメージセンサ内で均等に分散して配置されたN個(NはK未満2以上の整数)の撮像素子のみによる、前記発光体を含む被写体の撮像によって取得される第1の画像において、他の部分より明るい部分を特定し、前記イメージセンサに含まれるK個の撮像素子のうち、前記明るい部分に対応する密集したN個の撮像素子のみによる撮像によって取得される第2の画像を、前記自動露出の入力に用いることによって、前記露光時間を設定し、前記輝線画像取得ステップでは、前記イメージセンサに含まれる前記密集したN個の撮像素子のみに、設定された前記露光時間で撮像させることによって、前記輝線画像を取得してもよい。
これにより、いわゆるEXズームによって、第1の画像における明るい部分が中央になくても、第2の画像を全体的に明るくすることができ、露光時間をより短く設定することができる。
また、前記露光時間設定ステップでは、前記イメージセンサが前記被写体を撮像することによって取得される画像内における測光位置を設定し、設定された前記測光位置の明るさに応じた前記露光時間を前記自動露出によって設定してもよい。
これにより、撮像によって取得される画像内において明るい部分を測光位置に設定すれば、露出を抑えようとする自動露出の処理によって、露光時間をより短く設定することができ、適切な輝線画像を取得することができる。
また、前記受信プログラムは、さらに、前記イメージセンサの撮像モードを、撮影によってカラーの画像を取得するためのカラー撮像モードから、撮影によってモノクロの画像を取得するためのモノクロ撮像モードに切り替える撮像モード設定ステップを前記コンピュータに実行させ、前記露光時間設定ステップでは、前記モノクロ撮像モードによって取得される画像を前記自動露出の入力に用いることによって、前記露光時間を設定してもよい。
これにより、モノクロ撮像モードによって取得される画像が自動露出の入力に用いられるため、色の情報に影響されることなく、適切な露光時間を設定することができる。また、モノクロ撮像モードによって露光時間が設定される場合には、そのモードにしたがった撮像によって輝線画像が取得される。したがって、発光体から輝度変化だけで情報が送信されている場合には、その情報を適切に取得することができる。
また、前記露光時間設定ステップでは、前記イメージセンサによる前記発光体の撮像によって画像が取得されるたびに、取得された画像を前記自動露出の入力に用いることによって、前記イメージセンサの露光時間を更新し、随時更新される前記露光時間の変動幅が所定の範囲以下になったときに、前記自動露出による前記露光時間の更新を終了することにより、前記露光時間を設定してもよい。
これにより、露光時間の変動が安定したときに、つまり、撮像によって取得される画像の明るさが自動露出によって目標とされている明るさに収まったときに、そのときの露光時間が、輝線画像の取得のための撮像に用いられる。したがって、適切な輝線画像を取得することができる。
(実施の形態12)
本実施の形態では、上記各実施の形態におけるスマートフォンなどの受信機と、LEDや有機ELの点滅パターンとして情報を送信する送信機とを用いた各適用例について説明する。
本実施の形態では、露光ライン毎または撮像素子毎に露光時間を設定する。
図262、図263、図264は、実施の形態12における信号受信方法の一例を示す図である。
図262に示すように、受信機に備えられている撮像部であるイメージセンサ10010aでは、露光ライン毎に露光時間が設定される。即ち、所定の露光ライン(図262中における白い露光ライン)には、通常撮像用の長い露光時間が設定され、他の露光ライン(図262中における黒い露光ライン)には、可視光撮像用の短い露光時間が設定されている。例えば、垂直方向に配列されている各露光ラインに対して、長い露光時間と短い露光時間とが交互に設定されている。これにより、輝度変化によって可視光信号を送信する送信機を撮像する際に、通常撮像と可視光撮像(可視光通信)とをほぼ同時に行うことができる。なお、二つの露光時間は1ライン毎に交互に設定されてもよいし、数ライン毎に設定されてもよいし、イメージセンサ10010aの上部と下部で別々の露光時間が設定されてもよい。このように2つの露光時間を用いることにより、同じ露光時間に設定された複数の露光ラインの撮像によって得られたデータをそれぞれまとめると、通常撮像画像10010bと、複数の輝線のパターンを示す輝線画像である可視光撮像画像10010cとが得られる。通常撮像画像10010bでは、長い露光時間で撮像していない部分(つまり、短い露光時間に設定された複数の露光ラインに対応する画像)が欠けているため、その部分を補間することで、プレビュー画像10010dを表示することができる。ここで、プレビュー画像10010dには、可視光通信によって得られた情報を重畳することができる。この情報は、可視光撮像画像10010cに含まれる複数の輝線のパターンを復号することによって得られた可視光信号に関連付けられた情報である。なお、受信機は、通常撮像画像10010b、またはその通常撮像画像10010bに対して補間が行われた画像を撮像画像として保存し、受信した可視光信号、またはその可視光信号に関連付けられた情報を付加情報として、保存される撮像画像に付加することもできる。
図263に示すように、イメージセンサ10010aの代わりにイメージセンサ10011aを用いてもよい。イメージセンサ1011aでは、露光ラインごとにではなく、露光ラインと垂直な方向に沿って配列された複数の撮像素子からなる列(以下、垂直ラインという)ごとに、露光時間が設定される。即ち、所定の垂直ライン(図263中における白い垂直ライン)には、通常撮像用の長い露光時間が設定され、他の垂直ライン(図263中における黒い垂直ライン)には、可視光撮像用の短い露光時間が設定されている。この場合、イメージセンサ10011aでは、イメージセンサ10010aと同様に、露光ラインごとに互いに異なるタイミングで露光が開始されるが、露光ラインのそれぞれで、その露光ラインに含まれる各撮像素子の露光時間が異なる。受信機は、このイメージセンサ10011aによる撮像によって、通常撮像画像10011bと、可視光撮像画像10011cとを得る。さらに、受信機は、この通常撮像画像10011bと、可視光撮像画像10011cから得られた可視光信号に関連付けられた情報とに基づいて、プレビュー画像10011dを生成して表示する。
このイメージセンサ10011aでは、イメージセンサ10010aとは異なり、可視光撮像に全ての露光ラインを用いることができる。その結果、イメージセンサ10011aによって得られる可視光撮像画像10011cには、可視光撮像画像10010cと比べて輝線が多く含まれているため、可視光信号の受信精度を高くすることができる。
また、図264に示すように、イメージセンサ10010aの代わりにイメージセンサ10012aを用いてもよい。イメージセンサ10012aでは、水平方向および垂直方向に沿って各撮像素子に対して連続して同じ露光時間が設定されないように、撮像素子ごとに露光時間が設定される。つまり、長い露光時間が設定される複数の撮像素子と、短い露光時間が設定される複数の撮像素子とが、格子状または市松模様のように分布するように、各撮像素子に対して露光時間が設定される。この場合も、イメージセンサ10010aと同様に、露光ラインごとに互いに異なるタイミングで露光が開始されるが、露光ラインのそれぞれで、その露光ラインに含まれる各撮像素子の露光時間が異なる。受信機は、このイメージセンサ10012aによる撮像によって、通常撮像画像10012bと、可視光撮像画像10012cとを得る。さらに、受信機は、この通常撮像画像10012bと、可視光撮像画像10012cから得られた可視光信号に関連付けられた情報とに基づいて、プレビュー画像10012dを生成して表示する。
イメージセンサ10012aによって得られる通常撮像画像10012bは、格子状に配置された、または均一に配置された複数の撮像素子のデータを持つため、通常撮像画像10010bと通常撮像画像10011bよりも正確に補間やリサイズをすることができる。また、可視光撮像画像10012cは、イメージセンサ10012aの全ての露光ラインを用いた撮像によって生成されている。つまり、このイメージセンサ10012aでは、イメージセンサ10010aとは異なり、可視光撮像に全ての露光ラインを用いることができる。その結果、イメージセンサ10012aによって得られる可視光撮像画像10012cには、可視光撮像画像10011cと同様に、可視光撮像画像10010cと比べて輝線が多く含まれているため、可視光信号の受信を高精度に行うことができる。
ここで、プレビュー画像のインタレース表示について説明する。
図265は、実施の形態12における受信機の画面表示方法の一例を示す図である。
上述の図262に示すイメージセンサ10010aを備える受信機は、奇数番目の露光ライン(以下、奇数ラインという)に設定される露光時間と、偶数番目の露光ライン(以下、偶数ラインという)に設定される露光時間とを所定の時間ごとに入れ替える。例えば、図265に示すように、受信機は、時刻t1で、奇数ラインの各撮像素子に対して長い露光時間を設定し、偶数ラインの各撮像素子に対して短い露光時間を設定し、それらの設定された露光時間を用いた撮像を行う。さらに、受信機は、時刻t2で、奇数ラインの各撮像素子に対して短い露光時間を設定し、偶数ラインの各撮像素子に対して長い露光時間を設定し、それらの設定された露光時間を用いた撮像を行う。そして、受信機は、時刻t3で、時刻t1のときと同様に設定された各露光時間を用いた撮像を行い、時刻t4で、時刻t2のときと同様に設定された各露光時間を用いた撮像を行う。
また、受信機は、時刻t1では、撮像によって複数の奇数ラインのそれぞれから得られる画像(以下、奇数ライン像という)と、撮像によって複数の偶数ラインのそれぞれから得られる画像(以下、偶数ライン像という)とを含むImage1を取得する。このときには、複数の偶数ラインのそれぞれでは露光時間が短いため、偶数ライン像のそれぞれには、被写体が鮮明に映し出されていない。したがって、受信機は、複数の奇数ライン像に対して画素値の補間を行うことによって、複数の補間ライン像を生成する。そして、受信機は、複数の偶数ライン像の代わりに複数の補間ライン像を含むプレビュー画像を表示する。つまり、プレビュー画像には、奇数ライン像と補間ライン像とが交互に配列されている。
受信機は、時刻t2では、撮像によって複数の奇数ライン像と偶数ライン像とを含むImage2を取得する。このときには、複数の奇数ラインのそれぞれでは、露光時間が短いため、奇数ライン像のそれぞれには、被写体が鮮明に映し出されていない。したがって、受信機は、Image2の奇数ライン像の代わりに、Image1の奇数ライン像を含むプレビュー画像を表示する。つまり、プレビュー画像には、Image1の奇数ライン像とImage2の偶数ライン像とが交互に配列されている。
さらに、受信機は、時刻t3では、撮像によって複数の奇数ライン像と偶数ライン像とを含むImage3を取得する。このときには、時刻t1のときと同様に、複数の偶数ラインのそれぞれでは、露光時間が短いため、偶数ライン像のそれぞれには、被写体が鮮明に映し出されていない。したがって、受信機は、Image3の偶数ライン像の代わりに、Image2の偶数ライン像を含むプレビュー画像を表示する。つまり、プレビュー画像には、Image2の偶数ライン像とImage3の奇数ライン像とが交互に配列されている。そして、受信機は、時刻t4では、撮像によって複数の奇数ライン像と偶数ライン像とを含むImage4を取得する。このときには、時刻t2のときと同様に、複数の奇数ラインのそれぞれでは、露光時間が短いため、奇数ライン像のそれぞれには、被写体が鮮明に映し出されていない。したがって、受信機は、Image4の奇数ライン像の代わりに、Image3の奇数ライン像を含むプレビュー画像を表示する。つまり、プレビュー画像には、Image3の奇数ライン像とImage4の偶数ライン像とが交互に配列されている。
このように、受信機は、取得されたタイミングが互いに異なる偶数ライン像と奇数ライン像とを含むImageを表示する、いわゆるインタレース表示を行う。
これのような受信機は、可視光撮像を行いながら精細なプレビュー画像を表示することができる。なお、同じ露光時間が設定される複数の撮像素子は、イメージセンサ10010aのように露光ラインに水平な方向に沿って配列されている複数の撮像素子でもよいし、イメージセンサ10011aのように露光ラインに垂直な方向に沿って配列されている複数の撮像素子でもよいし、イメージセンサ10012aのように市松模様にしたがって配列されている複数の撮像素子であってもよい。また、受信機は、プレビュー画像を撮像データとして保存してもよい。
次に、通常撮像と可視光撮像の空間比率について説明する。
図266は、実施の形態12における信号受信方法の一例を示す図である。
受信機に備えられるイメージセンサ10014bでは、上述のイメージセンサ10010aと同様に、露光ラインごとに長い露光時間または短い露光時間が設定される。このイメージセンサ10014bでは、長い露光時間が設定される撮像素子の数と、短い露光時間が設定される撮像素子の数との比は、1:1である。なお、この比は、通常撮像と可視光撮像との比であって、以下、空間比率という。
しかし、本実施の形態では、その空間比率は1:1である必要はない。例えば、受信機は、イメージセンサ10014aを備えていてもよい。このイメージセンサ10014aでは、短い露光時間の撮像素子の方が、長い露光時間の撮像素子よりも多く、空間比率は、1:N(N>1)である。また、受信機は、イメージセンサ10014cを備えていてもよい。このイメージセンサ10014cでは、短い露光時間の撮像素子の方が、長い露光時間の撮像素子よりも少なく、空間比率は、N(N>1):1である。また、受信機は、イメージセンサ10014a〜10014cの代わりに、上述の垂直ラインごとに露光時間が設定され、それぞれ1:N、1:1、またはN:1の空間比率を有するイメージセンサ10015a〜10015cの何れかを備えてもよい。
このようなイメージセンサ10014a,10015aでは、短い露光時間の撮像素子が多いため、可視光信号の受信精度または受信速度を高めることができる。一方、イメージセンサ10014c,10015cでは、長い露光時間の撮像素子が多いため、精細なプレビュー画像を表示することができる。
また、受信機は、イメージセンサ10014a,10014c,10015a,10015cを用いて、図265に示すように、インタレース表示を行ってもよい。
次に、通常撮像と可視光撮像の時間比率について説明する。
図267は、実施の形態12における信号受信方法の一例を示す図である。
受信機は、図267の(a)に示すように、撮像モードを1フレーム毎に通常撮像モードと可視光撮像モードとに切り替えてもよい。通常撮像モードは、受信機のイメージセンサの全ての撮像素子に対して、通常撮像用の長い露光時間が設定される撮像モードである。可視光撮像モードは、受信機のイメージセンサの全ての撮像素子に対して、可視光撮像用の短い露光時間が設定される撮像モードである。このように、露光時間の長い/短いを切り替えることで、短い露光時間での撮像によって可視光信号を受信しながら、長い露光時間での撮像によってプレビュー画像を表示することができる。
なお、受信機は、長い露光時間を自動露出によって決定する場合には、短い露光時間での撮像によって得られた画像を無視し、長い露光時間での撮像によって得られた画像の明るさのみを基準に自動露出を行ってもよい。これにより、長い露光時間を適切な時間に決定することができる。
また、受信機は、図267の(b)に示すように、撮像モードを複数フレームのセットごとに通常撮像モードと可視光撮像モードとに切り替えてもよい。露光時間の切替に時間がかかる場合や、露光時間が安定するまでに時間がかかる場合には、図267の(b)に示すように、複数フレームのセットごとに露光時間を変化させることで、可視光撮像(可視光信号の受信)と通常撮像とを両立させることができる。また、セットに含まれるフレームの数が多いほど、露光時間の切替の回数が少なくなるため、受信機における電力消費、及び、発熱を抑えることができる。
ここで、通常撮像モードでの長い露光時間の撮像によって連続して生成される少なくとも1つのフレームの数と、可視光撮像モードでの短い露光時間の撮像によって連続して生成される少なくとも1つのフレームの数との比(以下、時間比率という)は、1:1でなくてもよい。つまり、図267の(a)および(b)に示す場合では、時間比率は1:1であるが、その時間比率は1:1でなくてもよい。
例えば、受信機は、図267の(c)に示すように、可視光撮像モードのフレームを、通常撮像モードのフレームより多くしてもよい。これにより、可視光信号の受信速度を速くすることができる。プレビュー画像のフレームレートが所定のレート以上であれば、フレームレートによるプレビュー画像の違いは人間の目には認識されない。撮像のフレームレートが十分高い場合、例えば、そのフレームレートが120fpsの場合には、受信機は、連続する3フレームに対して可視光撮像モードを設定し、次く1フレームに対して可視光撮像モードを設定する。これにより、受信機は、上述の所定のレートよりも十分に高い30fpsのフレームレートでプレビュー画像を表示しながら、高速に可視光信号を受信することができる。また、切替の回数が少なくなるため、図267の(b)で説明した効果も得られる。
また、受信機は、図267の(d)に示すように、通常撮像モードのフレームを、可視光撮像モードのフレームより多くしてもよい。このように、通常撮像モードのフレーム、つまり、長い露光時間での撮像によって得られるフレームを多くすることで、プレビュー画像を滑らかに表示することができる。また、可視光信号の受信処理を行う回数が減るため、省電力効果がある。また、切替の回数が少なくなるため、図267の(b)で説明した効果も得られる。
また、受信機は、図267の(e)に示すように、まず、図267の(a)に示す場合と同様に、1フレームごとに撮像モードを切り替え、次に、可視光信号の受信が完了すると、図267の(d)に示す場合と同様に、通常撮像モードのフレームを多くしてもよい。これにより、可視光信号の受信完了後には、プレビュー画像を滑らかに表示しつつ、新たな可視光信号が存在しないかの探索を続けることができる。また、切替の回数が少なくなるため、図267の(b)で説明した効果も得られる。
図268は、実施の形態12における信号受信方法の一例を示すフローチャートである。
受信機は、可視光信号を受信する処理である可視光受信を開始し(ステップS10017a)、露光時間長短設定比を、ユーザが指定した値に設定する(ステップS10017b)。露光時間長短設定比は、上述の空間比率と時間比率のうちの少なくとも1つである。ユーザは、空間比率のみ、時間比率のみ、または、その空間比率および時間比率の双方の値を指定してもよいし、受信機がユーザによる指定に関わらず自動で設定してもよい。
次に、受信機は、受信性能が所定の値以下であるか否かを判定する(ステップS10017c)。所定の値以下であると判定すると(ステップS10017cのY)、受信機は、短い露光時間の比率を高く設定する(ステップS10017d)。これにより、受信性能を高めることができる。なお、短い露光時間の比率は、空間比率の場合、長い露光時間が設定される撮像素子の数に対する、短い露光時間が設定される撮像素子の数の比率であり、時間比率の場合、通常撮像モードで連続して生成されるフレームの数に対する、可視光撮像モードで連続して生成されるフレームの数の比率である。
次に、受信機は、可視光信号の少なくとも一部を受信し、その受信された可視光信号の少なくとも一部(以下、受信信号という)に優先度が設定されているか否かを判定する(ステップS10017e)。なお、優先度が設定されている場合には、優先度を示す識別子が受信信号に含まれている。受信機は、優先度が設定されていると判定すると(ステップS10017eのY)、その優先度にしたがって露光時間長短比を設定する(ステップS10017f)。すなわち、優先度が高ければ、受信機は、短い露光時間の比率を高く設定する。例えば、送信機として構成された非常灯が輝度変化することによって、高い優先度を示す識別子を発している。この場合、受信機は、短い露光時間の比率を高くすることで受信速度を上げ、速やかに避難経路などを表示することができる。
次に、受信機は、可視光信号の全ての受信が完了したか否かを判定する(ステップS10017g)。ここで、完了していないと判定したときには(ステップS10017gのN)、受信機はステップS10017cからの処理を繰り返し実行する。一方、完了したと判定したときには(ステップS10017gのY)、受信機は、長い露光時間の比率を高く設定し、省電力モードに移行する(ステップS10017h)。なお、長い露光時間の比率は、空間比率の場合、短い露光時間が設定される撮像素子の数に対する、長い露光時間が設定される撮像素子の数の比率であり、時間比率の場合、可視光撮像モードで連続して生成されるフレームの数に対する、通常撮像モードで連続して生成されるフレームの数の比率である。これにより、不要な可視光受信を行わず、プレビュー画像を滑らかに表示することができる。
次に、受信機は、別の可視光信号を発見したか否かを判定する(ステップS10017i)。ここで、発見したと判定したときには(ステップS10017iのY)、受信機は、ステップS10017bからの処理を繰り返し実行する。
次に、可視光撮像と通常撮像との同時実行について説明する。
図269は、実施の形態12における信号受信方法の一例を示す図である。
受信機は、イメージセンサに2以上の露光時間を設定してもよい。つまり、図269の(a)に示すように、イメージセンサに含まれる露光ラインのそれぞれは、設定された2以上の露光時間のうち、最も長い露光時間だけ連続して露光される。受信機は、露光ラインごとに、上述の設定された2以上の露光時間がそれぞれ経過した時点で、その露光ラインの露光によって得られた撮像データを読み出す。ここで、受信機は、最も長い露光時間が経過するまでは、読み出された撮像データをリセットしない。したがって、受信機は、読み出された撮像データの累積値を記録しておくことで、最も長い露光時間の露光だけで、複数の露光時間での撮像データを得ることができる。なお、イメージセンサは、撮像データの累積値の記録を行ってもよいし、行わなくてもよい。イメージセンサが行わない場合には、イメージセンサからデータを読み出す受信機の構成要素が、累積の計算、つまり撮像データの累積値の記録を行う。
例えば、露光時間が2つ設定されている場合には、図269の(a)に示すように、受信機は、短い露光時間の露光によって生成された、可視光信号を含む可視光撮像データを読み出し、続けて、長い露光時間の露光によって生成された通常撮像データを読み出す。
これにより、可視光信号を受信するための撮像である可視光撮像と、通常撮像とを同時に行うことができ、可視光信号を受信しながら通常の撮像を行うことができる。また、複数の露光時間のデータを用いることで、サンプリング定理以上の信号周波数を認識することができ、高周波信号や高密度変調信号の受信を行うことができる。
さらに、受信機は、撮像データを出力する際、図269(b)に示すように、その撮像データを撮像データボディとして含むデータ列を出力する。つまり、受信機は、撮像モード(可視光撮像または通常撮像)を示す撮像モード識別子と、撮像素子または撮像素子が属する露光ラインを特定するための撮像素子識別子と、撮像データボディが何番目の露光時間の撮像データであるかを示す撮像データ番号と、撮像データボディのサイズを示す撮像データ長とを含む付加情報を、撮像データボディに付加することによって、上述のデータ列を生成して出力する。図269の(a)を用いて説明した撮像データの読み出し方法では、それぞれの撮像データが露光ラインの順番に出力されるとは限らない。そこで、図269の(b)に示す付加情報を付加することで、撮像データがどの露光ラインの撮像データであるかを特定することができる。
図270Aは、実施の形態12における受信プログラムの処理を示すフローチャートである。
この受信プログラムは、受信機に備えられたコンピュータに例えば図262〜図269に示す処理を実行させるプログラムである。
つまり、この受信プログラムは、輝度変化する発光体から、情報を受信するための受信プログラムである。具体的には、この受信プログラムは、ステップSA31、ステップSA32およびステップSA33をコンピュータに実行させる。ステップSA31では、イメージセンサに含まれるK個(Kは4以上の整数)の撮像素子のうちの一部の複数の撮像素子に対して第1の露光時間を設定し、K個の撮像素子のうちの残りの複数の撮像素子に対して、第1の露光時間よりも短い第2の露光時間を設定する。ステップSA32では、輝度変化する発光体である被写体を、設定された第1および第2の露光時間でイメージセンサに撮像させることによって、第1の露光時間が設定された複数の撮像素子からの出力に応じた通常画像を取得するとともに、第2の露光時間が設定された複数の撮像素子からの出力に応じた画像であって、イメージセンサに含まれる複数の露光ラインのそれぞれに対応する輝線を含む画像である輝線画像を取得する。ステップSA33では、取得された輝線画像に含まれる複数の輝線のパターンを復号することにより情報を取得する。
これにより、第1の露光時間が設定される複数の撮像素子と、第2の露光時間が設定される複数の撮像素子とによって撮像が行われるため、イメージセンサによる1回の撮像で、通常画像と輝線画像とを取得することができる。つまり、通常画像の撮像と、可視光通信による情報の取得とを同時に行うことができる。
また、露光時間設定ステップSA31では、イメージセンサに含まれるL個(Lは4以上の整数)の撮像素子列のうちの一部の複数の撮像素子列に対して、第1の露光時間を設定し、L個の撮像素子列のうちの残りの複数の撮像素子列に対して、第2の露光時間を設定する。ここで、L個の撮像素子列のそれぞれは、イメージセンサに含まれる、一列に配列された複数の撮像素子からなる。
これにより、小さな単位である撮像素子のそれぞれに対して個別に露光時間を設定することなく、大きな単位である撮像素子列ごとに露光時間を設定することができ、処理負担を軽減することができる。
例えば、L個の撮像素子列のそれぞれは、図262に示すように、イメージセンサに含まれる露光ラインである。または、L個の撮像素子列のそれぞれは、図263に示すように、イメージセンサに含まれる露光ラインに垂直な方向に沿って配列された複数の撮像素子からなる。
また、図265に示すように、露光時間設定ステップSA31では、イメージセンサに含まれるL個の撮像素子列のうちの奇数番目にある撮像素子列のそれぞれに対して同一の露光時間である、第1および第2の露光時間のうちの一方を設定し、L個の撮像素子列のうちの偶数番目にある撮像素子列のそれぞれに対して同一の露光時間である、第1および第2の露光時間のうちの他方を設定してもよい。そして、露光時間設定ステップSA31、画像取得ステップSA32および情報取得ステップSA33を繰り返す場合、繰り返される露光時間設定ステップSA31では、直前の露光時間設定ステップSA31で、奇数番目の撮像素子列のそれぞれに設定されていた露光時間と、偶数番目の撮像素子列のそれぞれに設定されていた露光時間とを入れ替えてもよい。
これにより、通常画像の取得が行われるごとに、その取得に用いられる複数の撮像素子列を、奇数番目の複数の撮像素子列と、偶数番目の複数の撮像素子列とに切り替えることができる。その結果、順次取得される通常画像のそれぞれをインタレースによって表示することができる。また、連続して取得された2つの通常画像を互いに補完することによって、奇数番目の複数の撮像素子列による画像と、偶数番目の複数の撮像素子列による画像と含む新たな通常画像を生成することができる。
また、図266に示すように、露光時間設定ステップSA31では、設定モードを通常優先モードと可視光優先モードとに切り替え、通常優先モードに切り替えられる場合には、第1の露光時間が設定される撮像素子の数を、第2の露光時間が設定される撮像素子の数よりも多くしてもよい。また、可視光優先モードに切り替えられる場合には、第1の露光時間が設定される撮像素子の数を、第2の露光時間が設定される撮像素子の数よりも少なくしてもよい。
これにより、設定モードが通常優先モードに切り替えられた場合には、通常画像の画質を向上することができ、可視光優先モードに切り替えられた場合には、発光体からの情報の受信効率を向上することができる。
また、図264に示すように、露光時間設定ステップSA31では、第1の露光時間が設定される複数の撮像素子と、第2の露光時間が設定される複数の撮像素子とが、市松模様(Checkered pattern)のように分布するように、イメージセンサに含まれる撮像素子ごとに、その撮像素子の露光時間を設定してもよい。
これにより、第1の露光時間が設定される複数の撮像素子と、第2の露光時間が設定される複数の撮像素子とがそれぞれ均一に分布するため、水平方向および垂直方向に画質の偏りのない通常画像および輝線画像を取得することができる。
図270Bは、実施の形態12における受信装置のブロック図である。
この受信装置A30は、例えば図262〜図269に示す処理を実行する上述の受信機である。
つまり、この受信装置A30は、輝度変化する発光体から情報を受信する受信装置であって、複数露光時間設定部A31と、撮像部A32と、復号部A33とを備える。複数露光時間設定部A31は、イメージセンサに含まれるK個(Kは4以上の整数)の撮像素子のうちの一部の複数の撮像素子に対して第1の露光時間を設定し、K個の撮像素子のうちの残りの複数の撮像素子に対して、第1の露光時間よりも短い第2の露光時間を設定する。撮像部A32は、輝度変化する発光体である被写体を、設定された第1および第2の露光時間でイメージセンサに撮像させることによって、第1の露光時間が設定された複数の撮像素子からの出力に応じた通常画像を取得するとともに、第2の露光時間が設定された複数の撮像素子からの出力に応じた画像であって、イメージセンサに含まれる複数の露光ラインのそれぞれに対応する輝線を含む画像である輝線画像を取得する。復号部A33は、取得された輝線画像に含まれる複数の輝線のパターンを復号することにより情報を取得する。このような受信装置A30では、上述の受信プログラムと同様の効果を奏することができる。
次に、受信された可視光信号に関する内容の表示について説明する。
図271および図272は、可視光信号を受信したときの受信機の表示の一例を示す図である。
図271の(a)に示すように、受信機は、送信機10020dを撮像すると、その送信機10020dが映し出された画像10020aを表示する。さらに、受信機は、画像10020aにオブジェクト10020eを重畳することによって、画像10020bを生成して表示する。オブジェクト10020eは、その送信機10020dの像がある場所と、その送信機10020dからの可視光信号を受信していることとを示す画像である。オブジェクト10020eは、可視光信号の受信状態(受信中の状態、送信機を探索している状態、受信の進行の程度、受信速度、またはエラー率等)によって異なる画像であってもよい。例えば、受信機は、オブジェクト1020eの色、線の太さ、線の種類(単線、2重線、または点線等)、または点線の間隔などを変化させる。これにより、ユーザに受信状態を認識させることができる。次に、受信機は、取得データの内容を示す画像を取得データ画像10020fとして画像10020aに重畳することによって、画像10020cを生成して表示する。取得データは、受信した可視光信号、または、受信した可視光信号によって示されるIDに関連付けられたデータである。
受信機は、この取得データ画像10020fを表示する際には、図271の(a)に示すように、送信機10020dからの吹き出しのように取得データ画像10020fを表示したり、送信機10020dの近くに取得データ画像10020fを表示する。また、受信機は、図271の(b)に示すように、取得データ画像10020fが送信機10020dから受信機側に徐々に近づくように、その取得データ画像10020fを表示してもよい。これにより、取得データ画像10020fが、どの送信機から受信された可視光信号に基づくものであるのかを、ユーザに認識させることができる。また、受信機は、図272に示すように、取得データ画像10020fが受信機のディスプレイの端から徐々に出てくるように、その取得データ画像10020fを表示してもよい。これにより、そのときに可視光信号を取得したということをユーザにわかりやすく認識させることができる。
次に、AR(Augmented Reality)について説明する。
図273は、取得データ画像10020fの表示の一例を示す図である。
受信機は、ディスプレイ内で送信機の像が移動した場合には、取得データ画像10020fを送信機の像の移動に合わせて移動させる。これにより、取得データ画像10020fがその送信機に対応しているということをユーザに認識させることができる。また、受信機は、取得データ画像10020fを、その送信機の像ではなく別のものに対応付けて表示してもよい。これにより、AR表示を行うことができる。
次に、取得データの保存および破棄について説明する。
図274は、取得データを保存する、または、破棄する場合の操作の一例を示す図である。
例えば、受信機は、図274の(a)に示すように、取得データ画像10020fに対して、下側へのスワイプがユーザによって行われると、その取得データ画像10020fによって示される取得データを保存する。受信機は、保存した取得データを示す取得データ画像10020fを、他の既に保存されている1つまたは複数の取得データを示す取得データ画像の一番端に配置させる。これにより、取得データ画像10020fによって示される取得データが最後に保存された取得データであることを、ユーザに認識させることができる。例えば、受信機は、図274の(a)に示すように、複数の取得データ画像の中で一番手前に取得データ画像10020fを配置する。
また、受信機は、図274の(b)に示すように、取得データ画像10020fに対して、右側へのスワイプがユーザによって行われると、その取得データ画像10020fによって示される取得データを破棄する。または、受信機は、ユーザが受信機を移動させることによって送信機の像がディスプレイからフレームアウトすると、取得データ画像10020fによって示される取得データを破棄してもよい。なお、スワイプする方向は、上下左右のどちらでも、上述と同様の効果が得られる。受信機は、保存または破棄に対応したスワイプの方向を表示してもよい。これにより、その操作によって保存または破棄ができることをユーザに認識させることができる。
次に、取得データの閲覧について説明する。
図275は、取得データを閲覧する際の表示例を示す図である。
受信機は、図275の(a)に示すように、保存されている複数の取得データの取得データ画像を、ディスプレイの下端に重ねて小さく表示している。このときに、ユーザが表示されている取得データ画像の一部をタップすると、受信機は、図275の(b)に示すように、複数の取得データ画像のそれぞれを大きく表示する。これにより、各取得データの閲覧が必要なときにのみ、それらの取得データ画像を大きく表示し、不要なときは、他の表示のためにディスプレイを有効に利用することができる。
図275の(b)に示す状態で、ユーザが表示したい取得データ画像をタップすると、受信機は、図275の(c)に示すように、そのタップされた取得データ画像をさらに大きく表示し、その取得データ画像の中で多くの情報を表示する。また、裏面表示ボタン10024aをユーザがタップすると、受信機は、取得データ画像の裏面を表示し、その取得データに関連する別のデータを表示する。
次に、事故位置推定時の手ぶれ補正をオフにすることについて説明する。
受信機は、手ぶれ補正を無効(オフ)にする、または、手ぶれ補正の補正方向と補正量に対応して撮像画像を変換することで、正確な撮像方向を取得し、正確に自己位置推定を行うことが出来る。なお、撮像画像は、受信機の撮像部による撮像によって得られる画像である。また、自己位置推定は、受信機が自らの位置を推定することである。自己位置推定では、具体的には、受信機は、受信された可視光信号に基づいて送信機の位置を特定し、撮像画像に映る送信機の大きさ、位置または形状などに基づいて、受信機と送信機との間の相対的な位置関係を特定する。そして、受信機は、送信機の位置と、受信機と送信機との間の相対的な位置関係とに基づいて、受信機の位置を推定する。
また、図262などに示す、一部の露光ラインのみを用いて撮像を行う部分読み出し時には、つまり、図262などに示す撮像が行われるときには、受信機の少しのブレで送信機がフレームアウトしてしまう。このような場合、受信機は、手ぶれ補正を有効にすることで、継続して信号を受信することができる。
次に、非対称形の発光部を用いた自己位置推定について説明する。
図276は、実施の形態12における送信機の一例を示す図である。
上述の送信機は発光部を備え、その発光部を輝度変化させることによって可視光信号を送信する。上述の自己位置推定では、受信機は、撮像画像中の送信機(具体的には発光部)の形状に基づいて、受信機と送信機との間の相対的な位置関係として、受信機と送信機との間の相対角度を求める。ここで、例えば図276に示すように、送信機が回転対称の形状の発光部10090aを備えている場合には、上述のように、撮像画像中の送信機の形状に基づいて、送信機と受信機との間の相対角度を正確に求めることができない。そこで、送信機は、回転対称ではない形状の発光部を備えていることが望ましい。これにより、受信機は上述の相対角度を正確に求めることができる。つまり、角度を取得するための方位センサでは計測結果の誤差が大きいため、受信機は、上述の方法で求めた相対角度を用いることで、正確な自己位置推定を行うことができる。
ここで、送信機は、図276に示すように、完全な回転対称の形状ではない発光部10090bを備えていてもよい。この発光部10090bの形状は、90°の回転に対しては対称形ではあるが、完全な回転対称ではない。この場合は、受信機は、おおまかな角度を方位センサで求め、さらに、撮像画像中の送信機の形状を用いることで、受信機と送信機との間の相対角度を一意に限定することができ、正確な自己位置推定を行うことができる。
また、送信機は、図276に示す発光部10090cを備えていてもよい。この発光部10090cの形状は、基本的には回転対称の形状である。しかし、その発光部10090cの一部分に導光板などが設置されていることで、発光部10090cの形状は、回転対称ではない形状にされている。
また、送信機は、図276に示す発光部10090dを備えてもよい。この発光部10090dは、それぞれ回転対称の形状の照明を具備している。しかし、それらを組み合わせて配置されることによって構成される発光部10090dの全体の形状は、回転対称の形状ではない。したがって、受信機は、その送信機を撮像することにより、正確な自己位置推定を行うことができる。また、発光部10090dに含まれる全ての照明が、可視光信号を送信するために輝度変化する可視光通信用の照明である必要はなく、一部の照明のみが可視光通信用の照明であってもよい。
また、送信機は、図276に示す発光部10090eおよび物体10090fを備えてもよい。ここで、物体10090fは、発光部10090eとの間の位置関係が変化しないように構成されている物体(例えば、火災報知機や配管等)である。発光部10090eと物体10090fとの組み合わせの形状は回転対称の形状ではないため、受信機は、発光部10090eと物体10090fと撮像することにより、正確に自己位置推定を行うことができる。
次に、自己位置推定の時系列処理について説明する。
受信機は、撮像するごとに、撮像画像中の送信機の位置と形状から、自己位置推定を行うことができる。その結果、受信機は、撮像中の受信機の移動方向と距離を推定することができる。また、受信機は、複数のフレームまたは画像を用いた三角測量を行うことで、より正確な自己位置推定を行うことができる。複数の画像を用いた推定結果や、異なる組み合わせの複数の画像を用いた推定結果を総合することで、受信機は、より正確に自己位置推定を行うことができる。この際、受信機は、最近の撮像画像から推定した結果を重要視して総合することで、より正確に自己位置推定を行うことができる。
次に、オプティカルブラックの読み飛ばしについて説明する。
図277は、実施の形態12における受信方法の一例を示す図である。なお、図277に示すグラフの横軸は、時刻を示し、縦軸は、イメージセンサ内の各露光ラインの位置を示す。さらに、そのグラフの実線矢印は、イメージセンサ内の各露光ラインの露光が開始される時刻(露光タイミング)を示す。
受信機は、通常撮像時には、図277の(a)に示すように、イメージセンサにおける水平オプティカルブラックの信号を読み出すが、図277の(b)に示すように、水平オプティカルブラックの信号を読み飛ばしてもよい。これにより、連続的な可視光信号を受信することが出来る。
水平オプティカルブラックは、露光ラインに水平方向のオプティカルブラックである。また、垂直オプティカルブラックは、オプティカルブラックのうち水平オプティカルブラック以外の部分である。
受信機は、オプティカルブラックから読み出される信号によって黒レベルの調整を行うため、可視光撮像開始時には通常撮像時と同様にオプティカルブラックを用いて、黒レベルを調整することができる。垂直オプティカルブラックが利用できる場合は、受信機は、垂直オプティカルブラックのみを用いて黒レベル調整を行うとすることで、連続受信と黒レベル調整が可能である。可視光撮像継続時は、受信機は、所定の時間毎に水平オプティカルブラックを用いて黒レベルを調整してもよい。受信機は、通常撮像と可視光撮像を交互に行う場合において、可視光撮像を連続して行うときには、水平オプティカルブラックの信号を読み飛ばし、それ以外のときには、水平オプティカルブラックの信号を読み出す。そして、受信機は、その読み出された信号に基づいて黒レベルの調整を行うことで、連続的に可視光信号を受信しつつ、黒レベルの調整を行うことができる。受信機は、可視光撮像画像の最も暗い部分を黒として黒レベルの調整を行うとしてもよい。
このように、信号が読み出されるオプティカルブラックを垂直オプティカルブラックのみとすることで、連続的な可視光信号の受信が可能である。また、水平オプティカルブラックの信号を読み飛ばすモードを備えることで、通常撮像時には黒レベル調整を行い、可視光撮像時には必要に応じて連続通信を行うことができる。また、水平オプティカルブラックの信号を読み飛ばすことで、露光ライン間の露光を開始するタイミングの差が大きくなるため、小さくしか写っていない送信機からの可視光信号も受信できる。
次に、送信機の種類を示す識別子について説明する。
送信機は、送信機の種類を示す送信機識別子を可視光信号に付加して送信してもよい。この場合、受信機は、送信機識別子を受信した時点で、その送信機の種類に応じた受信動作を行うことができる。例えば、送信機識別子がデジタルサイネージを示す場合は、送信機は、送信機の個体識別を行うための送信機IDの他に、現在どのコンテンツを表示しているのかを示すコンテンツIDを可視光信号として送信している。受信機は、送信機識別子に基づいて、これらのIDを分けて扱うことで、送信機が現在表示しているコンテンツに合わせた情報を表示することができる。また、例えば、送信機識別子がデジタルサイネージや非常灯を示す場合は、受信機は、感度を上げて撮像することで、受信エラーを低減することができる。
(実施の形態13)
本実施の形態では、上記各実施の形態におけるスマートフォンなどの受信機と、LEDや有機ELの点滅パターンとして情報を送信する送信機とを用いた各適用例について説明する。
まず、本実施の形態におけるヘッダパターンについて説明する。
図278は、本実施の形態におけるヘッダパターンの例を示す図である。
送信機は、送信するデータをパケットに分割して送信する。パケットは、例えば、ヘッダとボディとから構成される。ヘッダの輝度変化のパターン、つまりヘッダパターンは、ボディには存在しない輝度変化のパターンである必要がある。これにより、連続して送信されるデータ中でパケットの位置を特定することができる。
例えば、送信されるデータは4PPMの変調方式によって変調される。具体的には、この4PPMでは、送信されるデータは、4スロットのうちの1スロットが「0」を示し、残りの3スロットが「1」を示す輝度変化のパターンに変調される。したがって、連続して送信されるデータが変調されると、「0」を示すスロットが連続する数は2以下であり、4スロットと次の4スロットの中では、「0」を示すスロットの数は2以下である。
そこで、本実施の形態では、ヘッダパターンは、図278の(a)に示す「111111111000」、(b)に示す「111111110001」、(c)に示す「111111101001」、または(d)に示す「111111100101」として表現される。これにより、ヘッダと、連続して送信されるデータ(つまりボディ)とを識別することができる。つまり、図278の(a)に示すヘッダパターンでは、ヘッダパターンの後ろの4スロット「1000」だけを見れば、その4スロットがヘッダの一部であることを識別することができる。この場合、ヘッダにおいて「0」を示すスロットの数が3であり、「0」を示すスロットが連続する最大の数が4であるため、受信機は、その輝度変化を認識しやすい。つまり、受信機は、小さい送信機、または遠い送信機からのデータを容易に受信することができる。
また、図278の(b)に示すヘッダパターンでは、ヘッダパターンの後ろの5スロット「10001」だけを見れば、その5スロットがヘッダの一部であることを識別することができる。この場合、「0」を示すスロットが連続する最大の数が3であって、図278の(a)の場合よりも少ないため、その輝度変化によるちらつきを抑えることができる。その結果、送信機の回路への負担または設計要求を抑えることができる。つまり、キャパシタを小さくすることができ、消費電力、発熱量、または電源への負担を抑えることができる。
また、図278の(c)または(d)に示すヘッダパターンでは、ヘッダパターンの後ろの6スロット「101001」または「100101」だけを見れば、その6スロットがヘッダの一部であることを識別することができる。この場合、「0」を示すスロットが連続する最大の数が2であって、図278の(b)の場合よりもさらに少ないため、その輝度変化によるちらつきをさらに抑えることができる。
図279は、本実施の形態における通信プロトコルのパケットの構成の例を説明するための図である。
送信機は、送信するデータをパケットに分割して送信する。パケットは、ヘッダ、アドレス部、データ部、および誤り訂正符号部で構成される。ヘッダの輝度変化のパターンを、他の部分には存在しない輝度変化のパターンとすることで、連続データ中のパケットの位置を特定することができる。データ部には、分割したデータの一部が格納され、アドレス部は、データ部のデータが全体のどの部分であるかを示すアドレスが格納される。誤り訂正符号部は、パケットの一部または全部の受信誤りを検出または訂正するための符号(具体的には図279に示すECC1、ECC2またはECC3であって、これらを合わせて誤り訂正符号と呼ぶ)が格納される。
ECC1は、アドレス部の誤り訂正符号である。パケット全体の誤り訂正符号ではなく、アドレス部の誤り訂正符号を設けることで、アドレス部の信頼性を全体の信頼性よりも上げることができる。これにより、複数のパケットを受信した際に、同じアドレスのパケットのデータ部を比較することで、データ部の検証を行うことができ、受信エラー率を下げることができる。アドレス部の誤り訂正符号をデータ部の誤り訂正符号より長くするとしても同様の効果が得られる。
ECC2とECC3はデータ部の誤り訂正符号である。誤り訂正符号部の数は、2以外でもよい。データ部の誤り訂正符号を複数に分けることで、受信できたところまでの誤り訂正符号を用いて誤り訂正を行うことができ、パケット全体を受信しなくても信頼性の高いデータを受信することができる。
送信機は、規定された数以下の数の誤り訂正符号を送信するとしてもよい。これにより、受信機は、高速にデータを受信することができる。この送信方法は、例えばダウンライトのように、発光部の大きさが小さく、輝度が高い送信機に有効である。輝度が高い場合、誤り発生確率は低いため、多くの誤り訂正符号は必要ないためである。ECC3が送られなかった場合、ECC2から次のヘッダが送信されるため、輝度が高い状態が4スロット以上続くことになり、受信機は、その部分はECC3ではないことを認識することができる。
なお、図279の(b)に示すように、ヘッダ、アドレス部およびECC1は、データ部、ECC2およびECC3よりも低い周波数で送信される。逆に言えば、データ部、ECC2およびECC3は、ヘッダ、アドレス部およびECC1よりも高い周波数で送信される。これにより、ヘッダなどのデータに対する受信エラー率を下げることができるとともに、データ部の大きなデータを速く送信することができる。
このように本実施の形態では、パケットは、データ部に対する第1の誤り訂正符号(ECC2、ECC3)と、アドレス部に対する第2の誤り訂正符号(ECC1)とを含む。そして、受信機は、そのパケットを受信するときには、送信機から、第2の周波数にしたがった輝度変化によって送信されるアドレス部および第2の誤り訂正符号を受信する。さらに、受信機は、送信機から、第2の周波数よりも高い第1の周波数にしたがった輝度変化によって送信されるデータ部および第1の誤り訂正符号を受信する。
ここで、同じアドレスのデータ部を比較する受信方法について説明する。
図280は、本実施の形態における受信方法の一例を示すフローチャートである。
受信機は、パケットを受信し(ステップS10101)、誤り訂正を行う(ステップS10102)。そして、受信機は、受信したパケットのアドレスと同じアドレスのパケットを既に受信しているか否かを判定する(ステップS10103)。ここで、受信していると判定した場合は(ステップ10103のY)、受信機は、それらのデータを比較する。つまり、受信機は、データ部が等しいか否かを判定する(ステップS10104)。ここで、等しくないと判定した場合(ステップS10104のN)、受信機は、さらに、複数のデータ部における差異が所定の数以上であるか、具体的には、異なるビットの数、または、輝度状態が異なるスロットの数が所定の数以上である否かを判定する(ステップS10105)。ここで、所定の数以上であると判定すると(ステップS10105のN)、受信機は、既に受信していたパケットを破棄する(ステップS10106)。これにより、別の送信機からパケットを受信し始めたときに、以前の送信機から受信したパケットとの混信を避ける事ができる。一方、所定の数以上ではないと判定すると(ステップS10105のN)、受信機は、等しいデータ部を持つパケットが最も多いデータ部のデータをそのアドレスのデータとする(ステップS10107)。または、受信機は、等しいビットの最も多いビットを、そのアドレスのそのビットの値とする。または、受信機は、等しい輝度状態が最も多い輝度状態をそのアドレスのそのスロットの輝度状態とし、そのアドレスのデータを復調する。
このように、本実施の形態では、受信機は、まず、複数の輝線のパターンから、データ部およびアドレス部を含む第1のパケットを取得する。次に、受信機は、第1のパケットよりも前に既に取得されている少なくとも1つのパケットのうち、その第1のパケットのアドレス部と同一のアドレス部を含むパケットである少なくとも1つの第2のパケットが存在するか否かを判定する。次に、受信機は、その少なくとも1つの第2のパケットが存在すると判定した場合には、その少なくとも1つの第2のパケットと第1のパケットとのそれぞれのデータ部が全て等しいか否かを判定する。それぞれのデータ部が全て等しくないと判定した場合には、受信機は、その少なくとも1つの第2のパケットのそれぞれにおいて、第2のパケットのデータ部に含まれる各部分のうち、第1のパケットのデータ部に含まれる各部分と異なる部分の数が、所定の数以上存在するか否かを判定する。ここで、受信機は、その少なくとも1つの第2のパケットのうち、異なる部分の数が所定の数以上存在すると判定された第2のパケットがある場合には、その少なくとも1つの第2のパケットを破棄する。一方、その少なくとも1つの第2のパケットのうち、異なる部分の数が所定の数以上存在すると判定された第2パケットがない場合には、受信機は、第1のパケットおよび少なくとも1つの第2のパケットのうち、同一のデータ部を有するパケットの数が最も多い複数のパケットを特定する。そして、受信機は、その複数のパケットのそれぞれに含まれるデータ部を、第1のパケットに含まれるアドレス部に対応するデータ部として復号することによって、可視光識別子(ID)の少なくとも一部を取得する。
これにより、同一のアドレス部を有する複数のパケットが受信されたときに、それらのパケットのデータ部が異なっていても、適切なデータ部を復号することができ、可視光識別子の少なくとも一部を正しく取得することができる。つまり、同一の送信機から送信される同一のアドレス部を有する複数のパケットは、基本的に同一のデータ部を有する。しかし、受信機が、パケットの送信元となる送信機を切り替える場合には、受信機は、同一のアドレス部を有していても互いに異なるデータ部を有する複数のパケットを受信することがある。このような場合には、本実施の形態では、図280のステップS10106のように、既に受信されているパケット(第2のパケット)が破棄され、最新のパケット(第1のパケット)のデータ部を、そのアドレス部に対応する正しいデータ部として復号することができる。さらに、上述のような送信機の切り替えがない場合であっても、可視光信号の送受信状況に応じて、同一のアドレス部を有する複数のパケットのデータ部が少し異なることがある。このような場合には、本実施の形態では、図280のステップS10107のように、いわゆる多数決によって、適切なデータ部を復号することができる。
ここで、複数のパケットからデータ部のデータを復調する受信方法について説明する。
図281は、本実施の形態における受信方法の一例を示すフローチャートである。
まず、受信機は、パケットを受信し(ステップS10111)、アドレス部の誤り訂正を行う(ステップS10112)。このとき、受信機は、データ部の復調を行わず、撮像によって得られる画素値をそのまま保持する。そして、受信機は、既に受信された複数のパケットにおいて、同じアドレスのパケットが所定の数以上存在するか否かを判定する(ステップS10113)。ここで、存在すると判定すると(ステップS10113のY)、受信機は、同じアドレスを持つ複数のパケットのデータ部に相当する部分の画素値を合わせて復調処理を行う(ステップS10114)。
このように本実施の形態における受信方法では、複数の輝線のパターンから、データ部およびアドレス部を含む第1のパケットを取得する。そして、第1のパケットよりも前に既に取得されている少なくとも1つのパケットのうち、第1のパケットのアドレス部と同一のアドレス部を含むパケットである第2のパケットが所定の数以上存在するか否かを判定する。第2のパケットがその所定の数以上存在すると判定した場合には、その所定の数以上の第2のパケットのそれぞれのデータ部に対応する輝線画像の一部の領域の画素値と、第1のパケットのデータ部に対応する輝線画像の一部の領域の画素値とを合わせる。つまり、画素値を加算する。その加算によって、合成画素値を算出し、その合成画素値を含むデータ部を復号することによって、可視光識別子(ID)の少なくとも一部を取得する。
複数のパケットが受信されたタイミングはそれぞれ異なるため、データ部の画素値はそれぞれ微妙に異なる時点の送信機の輝度を反映した値となっている。したがって、上述のように復調処理される部分は、単一のパケットのデータ部よりも多くのデータ量(サンプル数)を含むことになる。これにより、より正確にデータ部を復調することができる。また、サンプル数の増加により、より高い変調周波数で変調された信号を復調することができる。
図279の(b)に示すように、データ部とその誤り訂正符号部は、ヘッダ部、アドレス部およびアドレス部の誤り訂正符号部よりも、高い周波数で変調されている。上記の復調方法により、データ部以降は高い変調周波数で変調されていても復調可能であるため、この構成により、パケット全体の送信時間を短くすることができ、より遠くからでも、より小さい光源からでも、より速く可視光信号を受信することができる。
次に、可変長アドレスのデータを受信する受信方法について説明する。
図282は、本実施の形態における受信方法の一例を示すフローチャートである。
受信機は、パケットを受信し(ステップS10121)、データ部の全てのビットが0となっているパケット(以下、0終端パケットという)を受信したか否かを判定する(ステップS10122)。ここで、受信したと判定すると、つまり、0終端パケットが存在すると判定すると(ステップS10122のY)、受信機は、その0終端パケットのアドレス以下のアドレスのパケットが全て揃っているか否か、つまり受信しているか否かを判定する(ステップS10123)。なお、アドレスは、送信されるデータを分割することによって生成されたパケットのそれぞれに対して、それらのパケットの送信順にしたがって大きくなる値に設定されている。受信機は、全て揃っていると判定すると(ステップS10123のY)、0終端パケットのアドレスが、送信機から送信されるパケットの最後のアドレスであると判断する。そして、受信機は、0終端パケットまでの各アドレスのパケットのデータをつなげることで、データを復元する(ステップS10124)。さらに、受信機は、復元されたデータのエラーチェックを行う(ステップS10125)。これにより、送信されるデータがいくつに分割されているか分からない場合、つまり、アドレスが固定長ではなく可変長である場合にも、可変長アドレスのデータを送受信することでき、固定長アドレスのデータよりも多くのIDを、高い効率で送受信することができる。
このように、本実施の形態では、受信機は、複数の輝線のパターンから、それぞれデータ部およびアドレス部を含む複数のパケットを取得する。そして、受信機は、取得された複数のパケットのうち、データ部に含まれる全てのビットが0を示すパケットである0終端パケットが存在するか否かを判定する。0終端パケットが存在すると判定した場合には、受信機は、複数のパケットのうち、その0終端パケットのアドレス部に関連付けられているアドレス部を含むパケットであるN個(Nは1以上の整数)の関連パケットが全て存在するか否かを判定する。次に、受信機は、N個の関連パケットが全て存在すると判定した場合には、N個の関連パケットのそれぞれのデータ部を並べて復号することによって、可視光識別子(ID)を取得する。ここで、0終端パケットのアドレス部に関連付けられているアドレス部は、0終端パケットのアドレス部に示されるアドレスよりも小さく0以上のアドレスを示すアドレス部である。
次に、変調周波数の周期より長い露光時間を用いた受信方法について説明する。
図283と図284は、本実施の形態における受信機が、変調周波数の周期(変調周期)より長い露光時間を用いた受信方法を説明するための図である。
例えば図283の(a)に示すように、露光時間が変調周期と等しい時間に設定されと、可視光信号を正しく受信することができない場合がある。なお、変調周期は、上述の1つのスロットの時間である。つまり、このような場合には、あるスロットの輝度の状態を反映している露光ライン(図283中の黒で示している露光ライン)が少ない。その結果、これらの露光ラインの画素値にノイズが偶然多く含まれた場合には、送信機の輝度を推定することは難しい。
一方、例えば図283の(b)に示すように、露光時間が変調周期よりも長い時間に設定されと、可視光信号を正しく受信することができる。つまり、このような場合には、有るスロットの輝度を反映している露光ラインが多いため、多くの露光ラインの画素値から送信機の輝度を推定することができ、ノイズに強い。
また、露光時間が長すぎると、逆に、可視光信号を正しく受信することができない。
例えば、図284の(a)に示すように、露光時間が変調周期と等しい場合には、受信機で受信される輝度変化(つまり、各露光ラインの画素値の変化)は、送信に用いられる輝度変化に追従する。しかし、図284の(b)に示すように、露光時間が変調周期の3倍である場合には、受信機で受信される輝度変化は、送信に用いられる輝度変化に十分に追従することができない。また、図284の(c)に示すように、露光時間が変調周期の10倍である場合には、受信機で受信される輝度変化は、送信に用いられる輝度変化に全く追従するができない。つまり、露光時間が長いほうが、多くの露光ラインから輝度を推定できるためノイズ耐性が高くなるが、露光時間が長くなると、識別マージンが下がる、あるいは識別マージンが小さくなることでノイズ耐性が低くなる。これらのバランスにより、露光時間を変調周期の2〜5倍程度とすることで、最もノイズ耐性を高くすることができる。
次に、パケットの分割数について説明する。
図285は、送信データのサイズに対する効率的な分割数を示す図である。
送信機がデータを輝度変化によって送信する場合、送信される全てのデータ(送信データ)を1つのパケットに含めると、そのパケットのデータサイズは大きい。しかし、図279を用いて説明したように、その送信データを複数の部分データに分割して、それらの部分データを各パケットに含めると、それぞれのパケットのデータサイズは小さくなる。ここで、受信機は、撮像によって、そのパケットを受信する。しかし、パケットのデータサイズが大きいほど、受信機はそのパケットを1回の撮像によって受信することが難しくなり、撮像を繰り返す必要がある。
したがって、送信機は、図285の(a)および(b)に示すように、送信データのデータサイズが大きいほど、その送信データの分割数を多くする方が望ましい。しかし、分割数が多すぎると、それらの部分データを全て受信しなければ送信データを復元することができないため、逆に、受信効率が低下する。
したがって、図285の(a)に示すように、アドレスのデータサイズ(アドレスサイズ)が可変であり、送信データのデータサイズが、2−16ビット、16−24ビット、24−64ビット、66−78ビット、78−128ビット、128ビット以上の場合には、それぞれ、1−2個、2−4個、4個、4−6個、6−8個、7個以上の部分データに送信データを分割すると、送信データを効率よく可視光信号によって送信することができる。また、図285の(b)に示すように、アドレスのデータサイズ(アドレスサイズ)が4ビットに固定され、送信データのデータサイズが、2−8ビット、8−16ビット、16−30ビット、30−64ビット、66−80ビット、80−96ビット、96−132ビット、132ビット以上の場合には、それぞれ、1−2個、2−3個、2−4個、4−5個、4−7個、6個、6−8個、7個以上の部分データに送信データを分割すると、送信データを効率よく可視光信号によって送信することができる。
また、送信機は、複数の部分データのそれぞれを含む各パケットに基づく輝度変化を順次行う。例えば、送信機は、各パケットのアドレス順に、そのパケットに基づく輝度変化を行う。さらに、送信機は、アドレス順と異なる順序で、その複数の部分データに基づく輝度変化を再度行ってもよい。これにより、各部分データを確実に受信機に受信させることができる。
次に、受信機による通知動作の設定方法について説明する。
図286Aは、本実施の形態における設定方法の一例を示す図である。
まず、受信機は、通知動作を識別するための通知動作識別子と、その通知動作識別子の優先度(具体的には、優先度を示す識別子)とを、受信機の近くにあるサーバから取得する(ステップS10131)。ここで、通知動作は、複数の部分データのそれぞれを含む各パケットが輝度変化によって送信されて受信機に受信されたときに、それらのパケットが受信されたことを受信機のユーザに通知する受信機の動作である。例えば、その動作は、音の鳴動、バイブレーション、または画面表示などである。
次に、受信機は、パケット化された可視光信号、つまり複数の部分データのそれぞれを含む各パケットを受信する(ステップS10132)。ここで、受信機は、その可視光信号に含まれている、通知動作識別子と、その通知動作識別子の優先度(具体的には、優先度を示す識別子)とを取得する(ステップS10133)。
さらに、受信機は、受信機の現在の通知動作の設定内容、つまり、受信機に予め設定されている通知動作識別子と、その通知動作識別子の優先度(具体的には、優先度を示す識別子)とを読み出す(ステップS10134)。なお、受信機に予め設定されている通知動作識別子は、例えば、ユーザの操作によって設定されている。
そして、受信機は、予め設定されている通知動作識別子と、ステップS10131およびステップS10133のそれぞれで取得された通知動作識別子とのうち、優先度が最も高い識別子を選択する(ステップS10135)。次に、受信機は、選択した通知動作識別子を改めて自らに設定し直すことにより、選択した通知動作識別子によって示される動作を行い、可視光信号の受信をユーザに通知する(ステップS10136)。
なお、受信機は、ステップS10131およびステップS10133の何れか一方を行わず、2つの通知動作識別子の中から優先度の高い通知動作識別子を選択してもよい。
なお、劇場または美術館などに設置されているサーバから送信される通知動作識別子の優先度、または、それらの施設内で送信される可視光信号に含まれる通知動作識別子の優先度は高く設定されてもよい。これにより、ユーザの設定に関わらず、その施設内では、受信通知のための音を鳴らさないようにすることができる。また、その他の施設では、通知動作識別子の優先度を低くしておくことにより、受信機は、ユーザの設定に応じた動作によって受信を通知することができる。
図286Bは、本実施の形態における設定方法の他の例を示す図である。
まず、受信機は、通知動作を識別するための通知動作識別子と、その通知動作識別子の優先度(具体的には、優先度を示す識別子)とを、受信機の近くにあるサーバから取得する(ステップS10141)。次に、受信機は、パケット化された可視光信号、つまり複数の部分データのそれぞれを含む各パケットを受信する(ステップS10142)。ここで、受信機は、その可視光信号に含まれている、通知動作識別子と、その通知動作識別子の優先度(具体的には、優先度を示す識別子)とを取得する(ステップS10143)。
さらに、受信機は、受信機の現在の通知動作の設定内容、つまり、受信機に予め設定されている通知動作識別子と、その通知動作識別子の優先度(具体的には、優先度を示す識別子)とを読み出す(ステップS10144)。
そして、受信機は、予め設定されている通知動作識別子と、ステップS10141およびステップS10143のそれぞれで取得された通知動作識別子との中に、通知音の発生を禁止する動作を示す動作通知識別子が含まれているか否かを判定する(ステップS10145)。ここで、含まれていると判定すると(ステップS10145のY)、受信機は、受信完了を通知するための通知音を鳴らす(ステップS10146)。一方、含まれていないと判定すると(ステップS10145のN)、受信機は、例えばバイブレーションなどによって、受信完了をユーザに通知する(ステップS10147)。
なお、受信機は、ステップS10141およびステップS10143の何れか一方を行わず、2つの通知動作識別子の中に、通知音の発生を禁止する動作を示す動作通知識別子が含まれているか否かを判定してもよい。
また、受信機は、撮像によって得られる画像に基づいて自己位置推定を行い、推定された位置、またはその位置にある施設に対応付けられた動作によって、受信をユーザに通知してもよい。
図287Aは、実施の形態13における情報処理プログラムの処理を示すフローチャートである。
この情報処理プログラムは、上述の送信機の発光体を図285に示す分割数にしたがって輝度変化させるためのプログラムである。
つまり、この情報処理プログラムは、送信対象の情報を輝度変化によって送信するために、送信対象の情報をコンピュータに処理させる情報処理プログラムである。具体的には、この情報処理プログラムは、送信対象の情報を符号化することによって符号化信号を生成する符号化ステップSA41と、生成された符号化信号のビット数が24〜64ビットの範囲にある場合、符号化信号を4つの部分信号に分割する分割ステップSA42と、4つの部分信号を順次出力する出力ステップSA43とを、コンピュータに実行させる。なお、これらの部分信号は、図279の(a)に示すパケットとして出力される。また、情報処理プログラムは、符号化信号のビット数を特定し、その特定されたビット数に基づいて、部分信号の数を決定することをコンピュータにさせてもよい。この場合、情報処理プログラムは、符号化信号を分割することによって、その決定された数の部分信号を生成することをコンピュータにさせる。
これにより、符号化信号のビット数が24〜64ビットの範囲にある場合には、符号化信号が4つの部分信号に分割されて出力される。その結果、出力される4つの部分信号にしたがって発光体が輝度変化すると、その4つの部分信号はそれぞれ可視光信号として送信されて受信機によって受信される。ここで、出力される信号のビット数が多いほど、受信機は撮像によってその信号を適切に受信することが難しくなり、受信効率が低下する。そこで、その信号をビット数の少ない信号、つまり小さい信号に分割しておくことが望ましい。しかし、信号を多くの小さい信号に細かく分割しすぎると、受信機は、全ての小さい信号のそれぞれを個別に受信しなければ元の信号を受信することができないため、受信効率が低下する。したがって、上述のように、符号化信号のビット数が24〜64ビットの範囲にある場合には、符号化信号を4つの部分信号に分割して順次出力することによって、送信対象の情報を示す符号化信号を最もよい受信効率で可視光信号として送信することができる。その結果、多様な機器間の通信を可能にすることができる。
また、出力ステップSA43では、第1の順序にしたがって4つの部分信号を出力し、さらに、第1の順序と異なる第2の順序にしたがって4つの部分信号を再び出力してもよい。
これにより、それらの4つの部分信号が順番を変えて繰り返し出力されるため、出力される各信号が可視光信号として受信機に送信される場合には、それらの4つの部分信号の受信効率をさらに高めることができる。つまり、4つの部分信号を同じ順番で繰り返し出力しても、同じ部分信号が受信機に受信されない場合が生じるが、その順番を変えることによって、そのような場合が生じるのを抑えることができる。
また、図286Aおよび図286Bに示すように、出力ステップSA43では、さらに、4つの部分信号に通知動作識別子を付随させて出力してもよい。通知動作識別子は、4つの部分信号が輝度変化によって送信されて受信機に受信されたときに、4つの部分信号が受信されたことを受信機のユーザに通知する受信機の動作を識別するための識別子である。
これにより、その通知動作識別子が可視光信号として送信されて受信機に受信される場合には、受信機は、その通知動作識別子によって識別される動作にしたがって、4つの部分信号の受信をユーザに通知することができる。つまり、送信対象の情報を送信する側で、受信機による通知動作を設定することができる。
また、図286Aおよび図286Bに示すように、出力ステップSA43では、さらに、通知動作識別子の優先度を識別するための優先度識別子を4つの部分信号に付随させて出力してもよい。
これにより、その優先度識別子および通知動作識別子が可視光信号として送信されて受信機に受信される場合には、受信機は、その優先度識別子によって識別される優先度にしたがって通知動作識別子を扱うことができる。つまり、受信機が他の通知動作識別子を取得している場合には、受信機は、可視光信号として送信された通知動作識別子によって識別される通知動作と、他の通知動作識別子によって識別される通知動作とのうちの一方を、その優先度に基づいて選択することができる。
図287Bは、実施の形態13における情報処理装置のブロック図である。
この情報処理装置A40は、上述の送信機の発光体(発光部)を図285に示す分割数にしたがって輝度変化させるための装置である。
つまり、この情報処理装置A40は、送信対象の情報を輝度変化によって送信するために、送信対象の情報を処理する装置である。具体的には、この情報処理装置A40は、送信対象の情報を符号化することによって符号化信号を生成する符号化部A41と、生成された符号化信号のビット数が24〜64ビットの範囲にある場合、符号化信号を4つの部分信号に分割する分割部A42と、4つの部分信号を順次出力する出力部A43とを備える。このような情報処理装置A40では、上述の情報処理プログラムと同様の効果を奏することができる。
本発明の一態様に係る情報処理プログラムは、送信対象の情報を輝度変化によって送信するために、前記送信対象の情報をコンピュータに処理させる情報処理プログラムであって、前記送信対象の情報を符号化することによって符号化信号を生成する符号化ステップと、生成された前記符号化信号のビット数が24〜64ビットの範囲にある場合、前記符号化信号を4つの部分信号に分割する分割ステップと、前記4つの部分信号を順次出力する出力ステップとを、前記コンピュータに実行させる。
これにより、図284〜図287Bに示すように、符号化信号のビット数が24〜64ビットの範囲にある場合には、符号化信号が4つの部分信号に分割されて出力される。その結果、出力される4つの部分信号にしたがって発光体が輝度変化すると、その4つの部分信号はそれぞれ可視光信号として送信されて受信機によって受信される。ここで、出力される信号のビット数が多いほど、受信機は撮像によってその信号を適切に受信することが難しくなり、受信効率が低下する。そこで、その信号をビット数の少ない信号、つまり小さい信号に分割しておくことが望ましい。しかし、信号を多くの小さい信号に細かく分割しすぎると、受信機は、全ての小さい信号のそれぞれを個別に受信しなければ元の信号を受信することができないため、受信効率が低下する。したがって、上述のように、符号化信号のビット数が24〜64ビットの範囲にある場合には、符号化信号を4つの部分信号に分割して順次出力することによって、送信対象の情報を示す符号化信号を最もよい受信効率で可視光信号として送信することができる。その結果、多様な機器間の通信を可能にすることができる。
また、前記出力ステップでは、第1の順序にしたがって前記4つの部分信号を出力し、さらに、前記第1の順序と異なる第2の順序にしたがって前記4つの部分信号を再び出力してもよい。
これにより、それらの4つの部分信号が順番を変えて繰り返し出力されるため、出力される各信号が可視光信号として受信機に送信される場合には、それらの4つの部分信号の受信効率をさらに高めることができる。つまり、4つの部分信号を同じ順番で繰り返し出力しても、同じ部分信号が受信機に受信されない場合が生じるが、その順番を変えることによって、そのような場合が生じるのを抑えることができる。
また、前記出力ステップでは、さらに、前記4つの部分信号に通知動作識別子を付随させて出力し、前記通知動作識別子は、前記4つの部分信号が輝度変化によって送信されて受信機に受信されたときに、前記4つの部分信号が受信されたことを前記受信機のユーザに通知する前記受信機の動作を識別するための識別子であってもよい。
これにより、その通知動作識別子が可視光信号として送信されて受信機に受信される場合には、受信機は、その通知動作識別子によって識別される動作にしたがって、4つの部分信号の受信をユーザに通知することができる。つまり、送信対象の情報を送信する側で、受信機による通知動作を設定することができる。
また、前記出力ステップでは、さらに、前記通知動作識別子の優先度を識別するための優先度識別子を前記4つの部分信号に付随させて出力してもよい。
これにより、その優先度識別子および通知動作識別子が可視光信号として送信されて受信機に受信される場合には、受信機は、その優先度識別子によって識別される優先度にしたがって通知動作識別子を扱うことができる。つまり、受信機が他の通知動作識別子を取得している場合には、受信機は、可視光信号として送信された通知動作識別子によって識別される通知動作と、他の通知動作識別子によって識別される通知動作とのうちの一方を、その優先度に基づいて選択することができる。
次に、電子機器のネットワーク接続の登録について説明する。
図288は、本実施の形態における送受信システムの応用例を説明するための図である。
この送受信システムは、例えば洗濯機等の電子機器として構成される送信機10131bと、例えばスマートフォンとして構成される受信機10131aと、アクセスポイントまたはルータとして構成される通信装置10131cとを備える。
図289は、本実施の形態における送受信システムの処理動作を示すフローチャートである。
送信機10131bは、開始ボタンが押下されると(ステップS10165)、SSID、パスワード、IPアドレス、MACアドレス、または暗号鍵等の、自身に接続するための情報を、Wi−Fi、Bluetooth(登録商標)、またはイーサネット(登録商標)などを介して送信し(ステップS10166)、接続を待ち受ける。送信機10131bは、これらの情報を、直接的に送信してもよいし、間接的に送信してもよい。間接に送信する場合、送信機10131bは、それらの情報に関連付けられたIDを送信する。そのIDを受信した受信機10131aは、例えば、そのIDに関連付けられている情報をサーバ等からダウンロードする。
受信機10131aは、その情報を受信し(ステップS10151)、送信機10131bへ接続し、アクセスポイントやルータとして構成される通信装置10131cへ接続するための情報(SSID、パスワード、IPアドレス、MACアドレス、または暗号鍵等)を送信機10131bへ送信する(ステップS10152)。受信機10131aは、送信機10131bが通信装置10131cへ接続するための情報(MACアドレス、IPアドレスまたは暗号鍵等)を通信装置10131cへ登録し、通信装置10131cに接続を待ち受けさせる。さらに、受信機10131aは、送信機10131bから通信装置10131cへの接続準備が完了したことを送信機10131bへ通知する(ステップS10153)。
送信機10131bは、受信機10131aとの接続を切断し(ステップS10168)、通信装置10131cへ接続する(ステップS10169)。接続が成功すれば(ステップS10170のY)、送信機10131bは、通信装置10131cを介して受信機10131aへ接続成功を通知し、画面表示やLEDの状態や音声等でユーザへ接続成功を通知する(ステップS10171)。接続が失敗すれば(ステップS10170のN)、送信機10131bは、可視光通信で受信機10131aに接続失敗を通知し、成功時と同様にユーザへ通知する(ステップS10172)。なお、接続成功を可視光通信で通知してもよい。
受信機10131aは、通信装置10131cに接続し(ステップS10154)、接続成功や失敗の通知がなければ(ステップS10155のN、且つステップS10156のN)、通信装置10131c経由で送信機10131bへアクセスが可能かどうか確認する(ステップS10157)。できなければ(ステップS10157のN)、受信機10131aは、送信機10131bから受信した情報を用いた送信機10131bへ接続が所定の回数以上行われたか否かを判定する(ステップS10158)。ここで、所定の回数以上行われていないと判定すると(ステップS10158のN)、受信機10131aは、ステップS10152からの処理を繰り返す。一方、所定の回数以上行われたと判定すると(ステップS10158のY)、受信機10131aは、処理失敗をユーザに通知する(ステップS10159)。また、受信機10131aは、ステップS10156で、接続成功の通知があったと判定すると(ステップS10156のY)、処理成功をユーザに通知する(ステップS10160)。つまり、受信機10131aは、送信機10131bが通信装置10131cへ接続することができたかどうかを、画面表示や音声等でユーザへ通知する。これにより、ユーザに複雑な入力をさせなくても、送信機10131bを通信装置10131cへ接続させることができる。
次に、電子機器のネットワーク接続の登録(別の電子機器を介して接続する場合)について説明する。
図290は、本実施の形態における送受信システムの応用例を説明するための図である。
この送受信システムは、エアコン10133bと、エアコン10133bに接続された無線アダプタ等の電子機器として構成される送信機10133cと、例えばスマートフォンとして構成される受信機10133a、アクセスポイントまたはルータとして構成される通信装置10133dと、例えば無線アダプタ、無線アクセスポイントまたはルータ等として構成される別の電子機器10133eとを備える。
図291は、本実施の形態における送受信システムの処理動作を示すフローチャートである。なお、以下、エアコン10133bまたは送信機10133cを電子機器Aと称し、電子機器10133eを電子機器Bと称する。
まず、電子機器Aは、開始ボタンが押下されると(ステップS10188)、自身に接続するための情報(個体ID、パスワード、IPアドレス、MACアドレス、または暗号鍵等)を送信し(ステップS10189)、接続を待ち受ける(ステップS10190)。電子機器Aは、これらの情報を、上述と同様に、直接的に送信してもよいし、間接的に送信してもよい。
受信機10133aは、その情報を電子機器Aから受信し(ステップS10181)、電子機器Bへその情報を送信する(ステップS10182)。電子機器Bは、その情報を受信すると(ステップS10196)、その受信した情報にしたがって電子機器Aへ接続する(ステップS10197)。そして、電子機器Bは、電子機器Aとの接続が成されたか否かを判定し(ステップS10198)、その成否を受信機10133aへ通知する(ステップS10199またはステップS101200)。
電子機器Aは、所定の時間の間に電子機器Bと接続されれば(ステップS10191のY)、電子機器B経由で受信機10133aへ接続成功を通知し(ステップS10192)、接続されなければ(ステップS10191のN)、可視光通信で受信機10133aに接続失敗を通知する(ステップS10193)。また、電子機器Aは、画面表示、発光状態または音声等によって、接続の成否をユーザへ通知する。これにより、ユーザに複雑な入力をさせなくても、電子機器A(送信機10133c)を電子機器B(電子機器10133e)へ接続させることができる。なお、図290に示すエアコン10133bと送信機10133cとは一体に構成されていてもよく、同様に、通信装置10133dと電子機器10133eとも一体に構成されていてもよい。
次に、適切な撮像情報の送信について説明する。
図292は、本実施の形態における送受信システムの応用例を説明するための図である。
この送受信システムは、例えばデジタルスチルカメラやデジタルビデオカメラとして構成される受信機10135aと、例えば照明として構成される送信機10135bとを備える。
図293は、本実施の形態における送受信システムの処理動作を示すフローチャートである。
まず、受信機10135aは、送信機10135bへ、撮像情報送信命令を送る(ステップS10211)。次に、送信機10135bは、撮像情報送信命令を受信した場合、撮像情報送信ボタンが押下された場合、撮像情報送信スイッチがオンとなっている場合、電源が入れられた場合に(ステップS10221のY)、撮像情報を送信する(ステップS10222)。撮像情報送信命令は、撮像情報を送信させるための命令であって、撮像情報は、例えば照明の色温度、スペクトル分布、照度または配光を示す。送信機10135bは、撮像情報を、上述と同様に、直接的に送信してもよいし、間接的に送信してもよい。間接に送信する場合、送信機10135bは、撮像情報に関連付けられたIDを送信する。そのIDを受信した受信機10135aは、例えば、そのIDに関連付けられている撮像情報をサーバ等からダウンロードする。このとき、送信機10135bは、自身へ送信停止命令を送信するための方法(送信停止命令を伝送する電波、赤外線、または音波の周波数、あるいは、自信へ接続するためのSSID、パスワードまたはIPアドレス等)を送信してもよい。
受信機10135aは、撮像情報を受信すると(ステップS10212)、送信停止命令を送信機10135bに送信する(ステップS10213)。ここで、送信機10135bは、受信機10135aから送信停止命令を受信すると(ステップS10223の)、撮像情報の送信を停止し、一様に発光する(ステップS10224)。
さらに、受信機10135aは、ステップS10212で受信した撮像情報に従って撮像パラメータを設定する(ステップS10214)、あるいは、撮像情報をユーザへ通知する。撮像パラメータは、例えばホワイトバランス、露光時間、焦点距離、感度またはシーンモードである。これにより、照明に合わせて最適な設定で撮像することができる。次に、受信機10135aは、送信機10135bからの撮像情報の送信が停止されてから(ステップS10215のY)、撮像する(ステップS10216)。これにより、信号送信による被写体の明るさの変化をなくして撮像を行うことができる。なお、受信機10135aは、ステップS10216の後、撮像情報の送信開始を促す送信開始命令を送信機10135bに送信してもよい(ステップS10217)。
次に、充電状態の表示について説明する。
図294は、本実施の形態における送信機の応用例を説明するための図である。
例えば充電器として構成される送信機10137bは、発光部を備え、バッテリーの充電状態を示す可視光信号を発光部から送信する。これにより、高価な表示装置を備えなくても、バッテリーの充電状態を通知することができる。なお、発光部として小さなLEDを用いた場合には、近くからそのLEDを撮像しないと可視光信号を受信することはできない。また、そのLEDの近くに突起部がある送信機10137cでは、突起部が邪魔でLEDを接写しづらい。したがって、送信機10137cからの可視光信号よりも、LEDの付近に突起部がない送信機10137bからの可視光信号の方が、容易に受信することができる。
(実施の形態14)
本実施の形態では、上記各実施の形態におけるスマートフォンなどの受信機と、LEDや有機ELの点滅パターンとして情報を送信する送信機とを用いた各適用例について説明する。
まず、デモモード時と故障時の送信について説明する。
図295は、本実施の形態における送信機の動作の一例を説明する図である。
送信機は、エラーが発生している場合には、エラーが発生していることを示す信号、または、エラーコードに対応する信号を送信することで、受信機にエラーが発生していることやエラー内容を伝えることができる。受信機は、エラー内容に合わせて適切な対応を示すことで、エラーを修復したり、サービスセンターにエラー内容を適切に報告したりすることができる。
送信機は、デモモードになっている場合は、デモコードを送信する。これにより、例えば店頭で商品である送信機のデモを行っている場合に、来店者がデモコードを受信し、デモコードに関連付けられた商品説明を取得することができる。デモモードであるかどうかの判断は、送信機の動作設定がデモモードになっている、店頭用CASカードが挿入されている、CASカードが挿入されていない、記録用メディアが挿入されていないといった点から判断することができる。
次に、リモコンからの信号送信について説明する。
図296は、本実施の形態における送信機の動作の一例を説明する図である。
例えばエアコンのリモコンとして構成される送信機が、本体情報を受信した際に、送信機が本体情報を送信することで、受信機は、遠くの本体の情報を近くにある送信機から情報を受信することができる。受信機は、ネットワーク越しなど、可視光通信が不可能な場所に存在する本体からの情報を受信することもできる。
次に、明るい場所にあるときだけ送信する処理について説明する。
図297は、本実施の形態における送信機の動作の一例を説明する図である。
送信機は、周囲の明るさが一定以上であれば送信を行い、一定以下になれば送信を停止する。これにより、例えば電車の広告として構成される送信機は、車両が車庫入りした際に自動で動作を停止することができ、電池の消耗を抑えることができる。
次に、送信機の表示に合わせたコンテンツ配信(関連付けの変更・スケジューリング)について説明する。
図298は、本実施の形態における送信機の動作の一例を説明する図である。
送信機は、表示するコンテンツの表示タイミングに合わせて、受信機に取得させたいコンテンツを送信IDに関連付ける。表示コンテンツが変更される度に、関連付けの変更をサーバへ登録する。
送信機は、表示コンテンツの表示タイミングが既知である場合は、表示コンテンツの変化タイミングに合わせて別のコンテンツが受信機に渡されるように、サーバに設定する。サーバは、受信機から送信IDに関連付けられたコンテンツの要求が合った際には、設定されたスケジュールに合わせたコンテンツを受信機へ送信する。
これにより、例えばデジタルサイネージとして構成される送信機が表示内容を次々と変更している場合に、受信機は、送信機が表示しているコンテンツに合わせたコンテンツを取得することができる。
次に、送信機の表示に合わせたコンテンツ配信(時刻による同期)について説明する。
図299は、本実施の形態における送信機の動作の一例を説明する図である。
所定のIDに関連付けられたコンテンツ取得の要求に対し、時刻に応じて異なるコンテンツを渡すように、あらかじめサーバへ登録しておく。
送信機は、サーバと時刻を同期し、所定の時刻に所定の部分が表示されるようにタイミングを調整してコンテンツを表示する。
これにより、例えばデジタルサイネージとして構成される送信機が表示内容を次々と変更している場合に、受信機は、送信機が表示しているコンテンツに合わせたコンテンツを取得することができる。
次に、送信機の表示に合わせたコンテンツ配信(表示時刻の送信)について説明する。
図300は、本実施の形態における送信機と受信機の動作の一例を説明する図である。
送信機は、送信機のIDに加え、表示中のコンテンツの表示時刻を送信する。コンテンツ表示時刻は、現在表示しているコンテンツを特定できる情報であり、例えばコンテンツの開始時点からの経過時刻などで表現できる。
受信機は、受信したIDに関連付けられたコンテンツをサーバから取得し、受信した表示時刻に合わせてコンテンツを表示する。これにより、例えばデジタルサイネージとして構成される送信機が表示内容を次々と変更している場合に、受信機は、送信機が表示しているコンテンツに合わせたコンテンツを取得することができる。
また、受信機は、時間の経過に従って、表示するコンテンツを変更する。これにより、送信機の表示コンテンツが変化した際に再度信号を受信しなくても、表示コンテンツに合わせたコンテンツが表示される。
次に、ユーザの許諾状況に合わせたデータのアップロードについて説明する。
図301は、本実施の形態における受信機の動作の一例を説明する図である。
受信機は、ユーザがアカウント登録をしている場合には、アカウント登録の際等にユーザがアクセス許可を行っている情報(受信機の位置や電話番号やIDやインストールされているアプリやユーザの年齢や性別や職業や嗜好等)を受信したIDと合わせてサーバへ送信する。
アカウント登録がされていない場合には、ユーザが前記のような情報のアップロードを許可していれば、同様にサーバへ送信し、許可していない場合には、受信したIDのみをサーバへ送信する。
これにより、ユーザは受信時の状況や自身のパーソナリティに合わせたコンテンツを受信することができ、また、サーバはユーザの情報を得ることでデータ解析に役立てることが出来る。
次に、コンテンツ再生アプリの起動について説明する。
図302は、本実施の形態における受信機の動作の一例を説明する図である。
受信機は、受信したIDに関連付けられたコンテンツをサーバから取得する。起動中のアプリが取得コンテンツを扱える(表示したり再生したりすることができる)場合には、起動中のアプリで取得コンテンツを表示・再生する。扱えない場合は、扱えるアプリが受信機にインストールされているかどうかを確認し、インストールされている場合は、そのアプリを起動して取得コンテンツの表示・再生を行う。インストールされていない場合は、自動でインストールしたり、インストールを促す表示をしたり、ダウンロード画面を表示させたりし、インストール後に取得コンテンツの表示・再生を行う。
これにより、取得コンテンツを適切に扱う(表示・再生等を行う)ことができる。
次に、指定アプリの起動について説明する。
図303は、本実施の形態における受信機の動作の一例を説明する図である。
受信機は、受信したIDに関連付けられたコンテンツと、起動すべきアプリを指定する情報(アプリID)をサーバから取得する。起動中のアプリが指定アプリである場合は、取得したコンテンツを表示・再生する。指定アプリが受信機にインストールされている場合は、指定アプリを起動して取得コンテンツの表示・再生を行う。インストールされていない場合は、自動でインストールしたり、インストールを促す表示をしたり、ダウンロード画面を表示させたりし、インストール後に取得コンテンツの表示・再生を行う。
受信機は、アプリIDのみをサーバから取得し、指定アプリを起動するとしてもよい。
受信機は、指定された設定を行うとしてもよい。受信機は、指定されたパラメータを設定して、指定されたアプリを起動するとしてもよい。
次に、ストリーミング受信と通常受信の選択について説明する。
図304は、本実施の形態における受信機の動作の一例を説明する図である。
受信機は、受信したデータの所定のアドレスの値が所定の値である場合や、受信したデータが所定の識別子を含む場合は、信号がストリーミング配信されていると判断し、ストリーミングデータの受信方法で受信を行う。そうでない場合は、通常の受信方法で受信する。
これにより、ストリーミング配信と通常配信のどちらの方法で信号が送信されていても受信を行うことができる。
次に、プライベートデータについて説明する。
図305は、本実施の形態における受信機の動作の一例を説明する図である。
受信機は、受信したIDの値が所定の範囲内である場合や、所定の識別子を含む場合には、アプリ内にテーブルを参照し、受信IDがテーブルに存在すれば、そのテーブルで指定されたコンテンツを取得する。そうでない場合には、サーバから受信IDに指定されたコンテンツを取得する。
これにより、サーバに登録を行わなくてもコンテンツを受信することができる。また、サーバとの通信を行わないため、素早いレスポンスが得られる。
次に、周波数に合わせた露光時間の設定について説明する。
図306は、本実施の形態における受信機の動作の一例を説明する図である。
受信機は、信号を検知し、信号の変調周波数を認識する。受信機は、変調周波数の周期(変調周期)に合わせて露光時間を設定する。例えば、変調周期と同程度の露光時間にすることで、信号を受信しやすくすることができる。また、例えば、変調周期の整数倍、または、それに近い値(概ね±30%程度)に露光時間を設定することで、畳み込み復号によって信号を受信しやすくすることができる。
次に、送信機の最適パラメータ設定について説明する。
図307は、本実施の形態における受信機の動作の一例を説明する図である。
受信機は、送信機から受信したデータに加え、現在位置情報やユーザに関連する情報(住所や性別や年齢や嗜好等)をサーバへ送信する。サーバは、受信した情報に合わせて、送信機が最適に動作するためのパラメータを受信機へ送信する。受信機は、受信したパラメータを送信機へ設定できる場合には設定する。設定できない場合には、パラメータを表示し、ユーザが送信機へそのパラメータを設定するように促す。
これにより、例えば、送信機が使われている地域の水の性質に最適化して洗濯機を動作させたり、ユーザの使用している米の種類に最適な方法で炊飯するように炊飯器を動作させたりすることができる。
次に、データの構成を示す識別子について説明する。
図308は、本実施の形態における送信データの構成の一例を説明する図である。
送信される情報は識別子を含み、受信機は、その値によって後続する部分の構成を知ることができる。例えば、データの長さ、エラー訂正符号の種類や長さ、データの分割点などを特定することができる。
これにより、送信機は、送信機や通信路の性質に応じてデータ本体やエラー訂正符号の種類や長さを変更することができる。また、送信機は、送信機のIDに加えて、コンテンツIDを送信することで、受信機にコンテンツIDに応じたIDを取得させることができる。
(実施の形態15)
本実施の形態では、上記各実施の形態におけるスマートフォンなどの受信機と、LEDや有機ELの点滅パターンとして情報を送信する送信機とを用いた各適用例について説明する。
図309は、本実施の形態における受信機の動作を説明するための図である。
本実施の形態における受信機1210aは、イメージセンサによる連続した撮影を行う際に、例えばフレーム単位でシャッター速度を高速と低速とに切り替える。さらに、受信機1210aは、その撮影によって得られるフレームに基づいて、そのフレームに対する処理を、バーコード認識処理と可視光認識処理とに切り替える。ここで、バーコード認識処理とは、低速のシャッター速度によって得られるフレームに映っているバーコードをデコードする処理である。可視光認識処理とは、高速のシャッター速度によって得られるフレームに映っている上述の輝線のパターンをデコードする処理である。
このような受信機1210aは、映像入力部1211と、バーコード・可視光識別部1212と、バーコード認識部1212aと、可視光認識部1212bと、出力部1213とを備えている。
映像入力部1211は、イメージセンサを備え、イメージセンサによる撮影のシャッター速度を切り替える。つまり、映像入力部1211は、例えばフレーム単位でシャッター速度を低速と高速とに交互に切り替える。より具体的には、映像入力部1211は、奇数番目のフレームに対してはシャッター速度を高速に切り替え、偶数番目のフレームに対してはシャッター速度を低速に切り替える。低速のシャッター速度の撮影は、上述の通常撮影モードによる撮影であって、高速のシャッター速度の撮影は、上述の可視光通信モードによる撮影である。つまり、シャッター速度が低速の場合には、イメージセンサに含まれる各露光ラインの露光時間は長く、被写体が映し出された通常撮影画像がフレームとして得られる。また、シャッター速度が高速の場合には、イメージセンサに含まれる各露光ラインの露光時間は短く、上述の輝線が映し出された可視光通信画像がフレームとして得られる。
バーコード・可視光識別部1212は、映像入力部1211によって得られる画像に、バーコードが現れているか否か、または輝線が現れているか否かを判別することによって、その画像に対する処理を切り替える。例えば、バーコード・可視光識別部1212は、低速のシャッター速度の撮影によって得られたフレームにバーコードが現れていれば、その画像に対する処理をバーコード認識部1212aに実行させる。一方、バーコード・可視光識別部1212は、高速のシャッター速度の撮影によって得られた画像に輝線が現れていれば、その画像に対する処理を可視光認識部1212bに実行させる。
バーコード認識部1212aは、低速のシャッター速度の撮影によって得られたフレームに現れているバーコードをデコードする。バーコード認識部1212aは、そのデコードによって、バーコードのデータ(例えばバーコード識別子)を取得し、そのバーコード識別子を出力部1213に出力する。なお、バーコードは、一次元のコードであっても、二次元のコード(例えば、QRコード(登録商標))であってもよい。
可視光認識部1212bは、高速のシャッター速度の撮影によって得られたフレームに現れている輝線のパターンをデコードする。可視光認識部1212bは、そのデコードによって、可視光のデータ(例えば可視光識別子)を取得し、その可視光識別子を出力部1213に出力する。なお、可視光のデータは上述の可視光信号である。
出力部1213は、低速のシャッター速度の撮影によって得られたフレームのみを表示する。したがって、映像入力部1211による撮影の被写体がバーコードである場合には、出力部1213はバーコードを表示する。また、映像入力部1211による撮影の被写体が、可視光信号を送信するデジタルサイネージなどである場合には、出力部1213は、輝線のパターンを表示することなく、そのデジタルサイネージの像を表示する。そして、出力部1213は、バーコード識別子を取得した場合には、そのバーコード識別子に対応付けられている情報を例えばサーバなどから取得し、その情報を表示する。また、出力部1213は、可視光識別子を取得した場合には、その可視光識別子に対応付けられている情報を例えばサーバなどから取得し、その情報を表示する。
つまり、端末装置である受信機1210aは、イメージセンサを備え、イメージセンサのシャッター速度を、第1の速度と、第1の速度よりも高速の第2の速度とに交互に切り替えながら、イメージセンサによる連続した撮影を行う。そして、(a)イメージセンサによる撮影の被写体がバーコードである場合には、受信機1210aは、シャッター速度が第1の速度であるときの撮影によって、バーコードが映っている画像を取得し、その画像に映っているバーコードをデコードすることによって、バーコード識別子を取得する。また、(b)イメージセンサによる撮影の被写体が光源(例えばデジタルサイネージなど)である場合には、受信機1210aは、シャッター速度が第2の速度であるときの撮影によって、イメージセンサに含まれる複数の露光ラインのそれぞれに対応する輝線を含む画像である輝線画像を取得する。そして、受信機1210aは、取得された輝線画像に含まれる複数の輝線のパターンをデコードすることによって可視光信号を可視光識別子として取得する。さらに、この受信機1210aは、シャッター速度が第1の速度であるときの撮影によって得られる画像を表示する。
このような本実施の形態における受信機1210aでは、バーコード認識処理と可視光認識処理とを切り替えて行うことによって、バーコードのデコードを行うとともに、可視光信号を受信することができる。さらに、切り替えによって、消費電力を抑えることができる。
本実施の形態における受信機は、バーコード認識処理の代わりに画像認識処理を可視光処理と同時に行ってもよい。
図310Aは、本実施の形態における受信機の他の動作を説明するための図である。
本実施の形態における受信機1210bは、イメージセンサによる連続した撮影を行う際に、例えばフレーム単位でシャッター速度を高速と低速とに切り替える。さらに、受信機1210bは、その撮影によって得られる画像(フレーム)に対して、画像認識処理と上述の可視光認識処理とを同時に実行する。画像認識処理は、低速のシャッター速度によって得られるフレームに映っている被写体を認識する処理である。
このような受信機1210bは、映像入力部1211と、画像認識部1212cと、可視光認識部1212bと、出力部1215とを備えている。
映像入力部1211は、イメージセンサを備え、イメージセンサによる撮影のシャッター速度を切り替える。つまり、映像入力部1211は、例えばフレームン単位でシャッター速度を低速と高速とに交互に切り替える。より具体的には、映像入力部1211は、奇数番目のフレームに対してはシャッター速度を高速に切り替え、偶数番目のフレームに対してはシャッター速度を低速に切り替える。低速のシャッター速度の撮影は、上述の通常撮影モードによる撮影であって、高速のシャッター速度の撮影は、上述の可視光通信モードによる撮影である。つまり、シャッター速度が低速の場合には、イメージセンサに含まれる各露光ラインの露光時間は長く、被写体が映し出された通常撮影画像がフレームとして得られる。また、シャッター速度が高速の場合には、イメージセンサに含まれる各露光ラインの露光時間は短く、上述の輝線が映し出された可視光通信画像がフレームとして得られる。
画像認識部1212cは、低速のシャッター速度の撮影によって得られたフレームに現れている被写体を認識するとともに、その被写体のフレーム内の位置を特定する。画像認識部1212cは、認識の結果、その被写体がAR(Augmented Reality)の対象とされるもの(以下、AR対象物という)か否かを判断する。そして、画像認識部1212cは、被写体がAR対象物であると判断すると、その被写体に関する情報を表示するためのデータ(例えば、被写体の位置およびARマーカーなど)である画像認識データを生成し、そのARマーカーを出力部1215に出力する。
出力部1215は、上述の出力部1213と同様に、低速のシャッター速度の撮影によって得られたフレームのみを表示する。したがって、映像入力部1211による撮影の被写体が、可視光信号を送信するデジタルサイネージなどである場合には、出力部1213は、輝線のパターンを表示することなく、そのデジタルサイネージの像を表示する。さらに、出力部1215は、画像認識部1212cから画像認識データを取得すると、画像認識データによって示されるフレーム内の被写体の位置に基づいて、その被写体を囲む白い枠状のインジケータをそのフレームに重畳する。
図310Bは、出力部1215によって表示されるインジケータの例を示す図である。
出力部1215は、例えばデジタルサイネージとして構成された被写体の像1215aを囲む白い枠状のインジケータ1215bをフレームに重畳する。つまり、出力部1215は、画像認識された被写体を示すインジケータ1215bを表示する。さらに、出力部1215は、可視光認識部1212bから可視光識別子を取得すると、そのインジケータ1215bの色を例えば白から赤色に変更する。
図310Cは、ARの表示例を示す図である。
出力部1215は、さらに、その可視光識別子に対応付けられている、被写体に関する情報を関連情報として例えばサーバなどから取得する。出力部1215は、画像認識データによって示されるARマーカー1215cに関連情報を記載し、関連情報が記載されたARマーカー1215cを、フレーム内の被写体の像1215aに関連付けて表示する。
このような本実施の形態における受信機1210bでは、画像認識処理と可視光認識処理とを同時に行うことによって、可視光通信を利用したARを実現することができる。なお、図310Aに示す受信機1210aも、受信機1210bと同様に、図310Bに示すインジケータ1215bを表示してもよい。この場合、受信機1210aは、低速のシャッター速度の撮影によって得られたフレームにおいてバーコードが認識されると、そのバーコードを囲む白い枠状のインジケータ1215bを表示する。そして、受信機1210aは、そのバーコードがデコードされると、そのインジケータ1215bの色を白色から赤色に変更する。同様に、受信機1210aは、高速のシャッター速度の撮影によって得られたフレームにおいて輝線のパターンが認識されると、その輝線のパターンがある部位に対応する、低速フレーム内の部位を特定する。例えば、デジタルサイネージが可視光信号を送信している場合には、低速フレーム内のデジタルサイネージの像が特定される。なお、低速フレームとは、低速のシャッター速度の撮影によって得られたフレームである。そして、受信機1210aは、低速フレーム内における特定された部位(例えば、上述のデジタルサイネージの像)を囲む白い枠状のインジケータ1215bを低速フレームに重畳して表示する。そして、受信機1210aは、その輝線のパターンがデコードされると、そのインジケータ1215bの色を白色から赤色に変更する。
図311Aは、本実施の形態における送信機の一例を説明するための図である。
本実施の形態における送信機1220aは、送信機1230と同期して可視光信号を送信する。つまり、送信機1220aは、送信機1230が可視光信号を送信するタイミングで、その可視光信号と同一の可視光信号を送信する。なお、送信機1230は、発光部1231を備え、その発光部1231が輝度変化することによって、可視光信号を送信する。
このような送信機1220aは、受光部1221と、信号解析部1222と、送信クロック調整部1223aと、発光部1224とを備える。発光部1224は、送信機1230から送信される可視光信号と同一の可視光信号を輝度変化によって送信する。受光部1221は、送信機1230からの可視光を受光することによって、送信機1230から可視光信号を受信する。信号解析部1222は、受光部1221によって受信された可視光信号を解析し、その解析結果を送信クロック調整部1223aに送信する。送信クロック調整部1223aは、その解析結果に基づいて、発光部1224から送信される可視光信号のタイミングを調整する。つまり、送信クロック調整部1223aは、送信機1230の発光部1231から可視光信号が送信されるタイミングと、発光部1224から可視光信号が送信されるタイミングとが一致するように、発光部1224による輝度変化のタイミングを調整する。
これにより、送信機1220aによって送信される可視光信号の波形と、送信機1230によって送信される可視光信号の波形とをタイミング的に一致させることができる。
図311Bは、本実施の形態における送信機の他の例を説明するための図である。
本実施の形態における送信機1220bは、送信機1220aと同様に、送信機1230と同期して可視光信号を送信する。つまり、送信機1200bは、送信機1230が可視光信号を送信するタイミングで、その可視光信号と同一の可視光信号を送信する。
このような送信機1220bは、第1の受光部1221aと、第2の受光部1221bと、比較部1225と、送信クロック調整部1223bと、発光部1224とを備える。
第1の受光部1221aは、受光部1221と同様に、送信機1230からの可視光を受光することによって、その送信機1230から可視光信号を受信する。第2の受光部1221bは、発光部1224からの可視光を受光する。比較部1225は、第1の受光部1221aによって可視光が受光された第1のタイミングと、第2の受光部1221bによって可視光が受光された第2のタイミングとを比較する。そして、比較部1225は、その第1のタイミングと第2のタイミングとの差(つまり遅延時間)を送信クロック調整部1223bに出力する。送信クロック調整部1223bは、その遅延時間が縮まるように、発光部1224から送信される可視光信号のタイミングを調整する。
これにより、送信機1220bによって送信される可視光信号の波形と、送信機1230によって送信される可視光信号の波形とをタイミング的により正確に一致させることができる。
なお、図311Aおよび図311Bに示す例では、2つの送信機が同じ可視光信号を送信したが、異なる可視光信号を送信してもよい。つまり、2つの送信機は、同じ可視光信号を送信するときには、上述のように同期をとって送信する。そして、2つの送信機は、異なる可視光信号を送信するときには、2つの送信機のうちの一方の送信機のみが可視光信号を送信し、その間、他方の送信機は一様に点灯または消灯する。その後、一方の送信機は一様に点灯または消灯し、その間、他方の送信機のみが可視光信号を送信する。なお、2つの送信機が、互いに異なる可視光信号を同時に送信してもよい。
図312Aは、本実施の形態における複数の送信機による同期送信の一例を説明するための図である。
本実施の形態における複数の送信機1220は、図312Aに示すように、例えば一列に配列される。なお、これらの送信機1220は、図311Aに示す送信機1220aまたは図311Bに示す送信機1220bと同一の構成を有する。このような複数の送信機1220のそれぞれは、両隣の送信機1220のうちの一方の送信機1220と同期して可視光信号を送信する。
これにより、多くの送信機が可視光信号を同期して送信することができる。
図312Bは、本実施の形態における複数の送信機による同期送信の一例を説明するための図である。
本実施の形態における複数の送信機1220のうちの1つの送信機1220は、可視光信号の同期をとるための基準となり、残りの複数の送信機1220は、その基準に合わせるように可視光信号を送信する。
これにより、多くの送信機が可視光信号をより正確に同期して送信することができる。
図313は、本実施の形態における複数の送信機による同期送信の他の例を説明するための図である。
本実施の形態における複数の送信機1240のそれぞれは、同期信号を受信し、その同期信号に応じて可視光信号を送信する。これにより、複数の送信機1240のそれぞれから可視光信号が同期して送信される。
具体的には、複数の送信機1240のそれぞれは、制御部1241と、同期制御部1242と、フォトカプラ1243と、LEDドライブ回路1244と、LED1245と、フォトダイオード1246とを備える。
制御部1241は、同期信号を受信し、その同期信号を同期制御部1242に出力する。
LED1245は、可視光を放出する光源であって、LEDドライブ回路1244による制御に応じて明滅(つまり輝度変化)する。これにより、可視光信号がLED1245から送信機1240の外に送信される。
フォトカプラ1243は、同期制御部1242とLEDドライブ回路1244との間を電気的に絶縁しながら、その間で信号を伝達する。具体的には、フォトカプラ1243は、同期制御部1242から送信される後述の送信開始信号をLEDドライブ回路1244に伝達する。
LEDドライブ回路1244は、同期制御部1242からフォトカプラ1243を介して送信開始信号を受信すると、その送信開始信号を受信したタイミングで、可視光信号の送信をLED1245に開始させる。
フォトダイオード1246は、LED1245から放たれる可視光を検出し、可視光を検出したことを示す検出信号を同期制御部1242に出力する。
同期制御部1242は、同期信号を制御部1241から受信すると、送信開始信号を、フォトカプラ1243を介してLEDドライブ回路1244に送信する。この送信開始信号が送信されることによって、可視光信号の送信が開始される。また、同期制御部1242は、その可視光信号の送信によってフォトダイオード1246から検出信号を受信すると、その検出信号を受信したタイミングと、制御部1241から同期信号を受信したタイミングとの差である遅延時間を算出する。同期制御部1242は、次の同期信号を制御部1241から受信すると、その算出された遅延時間に基づいて、次の送信開始信号を送信するタイミングを調整する。つまり、同期制御部1242は、次の同期信号に対する遅延時間が予め定められた設定遅延時間になるように、次の送信開始信号を送信するタイミングを調整する。これにより、同期制御部1242は、その調整されたタイミングで、次の送信開始信号を送信する。
図314は、送信機1240における信号処理を説明するための図である。
同期制御部1242は、同期信号を受信すると、所定のタイミングに遅延時間設定パルスが発生する遅延時間設定信号を生成する。なお、同期信号を受信するとは、具体的には同期パルスを受信することである。つまり、同期制御部1242は、同期パルスの立ち下がりから、上述の設定遅延時間だけ経過したタイミングに遅延時間設定パルスが立ち上がるように遅延時間設定信号を生成する。
そして、同期制御部1242は、同期パルスの立ち下がりから、前回に得られた補正値Nだけ遅れたタイミングで送信開始信号を、フォトカプラ1243を介してLEDドライブ回路1244に送信する。その結果、LEDドライブ回路1244によってLED1245から可視光信号が送信される。ここで、同期制御部1242は、同期パルスの立ち下がりから、固有遅延時間と補正値Nとの和だけ遅れたタイミングで、フォトダイオード1246から検出信号を受信する。つまり、そのタイミングから可視光信号の送信が開始される。以下、そのタイミングを送信開始タイミングという。なお、上述の固有遅延時間は、フォトカプラ1243などの回路に起因する遅延時間であり、同期制御部1242が同期信号を受信してすぐに送信開始信号を送信しても発生する遅延時間である。
同期制御部1242は、送信開始タイミングから遅延時間設定パルスの立ち上がりまでの時間差を、修正補正値Nとして特定する。そして、同期制御部1242は、補正値(N+1)を、補正値(N+1)=補正値N+修正補正値Nによって算出して保持しておく。これにより、同期制御部1242は、次の同期信号(同期パルス)を受信したときには、その同期パルスの立ち下がりから、補正値(N+1)だけ遅れたタイミングで送信開始信号をLEDドライブ回路1244に送信する。なお、修正補正値Nは正の値だけでなく負の値にも成り得る。
これにより、複数の送信機1240のそれぞれは、同期信号(同期パルス)を受信してから、設定遅延時間経過後に可視光信号を送信するため、正確に同期して可視光信号を送信することができる。つまり、複数の送信機1240のそれぞれで、フォトカプラ1243などの回路に起因する固有遅延時間にばらつきがあったとしても、そのばらつきに影響を受けることなく、複数の送信機1240のそれぞれからの可視光信号の送信を正確に同期させることができる。
なお、LEDドライブ回路は、大きな電力を消費するものであり、同期信号を扱う制御回路からはフォトカプラなどを用いて電気的に絶縁される。したがって、このようなフォトカプラが用いられる場合には、上述の固有遅延時間のばらつきによって、複数の送信機からの可視光信号の送信を同期させることが難しい。しかし、本実施の形態における複数の送信機1240では、フォトダイオード1246によってLED1245の発光タイミングが検知され、同期制御部1242によって同期信号からの遅延時間が検知され、その遅延時間が予め設定された遅延時間(上述の設定遅延時間)になるように調整される。これにより、それぞれ例えばLED照明として構成される複数の送信機に備えられるフォトカプラに、個体ばらつきがあっても、複数のLED照明から可視光信号(例えば可視光ID)を高精度に同期した状態で送信させることができる。
なお、可視光信号送信期間以外はLED照明を点灯させても、消灯させても良い。前期可視光信号送信期間以外を点灯させる場合は、可視光信号の最初の立下りエッジを検出すればよい。前記可視光信号送信期間以外を消灯させる場合は、可視光信号の最初の立ち上がりエッジを検出すればよい。
なお、上述の例では、送信機1240は、同期信号を受信するたびに、可視光信号を送信するが、同期信号を受信しなくても、可視光信号を送信してもよい。つまり、送信機1240は、同期信号の受信に応じて可視光信号を一度送信すれば、同期信号を受信しなくても可視光信号を順次送信してもよい。具体的には、送信機1240は、同期信号の一度の受信に対して、可視光信号の送信を2〜数千回、順次行ってもよい。また、送信機1240は、100m秒に1回の割合または数秒に1回の割合で、同期信号に応じた可視光信号の送信を行ってもよい。
また、同期信号に応じた可視光信号の送信が繰り返し行われるときには、上述の設定遅延時間によってLED1245の発光の連続性が失われる可能性がある。つまり、少し長いブランキング期間が発生する可能性がある。その結果、LED1245の点滅が人に視認されてしまい、いわゆるフリッカが発生する可能性がある。そこで、送信機1240は、60Hz以上の周期で、同期信号に応じた可視光信号の送信を行ってもよい。これにより、点滅が高速に行われ、その点滅は人に視認され難くなる。その結果、フリッカの発生を抑えることができる。または、送信機1240は、例えば数分に1回の周期などの十分に長い周期で、同期信号に応じた可視光信号の送信を行ってもよい。これにより、点滅が人に視認されてしまうが、点滅が繰り返し連続して視認されることを防止することができ、フリッカが人に与える不快感を軽減することができる。
(受信方法の前処理)
図315は、本実施の形態における受信方法の一例を示すフローチャートである。また、図316は、本実施の形態における受信方法の一例を説明するための説明図である。
まず、受信機は、露光ラインに平行な方向に配列されている複数の画素のそれぞれの画素値の平均値を計算する(ステップS1211)。中心極限定理により、N個の画素の画素値を平均すると、ノイズ量の期待値はNのマイナス1/2乗になり、SN比が改善する。
次に、受信機は、全ての色のそれぞれで、画素値が垂直方向に同じ変化をしている部分のみ残し、異なる変化をしている部分では画素値の変化を取り除く(ステップS1212)。送信機に備えられている発光部の輝度によって送信信号(可視光信号)が表現される場合、送信機である照明やディスプレイのバックライトの輝度が変化する。この際には、図316の(b)の部分のように、全ての色のそれぞれで画素値が同じ方向に変化する。図316の(a)および(c)の部分では、各色で画素値が異なる変化をしている。これらの部分では、受信ノイズあるいは、ディスプレイまたはサイネージの絵によって画素値が変動しているため、これらの変動を取り除くことで、SN比を改善することができる。
次に、受信機は、輝度値を求める(ステップS1213)。輝度は色による変化を受けづらいため、ディスプレイまたはサイネージの絵による影響を排除することができ、SN比を改善することができる。
次に、受信機は、輝度値をローパスフィルタにかける(ステップS1214)。本実施の形態における受信方法では、露光時間の長さによる移動平均フィルタがかけられているため、高周波数領域にはほとんど信号は含まれておらず、ノイズが支配的となる。そのため、高周波数領域をカットするローパスフィルタを用いることで、SN比を改善することができる。露光時間の逆数までの周波数までは信号成分が多いため、それ以上の周波数を遮断することで、SN比の改善の効果を大きくすることができる。信号に含まれている周波数成分が有限である場合は、その周波数より高い周波数を遮断することで、SN比を改善することができる。ローパスフィルタには、周波数振動成分を含まないフィルタ(バタワースフィルタ等)が適している。
(畳み込み最尤復号による受信方法)
図317は、本実施の形態における受信方法の他の例を示すフローチャートである。また、図318および図319は、本実施の形態における受信方法の他の例を説明するための図である。以下、これらの図を用いて、露光時間が送信周期より長い場合の受信方法について説明する。
露光時間が送信周期の整数倍である場合に、最も精度よく受信を行うことができる。整数倍でない場合であっても、(N±0.33)倍(Nは整数)程度の範囲であれば受信を行うことができる。
まず、受信機は、送受信オフセットを0に設定する(ステップS1221)。送受信オフセットとは、送信のタイミングと受信のタイミングのズレを修正するための値である。このズレは不明であるため、受信機は、その送受信オフセットの候補となる値を少しずつ変化させて、最も辻褄が合う値を送受信オフセットに採用する。
次に、受信機は、送受信オフセットが送信周期未満であるか否かを判定する(ステップS1222)。ここで、受信の周期と送信周期は同期していないため、送信周期に合わせた受信値が得られているとは限らない。そのため、受信機は、ステップS1222で、送信周期未満であると判定すると(ステップS1222のY)、その近辺の受信値を用いて、送信周期ごとに、送信周期に合わせた受信値(例えば画素値)を補間によって計算する(ステップS1223)。補間方法には、線形補間、最近傍値、またはスプライン補間等を用いることができる。次に、受信機は、送信周期毎に求めた受信値の差分を求める(ステップS1224)。
図318には、露光時間が送信周期の3倍であり、送信信号が0か1の2値の場合の例が示されている。ある時点の受信値は、3つの送信信号を加算した値となっている。次の時点の受信値との差を求めることで、新しく受信した信号の値を求めることができる。このとき、受信値の差にはノイズが含まれるため、どちらの信号を受信したのかははっきりとはわからない。そこで、受信機は、どちらの信号であったのかの確率(推定尤度)を計算する(ステップS1225)。送信信号をx、受信値の差をyとすると、この確率は条件付き確率P(x|y)で現すことができる。ただし、P(x|y)は求めづらいため、受信機は、ベイズの法則を用いてP(x|y)∝P(y|x)P(x)の右辺の値を用いて計算を行う。
全ての受信値に対してこの計算を行うことが考えられる。受信値の数がN個のとき、畳み込み状態の遷移のパターンは2のN乗とおり存在し、NP困難であるが、ビタビアルゴリズムを用いて計算することで、効率的に計算することができる。
図319の状態遷移経路のうちのほとんどは、送信フォーマットに適合しない経路となっている。そのため、状態遷移を行うたびにフォーマットチェックを行い、送信フォーマットに適合しない経路である場合は、その経路である尤度を0とすることで、正しい受信信号を推定できる精度を向上させることができる。
受信機は、送受信オフセットに所定の値を加え(ステップS1226)、ステップS1222からの処理を繰り返し実行する。また、受信機は、ステップS1222で、送信周期未満でないと判定すると(ステップS1222のN)、各送受信オフセットに対して計算された受信信号の尤度のうち最も高い尤度を特定する。そして、受信機は、その最も高い尤度が所定の値以上か否かを判定する(ステップS1227)。所定の値以上と判定すると(ステップS1227のY)、受信機は、最も尤度が高かった受信信号を最終的な推定結果として用いる。または、受信機は、最も高かった尤度から所定の値を引いた値以上の尤度を持つ受信信号を受信信号候補として用いる(ステップS1228)。一方、ステップS1227において、最も高い尤度が所定の値未満と判定すると(ステップS1227のN)、受信機は、推定結果を破棄する(ステップS1229)。
ノイズが多すぎる場合には受信信号の推定が適切にできないことが多く、同時に尤度が低くなる。したがって、尤度が低い場合には推定結果を破棄することで、受信信号の信頼性を向上させることができる。また、入力画像に有効な信号が含まれていない場合でも、最尤復号では有効な信号を推定結果として出力してしまうという問題がある。しかし、この場合も尤度が低くなるため、尤度が低い場合は推定結果を破棄することで、この問題を回避することもできる。
(実施の形態16)
[1 はじめに]
従来の可視光通信方式には、受光デバイスとして汎用のイメージセンサを用いる方式と、フォトセンサまたは特殊な高速イメージセンサを用いる方式がある。前者の方式には、例えば、カシオ計算機株式会社の「ピカピカメラ(登録商標)」がある。多くの汎用イメージセンサの撮像フレームレートは30fpsが上限であるため、送信する光源の輝度変化はこれ以下の周波数である必要がある。このような遅い周波数の輝度変化は人間の目にも見えてしまうため、照明を送信機にすることはできず、専用の送信機を用いる必要がある。後者の方式には、IEEE802.15.7や、CP1223がある。これらの方式で用いられる変調周波数は9.6kHz以上と高く、人間の目には一様に点灯しているように見えるため、照明を送信機として用いることが可能である。しかし、専用の受信デバイスが必要であるため、スマートフォンで受信することができないという点が、普及の妨げとなっている。
我々は、今日のスマートフォンに搭載されている汎用のイメージセンサを受信デバイスとして用い、人間の目に映らない速さで変調された信号を受信可能な方式を開発した。CMOS型イメージセンサは、CCD型イメージセンサと比べ、高速応答性、高集積、低消費電力、低電圧駆動といった面で優れており、ほぼすべてのスマートフォンやデジタルカメラに採用されている。CMOS型イメージセンサの撮像方式は、画像の1ライン毎に順々に露光していくラインスキャン方式であり、移動物体を撮像した際に画像に歪みを生じさせる原因として知られている。我々は、このラインスキャン方式の特性を利用し、露光時間を適切に設定することで、従来の1000倍である30kHz以上の頻度でサンプリングを行う方法(Line Scan Sampling,LSS)を開発した。また、この方式に適した変調方式を考案して照明やディスプレイに実装した。市販されているスマートフォンにLSSによる受信方式を実装し、10kHz以上で変調された信号が受信可能であることを確認した。
[2 ラインスキャンサンプリング]
CMOSイメージセンサは、以下の手順で、受光した光を画素値に変換し、1次元のデータとして読み出される。
1. 画素内のフォトダイオードが露光されることで、露光量に応じた電荷が生じ、この電荷は増幅器で電圧に変換される。
2. 電圧は行選択スイッチによって垂直信号線に送られる。ここで、固定パターンノイズが取り除かれ、一時的に保存される。
3. 列選択スイッチによって水平信号線に順に送られ、1次元のデータとして読み出される。
今日スマートフォンやデジタルカメラに用いられているイメージセンサは高度に微細化されており、各画素はメモリを搭載していない。そのため、1での露光はすべての画素で同時に行われるのではなく、行ごとに順々に行われる2のタイミングに合わせ、順々にて行われる。すなわち、露光の開始・終了は、行ごとに少しずつ異なるタイミングで行われるため、CMOSイメージセンサで撮像した画像は、行ごとに異なる時刻の像を写している。この仕組を利用することで、撮像フレーム毎のサンプリングよりもはるかに高速に送信機の輝度の変化をサンプリングすることができる。同時に露光する画素のラインを、露光ラインと呼ぶ。
図320は、10kHzの変調周波数で変調された信号を、露光時間を1/100、1/1,000、1/10,000と変えて撮像した図である。撮像画像の画素値は、露光時間内の撮像対象の輝度の積分値に、レンズの明るさや感度設定値によって定まる値を乗じた値として得られる。通常、室内で撮影を行う場合は、1/30〜1/200程度の露光時間が用いられる。露光時間Teが変調周期Tsと比べて十分長い場合は、最も明るい期間をとらえた露光ラインと最も暗い期間をとらえた露光ラインとの輝度の差は、Ts/Teと近似することができる。Te=1/100秒、Ts=1/10,000秒(10kHz)のとき、画素値の差はわずか1%になる。そのため、通常の条件で撮影された写真ではこの点滅は認識されない。しかし、図320の(c)のように、露光時間を短くすると点滅の様子が露光ラインの画素値としてはっきりと現れる。露光時間を短くすることで、高い周波数の輝度変化を捉えることができる。
CMOSイメージセンサの全てのフォトダイオードが撮像に直接用いられるわけではない。オプティカルブラック部分は遮光されており、有効画素の出力電位からこの部分の出力電位を減算することで、熱雑音による暗電流をキャンセルするという働きをする。また、設計上の都合で存在する無効部分も存在する。また、有効画素は4:3に近い縦横比で構成されることが多いが、撮像画像の大きさを16:9に設定した場合は、有効画素部分の上下が切り取られるため、結果的に無効部分と同様の扱いになる。イメージセンサは、有効画素だけではなく、オプティカルブラック、無効部分も含めて行ごとに順次読み出しを行うため、画像のボトムラインを撮像してから次の画像のトップラインを撮像するまでの間には、オプティカルブラックと無効部分を露光する時間分の時間差が存在する。この時間をブランキングタイムと呼ぶ。
LSSで光源の輝度変化をサンプルできる時間は、光源が撮像されているExposure lineが露光している時間だけである。この様子を図321に示す。また、仮に光源が画面いっぱいに写されていたとしても、前述のブランキングタイムが存在するため、サンプルは非連続となる。そのため、信号受信は非連続となることを前提に、LSSに適したプロトコルで信号送信を行う必要がある。なお、今日のスマートフォンにはこのような機能はないが、図322に示すように、光源位置を特定してその部分のみを撮像するように設定することができれば、連続受信が可能となり、通信効率を飛躍的に増加させることが出来る。
サンプリング周波数撮像周波数を30fps、画像の縦サイズを1080ピクセルとすると、LSSによるサンプル回数は毎秒30×1,080=32,400回となるが、ブランキングタイムによりサンプルができない期間が存在するため、サンプリング周波数はこれより速くなる。ブランキングタイムは、機種ごとの設定や、フレームレートや画像解像度等の撮像条件によって異なるが、概ね1〜10ミリ秒の間であるため、サンプリング周波数は、約33〜46kHzとなる。
[3 送信機の条件]
照明光を可視光通信の光源として利用するためには、信号表現のための輝度変化が人間に知覚できないレベルである必要がある。そのためには、送信する信号にかかわらず平均輝度(実効輝度)が一定である必要がある。また、輝度変化の周波数が十分高速であるか、変化の割合が十分少ない必要がある。人間の知覚限界周波数はCritical Flicker Frequency(CFF)と呼ばれ、条件によって違いはあるものの、60Hz程度であるとされている。ただし、これは周期的な点滅における限界であり、信号表現のための不規則変化においては、より高い変調周波数が必要になる。また、カメラやビデオカメラで撮像した際にも、輝度変化による影響が出てはならない。前述の通り、通常の撮影で用いられる範囲の露光時間設定では、輝度変化による影響は小さく、静止画では問題にならない。しかし、動画撮影の場合は、CFFよりも高い周波数の輝度変化であっても、走査線のような影が知覚されることがある。これは、動画撮影のフレーム周波数と信号周波数のズレのエイリアスが原因であり、この影響を取り除くためには、CFFよりかなり高い周波数を用いるか、変化の割合を少なくする必要がある。
照明の調光には、光源に流す電流量による制御(電流制御)と、発光している時間の長短による制御(PWM制御)がある。信号表現のために輝度の変化を利用するため、PWM制御は用いることができない。しかし、ディスプレイのバックライト等、従来PWM制御を行っていたものを電流制御に変更するためには大幅な回路変更が必要となり、可視光通信の導入への障壁となってしまう。そのため、変調方式として、平均輝度を調整できる機能が含んでいることが望ましい。
照明本来の機能として、輝度が高いほうが望ましい。光源となるLEDの個数や耐圧は最高輝度によって決定されるため、最高輝度に対する実効輝度の割合(実効輝度レート、Effective Luminance Rate(ELR))が高くなる変調方式が望ましい。
ディスプレイのバックライトの輝度を制御することで、ディスプレイから信号を送信することができる。ただし、照明を送信機とする場合に比べ、以下の点に注意する必要がある。光源の輝度が低いため、SN比が低い。スクリーンの絵がノイズとなる、また、絵が暗い場合はSN比がさらに低下する動画の解像感の向上のため、液晶の透過率を変更している間はバックライトをオフにする必要がある。画面のリフレッシュレートは、グレードの高い製品ほど高く、現在の製品では最高240Hzである。この場合、1/240秒単位で断続的に信号は送信される。
[4 LSSに適した変調方式]
LSSの最も大きな特徴は、受信が非連続であることである。非連続受信に対応した変調方法には、small symbol方式とlarge symbol方式がある。
[4.1 Large symbol方式]
Large symbol方式では、シンボルの送信時間が画像撮像周期よりも長い、一様なシンボルを用いる。なお、一様なシンボルとは、周波数変調シンボルのように、シンボルのどの部分でも一部を受信すれば信号を復号可能なシンボルを指す。受信機は、一枚の画像あたり一つのシンボルを受信し、複数の画像から受信したシンボルを連結することで、通信データを復元する。1画像あたり1シンボルを受信する方法は、従来のイメージセンサ受信方式と類似しているが、この方式は、1シンボルあたりの情報量がはるかに多いことと、人間には光源の点滅が視認できない点に違いが有る。受信データを受信した順に繋げることで通信データを復元するとすることも可能であるが、例えば、受信機の処理負荷等の影響で撮像フレームの処理がドロップした場合には正常に復元することができず、信頼性に欠ける。信号の一部をアドレスの表現に用いることで、上記のような場合でも正常にデータを受信することが出来る。
周波数変調による符号化信号は、信号が一様であり、また、シンボルあたりの情報量が多く、Large symbol方式の符号として適している。オンオフ制御による周波数変調の例を図323の(b)に示す。単純な周波数変調では、実効輝度レートは50%であるが、1周期の時間を固定し、輝度が高い時間を多くとることで、実効輝度レートを上げることができる。図323の(b)および(c)は、同一周波数で異なるELRの信号を周波数解析した例であり、基本周波数から信号の表す周波数を認識できることがわかる。
LSSによる信号のサンプリングは、露光期間中の輝度の平均値となるため、露光時間の長さの移動平均フィルタがかかることになる。このフィルタの周波数特性を図324に示す。そのため、受信機の露光時間は一定に保つ必要画あり、かつ、ここで遮断される周波数は使用できないことに注意する必要がある。
[4.2 Small symbol方式]
Small symbol方式では、受信機は、一連の受信時間の間に複数のシンボルを受信し、複数の画像フレームで受信した部分をつなぎ合わせることで、通信データを復元する。送信信号の繰り返し周期が一定であれば、撮像フレームレートから非受信期間の時間の長さを計算して、受信部分を連結することもできるが、今日のスマートフォンの多くは、プロセッサの処理負荷や温度によって撮像フレームレートが変動させるという制御を行っているため、この方法は信頼性が低い。そこで、通信データを複数のパケットに分割し、パケットの境界を示すヘッダとパケット番号を示すアドレスを付加することで、非受信期間の長短に関わらず、受信したデータをつなぎ合わせることができる。また、前者の方法では、受信周期(撮像フレームレート)と送信周期の比が小さな整数で表される場合には、通信データの同じ部分しか受信できないという状況が発生するが、後者の方法では、パケットの送信順序をランダムにすることで、この問題を解決することができる。
パルス位置変調や周波数変調はシンボル送信時間が短く、ELRを高くできるため、Small symbol方式に適している。
パルス位置変調の中で輝度を一定に保つ符号化方式には、マンチェスタ符号とfour
pulse−position modu−lation(4PPM)符号がある(図325および図326)。いずれも符号化効率は50%であるが、実効輝度レートはマンチェスタ符号が50%、4PPM符号が75%であり、4PPM符号が優れている。図325は、4PPM符号をベースとし、輝度調整に対応した符号化方式(variable
4PPM,V4PPM)である。この符号化方式により、実効輝度レートを25%から75%まで連続的に変化させることができる。また、信号の立ち上がり位置は輝度に関わらず一定であるため、受信側は、輝度設定値を意識せずに受信することが可能であるという特徴がある。マンチェスタ符号をベースにした輝度調整対応符号化方式として、variable PPM(VPPM)方式があるが、VPPM方式で実効輝度レートを25%〜75%で変更可能とした場合、認識可能な最短パルス幅を基準に考えると、図327に示す通り、シンボル長の25%のパルス幅が4PPMの1パルスの幅と同じ幅になる。このとき、V4PPMの符号化効率はVPPMの2倍となり、V4PPMが優れているといえる。
離散コサイン変換などの周波数解析を行うことで、周波数変調されたシンボルを受信することができる。この方法は長い露光時間でも受信できるという利点がある。ただし、シンボルの順序の情報は失われるため、高調波を考慮した利用できる周波数の組み合わせは限られている。以下の実験では、Small symbol方式のシンボル変調方式としてV4PPMを用いる。
[4.3 性能評価]
二つの変調方式の性能評価を行う。スマートフォンP−03Eを受信機、液晶テレビTH−L47DT5を送信機とする。液晶の書換え時にはバックライトがオフにされる。液晶の書換え周波数は240Hzであり、スタンダードモードでは75%の期間バックライトが点灯するため、連続して信号を送信する時間は1,000,000/240×0.75=3,125マイクロ秒となる。露光時間を1/10,000とし、ディスプリのスクリーンに50%グレーの画面を表示し、1kHzのオンオフ信号を送信した場合に、上記の送信機と受信機で計測したシグナルノイズパワーを図328の(a)に示す。以下の実験は、このSN比を模したシミュレーション信号(図328の(b))を用いて行った。また、受信信号は、露光ラインに水平な方向に256ピクセルの画素値を平均した値を用いた。以下の結果は、各条件における1,000回の試行の結果である。
Large symbol方式のシンボルとして、単一周波数のシンボルを用いる。実効輝度レートは50%に近いほど受信誤りが低くなるが、Small symbol方式の実験で用いるELRと同じ75%とする。受信信号は、露光ラインに垂直な方向の画素値の離散コサイン変換によって計算する。受信誤差(送信信号周波数と受信信号周波数の差)を図329Aに示す。受信誤差は9kHzのあたりで急激に大きくなった。これは、図324に示したLSSの移動平均フィルタにより、信号パワーが小さくなり、ノイズに埋もれてしまうためである。低い周波数領域で受信誤差が大きくなっているのは、送信期間中に少ない周期の信号しか送れないためである。各周波数マージンにおける受信エラー率を図329B〜図329Fに示す。例えば、許容エラー率を5%とすると、1.6kHzから8kHzまでの範囲の周波数を50Hzステップで値を割り当てることができるため、(8,000−1,600)/50=128=7ビットの情報を表現することができる。例えば、2bitをアドレス、5bitをデータとすると、20bitの情報を表現することができる。最速で4フレームの画像から通信データを復号できるため、30fpsで撮像した場合の実効通信速度は150bpsになる。実際の用途では、受信エラーを検出するため、エラーチェックコードを含める必要がある。
Small symbol方式のシンボルとして、V4PPMを用いた。各シンボルレートにおける受信成功率を図330に示す。ただし、この受信成功率は、1パケット中の全てのシンボルを正しく受信できた割合を示す。また、ここでいう変調周波数とは、1秒間に含まれる輝度変化の時間スロット数を示す。すなわち、10kHzの変調周波数では、2,500のV4PPMシンボルを含む。許容エラー率を5%とすると、変調周波数は10kHzとすることができる。連続送信期間全体を1パケットとすると、送信期間の最初がオン状態(輝度が高い状態)であればその境界が判断できるため、パケットの境界を示すヘッダは1スロットで示すことができる。そのため、1パケットには、以下の(式1)に示す数のV4PPMシンボルを含む。
すなわち、14ビットの情報を含む。2ビットをアドレス、12ビットをデータに割り当てると、48ビットの情報を表現することができる。撮像画像中の送信機が十分大きければ複数のパケットを受信できるため、全てのパケットが1画像から受信できた場合に実効通信速度は最大になり、30fpsで撮像する場合は1,440bpsとなる。
Small symbol方式のほうが表現できるビット数が大きいため、こちらを実装し、動作確認を行った。パケットの構成は前述の例の通りで、合成した48ビットのデータ中に4ビットのCRCコードを含めた。また、同じアドレスで異なるデータのパケットを受信した場合には、同じデータのパケットを受信した回数が多いデータを採用した。また、同じデータのパケットが同数の場合は、いずれかのデータが単独で最大数となるまで受信を続けた。CRCによるエラー検出がされた場合には、受信された全てのパケットを破棄するとした。送受信機間の距離は4mとした。この距離では、1画像内に少なくとも一つのパケットの画像が含まれる。200回の試行において、平均受信時間が351ミリ秒であり、CRCエラーチェック後に残るエラーは発生しなかった。N種類のパケットを収集するために必要となるパケット受信回数の期待値は、以下の(式2)によって計算できる。
したがって、N=4のとき、期待値は8.33となる。そのため、受信がエラーがなく、1画像から1パケットの受信がなされるときの期待受信時間は8,33×33=275ミリ秒となる。平均受信時間がこれより遅いのは、受信エラーのため複数のパケットの受信が必要になったためであり、パケット中にエラー検出コードを含める等の対策により受信エラーを減らすことで、受信時間を向上させることができる。
[5 結論]
可視光通信とは、人間の目に見える可視光帯域の電磁波を用いた無線通信の一種である。照明が通信インフラになるという社会応用面から注目を帯びている。特徴として、電波法の認証が不要、生体に影響がなく安全、電磁波で他の機器に影響を与えない、発信源・通信経路が目に見えるため通信範囲が一目でわかる、不正な通信を防ぎやすい、遮蔽が容易、指向性が高く特定の相手とだけ通信できる、通信のエネルギーを照明と共用できる。また、WiFi等に代表される従来の無線通信と同様の双方向通信としての利用に加え、片方向通信を用いた標識としての利用方法が考えられている。例えば、天井照明から位置情報を発信することで、GPSが届かない屋内で位置を特定するといった応用が期待されている。
本稿では、CMOS型イメージセンサのラインスキャン特性を利用した高速サンプリングを提案し、現行のスマートフォンで10kHzの変調周波数で変調された信号を受信可能であることを確認した。
照明を送信機とした可視光信号をスマートフォンで受信できることで、様々な応用が考えられる。例えば、天井照明から位置情報を発信し、GPSが届かない屋内で位置を特定するといった応用が期待できる。また、看板を送信機とし、スマートフォンでクーポンを取得したり、空席情報を確認するといった応用が考えられる。
本稿で提案した可視光通信方式は、照度センサ受信方式と比べ、スマートフォンを受信機とできることに加え、以下の様な優位性を持つ。受光する光を空間的に分離可能であるため、複数の送信機が近くに存在する場合でも、混信することなく、個別に信号を受信することができる。また、受光方向が特定できるため、光源との相対位置を計算することができる。すなわち、受信信号によって光源の絶対位置を取得することで、受信機の絶対位置を数cmの精度で求めることができる。また、ディスプレイや看板を送信機とした通信を行うことができる。ディスプレイや看板は照明に比べて輝度・照度が低いため、フォトセンサで受信することは難しいが、イメージセンサ受信方式では、環境照度にかかわらず信号を受信することができる。また、ディスプレイは画面の動きがノイズ源となるが、イメージセンサ受信方式では、ノイズの少ない平坦な部分を選んでその部分から信号を受信することができる。
今後は、受信アルゴリズムを改良し、さらなる通信性能向上について検討する予定である。また、本可視光通信方式の応用例を検討し、産業利用面での利用について実証していく予定である。
(実施の形態17)
本実施の形態では、上記各実施の形態における送信機として構成されるシステムであって、映像を表示するとともに可視光信号を送信する表示システムについて説明する。
図331は、本実施の形態における表示システムの構成を示すブロック図である。
本実施の形態における表示システムは、映像信号を生成して送出する映像信号送出器1250と、映像を表示するとともに可視光信号を送信する映像表示器1270とを備える。
映像信号送出器1250は、映像信号生成部1251と、可視光信号生成部1252と、可視光同期信号生成部1253と、映像規格信号送出部1254とを備えている。
映像信号生成部1251は、映像信号を生成して映像規格信号送出部1254に出力する。可視光信号生成部1252は、可視光信号を電気信号として生成して映像規格信号送出部1254に出力する。可視光同期信号生成部1253は、可視光同期信号を生成して映像規格信号送出部1254に出力する。
映像規格信号送出部1254は、上述のように生成された映像信号、可視光信号、および可視光同期信号を、映像規格伝送路群1260を介して映像表示器1270に出力する。
映像表示器1270は、映像規格信号受信部1271と、映像表示部1272と、可視光信号発信部1273とを備えている。
映像規格信号受信部1271は、映像規格信号送出部1254から映像規格伝送路群1260を介して、映像信号、可視光信号および可視光同期信号を受信する。そして、映像規格信号受信部1271は、その映像信号を映像表示部1272に出力し、可視光信号および可視光同期信号を可視光信号発信部1273に出力する。
映像表示部1272は、例えば液晶ディスプレイ、有機ELディスプレイ、またはプラズマディスプレイなどを備え、映像規格信号受信部1271から映像信号を受信すると、その映像信号に応じた映像を表示する。また、映像表示器1270がプロジェクタなどである場合には、映像表示部1272は、光源および光学系を備えた投光機構からなり、映像規格信号受信部1271から映像信号を受信すると、その映像信号に応じた映像をスクリーンに投射する。
可視光信号発信部1273は、映像規格信号受信部1271から可視光信号および可視光同期信号を取得する。また、可視光信号発信部1273は、可視光同期信号を受信すると、その受信したタイミングで、既に取得されている可視光信号に応じた明滅を映像表示部1272に開始させる。これにより、映像表示部1272は、映像を表示するとともに、輝度変化することによって可視光信号を光の信号として送信する。なお、可視光信号発信部1273は、LEDなどの光源を備えて、その光源を輝度変化させてもよい。
図332は、映像規格信号送出部1254と映像規格信号受信部1271との間の送受信形態を示す図である。
映像規格信号送出部1254は、映像規格伝送路群1260に含まれる複数の映像規格伝送路を使って、映像信号、可視光信号および可視光同期信号を、映像規格信号受信部1271に送出する。
映像規格信号受信部1271は、映像信号、可視光信号および可視光同期信号を受信すると、映像信号および可視光信号の解釈よりも優先して、可視光同期信号を可視光信号発信部1273に出力する。これにより、映像信号および可視光信号の解釈によって可視光同期信号の出力が遅延してしまうことを抑えることができる。
図333は、映像規格信号送出部1254と映像規格信号受信部1271との間の具体的な送受信形態の一例を示す図である。
映像規格信号送出部1254は、映像規格伝送路群1260に含まれる複数の映像規格伝送路を使って、映像信号、可視光信号および可視光同期信号を、映像規格信号受信部1271に送出する。このとき、映像規格信号送出部1254は、映像規格伝送路群1260に含まれる複数の映像規格伝送路のうち、映像規格で利用されている映像規格伝送路を介して映像信号および可視光信号を映像規格信号受信部1271に送出する。また、映像規格信号送出部1254は、映像規格伝送路群1260に含まれる複数の映像規格伝送路のうち、映像規格で利用されていない映像規格伝送路を介して可視光同期信号を映像規格信号受信部1271に送出する。
図334は、映像規格信号送出部1254と映像規格信号受信部1271との間の具体的な送受信形態の他の例を示す図である。
映像規格信号送出部1254は、上述と同様に、映像規格で利用されている映像規格伝送路を介して映像信号および可視光信号を映像規格信号受信部1271に送出する。一方、可視光同期信号については、映像規格信号送出部1254は、将来拡張用の映像規格伝送路を介してその可視光同期信号を映像規格信号受信部1271に送出してもよい。なお、将来拡張用の映像規格伝送路は、規格上将来拡張用に備えられている映像規格伝送路である。
図335は、映像規格信号送出部1254と映像規格信号受信部1271との間の具体的な送受信形態の他の例を示す図である。
映像規格信号送出部1254は、上述と同様に、映像規格で利用されている映像規格伝送路を介して映像信号および可視光信号を映像規格信号受信部1271に送出する。一方、可視光同期信号については、映像規格信号送出部1254は、映像表示器1270に消費される電力の送出に用いられている映像規格伝送路(以下、電力送出用伝送路という)を介してその可視光同期信号を映像規格信号受信部1271に送出してもよい。これにより、可視光同期信号は電力とともに送出される。つまり、映像規格信号送出部1254は、可視光同期信号を電力に重畳させて送出する。
図336Aおよび図336Bは、電力送出用伝送路において送出される電力を示す図である。
電力送出用伝送路を介して可視光同期信号が送出されていない場合には、図336Aに示すように、その電力送出用伝送路には、映像規格で定められた電圧が継続して印加される。一方、電力送出用伝送路を介して可視光同期信号が送出される場合には、図336Bに示すように、その電力送出用伝送路には、映像規格で定められた電圧に可視光同期信号の電圧が重畳される。この場合、可視光同期信号の最大電圧が、映像規格伝送路の定格電圧上限以下となり、可視光同期信号の最小電圧が、映像規格伝送路の定格電圧下限以上となるように、可視光同期信号が電力に重畳される。また、この場合には、可視光同期信号が重畳されている期間における電圧の平均値が、映像規格で定められている電圧と同等となるように、可視光同期信号が電力に重畳される。
図337は、映像規格信号送出部1254と映像規格信号受信部1271との間の具体的な送受信形態の他の例を示す図である。
映像規格信号送出部1254は、上述と同様に、映像規格で利用されている映像規格伝送路を介して映像信号および可視光信号を映像規格信号受信部1271に送出する。一方、可視光同期信号については、映像規格信号送出部1254は、映像規格で垂直同期信号の送出に利用されている映像規格伝送路を介してその可視光同期信号を映像規格信号受信部1271に送出してもよい。垂直同期信号は、映像の垂直方向の同期をとるための信号である。映像規格信号送出部1254は、垂直同期信号として可視光同期信号を送出する。
図338は、映像規格信号送出部1254と映像規格信号受信部1271との間の具体的な送受信形態の他の例を示す図である。
映像規格信号送出部1254は、上述と同様に、映像規格で利用されている映像規格伝送路を介して映像信号および可視光信号を映像規格信号受信部1271に送出する。一方、可視光同期信号については、映像規格信号送出部1254は、映像規格で映像信号、制御信号および垂直同期信号の送出に利用されている映像規格伝送路(以下、混合伝送路という)を介してその可視光同期信号を映像規格信号受信部1271に送出してもよい。映像規格信号送出部1254は、垂直同期信号として可視光同期信号を送出する。
この場合、映像規格信号受信部1271は、その混合伝送路を介して送出されて受信された信号から、映像信号および制御信号の解釈よりも優先して、可視光同期信号を抽出して、その可視光同期信号を可視光信号発信部1273に出力する。
このように本実施の形態では、映像信号および可視光信号の解釈よりも優先して、可視光同期信号の抽出が行われるため、映像信号および可視光信号の解釈によって可視光同期信号の出力が遅延してしまうことを抑えることができる。
(実施の形態18)
本開示は、可視光通信信号を出力可能な表示装置およびその制御方法に関する。
例えば特開2007−43706号公報および特開2009−212768号公報は、可視光を用いた通信技術を開示する。特開2007−43706号公報および2特開2009−212768号公報では、ディスプレイ、プロジェクターなどを含めた映像表示装置において、通常の映像表示の中に可視光による通信情報を重畳して表示を行う通信技術が開示されている。
本開示は、表示画像の画質を大きく劣化させることなく可視光通信信号を出力すること、かつ、出力した可視光通信信号の受信ミスを低減することができる表示装置およびその制御方法を提供する。
本開示にかかる表示装置は、可視光通信信号を出力可能な表示装置であって、映像を表示する表示面を有する表示パネルと、映像信号に基づいて前記表示パネルの表示面に映像を表示するよう前記表示パネルを制御する表示制御部と、前記表示パネルの前記表示面を背面から照明する発光面を有するバックライトと、前記可視光通信信号を前記映像信号に基づいて生成されたバックライト制御信号に重畳する信号処理部と、前記バックライトの発光面を複数の領域に分割し、前記信号処理部により出力されたバックライト制御信号に従って、前記複数の領域それぞれにおいて発光の制御を行い、かつ、前記複数の領域それぞれにおいて異なるタイミングで消灯の制御を行う期間を設けるバックライト制御部とを備え、前記信号処理部は、前記可視光通信信号を前記バックライト制御信号に重畳する際に、前記バックライト制御信号のうち前記バックライトの消灯を示す信号に対しては、前記可視光通信信号を重畳しない。
本開示における表示装置は、表示画像の画質を大きく劣化させることなく可視光通信信号を出力すること、かつ、出力した可視光通信信号の受信ミスを低減することができる。
[本開示の基礎となった知見]
近年の表示装置、特に液晶ディスプレイ、及び、液晶を用いたプロジェクターなどの分野においては、画質改善のためにバックライトスキャンと呼ばれる技術が採用されている。ここで、バックライトスキャンとは、液晶の反応速度の遅さと、ホールド型による動画ボケを改善するバックライト制御方法であり、表示画面をいくつかの領域(バックライト領域)に分割し、その領域毎に定期的に順次点灯するようバックライトの発光を制御する。より具体的には、バックライトスキャンとは、バックライト消灯期間を設け、各バックライト領域において、周期的に行う消灯期間(ブランキング期間)のタイミングを異なるようにした制御方法である。一般的にブランキング期間のタイミングを液晶の走査タイミングに合うように制御されることが多い。
しかしながら、特開2007−43706号公報に開示されるように、可視光通信では、バックライトの点滅により可視光通信信号を重畳する方法をとる。そのため、バックライトの消灯時間中は可視光通信信号の送信ができず、また、この停止期間が信号の伝達ミスの要因となるため、バックライトスキャンをやめて画質を低下した状態で通信を行うしかなかった。
そこで、本開示は、表示画像の画質を大きく劣化させることなく可視光通信信号を出力すること、かつ、出力した可視光通信信号の受信ミスを低減することができる表示装置を提供する。
以下、適宜図面を参照しながら、実施の形態を詳細に説明する。但し、必要以上に詳細な説明は省略する場合がある。例えば、既によく知られた事項の詳細説明や実質的に同一の構成に対する重複説明を省略する場合がある。これは、以下の説明が不必要に冗長になるのを避け、当業者の理解を容易にするためである。
なお、出願人は、当業者が本開示を十分に理解するために添付図面および以下の説明を提供するのであって、これらによって請求の範囲に記載の主題を限定することを意図するものではない。
以下、図339〜図346を用いて、実施の形態18を説明する。
[1.構成]
図339は、実施の形態18にかかる可視光通信のシステムの一例を示す概略図である。
[1.1.可視光通信システムの構成]
図339に示す可視光通信システム1300は、表示装置1400と、スマートフォン1350とを備える。
表示装置1400は、例えばテレビであり、表示面1410に映像を表示することができる。また、表示装置1400は、この表示面1410には、可視光通信信号を重畳することもできる。
スマートフォン1350は、可視光通信信号を受信する電子機器の一例であり、表示装置1400から送信された可視光通信信号を受信することができる。これより、スマートフォン1350のユーザーは、表示装置1400に表示されている映像に関連する情報などを受け取ることができる。
なお、本実施形態では、表示装置1400は、テレビやディスプレイなど映像を表示するモニターを例に挙げて説明するが、それに限らない。表示装置1400は、プロジェクターのように映像を投影すること機器であってもよい。また、表示装置1400が出力した可視光通信信号を受信する電子機器としてスマートフォン1350を例に挙げているが、可視光通信信号を受信できる電子機器であればスマートフォンには限られない。例えば、電子機器は、JEITA−CP1222に準拠した受信装置であってもよい。また、この電子機器は、スマートフォンに限らず一般的な携帯端末であってもよい。また、電子機器は、可視光通信信号を受信し、受信した可視光通信信号をデコードすることで情報を得るとしてもよい。
また、可視光通信信号を伝達する情報伝達方式は、現在国際規格へ展開中のJEITA−CP−1223、或いは作成済みのIEEE−P802.15などの規格に準拠するとしてもよい。換言すると、電子機器は、これらの規格に対応した受信装置を用いて構成されるとしてもよい。
[1.2.表示装置の構成]
図340は、実施の形態18にかかる表示装置の概略構成の一例を示すブロック図である。
図340に示す表示装置1400は、可視光通信信号を出力可能な表示装置であって、第1の入力部1420と、第1の処理部1430と、第1の制御部1440と、表示パネル1450と、第2の入力部1460と、第2の処理部1470と、第2の制御部1480と、バックライト1490と、を有する。
第1の入力部1420は、表示パネル1450に表示される映像に関する映像信号が入力される。映像信号は、例えば放送電波、映像録画機同再生機またはPCなどから、例えばアンテナケーブル、映像信号線、コンポジットケーブル、HDMI(登録商標)ケーブル、PJLinkケーブルまたはLANケーブルなどを通じて第1の入力部1420に入力される。ここで、映像信号は、映像録画機または再生機などを用いて種々の記録媒体に保存されたものであってもよい。
第1の処理部1430は、第1の入力部1420より映像信号が入力される。第1の処理部1430は、映像信号に対して画質の処理などの一般的な画像処理を施す。第1の処理部1430は、画像処理を施した映像信号を、第1の制御部1440に送信する。また、第1の処理部1430は、サブフレームや映像信号の大きさ、表示タイミング、明るさなどを示す情報を第1の制御部1440および第2の処理部1470に送信する。
なお、第1の処理部1430は、映像信号に基づいて計算したデューティ比や各領域に対するバックライト制御信号(以下、B.L制御信号と記載する)を第2の処理部に出力するとしてもよい。
表示パネル1450は、例えば液晶パネルであり、映像を表示する表示面1410を有する。
第1の制御部1440は、表示制御部の一例であり、映像信号に基づいて表示パネル1450の表示面1410に映像を表示するよう表示パネル1450を制御する。本実施の形態では、第1の制御部1440は、第1の処理部1430から送信された映像信号に基づいて表示パネル1450に映像を表示するよう制御する。より具体的には、第1の制御部1440は、第1の処理部1430から送信された映像信号に基づいて表示パネル1450の液晶の開口制御等を行う。
第2の入力部1460は、可視光通信に用いられる信号(以下、可視光通信信号と称す)が入力され、入力された可視光通信信号を、第2の処理部1470に送信する。本実施の形態では、第2の入力部1460には、例えばPCなどで作成された可視光通信用信号が専用のケーブルまたはLANケーブルなどを通じて可視光通信信号が入力される。
なお、可視光通信用信号は、放送電波の一部に重畳されて、アンテナケーブルを通じて第2の入力部1460に入力されるとしてよい。また、映像録画機または再生機により種々の記録媒体に保存された可視光通信信号が第2の入力部1460に入力されるとしてよい。例えば、可視光通信信号を録画した映像録画機からHDMI(登録商標)ケーブルやPJLinkケーブル等の一部のラインに載せられて、第2の入力部1460に入力されるとしてもよい。また、別途PCなどで作成された可視光通信用信号が映像信号に重畳されて、映像録画機または再生機から第2の入力部1460に入力されるとしてもよい。
なお、第2の入力部1460は、外部から受信する以外にも、表示装置のIDなど、表示装置に内蔵された情報を利用し、インターネットなどを通じてサーバ情報を読み込むことで、可視光通信信号を取得するとしてもよい。
第2の処理部1470は、第2の入力部1460より入力された可視光通信信号を符号化して符号化信号の生成、映像信号および/または可視光通信信号に基づくデューティの計算などを行う。また、第2の処理部1470は、第1の処理部1430から入力されるB.L制御信号に符号化信号を重畳する。
本実施の形態では、符号化信号は、ある割合でON期間と、OFF期間が混在している信号であるとして説明する。また、符号化信号は、原則I−4PPM方式による符号化されているとして説明する。なお、符号化信号は、マンチェスター方式などにより符号化されるとしてもよい。また、変調された信号は、変調率100%のON/OFFとして記載しているが、それに限らない。変調率は100%でない、High/Lowの変調を用いた際には、以下の記載におけるON/OFFは、High/Lowなどのように読み替えて実施してもよい。可視光通信信号のデューティも、ON期間を信号送信期間全体で規格化した値として取り扱うだけでなく、(Highレベル×High期間+Lowレベル×Low期間)/(信号送信期間×Highレベル)と呼応して読み替えて実施してもよい。
より具体的には、第2の処理部1470は、信号処理部の一例であり、可視光通信信号を映像信号に基づいて生成されたバックライト制御信号に重畳する処理を行う。ただし、第2の処理部1470は、可視光通信信号をバックライト制御信号に重畳する際に、バックライト制御信号のうちバックライトの消灯を示す信号に対しては、可視光通信信号を重畳しない。なお、符号化された可視光通信信号(符号化信号)も可視光通信信号と記載する場合もある。
第2の制御部1480は、バックライト制御部の一例であり、バックライト1490の発光面を複数の領域に分割し、第2の処理部1470により出力されたバックライト制御信号(B.L制御信号)に従って、複数の領域それぞれにおいて発光の制御を行い、かつ、複数の領域それぞれにおいて異なるタイミングで消灯の制御を行う期間を設ける制御を行う。本実施の形態では、第2の制御部1480は、第2の処理部1470から送信されるバックライト制御信号(B.L制御信号)に基づいて、バックライト1490の輝度やタイミングを制御する。
バックライト1490は、表示パネル1450に対して背面側から光を照射する。より具体的には、バックライト1490は、表示パネル1450の表示面1410を背面から照明する発光面を有する。これにより、視聴者は、表示パネル1450に表示されている映像を視認することができる。
本実施の形態では、バックライト1490の発光面は複数の領域に分割されており、その領域毎に順次発光制御を行うことでバックライトスキャンを実現することができる。なお、バックライト1490の発光面の複数の領域は、表示面1410の複数の領域に対応する。
[2.表示装置の動作]
次に、以上のように構成された表示装置1400の動作について説明する。
表示装置1400では、バックライトで表示パネル1450の画面全体を順次走査しながら、映像信号の書き込みに合わせて順次消灯するバックライトスキャンを行う。
一般的に、液晶で構成される表示パネルでは、液晶の相変化の速度が遅く、異なる階調を表示するため映像信号を切り替えても、映像が切り替わるまでに時間がかかる。そのため、表示パネルのバックライトを走査しながら一時的に消灯することで、切り替わり中の映像が表示されることによる滲みなどの動画特性を改善するためにバックライトスキャンが行われる。一方、スイッチングのための走査速度は年々向上しており、通常の1秒間に60フレームの走査速度から1秒間に60フレームの2倍、4倍などの速い走査速度まで可能になっている。速い速度で走査する場合、通常のフレーム間のフレーム補完を行って画像を僅かずつ切り替えることで、滑らかな動画特性を得ることができる。
このため、バックライトを走査しながら消灯するバックライトスキャンは動画特性を向上させるためには非常に重要で、可視光通信信号もバックライトスキャンによる消灯時には、信号を出さない方が動画特性にはよい。
以上の理由から、表示装置1400では、バックライトスキャンによる消灯期間(以下、ブランキング期間と記載する)において、可視光通信信号を出力しない。
以下では、表示装置1400がバックライト制御信号(B.L制御信号)のブランキング期間に可視光通信信号を出力しない場合でも、例えばスマートフォン1350などの受信機側では、可視光通信信号を高い確率で受信できる方法(動作)について説明する。
(実施例1)
[2.1.1.第2の処理部の動作の一例]
図341Aは実施の形態18の実施例1にかかるB.L制御信号に、可視光通信信号を重畳する前の状態の一例を示す図であり、図341Bは実施の形態18の実施例1にかかるB.L制御信号に、可視光通信信号を重畳した状態の一例を示す図である。
図341Aおよび図341Bには、分割された表示面1410の表示領域である8つの領域A〜H毎に、バックライト1490の制御を行うため、各々対応するB.L制御信号A〜Hが入力されている例が示されている。ハッチング部分は符号化信号(可視光通信信号)が存在している領域を示している。
図341Aに示す符号化信号をB.L制御信号A〜Hにそれぞれ異なる位相で重畳し、受信機側で受信する範囲内に異なる位相の符号化信号が混在している場合には、受信機側でデコードするときにエラー(可視光通信信号の受信エラー)が発生してしまう。
そこで、本実施例では、図341Bに示すように、表示領域の一定の領域において、符号化信号(可視光通信信号)の位相を合わせて重畳する。
ここで、位相を合わせるという表現については、立ち上がりのタイミングを同期させるという一例を挙げて説明しているが、それに限らない。立ち上がり開始前の状態から立ち上がり完了の状態のどの時刻をもって立ち上がり時刻とするかを決定すれば、どこでもよい。また、制御信号電圧経路での遅延時間などが発生するため、タイミングが一致することのみが同期を取るという意味ではなく、一定の、あるいは一定の範囲内の遅延時間が存在する場合も、位相を合わせるという表現の中に含まれる。以下の実施の形態(実施の形態18〜23)中も同様である。
ここで、順次走査によりバックライトが順次領域毎に消灯されるので、消灯期間(ブランキング期間)を全く含まずに符号化信号を重畳することは困難である。そのため、本実施例では、分割された表示領域のうちの特定の領域(以下、基準領域と称する)において、消灯期間(ブランキング期間)の直後にタイミングを合わせて符号化信号を重畳する。なお、特定の領域(基準領域)以外の他の領域においても、基準領域の符号化信号と同位相にて符号化信号を重畳するが、バックライト消灯時である消灯期間(ブランキング期間)には符号化信号は重畳されない。
図341Bに示す例では、第2の処理部1470は、B.L制御信号Cが入力される領域Cを基準領域に設定し、図341Aに示すB.L制御信号Cの立ち上がりタイミングP1に符号化信号の先頭(立ち上がりタイミング)P2がくるように、符号化信号の重畳タイミングを調整した上で、符号化信号をB.L制御信号A〜Hに同位相で重畳する。そして、第2の処理部1470は、B.L制御信号A〜Hに符号化信号を重畳させる際、B.L制御信号のON期間には符号信号を重畳するが、OFF期間には重畳しない。
なお、基準領域は、上記の領域Cに限らない。以下、本実施例において設定可能な基準領域の例について説明する。例えば、基準領域は、分割された表示領域のうち最も明るい領域(ブランキング期間が短い領域あるいは、表示パネルの透過率が最も高い領域)に設定されるとしてもよい。
なお、最も明るい領域を基準領域に設定する場合でも、基準領域の位置をフレーム毎に変化させるときには、さらなる対策が必要である。フレーム毎に重畳される符号化信号の位置が変わってしまい、フレーム毎に極端に映像重心が変化し、ちらつきの原因になることが考えられるからである。または、重畳される符号化信号の期間が領域間で重なり合い、重なり合う符号化信号のうちの一方を途中で打ち切るもしくは最初の所定期間では重畳しないなどの対策を施さないと、受信側で受信エラーが発生することも考えられるからである。したがって、基準領域の位置をフレーム毎に変化させる場合には、少なくとも1フレームの期間、符号化信号を重畳させない期間を設けるとしてもよい。
また、明るい領域を基準領域に設定する場合には、フレーム毎での表示領域の明るさを基準に明るい領域を判断するのではなく、第1の処理部1430により映像信号に基づいて画像の明るさの中心の推移を基準に明るい領域を判断するとしてもよい。
また、場面の切り替わりが一定時間ないなどの表示領域全体の明るさに一定以上の変化がない場合には、一定時間の映像信号の平均に基づいて表示領域で最も明るい場所を含む領域を基準領域として設定するとしてもよい。なお、基準領域は、事前に決定しておいてもよい。
[2.1.2.効果等]
以上のように、本実施例において、表示装置は、可視光通信信号を出力可能な表示装置(1400)であって、映像を表示する表示面を有する表示パネル(1450)と、映像信号に基づいて前記表示パネルの表示面に映像を表示するよう前記表示パネルを制御する表示制御部(第1の制御部1440)と、前記表示パネル(1450)の前記表示面を背面から照明する発光面を有するバックライト(1490)と、前記可視光通信信号を前記映像信号に基づいて生成されたバックライト制御信号に重畳する信号処理部(第2の処理部1470)と、前記バックライト(1490)の発光面を複数の領域に分割し、前記信号処理部(第2の処理部1470)により出力されたバックライト制御信号に従って、前記複数の領域それぞれにおいて発光の制御を行い、かつ、前記複数の領域それぞれにおいて異なるタイミングで消灯の制御を行う期間を設けるバックライト制御部(第2の制御部1480)とを備え、前記信号処理部(第2の処理部1470)は、前記可視光通信信号を前記バックライト制御信号に重畳する際に、前記バックライト制御信号のうち前記バックライト(1490)の消灯を示す信号に対しては、前記符号化信号を重畳しない。
この構成により、表示画像の画質を大きく劣化させることなく可視光通信信号を出力すること、かつ、出力した可視光通信信号の受信ミスを低減することができる表示装置を提供することができる。
また、前記信号処理部(第2の処理部1470)は、前記複数の領域それぞれの前記バックライト制御信号に対して、前記可視光通信信号をそれぞれ重畳し、前記複数の領域それぞれに重畳される前記可視光通信信号は互いに同位相であるとしてもよい。
これにより、可視光通信信号の受信エラーを抑制することができる。
ここで、例えば、前記信号処理部は、前記複数の領域のうち所定の領域の前記バックライト制御信号を基準に、前記複数の領域それぞれに重畳される前記可視光通信信号の位相を合わせるとしてもよい。
これにより、ブランキング期間に重畳されない可視光通信信号の期間を最小にすることができる。
また、前記所定の領域は、前記複数の領域のうち最も明るい領域であるとしてもよいし、前記所定の領域は、前記複数の領域のうち前記表示面の端部に対応する領域であるとしてもよい。
これにより、可視光通信信号によるバックライトの消灯による輝度の低下の影響を抑制することができる。
(実施例2)
以下、ブランキング期間の時間長が、表示領域の各領域で同じとして説明する。
バックライト1490が消灯される時間の合計(総消灯期間)は、B.L制御信号のOFF期間であるブランキング期間と符号化信号のOFF期間とを足し合わせた期間となる。
そのため、基準領域においてブランキング期間終了直後に符号化信号を重畳し、かつ、このブランキング期間から次のブランキング期間までに符号化信号が完全に含まれるとしても、B.L制御信号に重畳された符号化信号のOFF期間分だけ、バックライト1490は消灯されている期間が増える。つまり、基準領域では、符号化信号が重畳された場合には、符号化信号が重畳される前より暗くなる。
一方、例えば基準領域以外の他の領域では、ブランキング期間に符号化信号は重畳されないため、ブランキング期間と重なり符号化信号が重畳されない符号化信号期間のうちOFF期間だけ、基準領域より、バックライト1490が消灯される時間が短くなる。つまり、例えば基準領域以外の他の領域では、符号化信号が重畳された場合に、基準領域より明るくなってしまうこともある。
これを改善するために、バックライト1490を点灯または消灯する調整期間を設ける二つの方法が考えられる。すなわち、第1の方法は、基準領域の総消灯期間が最も長くなるため、他の領域の総消灯期間を基準領域の総消灯期間に合わせる方法がある。第2の方法は、元々の映像信号に基づいて決められた総消灯期間に全ての領域の総消灯期間を合わせこむ方法がある。
[2.2.1.第1の方法による第2の処理部の動作の一例]
まず、図342および図343を用いて、第1の方法による第2の処理部1470の動作について説明する。
図342および図343は、実施の形態18の実施例2における第1の方法を説明するタイミングチャートである。図342の(a)には符号化信号が重畳される前の基準領域のB.L制御信号が示されており、図342の(b)には、符号化信号が重畳された後の基準領域のB.L制御信号が示されている。図343の(a)には符号化信号が重畳される前の他の領域のB.L制御信号が示されており、図343の(b)には、符号化信号が重畳された後の他の領域のB.L制御信号が示されている。
より具体的には、図342には、第2の処理部1470が、基準領域のB.L制御信号の立ち上がりタイミング(時刻t12)に符号化信号の先頭(立ち上がりタイミング)に調整した上で、符号化信号をB.L制御信号に重畳した例が示されている。図343には、第2の処理部1470が、基準領域に重畳した符号化信号と同位相の符号化信号を、他の領域のB.L制御信号に重畳した例が示されている。
つまり、図342および図343には、第2の処理部1470が、各領域のB.L制御信号に対して、基準領域のブランキング期間の終了と同時に、他の領域と同位相で符号化信号を重畳する場合の例が示されている。なお、各領域のブランキング期間は優先するのは、実施例1と同様であり、ブランキング期間には、符号化信号は重畳されない。
図342の(b)に示すように、基準領域においては、例えば時刻t11〜時刻t12の期間として示されるブランキング期間B1以外に、例えば時刻t12〜時刻t14の期間として示される符号化信号期間C1中における符号化信号のOFF期間を合計した符号化信号消灯期間T1が存在する。
従って、図342の(b)に示す基準領域において、例えば時刻t11〜時刻t13の期間として示される1フレーム内の符号化信号のOFF期間の合計(符号化信号消灯期間)は、符号化信号のデューティ(Duty)を用いると、符号化信号消灯期間T1=符号化信号期間C1×(1−Duty)と表すことができる。
図342の(b)に示すように、基準領域においては、符号化信号期間C1と、ブランキング期間B1とが重なり合う期間は基本的にないため、1フレームの総消灯期間T2=ブランキング期間B1+符号化信号消灯期間T1となる。つまり、他の領域と比較して基準領域の総消灯期間が最も長くなる。
一方、基準領域以外の他の領域においては、符号化信号期間とブランキング期間が重なり合う可能性がある。上述したように、ブランキング期間はB.L制御信号が符号化信号より優先されるため、符号化信号は重畳されない。
そのため、図343の(b)に示すように、基準領域以外の他の領域においては、例えば時刻t21〜時刻t24の期間として示される符号化信号期間C1のうち、時刻t22〜時刻t23の期間として示されるブランキング期間B2と重なり合った符号化信号期間C1の符号化信号のOFF期間分だけ、基準領域よりも総消灯期間が短くなる。
ここで、符号化信号期間C1中の符号化信号のOFF期間の合計(符号化信号消灯期間)は、符号化信号とブランキング期間の重なる期間をB2とすると、(符号化信号消灯期間)=(符号化信号期間C1−ブランキング期間B2)×(1−Duty)と表せる。
ところで、上述したように、画面(表示領域)の領域毎に総消灯期間が異なると、領域による輝度のばらつきが発生するので、画質が低下する。
そこで、第2の処理部1470は、バックライト1490を点灯または消灯する調整期間を設ける第1の方法により動作することで、画面内で各領域の総消灯期間を一致させる。
より具体的には、第2の処理部1470は、他の領域の総消灯期間を基準領域の総消灯期間に合わせる第1の方法に従って、他の領域において、基準領域の1フレームあたりの総消灯期間との差を調整する調整期間を設ける。なお、上述したように、本実施例では、前提として、各領域のブランキング期間の時間長が同じである。
ここで、図343の(b)において、時刻t24〜時刻t26の期間として示される調整期間A1は、ブランキング期間B2×(1−Duty)と表わせる。つまり、基準領域以外の各領域における調整期間は、基準領域を含む各領域のブランキング期間、符号化信号期間、および、符号化信号の位相により、算出することができる。図343の(b)では、調整期間が時刻t21〜時刻t25の期間として示される1フレームに配置された場合の一例が示されている。
このように、本実施例における表示装置1400は、第2の処理部1470に第1の方法により調整期間を設けさせる。それにより、表示装置1400は、符号化信号をB.L制御信号に重畳することで画面全体(表示領域)の明るさを一定量低下させてしまうものの、画質自体を大きく変化させずに符号化信号を出力することができる。
なお、第2の処理部1470は、調整期間を符号化信号期間の直後に設ける場合、表示パネル1450の液晶の相変化が大きいブランキング期間にできるだけ近い場所に安定的に配置できるため好ましいが、この場合に限らない。第2の処理部1470は、調整期間を、次の符号化信号が重畳される時刻までに設けるとしてもよい。
[2.2.2.第2の方法による第2の処理部の動作の一例]
次に、第2の方法による第2の処理部1470の動作について説明する。
総消灯期間を調整するためにバックライト1490を点灯または消灯する調整期間は、一般的には、例えば次のように定義することができる。すなわち、映像信号に基づいている元々のバックライト1490の消灯期間(ブランキング期間と黒映像期間)をT4、符号化信号期間のうちブランキング期間と重なっていない符号化信号期間における符号化信号のOFF期間の合計をT5、可視光通信信号を重畳した後のブランキング期間をT6とすると、調整期間は、T4−T5−T6と表せる。なお、前述したとおり、調整期間はブランキング期間にできるだけ近いところに設置するのが望ましい。
例えば、基準領域において、T5は、まず、符号化信号期間における符号化信号のOFF期間の合計を計算し、次に、ブランキング期間と重なっている符号化信号期間のOFF期間の合計を減算することで算出できる。
以下、図344A〜図345Dを用いて第2の方法よる第2の処理部1470の動作の具体例について説明する。
図344A〜図345Dは、実施の形態18の実施例2における第2の方法を説明するためのタイミングチャートである。
まず、図344A〜図344Dを用いて、符号化信号期間とブランキング期間とが重ならない場合に、第2の処理部1470が第2の方法により調整期間を設ける動作について説明する。
図344A〜図344Dにおいて、上段の(a)には符号化信号が重畳される前のB.L制御信号が示されており、下段の(b)から(e)には符号化信号が重畳されたB.L制御信号と第2の方法により調整されたB.L制御信号とが示されている。図において、ブランキング期間をB1、符号化信号期間をC1として示す。
第2の方法により符号化信号が重畳されたB.L制御信号を調整する方法は、調整期間と符号化信号期間とブランキング期間との和(時間和)と、調整期間の正負の関係とにより、図344A〜図344Dに示す4通りの場合に分けられる。以下、それぞれの場合について説明する。
[符号化信号期間とブランキング期間とが重ならない場合の調整方法(ケース1)]
図344Aには、調整期間が0以上で、(調整期間+符号化信号期間+ブランキング期間)が1フレームの長さ以下である場合の一例が示されている。
図344Aの(b)の上段に示すように、調整期間の一部をブランキング期間B1の終了時刻P2を起点として符号化信号期間C1の開始時刻P3までの期間に配置し、調整期間の残りを符号化信号期間後、望ましくは直後(時刻P5)に配置する。
第2の処理部1470は、図344Aの(b)の上段に示す調整期間を設けることにより、図344Aの(b)の下段に示すように、符号化信号が重畳されたB.L制御信号を調整する。
このようにして、第2の制御部1480は、調整後のB.L制御信号に従って、ブランキング期間B1後も符号化信号期間C1の開始前までバックライト1490を消灯し、さらに、符号化信号期間C1および、符号化信号期間C1終了後、調整期間からP2−P3間の期間を減じた期間まで消灯する。
なお、調整期間がP2−P3間の期間よりも短い場合には、P2−P3間のみに調整期間を設ければよい。またP2=P3である場合には、調整期間すべてを符号化信号期間C終了後に設けるとしてもよい。
[符号化信号期間とブランキング期間とが重ならない場合の調整方法(ケース2)]
図344Bには、調整期間が0以上で、(調整期間+符号化信号期間+ブランキング期間)が1フレームの長さより長い場合の一例が示されている。
図344Bの(c)の上段に示すように、調整期間の一部をブランキング期間B1の終了時刻P2を起点として符号化信号期間C1が始まる時刻P3までの期間に配置し、調整期間の残りを1フレームの終了時刻P4を起点にさかのぼって配置する。
第2の処理部1470は、図344Bの(c)の上段に示す調整期間を設けることにより、図344Bの(c)の下段に示すように、符号化信号が重畳されたB.L制御信号を調整する。
このようにして、第2の制御部1480は、調整後のB.L制御信号に従って、ブランキング期間B1後、符号化信号期間C1の開始時刻P3までバックライト1490を消灯すると共に、符号化信号期間C1の終了前の時刻P5から時刻P4までの期間も消灯する。つまり、調整期間の残りと、符号化信号期間C1と重なっている時刻P5から符号化信号期間C1の終了時刻P10には、符号化信号は送信されないように調整後のB.L制御信号には重畳されていない(もしくは信号がOFFにされている)。
なお、P2=P3(同時刻)である場合には、調整期間すべてを符号化信号期間後に設ける。
[符号化信号期間とブランキング期間とが重ならない場合の調整方法(ケース3)]
図344Cには、調整期間が0より小さく、(調整期間+符号化信号期間+ブランキング期間)が1フレームの長さ以下の場合の一例が示されている。ここで、0より小さい調整期間とは、バックライト1490を点灯する調整期間を意味する。
図344Cの(d)の上段に示すように、調整期間をブランキング期間B1の終了時刻P2を起点として、調整期間の絶対値に相当する時間分をさかのぼった期間(時刻P6〜時刻P2の期間)に配置する。
第2の処理部1470は、図344Cの(d)の上段に示す調整期間を設けることにより、図344Cの(d)の下段に示すように、符号化信号が重畳されたB.L制御信号を調整する。
このようにして、第2の制御部1480は、調整後のB.L制御信号に従って、ブランキング期間B1中の時刻P6から時刻P2までの期間にバックライト1490を点灯する。
なお、P2=P3である場合には、調整期間すべてを符号化信号期間C1後に配置すればよい。また、調整期間がブランキング期間より長い場合には、符号化信号のデューティ比を考え、不足分の点灯時間が確保できるまで符号化期間C1の終了時刻より遡って符号化信号を重畳せずに消灯期間とするとしても良い。
[符号化信号期間とブランキング期間とが重ならない場合の調整方法(ケース4)]
図344Dには、調整期間が0より小さく、(調整期間+符号化信号期間+ブランキング期間)が1フレームの長さより長い場合の一例が示されている。
図344Dの(e)の上段に示すように、調整期間をブランキング期間B1が終了する時刻P2を起点に、調整期間の絶対値に相当する時間分をさかのぼった期間(時刻P7〜時刻P2の期間)に配置する。これにより、ブランキング期間B1中の時刻P7から時刻P2までの期間のバックライト1490が点灯される。
なお、ブランキング期間と、符号化信号期間とが重ならないにも関わらず、しかも、調整期間が負であることを鑑みると、調整期間の絶対値が、ブランキング期間よりも長い場合も考えられる。この場合、調整期間のすべてをブランキング期間B1が終了する時刻P2を起点に配置すると、時刻P7は、時刻P1または時刻P1より先の時刻となり、ブランキング期間が存在しなくなる。ブランキング期間中すべて点灯するだけでなく、さらに、まだバックライト1490を点灯する(領域を明るくする)必要があるときには、調整期間のうちブランキング期間分を除いた残りの期間として、符号化信号期間の符号化信号のOFF期間を点灯させればよい。つまり、調整期間の残りの期間を時刻P9から遡った期間(時刻P8)までに配置し、符号化信号の重畳をやめて点灯を続ければよい。
ここで、時刻P8は、元々のブランキング期間B1が、符号化信号期間C1から時刻P8−P9間の期間を引いた間のOFF期間の合計に等しいことから決める必要がある。具体的には、ブランキング期間B1=(符号化信号期間C1−(時刻P9−時刻P8))×(1−Duty)の関係に基づいて、時刻P8を算出することができる。
これにより、第2の処理部1470は、第2の制御部1480がブランキング期間B1に加えて、時刻P8から以降、次のブランキング期間の開始までバックライト1490の点灯を続けるように、B.L制御信号を調整することができる。
なお、P2=P3である場合には、調整期間すべてを符号化信号期間C1後に配置するとすればよい。
次に、図345A〜図344Dを用いて、符号化信号期間とブランキング期間とが重なる場合に、第2の処理部1470が第2の方法により調整期間を設ける動作について説明する。
図345A〜図345Dにおいて、上段の(a)には符号化信号が重畳される前のB.L制御信号が示されており、下段の(b)から(e)には、符号化信号が重畳されたB.L制御信号と第2の方法により調整されたB.L制御信号とが示されている。図において、ブランキング期間をB1、符号化信号期間をC1、時刻Q1から時刻Q6を1フレーム期間として示す。
第2の方法により符号化信号が重畳されたB.L制御信号を調整する方法は、調整期間と符号化信号期間とブランキング期間の和と、調整期間の正負の関係とにより、図345A〜図345Dに示す4通りの方法に分けられる。以下、それぞれの場合について説明する。
[符号化信号期間とブランキング期間とが重なる場合の調整方法(ケース1)]
図345Aには、調整期間が0以上であり、(調整期間+符号化信号期間+ブランキング期間)が1フレームの長さ以下である場合の一例が示されている。
図7Aの(b)の上段に示すように、調整期間を符号化信号期間C1が終了する時刻Q4を起点として配置する。
第2の処理部1470は、図344Aの(b)の上段に示す調整期間を設けることにより、図345Aの(b)の下段に示すように、調整期間である時刻Q4から時刻Q5までの期間と、かつ、ブランキング期間B1と重なっている時刻Q2から時刻Q3の期間とにおいて符号化信号を重畳しないようにB.L制御信号を調整する。
このようにして、第2の制御部1480は、調整後のB.L制御信号に従って、ブランキング期間B1と重なっている時刻Q2から時刻Q3の期間とともに、時刻Q4から時刻Q5までの期間において、バックライト1490を消灯する。なお、時刻Q4から時刻Q5までの期間は、バックライト1490が消灯されるとともに、符号化信号の送信は行われない。
[符号化信号期間とブランキング期間とが重なる場合の調整方法(ケース2)]
図345Bには、調整期間が0以上で、(調整期間+符号化信号期間+ブランキング期間)が1フレームの長さ以上である場合の一例が示されている。
図345Bの(c)の上段に示すように、調整期間を次のフレームの符号化信号が開始する時刻Q6を起点に遡って、調整期間分である時刻Q8から時刻Q6までの期間に配置する。
第2の処理部1470は、図345Bの(c)の上段に示す調整期間を設けることにより、図345Bの(c)の下段に示すように、調整期間である時刻Q8から時刻Q6までの期間と、かつ、ブランキング期間B1と重なっている時刻Q2から時刻Q3の期間とにおいて符号化信号を重畳しないようにB.L制御信号を調整する。
このようにして、第2の制御部1480は、調整後のB.L制御信号に従って、ブランキング期間B1と重なっている時刻Q2から時刻Q3の期間とともに、時刻Q8から時刻Q6までの期間において、バックライト1490を消灯する。なお、時刻Q8から時刻Q6までの期間は、バックライト1490が消灯されるとともに、符号化信号の送信は行われない。
[符号化信号期間とブランキング期間とが重なる場合の調整方法(ケース3)]
図345Cには、調整期間が0より小さく、(調整期間+符号化信号期間+ブランキング期間)が1フレームの長さ以上である場合の一例が示されている。
図345Cの(d)の上段に示すように、調整期間をブランキング期間B1の終了時刻Q3で起点として、調整期間の絶対値に相当する時間分をさかのぼった期間に配置する。
第2の処理部1470は、図345Cの(d)の上段に示す調整期間を設けることにより、図345Cの(d)の下段に示すように、調整期間である時刻Q9から時刻Q3までの期間においてバックライト1490を点灯するようにB.L制御信号を調整し、かつ、ランキング期間B1には符号化信号を重畳しないようにB.L制御信号を調整する。
このようにして、第2の制御部1480は、調整後のB.L制御信号に従って、時刻Q9から時刻Q3までの期間においてバックライト1490を点灯する。
なお、調整期間に符号化信号を重畳するとしてもよい。この場合、調整期間を符号化信号のOFF期間の合計の分だけ長くするとよい。さらに、調整期間がブランキング期間より長い場合には、符号化信号のデューティ比に基づき、調整期間での点灯時間の不足分を、符号化期間C1の終了時刻より遡った所定の期間において符号化信号を重畳しないことでバックライト1490を点灯させるとしてもよい。
[符号化信号期間とブランキング期間とが重なる場合の調整方法(ケース4)]
図345Dには、調整期間が0より小さく、(調整期間+符号化信号期間+ブランキング期間)が1フレームの長さより長い場合の一例が示されている。
図345Dの(e)の上段に示すように、調整期間を、ブランキングB1の終了時刻Q3を起点として、調整期間の絶対値に相当する時間分をさかのぼった時刻Q10までの期間に配置する。
これにより、ブランキング期間B1と重なっている時刻Q10から時刻Q3の期間のバックライト1490が点灯される。
なお、この調整期間を、符号化信号のOFF期間の合計の分だけ長くし、調整期間に符号化信号を重畳するとしてもよい。
また、図344Dの(e)での説明と同様に、調整期間が非常に長く、その絶対値がブランキング期間B1よりも大きい場合には、調整期間のうちブランキング期間B1分を除いた残りの期間として、符号化信号期間の符号化信号のOFF期間を点灯させればよい。
ここで、時刻Q11は、元々のブランキング期間B1が、符号化信号期間C1から時刻Q11−Q12間の期間を引いた間のOFF期間の合計に等しくなることから決める必要がある。具体的には、ブランキング期間B1=(符号化信号期間C1−(時刻Q12−時刻Q11))×(1−Duty)の関係に基づいて、時刻Q11を算出することができる。
これにより、第2の処理部1470は、第2の制御部1480がブランキング期間B1に加えて、時刻Q11〜次のブランキング期間の開始時刻Q7まで点灯を続けるように、B.L制御信号を調整することができる。
[2.2.3.効果等]
以上のように、本実施例によれば、バックライトスキャンなどの動画特性向上のためのバックライト制御法とバックライトを用いた可視光通信信号の送信を、可視光通信の符号化信号による消灯期間を均一化或いは元の映像信号と同等に戻す調整を行うことで両立することができる。
ここで、例えば、本実施例の表示装置において、前記信号処理部(第2の処理部1470)は、前記可視光通信信号を前記バックライト制御信号に重畳する際に、前記バックライト制御信号のうち前記バックライトの消灯を示す信号の期間と、重畳される前記可視光通信信号の期間とが重複する領域であって前記複数の領域のうちの領域がある場合、前記重複する領域に、前記重複する領域の輝度を調整するための点灯調整期間を設け、前記点灯調整期間において、前記バックライト制御信号のオン・オフを調整するとしてもよい。
それにより、可視光通信信号期間と、バックライトの消灯期間とが重なる領域では、調整期間を設けることで、B.L制御信号に可視光通信信号(符号化信号)を重畳させた場合には、表示領域内での輝度の差が目立ちにくくすることができる。
なお、本実施例では、基準領域を、明るい領域として説明したが、表示パネル1450の開口が大きく設定された領域であると読み替えてもよい。
(実施例3)
[2.3.1.第2の方法による第2の処理部の動作の一例]
実施例2では、バックライト1490を点灯または消灯する調整期間を設けることにより、表示パネル1450の表示面1410(表示領域)の輝度を均一化したが、これに限らない。
本実施例では、調整期間を設けない方法について、図346を用いて説明する。
図346は、実施の形態18の実施例3におけるB.L制御信号に、可視光通信信号を重畳する方法を説明するためのタイミングチャートである。ここで、図346の(a)には、所定領域のB.L制御信号が示されている。なお、本実施例では、波形の立ち上がり信号のみで信号検出するとして説明する。
図346に示すように、調整期間を設けずに、調整期間に相当する分だけ、可視光通信信号のデューティ比、即ち、信号のHigh期間を変化させることで、領域の輝度を調整するとしてもよい。
具体的には、例えば実施例2における調整期間が正数の場合、すなわち、バックライト1490を消灯する調整を行う場合には、図346の(b)のようにB.L制御信号のHigh期間を短くすればよい。
また、例えば実施例2における調整期間が負数の場合、すなわち、バックライト1490を点灯する調整を行う場合には、図346の(c)のようにB.L制御信号のHigh期間を長くすればよい。
なお、表示領域の領域毎にB.L制御信号のデューティ比が変化する場合も考えられる。この場合には、B.L制御信号を面内で一定のデューティ比で駆動させるために、デューティ比の変化を含んで計算をやり直して算出した実施例2における調整期間と、本実施例のように可視光通信信号のHigh期間を変化させる方法とを組み合わせて用いてもよい。
さらに、上記では、バックライト1490のHigh期間の制御(PWM制御:Pulse Width Modulation)を利用した輝度の制御を行うことで、面内の均一性、画質の劣化防止を説明してきたが、これに限らない。バックライト制御する第二の制御部180は、各領域のバックライト1490に供給する電流を制御することで、可視光通信領域における輝度を可視光通信領域以外の領域における輝度に近づけてもよい。さらに、バックライト1490のPWM制御と、電流制御の組合せによって可視光通信領域における輝度を可視光通信領域以外の領域における輝度に近づけてもよい。
[2.3.2.効果等]
以上のように、本実施例によれば、バックライトスキャンなどの動画特性向上のためのバックライト制御法とバックライトを用いた可視光通信信号の送信を、可視光通信の符号化信号による消灯期間を均一化或いは元の映像信号と同等に戻す調整を行うことで両立することができる。
なお、本実施例では、立ち上がり信号のみで信号検出するとして説明したが、それに限らない。立ち下がり部分の位置を保持し、立ち上がりの位置を変更するB.L制御信号の場合には、立ち下り信号で信号検出するとしてもよい。本実施の形態では、B.L制御信号の立ち上がりを基準に符号化信号を重畳しているが、立ち下がりなどのほかのB.L制御信号の特徴的なタイミングを基準にしてもよいし、映像信号そのものの同期信号を基準にしてもよい。また、映像の同期信号から一定の時間遅延した信号を作成し、その信号を基準にしてもよい。
[3.効果]
以上、本実施の形態によれば、表示画像の画質を大きく劣化させることなく可視光通信信号を出力すること、かつ、出力した可視光通信信号の受信ミスを低減することができる表示装置を実現することができる。
(実施の形態19)
実施の形態18では、B.L制御信号のON期間より、符号化信号期間の方が短い場合の表示装置1400の動作について説明した。本実施の形態では、B.L制御信号のON期間より、符号化信号期間の方が長い場合の表示装置1400の動作について説明する。
[1.表示装置の動作]
以下、第2の処理部1470の動作を中心に説明する。
図347は、実施の形態19における第2の処理部の動作を説明するためのフローチャートである。
まず、ステップS1301において、第2の処理部1470は、可視光通信信号を再符号化する。より具体的には、第2の処理部1470は、可視光通信信号を符号化した後、ヘッダーなどを付加した符号化信号を生成(再符号化)する。また、第2の処理部1470は、符号化信号の搬送周波数に基づいて、符号化信号の送信時間を計算する。
次に、ステップS1302において、第2の処理部1470は、符号化信号長がB.L制御信号のON期間(点灯時間)よりも大きいか否かを判断する。
より具体的には、第2の処理部1470は、第1の処理部1430が計算したB.L制御信号のデューティ比からバックライト1490が点灯している時間(点灯時間)と、符号化信号の送信時間長(符号化信号長)とを比較する。第2の処理部1470は、符号化信号の送信時間長の方が短いと判断した場合は(S1302でNo)、ステップS1306に進み、符号化信号の送信時間長の方が長いと判断した場合は(S1302でYes)、ステップS1303に進む。
次に、ステップS1303において、第2の処理部1470は、可視光通信を行うかどうかを判断する。第2の処理部1470は、可視光通信を行うと判断した場合は(S1303でYes)、ステップS1304に進み、可視光通信を行わないと判断した場合は(S1303でNo)、ステップS1309進む。
次に、ステップS1304において、第2の処理部1470は、可視光通信信号を再符号化する。具体的には、第2の処理部1470は、ヘッダー部分が通常データとしてあり得ない信号配列で符号化されている場合、ヘッダー部分の信号のデューティ比がほぼOFFの状態で構成されるように作成しなおす(再符号化する)。その後、第2の処理部1470は、ヘッダー部分の最後の信号(最後端に存在するON状態を示す信号)をB.L制御信号の立ち上がりタイミングに合うように、符号化信号の送信開始時間を早める処理を行う。なお、詳細について、後述する。
次に、ステップS1305において、第2の処理部1470は、符号化信号長がB.L制御信号のON期間(点灯時間)よりも大きいか否かを判定する。
より具体的には、第2の処理部1470は、B.L制御信号のデューティ比によるバックライト1490の点灯時間と、符号化信号の送信時間長とを比較する。そして、第2の処理部1470は、符号化信号の送信時間長の方が短いと判断した場合には(S1305でNo)、ステップS1306、符号化信号の送信時間長の方が長いと判断した場合には(S1305でYes)、ステップS1307に進む。
ここで、ステップS1306において、第2の処理部1470は、B.L制御信号のブランキング期間以外の部分(つまり、B.L制御信号のON期間)に符号化信号を重畳して第2の制御部1480に出力し、処理を終了する。
一方、ステップS1307において、第2の処理部1470は、符号化信号を分割するかを判断する。より具体的には、まず、第2の処理部1470は、再符号化した符号化信号の送信時間長と、バックライト1490の点灯時間とを比較する。そして、第2の処理部1470は、符号化信号の送信時間長の方が長い場合は、符号化信号を分割すると判断し(S1307でYes)、ステップS1308に進み、符号化信号の送信時間長の方が短い場合は、符号化信号を分割しないと判断し(S1307でNo)、ステップS1309に進む。
次に、ステップS1308において、第2の処理部1470は、バックライト点灯期間に収まるデータ長に収まる長さになるように符号化信号を分割する。そして、第2の処理部1470は、バックライト制御信号のブランキング期間以外の部分(B.L制御信号のON期間)に重畳するよう符号化信号を調整し、処理を終了する。
なお、ステップS1309では、第2の処理部1470は、符号化信号を第2の制御部1480に送信しない。すなわち、可視光通信信号の送信を取りやめる。
[2.動作の詳細]
次に、図348A〜図348Dおよび図349を用いて、実施の形態19の表示装置1400の動作の詳細(具体例)について説明する。
[2.1.具体例1]
図348A〜図348Dは、実施の形態19におけるB.L制御信号に、符号化信号を重畳する具体的方法を説明するための図である。
本実施の形態では、第2の処理部1470は、4PPMや、I−4PPMなどの符号化方法を用いて可視光通信信号の符号化を行う。4PPMや、I−4PPMなどで符号化すると、輝度が信号によって大きく変化することが比較的緩和することができ、輝度が不安定になることを避けることができるからである。なお、マンチェスター式など符号化方法を用いて可視光通信信号の符号化を行ってもよい。
例えば図348Aに示すように、符号化信号は、ヘッダー1310と符号語などを格納したデータ部1311とで構成される。ヘッダー1310には、データ信号としては、あり得ない信号配列が用いられているとする。ここで、I−4PPMを用いて符号化する場合には、その信号期間はHigh期間の割合は、原則として75%と決まっている。また、ヘッダーにはON状態を3slot(符号化信号の最小単位)以上継続する形で入れることが一般的である。ヘッダーの区切りに、ヘッダーの最後をOFF状態にすることも多い。
図348Bには、B.L制御信号のON期間より、符号化信号期間の方が短い場合が示されている。つまり、図348Bに示すように、ヘッダーも含めた符号化信号全体がB.L制御信号の1フレーム内のブランキング期間を除く期間(つまり、B.L制御信号のON期間)よりも短い場合には、B.L制御信号のON期間に符号化信号を問題なく重畳できる。
それに対して、B.L制御信号のON期間より、符号化信号期間の方が長い場合には、ヘッダーも含めた符号化信号全体をB.L制御信号のON期間に含めることができないため、上記のステップS1307で説明したように、符号化信号を分割して含める。
図348Cには、ヘッダーも含めた符号化信号全体がB.L制御信号の1フレームの長さを超えるため、B.L制御信号のON期間に符号化信号を分割して重畳する場合の例が示されている。具体的には、符号化信号のデータ部1311をデータ部1311−1とデータ部1311−2とに分割してそれぞれヘッダー1310とヘッダー92とを含めてB.L制御信号のON期間に重畳させる。ヘッダー92には、データ部1311−2が分割されたデータ部1311であり、データ部1311−1の続きのデータであることを示す判別信号を含める。
なお、B.L制御信号のON期間より、符号化信号期間の方が長い場合には、図348Dに示すように、ヘッダー1310の部分のみをB.L制御信号のブランキング期間に重畳し、データ部1311をB.L制御信号のON期間に重畳するとしてもよい。
[2.2.具体例2]
次に、図348Dとは別の態様について説明する。すなわち、B.L制御信号のON期間より、符号化信号期間の方が長い場合に、符号化信号のヘッダー部分のみをB.L制御信号のブランキング期間に重畳する場合の具体例について説明する。
図349は、実施の形態19におけるB.L制御信号に、符号化信号を重畳する別の具体的方法を説明するための図である。
図349の(a)には、I−4PRMで符号化した符号化信号が示されている。
図349の(b)に示すように、図349の(a)のヘッダー部分だけを、I−4PPMから4PPMに符号化方式を変更して、再符号化するとしてもよい。この場合、図349の(b)に示すように、ON状態を続け最後にOFF状態に遷移していたヘッダーが、OFF状態を続け最後にON状態に遷移するヘッダーに変更される。
そして、図349の(c)に示すように、図349の(b)に示す符号化信号をB.L制御信号に重畳する。図349の(c)に示す例では、OFF状態の信号であるヘッダー1330と、ON状態の信号であるヘッダー1321とデータ1322とで構成される符号化信号がB.L制御信号に重畳される。
より具体的には、第2の処理部1470は、可視光通信信号を符号化して符号化信号を生成し、可視光通信信号として符号化信号をバックライト制御信号に重畳し、符号化信号をバックライト制御信号に重畳する際に、バックライト制御信号のうちバックライトの消灯を示す信号の期間と、重畳される前記符号化信号の期間とが重複する領域であって複数の領域のうちの領域がある場合、符号化信号のうちヘッダー部分を、バックライト1490の消灯を示す信号の期間のバックライト制御信号に重畳し、符号化信号のうちのヘッダー部分以外の部分を、バックライトの消灯を示す信号の期間以外の期間のバックライト制御信号に重畳する。
これにより、B.L制御信号のON期間より、符号化信号期間の方が長い場合でも、B.L制御信号のON期間に符号化信号のうちのデータ部分を重畳させることができる。
つまり、例えば図349の(c)に示すように、OFF状態の信号であるヘッダー1330をB.L制御信号のブランキング期間に重畳させることで、符号化時間長を節約(短く)することができる。
なお、実施の形態18で説明した調整期間を設ける場合には、例えば図348Dの符号化信号のヘッダー1310をB.L制御信号のブランキング期間に重畳させてブランキング期間で点灯を行うことになる期間は調整期間から引き算する必要がある。
しかし、例えば図349の(c)に示すように、符号化信号のヘッダー1330の最後時刻(最後にON状態になる時刻)をブランキング期間の終了時刻にあわせて位相を決定する場合には、ブランキング期間には点灯されないので、調整期間から引き算する必要はない。
[3.効果等]
以上、本実施の形態によれば、表示画像の画質を大きく劣化させることなく可視光通信信号を出力すること、かつ、出力した可視光通信信号の受信ミスを低減することができる表示装置を実現することができる。
なお、本実施の形態では、一般的な4PPMの符号化方式を用いて符号化した符号化信号のヘッダーを用いた例について説明したが、これに限られない。例えば、符号化信号のヘッダーの平均的なデューティ比が高い場合には、ON信号とOFF信号とを逆転させたヘッダーをブランキング期間に頂上するとしてもよい。この場合、前述したとおり、ブランキング期間の消灯期間の減少分を調整期間に入れて調整することが望ましい。
また、B.L制御信号のON期間(バックライト1490の点灯期間)にヘッダーを含めた符号化信号全体を重畳できる場合には、デューティ比の高いヘッダーとなるように符号化してもよい。
また、ヘッダーをブランキング期間に重畳させる場合でも、ブランキング期間の長さによっては入りきらない場合もある。その場合には、ブランキング期間の長さに応じて何種類かのヘッダーを用意して使い分けるとしてもよい。
(実施の形態20)
本実施の形態では、B.L制御信号のON期間に符号化信号期間すべての符号化信号を重畳できるように、表示領域の複数の領域を幾つかのグループに分割した上で符号化信号を重畳する方法について説明する。
[1.第2の処理の動作]
以下では、領域の明るさを基にして、最も明るい領域を中心に、符号化信号を重畳するタイミングを決定する方法を例に挙げて説明する。
図350は、実施の形態20における第2の処理の動作を説明するためのフローチャートである。
まず、ステップS1311において、第2の処理部1470は、可視光通信信号を符号化する。より具体的には、第2の処理部1470は、可視光通信信号を符号化した後、ヘッダーなどを付加した符号化信号を生成する。また、第2の処理部1470は、符号化信号の搬送周波数に基づいて、符号化信号の送信時間を計算する。
次に、ステップS1312において、第2の処理部1470は、表示領域を複数の領域に分割する。
次に、ステップS1313において、第2の処理部1470は、表示の明るい領域を検出する。より具体的には、第2の処理部1470は、分割した領域それぞれの明るさを検出し、これに基づいて、表示として最も明るい領域を選択する。ここで、表示として明るいとは、B.L制御信号のデューティ比が大きいところではなく、画像の発光エネルギーを示す信号レベルとして最も明るいところを意味する。明るいところの検出については、後で詳述する。
次に、ステップS1314において、第2の処理部1470は、表示の明るい領域に符号化信号の位相を合わせる。より具体的には、第2の処理部1470は、最も明るい領域のB.L制御信号のタイミングに合わせて全ての領域または、選択された一部の領域(選択された複数の領域)のB.L制御信号に、同一位相の符号化信号を重畳する。
ただし、他の実施の形態と同様に、B.L制御信号のブランキング期間には、符号化信号を重畳しない。これは、各B.L制御信号と、符号化信号とのANDを計算する操作と等しい。なお、必要に応じて、図347のステップS1301〜S1309の動作を行っても構わない。
次に、ステップS1315において、第2の処理部1470は、符号化信号とブランキング期間とが重なっているかを判断する。より具体的には、第2の処理部1470は、領域毎に、符号化信号期間とB.L制御信号のブランキング期間とで重なった部分があるかを判断し、符号化信号期間とB.L制御信号のブランキング期間とが重なっていない場合は(S1315でYes)、ステップS1316に進み、第2の処理部1470は、符号化信号をB.L制御信号に重畳させ、処理を終了する。一方、重なっている部分がある場合は(S1315でNo)、S1317に進む。
一方、ステップS1317において、第2の処理部1470は、可視光通信信号を行うかどうかを判断する。可視光通信を行なわない場合は(S1317でNo)、ステップS1318へ進む。可視光通信信号を行う場合は(S1317でYes)、ステップS1320に進み、第2の処理部1470は、符号化信号を送信しないようにデューティ比の調整を行って処理を終了する。
次に、ステップS1318において、第2の処理部1470は、符号化信号の位相を変え、位相を変えた符号化信号をB.L制御信号に重畳させる。
次に、ステップS1319、第2の処理部1470は、明るい領域にブランキング期間が重なっているかを判断する。重なっていない場合は(S1319でNo)、ステップS1320に進む。重なっている場合は(S1319でYes)、S1321に進む。
次に、ステップS1321において、第2の処理部1470は、各領域に対して処理を終了しているかどうかを判断する。処理が終了していない場合は(S1321でNo)、S1315へ戻る。処理が終了している場合は(S1321でYes)、ステップS1322に進む。
次に、ステップS1322において、第2の処理部1470は、符号化信号が重畳されていない領域があるかどうかを判断する。重畳されていない領域がある場合は(S1322でNo)、ステップS1313へ進む。重畳されている領域がない場合は(S1322でYes)、処理を終了する。
[2.動作の詳細]
次に、図351および図352を用いて、実施の形態20の表示装置1400の詳細(具体例)について説明する。
図351は実施の形態20における領域のグループ分割の一例を示すタイミングチャートであり、図352は実施の形態20における領域のグループ分割の他の一例を示すタイミングチャートである。図351および図352において、網掛け部分(ハッチング部分)は符号化信号が重畳されている期間(符号化信号期間)を示す。
例えば図351に示すように、表示領域の複数の領域を3つのグループに分割する。具体的には、領域A、領域Bおよび領域CをグループG1、領域F、領域Gおよび領域HをグループG2、ならびに、領域Dおよび領域EをグループG3に分割する。そして、図351に示すように、各グループにおいては、同じ期間内に同じタイミングで符号化信号を重畳する。例えば、グループG1では、最も明るい領域Cを基準に重畳しており、グループG2では、このグループで最も明るい領域Eを基準に重畳している。
なお、図352に示すように、表示領域の複数の領域を2つのグループに分割するとしてもよい。すなわち、領域A、領域B、領域Cおよび領域DをグループG1、領域E、領域F、領域Gおよび領域HをグループG2に分割するとしてもよい。そして、各グループにおいて、同じ期間内に同じタイミングで符号化信号を重畳する。
[3.効果等]
このように、本実施の形態の表示装置によれば、前記信号処理部(第2の処理部1470)は、前記複数の領域のうち近傍の複数の領域を含む複数のグループそれぞれの前記バックライト制御信号に対して、前記可視光通信信号をそれぞれ重畳し、前記複数のグループそれぞれに重畳される前記可視光通信信号は互いに同位相であり、前記複数のグループそれぞれの前記バックライト制御信号の前記バックライト(1490)の発光の制御を行う期間に、対応する前記可視光通信信号のすべてが重畳されている。
それにより、本表示装置は、B.L制御信号のON期間に符号化信号期間すべての符号化信号を重畳できるので、出力した可視光通信信号の受信ミスを低減することができる。換言すると、B.L制御信号のON期間に、可視光通信信号を欠落させないで重畳することができるので、出力した可視光通信信号の受信ミスを低減することができる。
また、前記信号処理部(第2の処理部1470)は、前記複数のグループに含まれる複数の領域のうち所定の領域の前記バックライト制御信号を基準に、前記複数のグループそれぞれに重畳される前記可視光通信信号の位相を合わせるとしてもよい。
それにより、本表示装置は、選択した複数のグループ毎に、可視光通信信号をより欠落させないで出力することができる。
ここで、前記所定の領域は、前記複数の領域のうち最も明るい領域である。
これより、表示装置1400は、表示領域内での輝度の差が目立ちにくくすることができる。
また、前記複数のグループの一に重畳される前記可視光通信信号の位相と、前記複数のグループの他に重畳される前記可視光通信信号の位相とは、異なる。
これにより、表示装置1400は、選択した複数のグループ毎ごとに、可視光通信信号をより欠落させないで出力することができる。
なお、上記のように領域のグループ分割を行うことができない場合がある。つまり、領域をグループに分割しても、同一位相の符号化信号が入らない領域がある場合がある。この場合について動作について以下説明する。
図353は、実施の形態20における領域のグループ分割の他の一例を示すタイミングチャートである。図353において、網掛け部分(ハッチング部分)は符号化信号が重畳されている期間(符号化信号期間)を示す。
例えば図353に示す例は、図351および図352の特殊な例である。図353に示すように、領域をグループに分割した段階で、同一位相の符号化信号が入らない場所では符号化信号を送信しないとすればよい。
具体的には、領域A、領域B、領域Cおよび領域Dとそれ以外の領域に分割し、領域A、領域B、領域Cおよび領域Dに同じ位相の符号化信号を重畳する。ここで、領域Dにおいて、符号化信号がブランキング期間と重なる期間では、符号化信号を重畳しない。さらに、図353に示す例では、領域D以降の領域(領域E〜領域H)には、符号化信号を重畳しない。
なお、領域をグループに分割しても、同一位相の符号化信号の入らない領域がある場合、単純に、基準領域を定めて、その領域の周辺(近傍の領域)だけに符号化信号を重畳させるとしてもよい。この際に、符号化信号を重畳する範囲については、前述したフローチャートに基づいても良いし、事前に決めておいた範囲に限定しても良い。
また、上述した調整期間を設けて、符号化信号を重畳する領域および符号化信号を重畳しない領域、並びに、重畳する領域内での輝度の差を発生させないとしてもよい。
なお、本実施の形態では、B.L制御信号の立ち上がりを基準に重畳しているが、立ち下がりなどのほかのB.L制御信号の特徴的なタイミングを基準にしてもよいし、映像信号そのものの同期信号を基準にしてもよい。また、映像の同期信号から一定の時間遅延した信号を作成し、その信号を基準にしてもよい。
表示領域の複数の領域すべてにおいて、ブランキング期間でない期間を探すことは非常に困難であり、たとえこのような期間があっても、非常に短い。本開示においては、符号化信号をB.L制御信号に重畳する場合でも、ブランキング期間をできる限り優先することで、ブランキング期間中の点灯を抑制することで画質の劣化を避けようとしている。
しかし、ある領域でブランキング期間と符号化信号期間とが重ならいとしても、他の領域ではブランキング期間と符号化信号期間とが重なることが多い。
そのため、本実施の形態では、表示領域の複数の領域のうちできるだけ多くの領域において、ブランキング期間と符号化信号期間との重なり合いを避けるための方法を開示している。すなわち、本実施の形態では、複数の領域をいくつかのグループに分割し、各グループ内で符号化信号を一定の位相で重畳させる。それにより、該当グループ内におけるブランキング期間と符号化信号の重なりを低減することができる。
なお、本実施の形態においては、複数の領域を2つのグループまたは3つのグループに分割する場合の例について説明したが、これに限定するものではない。
また、複数の領域をグループ分けする方法は、予めいくつかのグループに領域を分けておくとし、位相をどうずらすかなども予め設定しておくとしてもよい。
また、本実施の形態では、明るい領域を基準に符号化信号長(符号化信号期間のすべて)を重畳できるように、複数の領域をグループ分けしているが、これに限らない。この基準によって分けられるグループ数が非常に多くなる場合なども考えられるため、グループ数を限定的にしてもよい。グループに分けられる領域は、必ずしも符号化信号期間すべてが重畳可能である必要もない。
また、各グループ内の領域に重畳する符号化信号は同じでもよいし、異なっていてもよい。なお、受信機側で得られる符号化信号に2つ以上の信号が混じっていると、誤認識或いはエラー発生の確率が高くなる。そのため、2つ以上の信号とは、異なる符号化信号が、同じ時刻に同じ受信機で受信できる場合、同じ符号化信号でも位相が異なる2つ以上の信号が、同じ受信機で同じ時刻に受信できる場合、または、これら組合せの場合を意味する。これにより、誤認識或いはエラー発生の確率を低くすることができる。
また、何らかの基準を持って分割するグループは、上記の例に限らず、第2の処理部1470が映像信号と符号化信号との関係により行った信号処理結果に基づきグループに分割するとしてもよい。
また、LEDなどを用いたバックライトでは、その光源が、点光源に近い非常に小さい物であるので、LCDのように面発光させるためには、導光板や拡散板などを用いて、領域を広げている。そのため、各領域におけるLEDを制御する際には、隣接する領域はオーバーラップするように設計されており、漏れ光が一定以上存在する。
したがって、LEDなどを用いたバックライトでは、いくつかのグループに分割する場合でも、少なくとも隣接する領域からの漏れ光により、別の信号がノイズとして入ってしまうため、隣接するブロックを含む領域の符号化信号が時間的に重なることは避ける必要がある。そこで、例えば、該当箇所で該当フレームにおいては符号化信号を発信しない、または、離れた場所の領域で、時間的に連続したもしくは重なり合った符号化信号を発信するとしてもよい。
該当箇所で該当フレームにおいては符号化信号を発信しないとする場合においては、フレーム毎にどの領域から符号化信号を出力するかを決定し分離しても良いし、特定の箇所(映像信号にリンクしても良い)の符号化信号を優先的に発信するとしてもよい。
また、異なる領域における異なる位相の符号化信号の送信期間が重なる場合でも、領域が連続しなければ、或いは一定の間隔があいていればよい。領域を限定して信号を受信する場合などについては、受信可能であるからである。なお、異なる位相間を持つ領域の間隔はバックライトの漏れ光がどの程度の範囲まで及ぶかにより判断する必要があるため、使用する表示装置の性能に基づく数値となる。
また、各領域を複数のブロックに分けてそれぞれに上記方法を適応しても良い。
(実施の形態21)
符号化信号を受信する際に、フォトダイオードなどの応答速度の非常に速い光強度センサーを用いた場合には、画像と符号化信号の位相差は大きな問題にはならない。
一方で、スマートフォンや携帯電話に付属しているカメラやデジタルスチルカメラなどのイメージセンサーを用いて符号化信号を撮像して取得する場合には、位相の僅かな差により、露光タイミングが信号のON−OFFのエッジ部分または、一連の符号化信号期間の開始もしくは/および終了のタイミングと非常に短い時間差で若しくは同時にかかってしまうことで、有効な信号として取得できないことがある。つまり、イメージセンサーの撮像周期は一般的に30FPSであり、例えば60FPSの映像信号と符号化信号とが同期している場合には、イメージセンサーの撮像時にタイミングが合わない場合には、いつまでたってもイメージセンサーの撮像周期と符号化信号の周期とのタイミングが合わないということも考えられる。
そこで、本実施の形態では、これを避けるために、符号化信号の位相をずらす方法について説明する。
[1.表示装置の動作]
以下、第2の処理部1470の動作を中心に説明する。
図354は、実施の形態21における第2の処理部の動作を説明するためのフローチャートである。
まず、ステップS1331において、第2の処理部1470は、信号の同期をずらす。より具体的には、第2の処理部1470は、表示パネル1450とバックライト1490との同期が固定でない場合、符号化信号の同期をずらす。これは、スマートフォン1350の撮像の確率をあげるのに有効である。
次に、ステップS1332において、第2の処理部1470は、第1の処理部1430より出力される映像信号に基づくデューティ比より、B.L制御信号と符号化信号のANDを計算する。
次に、ステップS1333において、第2の処理部1470は、映像信号および/または可視光通信信号に基づくデューティ比の調整を行う。
より具体的には、第2の処理部1470は、実施の形態18で説明したように、符号化信号期間とブランキング期間とが重なっているかどうかを調べ、場合分けをして調整期間を設ける。第2の処理部1470は、調整期間の分だけ、該当フレームのB.L制御信号のデューティ比が本来の映像信号に基づくB.L制御信号のデューティ比と異なる場合には、符号化信号の送信が休止している期間などを利用してデューティ比の調整を行う。ここで、例えば、第2の処理部1470は、ブランキング期間とは別の期間にバックライト1490をOFFする期間(B.L制御信号のOFF期間)を設定することでデューティ比の調整を行う。そして、第2の処理部1470は、調整期間を設けて調整した符号化信号が重畳されたB.L制御信号を第2の制御部1480に出力する。
なお、一定の期間で、符号化信号と映像信号との位相の関係が元に戻った場合、これらを予め定められた位相差に補正するとしてもよい。
さらに、映像信号の周波数と異なる周波数で、符号化信号の位相と映像信号の位相が時間的に変化する関係、即ち、どちらか一方がもう一方の略整数倍になっていない関係であれば、位相合わせの制御を特にしなくともよい。なぜなら、特に双方の位相を合わせることがなくとも、ある時間が経過することで両者の位相の関係が元に戻り、信号の受信が困難な時間帯と、容易に受信できる時間帯が必ずどこかに存在することになるからである。
図355Aおよび図355Bは、実施の形態21におけるB.L制御信号と可視光通信信号との位相の関係について説明するための図である。
例えば、図355Aでは、B.L制御信号Xを基準にして、可視光通信信号に基づく符号化信号とB.L制御信号Xとが一定の周期で同じ位相になることを示している。尚、図中の斜線部分が実際に符号化信号を送信している期間を示しており、一例として、B.L制御信号よりも長い周期で、短い期間出力する表示になっているが、信号長の関係は前述したとおり、どちらが長くてもかまわない。また、実際の符号化信号送信期間とB.L制御信号との長さは、どちらが長くなくてはならないということはないものの、符号化送信期間がB.L制御信号よりも短いことが望ましい。ここでは、B.L制御信号Xが12回繰り返す間に、符号化信号は7回繰り返すことになっており、例えば、B.L制御信号が60fpsであった場合には、0.2秒間隔で両者の位相が同じ関係になっている。一方、図355Bにおいては、特に、B.L制御信号Xと符号化信号の間に関連はないが、f1では、B.L制御信号の前半部分、f2では、後半部分、f3ではほぼ中間位置と、フレームごとに符号化信号送信期間の開始と、B.L制御信号の開始の位相の関係が変化している。しかしながら、特に両者が最小公倍数を持って位相の関係が元に戻ることはないものの、位相が順次ずれていくことで、撮像のタイミングによる不具合はどこかで解消できることになる。また、B.L制御信号の切れ目に当たる期間に符号化信号を送信しているf2や、f5から始まる時刻においても、領域Xでは、符号化信号が途切れることなるものの、どこか別の領域では必ず符号化信号を送信することができているため問題はない。映像と通信情報との関連については、バッファなどにメモリしておき、直前のメモリを引き出して通信信号として符号化して利用してもよい。また、両者の位相の関係が元に戻るまでの時間が非常に長い期間、例えば、数秒以上かかる場合には、位相の関係を強制的に元に戻すなどしてもよい。例えば、図355Bのf8で符号化信号が完了した後、f9のタイミングまで時間を置いてB.L制御信号と、符号化信号の位相を改めて合わせてもよいし、合わせなくともよい。また、タイミングを合わせる周期を例えば1秒ごとに行うなど行ってもよいし、全く行わなくともよい。
[2.動作の詳細]
次に、図356Aおよび図356B、図356Cを用いて、実施の形態20の表示装置1400の動作の詳細(具体例)について説明する。
図356Aおよび図356B、図356Cは、実施の形態21における第2の処理部の動作を説明するためのタイミングチャートである。網掛け部分(ハッチング部分)は符号化信号が存在している領域を示す。図356Aは符号化信号を重畳する前のB.L制御信号のタイミングチャートを示しており、図356Bは符号化信号が重畳された後のB.L制御信号のタイミングチャートを示している。図356Cは、符号化信号を基準となるバックライト制御信号の立ち上がりあるいは立下りのタイミングからの遅延時間を設定することにより、結果的にバックライト制御信号の位相と、可視光通信信号の位相との関係を、時間的に変化させた例を示している。
例えば図356Aに示すように、符号化信号とB.L制御信号との同期をずらしている。これにより、スマートフォン1350などの受信機側で符号化信号を受信できるタイミングを確実に発生させることができる。ここで、上述した調整期間を各フレームにおける位相差毎に計算して設けるとしてもよい。
なお、図356Cのように、例えば、領域Aを基準に取り、バックライト制御信号の立ち上がりU2と可視光通信信号の開始V2の時間差β1を遅延時間として予め設定して、重畳してもよい。また、次のフレームの立ち上がりU3と可視光通信信号の開始V3の時間差β2については、β1と同じでもよいし、異なっていてもよい。また、図356Cに示す例では、βは、遅延で正の数値(時間)を示しているが、負の数値(時間)を持って先んじてもよい。
また、さらに、βが0であるフレームを混在させてもよい。基準となる領域はどこでもよいし、前述した基準により選択してもよい。基準の時間はバックライト制御信号の立ち上がりとしたが、これを立下りなど、信号の波形の特徴的なほかの基準を用いてもよい。基準の時間は、予め決められた領域におけるバックライト制御信号の特徴的な部分以外にも、映像信号そのものの同期信号を基準にしてもよいし、映像の同期信号から一定の時間遅延した信号を作成し、その信号を基準にしてもよい。
また、本実施の形態では、映像信号と符号化信号とが一対一対応しないため、いくつかの符号化データおよび画像データを予め表示装置1400内のメモリ(不図示)などにバッファリングし、上記処理を行うとよい。
なお、映像信号の周期(1フレーム長)と符号化信号を重畳する周期とは、望ましくは1秒以内、更に望ましくは0.5秒以内に最小公倍数をもたせるのがよい。また、これら二つの周期が同期するときと、これら二つの周期が同期したタイミングから前記最小公倍数の期間もしくはその整数倍の時間毎とにトラッキングを行い、各々に生じる誤差によって発生する微小な時間のずれ(位相差)を補正するとしてもよい。
また、前述したように、映像信号の周期または/および周波数と符号化信号の周期または/および周波数が、時間的に位相の関係を変化させる関係にある場合においては、各周期が1秒以内に最小公倍数を持たなくとも、変化の割合が早い場合、例えば、同じ位相の関係を繰り返す以上の変化を1秒以内に起こす場合には、特に二つの位相の関係を制御せずにおいてもよい。変化の割合は、前記の例のような関係が望ましいが、必ずしもこれに限らない。
[3.効果等]
以上のように、本実施の形態の表示装置において、前記信号処理部は、前記複数の領域それぞれのバックライト制御信号に対して、前記複数の領域のいずれか一つのバックライト制御信号を基準に、可視光通信信号を符号化する遅延時間を時間的に変化させる、前記信号処理部(第2の処理部1470)は、前記複数の領域それぞれの前記バックライト制御信号に対して、前記複数の領域のいずれか一つの前記バックライト制御信号を基準に、前記可視光通信信号(符号化信号)を符号化する遅延時間を時間的に変化させる。
この構成により、スマートフォン1350などの受信機側で符号化信号を受信できるタイミングを確実に発生させることができる。
なお、前記信号処理部(第2の処理部1470)は、前記複数のバックライト制御信号に対して、バックライト制御信号の周期と異なる周期で可視光通信信号(符号化信号)を重畳し、前記複数の領域それぞれにおいて、前記バックライト制御信号の位相と、前記可視光通信信号の位相との関係がフレームとともに変化するとしてもよい。
ここで、前記バックライト制御信号の周期と異なる可視光通信信号を重畳する周期が、時間的に変化するとしてもよい。
また、前記複数のバックライト制御信号に対して重畳する可視光通信信号の位相が、可視光通信信号を重畳するすべての領域で同じ位相であるとしてもよい。
また、前記複数の領域それぞれに重畳される前記可視光通信信号の位相ずれの周期と、前記バックライト制御信号の1フレーム周期とは、1sec以内に最小公倍数を有するとしてもよい。
それにより、スマートフォン1350などの受信機側で符号化信号を受信できるタイミングが比較的短期間の中に確実に発生させることができる。
また、前記信号処理部(第2の処理部1470)は、前記複数の領域それぞれに重畳される前記可視光通信信号(符号化信号)の位相ずれの周期と、前記バックライト制御信号の1フレーム周期との最小公倍数または整数倍の時間毎に、前記複数の領域それぞれに重畳される前記可視光通信信号(符号化信号)の位相ずれの周期の始点を前記バックライト制御信号の1フレーム周期に補正するとしてもよい。
それにより、位相のずれを補正することで、スマートフォン1350などの受信機側で符号化信号を受信できるタイミングが長期にわたることを防止することができる。
ここで、前記二種類の周期の最小公倍数の示す時間は、通常、通信信号を受信できる位置関係、環境であれば、少なくともこの時間以内に受信できるという数字(時間)であって、受信をしようと思う人が受信機をかざしてじっと待てる時間以内になければならない。通常のNFCなどでも、待てる時間の目安として1秒間かざすことを推奨しており、同等以下であることが望ましい。さらに、心理的に負担にならない時間として、さらに望ましくは0.5秒以内に最小公倍数を持つとした。
(実施の形態22)
実施の形態18〜21では、通常速度で駆動する走査速度にて各領域を順次制御して画像信号を表示する場合について説明したが、通常速度よりも速い倍速駆動の走査速度にて各領域を順次制御して画像信号を表示するとしてもよい。
本実施の形態では、2倍速の画像信号を4倍速駆動の走査速度にて各領域を順次制御して表示した場合を例に挙げて説明する。以下では、ブランキング期間は2倍速駆動の時間を基本に説明する。
[1.表示装置の動作]
以下、第2の処理部1470の動作を中心に説明する。
図357Aおよび図357Bは、実施の形態22のおける第2の処理部の動作を説明するためのタイミングチャートである。網掛け部分(ハッチング部分)は符号化信号の存在している領域を示す。図357Aは符号化信号を重畳する前のB.L制御信号のタイミングチャートを示しており、図357Bは符号化信号が重畳された後のB.L制御信号のタイミングチャートを示している。
例えば図357Aに示すように、B.L制御信号A〜B.L制御信号Hには同時に点灯している期間がない。つまり、表示領域の全ての領域に対して同時に符号化信号が重畳できないことを示している。
そこで、本実施の形態では、例えば図357Bに示すように、ブランキング期間の領域間の走査の期間を通常の半分に設定する。そして、複数の領域(全領域でも良い)の中で最もB.L制御信号のブランキング期間の開始が遅い領域である領域Hを選択する。
第2の処理部1470は、領域Hでのブランキング期間が終了し、バックライト1490の点灯が開始されるタイミング(B.L制御信号HがONになる時刻)に合わせて、選択した領域Hに符号化信号を重畳する。
図357Bに示す例では、第2の処理部1470は、表示領域の全領域に対して、B.L制御信号Hでのブランキング期間が終了し、B.L制御信号HがONになるタイミングに符号化信号を重畳している。
それにより、第2の処理部1470は、表示領域のどの領域においても符号化信号が重畳されている期間を最大で2分の1フレーム分の期間、設定することができる。
[2.効果等]
以上のように、本実施の形態の表示装置において、前記表示制御部(第1の制御部1440)は、前記映像信号に示される走査速度よりも高速化した高速走査速度に従って、前記表示パネルの表示面に映像を表示するよう前記表示パネル(1450)を制御する。
それにより、表示装置は、符号化信号を出力できる期間をより長く取ることができる。
なお、符号化信号長(符号化信号期間)が長く、B.L制御信号のON期間(ブランキング期間以外の期間)だけに重畳できず、ブランキング期間と重なる領域がある場合には、該当領域では、ブランキング期間に符号化信号を重畳させない。
また、B.L制御信号のON期間に重畳された符号化信号による消灯時間分を、ブランキング期間でバックライト1490を点灯させる調整期間を設けるとしてもよい。その際、上記の実施の形態で述べた方法で、調整期間を作成してもよいし、符号化信号のヘッダーをブランキング期間に重畳させてもよい。また、表示領域の複数の領域をいくつかのグループに分解して符号化信号を重畳するなどしてもよい。
また、上記該当領域以外の領域(他の領域)でも同様の作業行っても良いし、信号を全く出さなくてもよい。この場合、上記実施の形態で述べた方法で、可視光通信信号あるいは/および映像信号に基づくデューティ比が全画面で同じになるように消灯時間の調整期間を設ければよい。また、実施の形態20と同様に、もっとも明るい領域を選択して、その領域に合わせたタイミングで符号化信号を重畳するとしてもよい。また、本実施の形態では、B.L制御信号の立ち上がりを基準に重畳しているが、立ち下がりなどのほかのB.L制御信号の特徴的なタイミングを基準にしてもよいし、映像信号そのものの同期信号を基準にしてもよい。また、映像の同期信号から一定の時間遅延した信号を作成し、その信号を基準にしてもよい。
なお、本実施の形態では、2倍速の走査速度を4倍速の走査速度にした例について説明したが、これに限定するものではない。フレーム数をそのままにして、走査速度のみを上げるとしてもよい。
また、本実施の形態では、事前にこのような形態をとって信号を送信する場合を想定しているが、第2の処理部が映像信号と符号化信号との関係から、本実施の形態の信号を送信する方法を取るとしてもよい。この場合には、図340における第2の処理部1470から第1の処理部1430への信号の伝送が入るため、この二つのブロックをつなぐ矢印は双方向を向くようになる。
(実施の形態23)
実施の形態18〜22では、複数の領域それぞれにおいて異なるタイミングで消灯の制御を行う期間を設ける制御方法がバックライトスキャンであるとして説明したがそれに限らない。ローカルディミングであってもよい。
本実施の形態では、ローカルディミング適応時の動作について説明する。
ここで、ローカルディミングは、表示領域(画面)を幾つかの領域に分割し、その領域内の液晶の透過率を通常より高くし、その分だけバックライトの輝度を下げる(デューティを下げる)ことにより、電力を下げるバックライト制御方法である。該当領域内でもっとも高い輝度の画素において、透過率を上げる余裕があるとき(最も高い輝度が比較的低い値を持つとき)に上記制御による電力削減が可能である。また、バックライトのデューティを下げることにより、点灯期間が減少し、結果としてコントラストが向上する効果も奏する。
[1.ローカルディミングによるバックライト制御]
次に、ローカルディミングにより制御されたB.L制御信号について説明する。
図358は、実施の形態23におけるローカルディミング適応時のバックライト制御を示すタイミングチャートである。
ローカルディミングを適用してバックライト制御を行う時は、例えば図358に示すように、隣接する領域同士では、ブランキング期間の開始タイミングの間隔Tは均一であるが、ブランキング期間の長さは均一ではない。
そのため、本実施の表示装置1400は、表示領域の各領域において、事前に示された映像信号に基づいて定められたB.L制御信号のブランキング期間をメモリした上で、以下に説明する処理(動作)を行うとよい。
[2.表示装置の動作]
以下、第2の処理部1470の動作を中心に説明する。なお、本実施の形態では表示領域の各領域の1フレームあたりのOFF期間を揃えた場合の信号制御を示す。
[2.1.第2の処理部の動作の一例]
図359は、実施の形態23における第2の処理部の動作の一例を説明するためのフローチャートである。
まず、ステップS1341において、第2の処理部1470は、調整期間を計算する。具体的には、符号化信号における消灯時間をN1、第1の処理部より入力されたB.L制御信号の消灯時間をN2とすると、調整期間N=N2−N1の関係式と表せる。これにより、第2の処理部1470は、調整期間を計算(算出)することができる。
次に、ステップS1342において、第2の処理部1470は、調整期間Nと符号化信号期間Cの和(N+C)が1フレーム期間以下であるかどうかを判断する。
第2の処理部1470は、(N+C)が1フレーム期間以下と判断した場合は(S1342でYes)、S1343へ進む。一方、第2の処理部1470は、(N+C)が1フレーム期間より大きいと判断した場合は(S1342でNo)、S1346に進み、符号化信号を出力することをやめ、処理を終了する。
次に、ステップS1343において、第2の処理部1470は、調整期間Nが0以上であるかどうか判断する。
第2の処理部1470は、Nが0以上の場合は(S1343でYes)、S1344へ進み、次の符号化信号の開始から調整期間分遡って消灯期間を設ける。また、この期間は符号化信号を出さないようにし、処理を終了する。
一方、第2の処理部1470は、Nが0より小さい場合は(S1343でNo)S1345へ進み、B.L制御信号のブランキング期間の終了時を起点として、遡ってB.L制御信号のブランキング期間に調整期間分の点灯期間(ON期間)を設ける。また、この調整期間は符号化信号を出さないようにする。
図360は、実施の形態23における第2の処理部の動作の一例を説明するためのタイミングチャートである。ここで、太線は、B.L制御信号のON期間およびOFF期間を示しており、以下では領域Aを基準領域として説明する。なお、各図中のB.L制御信号X(Xは、A〜H)で制御される領域を領域Xと呼称する。
例えば図360に示すように、第2の処理部1470は、基準領域である領域Aのフレームの開始タイミングから同位相の符号化信号を各領域に重畳するとともに、調整期間を設ける。なお、調整期間は、実施の形態18の第2の方法に従って設ければよいが、第2の方法については上述したためここでの説明を省略する。
本実施の形態では、実施の形態18〜22と同様に、B.L制御信号がOFF期間(ブランキング期間)の時には符号化信号を重畳せず、B.L制御信号がON期間の時には、符号化信号を重畳することを基本とする。なお、調整期間は、符号化信号のデューティ比を考慮して変換してもよく、その場合には、調整期間であって符号化信号を出す期間であれば符号化信号を重畳して出力するとしてもよい。
[2.2.第2の処理部の動作の一例]
ローカルディミング時においても、通常のバックライトスキャン制御時と同様に順次ブランキング期間を持つことを優先してもよい。この場合の処理について以下説明する。
図361は、実施の形態23における第2の処理部の動作の一例を説明するためのフローチャートである。
まず、ステップS2101において、第2の処理部1470は、調整期間を計算する。具体的には、所定の領域のブランキング期間をN1、符号化信号における消灯時間をN2、該当領域のブランキング期間をN3とすると、調整期間N=N1−N2−N3の関係式と表せる。これにより、第2の処理部1470は、調整期間を計算(算出)することができる。
次に、ステップS2102において、第2の処理部1470は、調整期間N、符号化信号期間C、該当領域のブランキング期間N3の和(N+C+N3)が1フレーム期間以下であるかどうかを判断し、判断結果を記憶する。
次に、ステップS2103において、第2の処理部1470は、調整期間Nが0以上であるかどうか判断し、判断結果を記憶する。
以上のようにステップを踏んだうえで、第2の処理部1470は、領域毎に記憶したN1〜N3、S2102およびS2103の判断結果を元に、調整期間を設けて、調整期間などを設けて、可視光通信信号を映像表示と同時に行う。
なお、調整期間は、実施の形態18の第2の方法や実施の形態19〜22等で説明した方法との組合せにより作成すればよい。
図362は、実施の形態23における第2の処理部の動作一例を説明するためのタイミングチャートである。図362には、実施の形態18で説明した第2の方法によって調整期間が設けたられている。太線は、B.L制御信号のON期間およびOFF期間を示しており、以下では領域Aを基準領域として説明する。
例えば図362に示すように、第2の処理部1470は、基準領域である領域Aのフレームの開始タイミングから所定期間経過後の時刻P〜時刻Qの期間において、同位相の符号化信号を各領域に重畳するとともに、調整期間を設ける。なお、調整期間については実施の形態18の第2の方法に従って設ければよいが、第2の方法については上述したためここでの説明を省略する。
本実施の形態では、実施の形態18〜22と同様に、B.L制御信号がOFF期間(ブランキング期間)の時には符号化信号を重畳せず、B.L制御信号がON期間の時には、符号化信号を重畳することを基本とする。そのため、例えば領域Aでは、時刻Pから一定期間は、B.L制御信号AがOFFとなるブランキング期間であるので、符号化信号は重畳されない。そして、符号化信号期間C後に調整期間が設けられる。
なお、調整期間は、符号化信号のデューティ比を考慮して変換してもよく、その場合には、調整期間であって符号化信号を出す期間であれば符号化信号を重畳して出力するとしてもよい。
[2.3.第2の処理部の動作の一例]
図363は、実施の形態23における第2の処理部の動作の一例を説明するためタイミングチャートである。
ローカルディミングを適用してバックライト制御を行うと、基本的にB.L制御信号のブランキング期間がフレーム毎、領域毎に異なる。そのため、計算の便宜のため仮のブランキング期間(規定ブランキング期間と記載)を定める。すると、規定ブランキング期間と、符号化信号期間と、それらの位相差と、元々のブランキング期間とから、実施の形態19の第2の方法に従って、調整期間を算出することができる。以下、この場合の一例について図363を用いて説明する。図363中の太線は、元々のブランキング期間を示した波形を示している。
規定ブランキング期間は、画面中のブランキング期間の平均的な長さ、また最も短い期間に基づいて定める。ここで、規定ブランキング期間は、符号化信号を重畳しない消灯期間であるとする。符号化信号期間は符号化信号を重畳する期間である。
また、調整期間は、実施の形態18の第2の方法を用いて設ければよい。調整期間が正であればこの期間中はバックライト1490を消灯するようB.L制御信号を調整すればよいし、調整期間が負であれば、バックライト1490を点灯するように、B.L制御信号を調整すればよい。調整期間がブランキング期間を遡って設けられた場合には、ブランキング期間でもバックライト1490を点灯するようにB.L制御信号を調整すればよい。なお、調整期間が負の場合、調整期間のB.L制御信号に符号化信号を重畳させる場合には、調整期間をデューティ比に基づく補正を行えばよい。
[3.効果等]
以上のように、本実施の形態の表示装置において、前記バックライト制御部(第2の制御部1480)は、前記信号処理部(第2の処理部1470)により出力されたバックライト制御信号に従って、前記複数の領域それぞれにおいて各々の映像信号に基づく前記バックライトの発光量に従って発光の制御を行い、前記複数の領域それぞれにおいて異なるタイミングで消灯の制御を行う期間を設け、前記複数の領域それぞれにおいて前記映像信号および前記可視光通信信号に基づく前記バックライトのデューティも変化させる。
なお、本実施の形態では、B.L制御信号の立ち上がりを基準に重畳しているが、立ち下がりなどのほかのB.L制御信号の特徴的なタイミングを基準にしてもよいし、映像信号そのものの同期信号を基準にしてもよい。また、映像の同期信号から一定の時間遅延した信号を作成し、その信号を基準にしてもよい。
以上、本実施の形態では、ローカルディミングを適応する場合について説明したが、ローカルディミングは、二次元的に領域を分割し、ある方向は同時に映像信号を走査書き込みする場合もあるため、ブランキング期間の位相は同じでブランキング期間が異なる領域の組合せも発生するが、本実施の形態で説明した内容で適応可能である。
以上のように、本開示における技術の例示として、実施の形態を説明した。そのために、添付図面および詳細な説明を提供した。
したがって、添付図面および詳細な説明に記載された構成要素の中には、課題解決のために必須な構成要素だけでなく、上記技術を例示するために、課題解決のためには必須でない構成要素も含まれ得る。そのため、それらの必須ではない構成要素が添付図面や詳細な説明に記載されていることをもって、直ちに、それらの必須ではない構成要素が必須であるとの認定をするべきではない。
また、上述の実施の形態は、本開示における技術を例示するためのものであるから、本開示における技術は、これに限定されず、請求の範囲またはその均等の範囲において種々の変更、置き換え、付加、省略などを行うことができる。
例えば、上述の実施の形態では、B.L制御信号の立ち上がりを基準に重畳する場合を例に挙げて説明しているがそれに限らない。立ち下がりなどのほかのB.L制御信号の特徴的なタイミングを基準にしてもよいし、映像信号そのものの同期信号を基準にしてもよい。また、映像の同期信号から一定の時間遅延した信号を作成し、その信号を基準にしてもよい。
本開示は、表示画像の画質を大きく劣化させることなく可視光通信信号を出力すること、かつ、出力した可視光通信信号の受信ミスを低減することができる表示装置に適用可能である。具体的には、本開示にかかる表示装置は、画像以外の情報を安全にしかも能動的に取得できるため、家庭でのテレビ或いはPC、タブレットなどの機器は勿論のこと、外出先でのサイネージや、情報端末、情報表示機器においてもその能動性ゆえに安全に必要な情報を必要なだけ得られるという意味で、あらゆる場面での画像付帯情報の転送、情報発信などのさまざまな用途に適用可能である。
また、例えば、実施の形態18〜23における表示装置は、可視光通信信号を出力可能な表示装置であって、映像を表示する表示面を有する表示パネルと、映像信号に基づいて前記表示パネルの表示面に映像を表示するよう前記表示パネルを制御する表示制御部と、前記表示パネルの前記表示面を背面から照明する発光面を有するバックライトと、前記可視光通信信号を前記映像信号に基づいて生成されたバックライト制御信号に重畳する信号処理部と、前記バックライトの発光面を複数の領域に分割し、前記信号処理部により出力されたバックライト制御信号に従って、前記複数の領域それぞれにおいて発光の制御を行い、かつ、前記複数の領域それぞれにおいて異なるタイミングで消灯の制御を行う期間を設けるバックライト制御部とを備え、前記信号処理部は、前記可視光通信信号を前記バックライト制御信号に重畳する際に、前記バックライト制御信号のうち前記バックライトの消灯を示す信号に対しては、前記可視光通信信号を重畳しないとしてもよい。
また、例えば、前記信号処理部は、前記複数の領域それぞれの前記バックライト制御信号に対して、前記可視光通信信号をそれぞれ重畳し、前記複数の領域それぞれに重畳される前記可視光通信信号は互いに同位相であるとしてもよい。ここで、例えば、実施の形態18〜23における表示装置では、前記信号処理部は、前記複数の領域のうち所定の領域の前記バックライト制御信号を基準に、前記複数の領域それぞれに重畳される前記可視光通信信号の位相を合わせるとしてもよい。
また、例えば、前記所定の領域は、前記複数の領域のうち最も明るい領域であるとしてもよいし、前記所定の領域は、前記複数の領域のうち前記表示面の端部に対応する領域であるとしてもよい。
また、例えば、前記信号処理部は、前記複数の領域のうち近傍の複数の領域を含む複数のグループそれぞれの前記バックライト制御信号に対して、前記可視光通信信号をそれぞれ重畳し、前記複数のグループそれぞれに重畳される前記可視光通信信号は互いに同位相であり、前記複数のグループそれぞれの前記バックライト制御信号の前記バックライトの発光の制御を行う期間に、対応する前記可視光通信信号のすべてが重畳されているとしてもよい。
ここで、例えば、前記信号処理部は、前記複数のグループに含まれる複数の領域のうち所定の領域の前記バックライト制御信号を基準に、前記複数のグループそれぞれに重畳される前記可視光通信信号の位相を合わせるとしてもよい。または、前記所定の領域は、前記複数の領域のうち最も明るい領域であるとしてもよい。
また、例えば、前記複数のグループの一に重畳される前記可視光通信信号の位相と、前記複数のグループの他に重畳される前記可視光通信信号の位相とは、異なるとしてもよい。
また、例えば、前記信号処理部は、前記可視光通信信号を前記バックライト制御信号に重畳する際に、前記バックライト制御信号のうち前記バックライトの消灯を示す信号の期間と、重畳される前記可視光通信信号の期間とが重複する領域であって前記複数の領域のうちの領域がある場合、前記重複する領域に、前記重複する領域の輝度を調整するための点灯調整期間を設け、前記点灯調整期間において、前記バックライト制御信号のオン・オフを調整するとしてもよい。
また、例えば、前記信号処理部は、前記可視光通信信号を符号化して符号化信号を生成し、前記可視光通信信号として前記符号化信号を前記バックライト制御信号に重畳し、前記符号化信号を前記バックライト制御信号に重畳する際に、前記バックライト制御信号のうち前記バックライトの消灯を示す信号の期間と、重畳される前記符号化信号の期間とが重複する領域であって前記複数の領域のうちの領域がある場合、前記符号化信号のうちヘッダー部分を、前記バックライトの消灯を示す信号の期間の前記バックライト制御信号に重畳し、前記符号化信号のうちの前記ヘッダー部分以外の部分を、前記バックライトの消灯を示す信号の期間以外の期間の前記バックライト制御信号に重畳するとしてもよい。
また、例えば、前記信号処理部は、前記複数のバックライト制御信号に対して、バックライト制御信号の周期と異なる周期で可視光通信信号を重畳し、前記複数の領域それぞれにおいて、前記バックライト制御信号の位相と、前記可視光通信信号の位相との関係がフレームとともに変化するとしてもよい。ここで、前記バックライト制御信号の周期と異なる可視光通信信号を重畳する周期が、時間的に変化するとしてもよい。
また、例えば、前記信号処理部は、前記複数の領域それぞれのバックライト制御信号に対して、前記複数の領域のいずれか一つのバックライト制御信号を基準に、可視光通信信号を符号化する遅延時間を時間的に変化させるとしてもよい。
また、例えば、前記複数のバックライト制御信号に対して重畳する可視光通信信号の位相が、可視光通信信号を重畳するすべての領域で同じ位相であるとしてもよい。
また、例えば、前記複数の領域それぞれに重畳される前記可視光通信信号の位相ずれの周期と、前記バックライト制御信号の1フレーム周期とは、1sec以内に最小公倍数を有するとしてもよい。
また、例えば、前記信号処理部は、前記複数の領域それぞれに重畳される前記可視光通信信号の位相ずれの周期と、前記バックライト制御信号の1フレーム周期との最小公倍数または整数倍の時間毎に、前記複数の領域それぞれに重畳される前記可視光通信信号の位相ずれの周期の始点を前記バックライト制御信号の1フレーム周期に補正するとしてもよい。
なお、例えば、前記表示制御部は、前記映像信号に示される走査速度よりも高速化した高速走査速度に従って、前記表示パネルの表示面に映像を表示するよう前記表示パネルを制御するとしてもよい。
また、前記バックライト制御部は、前記信号処理部により出力されたバックライト制御信号に従って、前記複数の領域それぞれにおいて発光の制御を行い、前記複数の領域それぞれにおいて各々の映像信号に基づく前記バックライトの発光量に従って異なるタイミングで消灯の制御を行う期間を設け、前記複数の領域それぞれにおいて、前記映像信号および前記可視光通信信号に基づく前記バックライトのデューティも変化させるとしてもよい。
また、実施の形態18〜23における表示装置の制御方法は、可視光通信信号を出力可能な表示装置の制御方法であって、前記表示装置は、映像を表示する表示面を有する表示パネルと、前記表示パネルの前記表示面を背面から照明する発光面を有するバックライトとを備え、前記制御方法は、映像信号に基づいて前記表示パネルの表示面に映像を表示するよう前記表示パネルを制御する表示制御ステップと、前記可視光通信信号を前記映像信号に基づいて生成されたバックライト制御信号に重畳する信号処理ステップと、前記バックライトの発光面を複数の領域に分割し、前記信号処理ステップにおいて出力されたバックライト制御信号に従って、前記複数の領域それぞれにおいて発光の制御を行い、かつ、前記複数の領域それぞれにおいて異なるタイミングで消灯の制御を行う期間を設けるバックライト制御ステップとを含み、前記信号処理ステップでは、前記可視光通信信号を前記バックライト制御信号に重畳する際に、前記バックライト制御信号のうち前記バックライトの消灯を示す信号に対しては、前記可視光通信信号を重畳しない。
なお、実施の形態18〜23によれば、表示画像の画質を大きく劣化させることなく可視光通信信号を出力すること、かつ、出力した可視光通信信号の受信ミスを低減することができる表示装置に適用可能である。具体的には、実施の形態18〜23にかかる表示装置は、画像以外の情報を安全にしかも能動的に取得できるため、家庭でのテレビ或いはPC、タブレットなどの機器は勿論のこと、外出先でのサイネージや、情報端末、情報表示機器においてもその能動性ゆえに安全に必要な情報を必要なだけ得られるという意味で、あらゆる場面での画像付帯情報の転送、情報発信などのさまざまな用途に適用可能である。
(実施の形態24)
本開示は、可視光通信信号を出力可能な表示装置及び表示方法に関する。
ディスプレイのバックライトを用いた可視光通信技術に関する特開2007−43706号公報および特開2009−212768号公報では、映像信号の中に可視光による通信情報を重畳して表示する表示装置が開示されている。
本開示は、受信装置で復元可能な可視光通信信号を出力する表示装置を提供する。
本開示における表示装置は、複数の信号ユニットで構成される可視光通信信号をカルーセル方式で出力可能な表示装置であって、映像信号を表示する表示パネルと、信号ユニットを符号化し、複数のブロックに分割し、複数のブロックを用いて送信フレームを複数生成してバックライト制御信号とする可視光通信処理部と、バックライト制御信号に基づいて、表示パネルを背面から発光するバックライトと、を備える。可視光通信処理部で生成された1つの信号ユニットに対する複数の送信フレームは、少なくとも2つの送信フレームの複数のブロックの順序が異なる。
本開示の表示装置は、受信装置で復元可能な可視光通信信号を出力することできる。
以下、適宜図面を参照しながら、実施の形態を詳細に説明する。但し、必要以上に詳細な説明は省略する場合がある。例えば、既によく知られた事項の詳細説明や実質的に同一の構成に対する重複説明を省略する場合がある。これは、以下の説明が不必要に冗長になるのを避け、当業者の理解を容易にするためである。
なお、添付図面および以下の説明は、当業者が本開示を十分に理解するために、提供されるのであって、これらにより特許請求の範囲に記載の主題を限定することは意図されていない。
以下、図364〜372Eを用いて、実施の形態24を説明する。
[1−1.可視光通信システムの構成]
図364は、実施の形態24にかかる可視光通信システムの概略図である。図364において、可視光通信システム1500Sは、表示装置1500と、受信装置1520とから構成される。
表示装置1500は、例えば、ディスプレイであり、表示面1510に映像を表示する。また表示面1510に表示されている映像には、表示されている映像に関連する情報として可視光通信信号が挿入または重畳されている。
表示装置1500の表示面1510に表示されることによって出力された可視光通信信号を、受信装置1520は表示面1510に表示された映像を撮像することで受信する。受信装置1520は、例えば、順次露光型のイメージセンサーが内蔵されているスマートフォンとして構成される。これにより、受信装置1520のユーザーは、表示装置1500に表示されている映像に関連する情報などを受け取ることができる。
なお、本実施の形態では、表示装置1500としてディスプレイを例に挙げているが、これに限らない。表示装置1500は、プロジェクターのように投影型の表示装置であってもよい。
また、受信装置1520としてスマートフォンを例に挙げているが、可視光通信信号を受信可能な電子機器であればよい。例えば、電子機器は、電子機器情報産業協会(JEITA:Japan Electronics and Information Technology Industries Assosiation)で規定された「JEITA−CP1222 可視光IDシステム(Visible Light ID System)」に準拠する受信装置であってもよい。さらに、電子機器は、一般的な通信端末であってもよい。
また、「可視光通信信号を受信可能」とは、可視光通信信号を受信し、受信した可視光通信信号をデコードして情報を得ることができるということである。
また、可視光通信信号の通信方式は、例えば、JEITAで規定された「JEITA−CP−1223 可視光ビーコンシステム(Visible Light Beacon
System)」に準拠する通信方式、或いはIEEE(The Institute
of Electrial and Electronics Engineers,
Inc.)で標準化されたWPAN(Wireless Personal Area
Network)の規定であるIEEE−P802.15に準拠する通信方式等であってもよい。
換言すると、受信装置1520は、これらの通信方式で通信可能であり、さらに可視光
通信信号を受信可能な電子機器であればよい。
[1−2.表示装置の構成]
図365は、実施の形態24にかかる表示装置のブロック図である。図365において、表示装置1500は、映像信号入力部1501と、映像信号処理部1502と、表示制御部1503と、表示パネル1504と、可視光通信信号入力部1505と、可視光通信信号処理部1506と、バックライト制御部1507と、バックライト1508と、を有する。
映像信号入力部1501は、アンテナケーブル、コンポジットケーブル、HDMI(登録商標)(High−Definition Multimedia Interface:)ケーブル、PJLinkケーブル、LAN(Local Area Network)ケーブルなどを通じて、表示パネル1504に表示される映像に関する映像信号が入力される。映像信号入力部1501は、入力された映像信号を、映像信号処理部1502に出力する。
なお、映像信号は、記録媒体に保存した映像信号を用いてもよい。
映像信号処理部1502は、入力された映像信号に対して復号処理などの一般的な画像処理を施す。映像信号処理部1502は、画像処理を施した映像信号を表示制御部1503およびバックライト制御部1507に送信する。映像信号には、映像の明るさ等に関する情報が含まれている。
表示制御部1503は、入力された映像信号に基づいて、表示パネル1504の表示面1510に映像を表示するように表示パネル1504を制御する。より具体的には、表示制御部1503は、映像信号処理部1502から入力された映像信号に基づいて表示パネル1504の液晶の開口制御等を行う。
表示パネル1504は、例えば液晶パネルであり、映像を表示する表示面1510を有する。
可視光通信信号入力部1505は、可視光通信信号専用ケーブルやLANケーブルなどを通じて、可視光通信信号が入力される。
なお、可視光通信信号は、記録媒体に保存した可視光通信信号を用いてもよい。さらに、可視光通信信号は、映像信号と重畳していてもよい。
可視光通信信号入力部1505は、入力された可視光通信信号を、可視光通信信号処理部1506に出力する。
可視光通信信号処理部1506は、入力された可視光通信信号を所定の符号化方法で符号化し、さらに可視光通信信号の送信順序を決定する処理などを行う。可視光通信信号処理部1506は、符号化された可視光通信信号をバックライト制御用信号に変換する。可視光通信信号処理部1506は、生成したバックライト制御用信号を、バックライト制御部1507に出力する。
バックライト制御部1507は、バックライト1508の発光面を複数の領域に分割し、複数の領域それぞれにおいて発光の制御を行い、発光面の複数の領域それぞれにおいて異なるタイミングで消灯の期間を設ける制御を行う。
バックライト制御部1507は、入力された映像信号に含まれる映像の明るさ等に関する情報に基づいてバックライト1508の輝度やタイミングを制御する。また、バックライト制御部1507は、入力されたバックライト制御用信号に基づいて、バックライト1508の発光を制御する。
バックライト1508は、表示パネル1504の背面に設置され、表示パネル1504の表示面1510を背面から照明する発光面を有している。バックライト1508は、表示パネル1504の背面から光を照射する。視聴者は、表示パネル1504に表示される映像を視認できる。
本実施の形態において、表示面1510全体を可視光通信領域とする。
図366は、可視光通信信号の生成例を説明する図である。図366に示すように、可視光通信信号入力部1505に入力される可視光通信信号は、複数の所定長の信号ユニットで構成されている。可視光通信信号処理部1506は、信号ユニットを所定数のデータに分割する。図366において、1つの信号ユニットは、データ長の同じ4つのデータで構成されている。すなわち、1つの信号ユニットは、データ1、データ2、データ3、データ4に分割される。1つの信号ユニットの分割は、表示装置1500から出力する可視光通信信号の搬送周波数、可視光通信信号の信号ユニットのデータ長に基づいて、更には、バックライト1508の発光しない期間等に基づいて決定すればよい。
なお、図366において、1つの信号ユニットを分割するデータのデータ長は同じであるとして説明したが、1つの信号ユニットを分割するデータのデータ長は互いに異なっていても良いし、1つの信号ユニットを分割するデータのうち、一つのデータのデータ長が残りのデータのデータ長と異なっていても良い。
次に、可視光通信信号処理部1506は、分割されたデータを符号化し、各データに対してヘッダー部を付加し、送信順序を決定し、ブロックを生成する。具体的には、データ1、データ2、データ3、データ4から、ブロック1、ブロック2、ブロック3、ブロック4を生成する。可視光通信信号処理部1506は、バックライト制御用信号として、生成したブロックをブロック1、ブロック2、ブロック3、ブロック4の順でバックライト制御部1507へ送信する。
ブロックのヘッダー部は、「プリアンブル」、「アドレス」、「パリティ」で構成される。プリアンブルは、ブロックの始まりを示すパターンであり、データが可視光通信信号であることを示す識別子を含む。例えば、4値パルス位置変調(4PPM:4 Pulse Position Modulation)あるいはi−4PPM(Inverted 4PPM)などの符号化規則から外れた信号を用いる。パリティは、データの誤りを検出するために使用される。アドレスは、信号ユニットにおけるブロックの送信順序を示す。
1つの信号ユニットから生成された4つのブロックを、送信フレームと呼ぶ。
[1−3.受信装置の構成]
図367は、実施の形態24にかかる受信装置のブロック図である。図367において、受信装置1520は、撮像部1521と、撮像画像生成部1522と、撮像画像処理部1523と、を有する。
撮像部1521は、表示装置1500の可視光通信領域に表示されている映像を撮像する。撮像部1521は、例えば、順次露光型のイメージセンサーである。イメージセンサーは撮像を開始すると、順次露光を行い、露光データを撮像画像生成部1522へ送る。
撮像画像生成部1522は、撮像部1521から送られた露光データを内蔵するメモリに一時記憶する。メモリに格納されている露光データに基づいて、撮像画像を生成する。
撮像画像処理部1523は、撮像画像生成部1522で生成した撮像画像から、可視光通信信号を復元する。
[1−4.可視光通信信号の出力と受信]
次に、表示装置1500の可視光通信領域から出力された送信フレームを、受信装置1520にて受信する基本的な動作を説明する。
[1−4−1.バックライトの点灯/消灯に対する撮像画像]
図368は、表示装置1500のバックライト1508の点灯/消灯に対する受信装置1520の撮像画像を説明する図である。
撮像部1521は、順次露光型のイメージセンサーであり、1ライン毎に時間的にスキャンしながら露光する。本実施の形態では説明を簡略化するために、イメージセンサーの露光素子が8ラインであるとして説明する。露光ラインは受信装置1520の縦長の帯状に構成されているものとする。
図368に示すように、時間経過とともに、表示装置1500のバックライト1508の点灯と消灯が行われる。イメージセンサーは、1ライン目から8ライン目まで順次露光していき、8ライン目まで順次露光が行われると、受信装置1520の撮像画像生成部1522は8ラインの露光データに基づいて撮像画像を生成する。ここで、イメージセンサーの順次露光の期間を撮像期間とし、この撮像期間中にイメージセンサーにより順次露光された露光データに基づいて生成された撮像画像を受信フレームLとする。イメージセンサーの露光は、8ライン目まで行われると、1ライン目に戻り、1ライン目から次の露光が開始される。次に生成された撮像画像を受信フレームL+1とする。8ライン目まので露光の終了から、次の1ライン目の露光が開始するまでの間に、露光データをメモリに格納する時間等のブランキング期間が存在し、この時間は、露光していない。受信フレームLは、受信装置1520のイメージセンサーの露光の1ライン目、2ライン目、5ライン目、6ライン目と8ライン目は、表示装置1500のバックライト1508の点灯時で、各ラインは明るい。受信装置1520のイメージセンサーの露光の3ライン目と4ライン目は、表示装置1500のバックライト1508の消灯時であり、各ラインは暗い。受信フレームLに基づいて可視光通信信号が復元される。
受信フレームL+1は、受信装置1520のイメージセンサーの露光の1ライン目、2ライン目、3ライン目、7ライン目と8ライン目は、表示装置1500のバックライト1508の点灯時で、各ラインは明るい。受信装置1520のイメージセンサーの露光の4ライン目、5ライン目と6ライン目は、表示装置1500のバックライト1508の消灯時であり、各ラインは暗い。受信フレームL+1に基づいて可視光通信信号が復元される。
[1−4−2.送信フレームに対する撮像画像]
図369は、表示装置1500の送信フレームに対する受信装置1520の撮像画像を説明する概略図である。
図366で説明したように、可視光通信信号は複数の信号ユニットで構成され、1つの信号ユニットは4つのデータに分割され、符号化し、4つのブロックに分割される。
表示装置1500の表示面1510である可視光通信領域において、映像信号の内容によってバックライト1508の点灯/消灯を判別できない期間が発生する場合がある。この期間中に表示装置1500から出力される送信フレームを受信装置1520は受信できない可能性がある。
そこで、表示装置1500のバックライト1508から出力される送信フレームは、1つの信号ユニットから生成される送信フレームを複数回繰り返して出力するカルーセル方式を用いる。図369において、表示装置1500は、可視光通信信号を1つの信号ユニットとして、送信フレームを2回連続して出力している。
図369に示すように、時間経過とともに、表示装置1500のバックライト1508の点灯/消灯により送信フレームが出力される。受信装置1520のイメージセンサーの露光は、1ライン目から8ライン目まで順次露光していく。イメージセンサーの露光が8ライン目まで行われると、受信装置1520の撮像画像生成部1522は、8ラインの露光データに基づいて撮像画像を生成する。撮像画像である受信フレームLは、受信装置1520のイメージセンサーの露光の1ライン目と2ライン目でブロック1を受信し、3ライン目と4ライン目でブロック2を受信し、5ライン目と6ライン目でブロック3を受信し、7ライン目と8ライン目でブロック4を受信する。受信フレームLは、表示装置1500から出力される1つの信号ユニットの1回目の送信フレームに対応する。
また、図369において、撮像画像である受信フレームL+1は、受信装置1520のイメージセンサーの露光の1ライン目と2ライン目でブロック1を受信し、3ライン目と4ライン目でブロック2を受信し、5ライン目と6ライン目でブロック3を受信し、7ライン目と8ライン目でブロック4を受信する。受信フレームL+1は、表示装置1500から出力される1つの信号ユニットの2回目の送信フレームに対応する。
このように、1つの信号ユニットから生成される送信フレームをカルーセル方式で連続して出力することで、1回目の送信フレームの送信に対し受信障害が発生しても、2回目の送信フレームで、1回目の送信フレームで受信できなかったブロックを受信できる。2回分の送信フレームに対し、全てのブロック、すなわち4つのブロックを受信することで、1つの信号ユニットが復元できる。
また、送信フレームをカルーセル方式で連続して出力する場合、表示装置1500は、次の信号ユニットの送信フレームを出力する前に、現在の信号ユニットから次の信号ユニットに切り替わったことを示すリセット信号を出力しても良い。
このリセット信号は、送信フレームのブロックのプリアンブルやデータに含めても良い。
[1−5.可視光通信信号の出力と受信における課題]
次に、可視光通信信号の出力と受信における課題について説明する。図370は、表示装置1500の送信クロックの周波数と受信装置1520の撮像部1521のフレームレートの関係を説明する図である。
本実施の形態における表示装置1500の表示パネル1504である液晶パネルの駆動周波数は120Hzである。
なお、液晶パネルの種類によっては、駆動周波数が60Hzで動作するものや、駆動周波数が240Hzで動作するものもある。
また、本実施の形態における受信装置1520の撮像部1521のイメージセンサーのフレームレートは30fps(frame per second)で動作する。
このとき、液晶パネルの駆動周波数とイメージセンサーのフレームレートの関係は、互いに整数倍または整数分の一の関係になる。さらに、表示装置1500のバックライト制御部1507における輝度制御や動画解像度などの制御のために、表示装置1500のバックライト1508の点灯と消灯のタイミングが液晶パネルの駆動周波数と同期する場合がある。すなわち、図370に示すように、液晶パネルの駆動周波数に同期して、表示装置1500の送信フレームが出力されることになる。図370は、このような状況で表示装置1500から出力される1つの信号ユニットから生成される送信フレームをカルーセル方式で3回出力する場合を示している。
表示装置1500から出力される1回目の送信フレームに対し、1フレームレートの撮像期間にイメージセンサーの露光を行う。受信装置1520は、露光データに基づいて撮像画像である受信フレームLを生成する。受信装置1520は、受信フレームLから可視光通信信号を復元する。受信フレームLにデータが全て含まれるブロック2、ブロック3のみが可視光通信信号として復元できる。
表示装置1500から出力される2回目の送信フレームに対し、1フレームレートの撮像期間にイメージセンサーの露光を行う。受信装置1520は、露光データに基づいて撮像画像である受信フレームL+1を生成する。受信装置1520は、受信フレームL+1から可視光通信信号を復元する。受信フレームL+1にデータが全て含まれるブロック2、ブロック3のみが可視光通信信号として復元できる。
表示装置1500から出力される3回目の送信フレームに対し、1フレームレートの撮像期間にイメージセンサーの露光を行う。受信装置1520は、露光データに基づいて撮像画像である受信フレームL+2を生成する。受信装置1520は、受信フレームL+2から可視光通信信号を復元する。受信フレームL+2にデータが全て含まれるブロック2、ブロック3のみが可視光通信信号として復元できる。
このように、液晶パネルの駆動周波数とイメージセンサーのフレームレートの関係が、互いに整数倍または整数分の一の関係であり、表示装置1500から出力される1つの信号ユニットに対する送信フレームを液晶パネルの駆動周波数に同期して出力する場合、カルーセル方式で同じ送信フレームを3回出力したとしても、ブロック1、ブロック2、ブロック3、ブロック4のうち、可視光通信信号として復元できるのは、ブロック2、ブロック3のみである。ブロック1とブロック4は可視光通信信号として復元できない。
[1−6.送信フレームの生成方法]
上記課題を解決するために、表示装置1500から出力される1つの信号ユニットに含まれる4つのブロックを受信装置1520で全て可視光通信信号として復元するために、1つの信号ユニットに対してカルーセル方式で複数回出力する送信フレームを毎回同じ送信フレームを用いるのではなく、毎回異なる送信フレームを生成して出力する。すなわち、1つの信号ユニットに対してカルーセル方式で複数回出力する送信フレームを、1つの信号ユニットに対する送信フレームのブロックの送信順序が毎回同じにならないように送信フレームを生成する。
図371は実施の形態24にかかる1つの信号ユニットに対する送信フレームの第1の生成例を説明する図である。図371は、図370の場合と同様、表示装置1500から出力される1つの信号ユニットをカルーセル方式で3回出力する場合を示している。図370と異なる点は、表示装置1500から出力される3回の送信フレームのブロックの送信順序が同じではなく、毎回異なっている点である。
表示装置1500から出力される1回目の送信フレームのブロックの順序は、ブロック1、ブロック2、ブロック3、ブロック4である。表示装置1500から出力される1回目の送信フレームに対し、受信装置1520は1フレームレートの撮像期間にイメージセンサーの露光を行う。受信装置1520は、露光データに基づいて撮像画像である受信フレームLを生成する。受信装置1520は、受信フレームLから可視光通信信号を復元する。受信フレームLにデータが全て含まれるブロック2、ブロック3のみが可視光通信信号として復元できる。
表示装置1500から出力される2回目の送信フレームのブロックの順は、ブロック2、ブロック3、ブロック4、ブロック1である。表示装置1500から出力される2回目の信号ユニットに対し、1フレームレートの撮像期間にイメージセンサーの露光を行う。受信装置1520は、露光データに基づいて撮像画像である受信フレームL+1を生成する。受信装置1520は、受信フレームL+1から可視光通信信号を復元する。受信フレームL+1にデータが全て含まれるブロック3、ブロック4のみが可視光通信信号として復元できる。
表示装置1500から出力される3回目の送信フレームのブロックの順は、ブロック3、ブロック4、ブロック1、ブロック2である。表示装置1500から出力される3回目の送信フレームに対し、1フレームレートの撮像期間にイメージセンサーの露光を行う。受信装置1520は、露光データに基づいて撮像画像である受信フレームL+2を生成する。受信装置1520は、受信フレームL+2から可視光通信信号を復元する。受信フレームL+2にデータが全て含まれるブロック4、ブロック1のみが可視光通信信号として復元できる。
液晶パネルの駆動周波数とイメージセンサーのフレームレートの関係が、互いに整数倍または整数分の一の関係であり、表示装置1500から送信フレームが液晶パネルの駆動周波数に同期して出力される場合、1つの信号ユニットに対する送信フレームを、ブロックの送信順序を毎回変更してカルーセル方式で3回出力すると、1つの信号ユニットのブロック1、ブロック2、ブロック3、ブロック4の全てを、可視光通信信号として復元できる。
図371の生成例では、表示装置1500から出力される送信フレームの2番目と3番目のブロックが可視光通信信号として復元できるブロックであるので、3回の出力で全てのブロックが2番目と3番目に出力するように信号ユニットのブロックの送信順序を変更している。
なお、図371の生成例では、1つの信号ユニットに対してカルーセル方式で複数回出力する送信フレームを、1つの信号ユニットに対する送信フレームのブロックの送信順序が毎回同じにならないように変更したが、これに限らない。1つの信号ユニットに対してカルーセル方式で複数回出力する送信フレームを、1つの信号ユニットに対する隣り合う2つの送信フレームのブロックの送信順序が異なるようにブロックの送信順序を変更するとしてもよい。
さらに、表示装置1500から出力される送信フレームの生成例はこれに限らない。
図372Aは、実施の形態24にかかる1つの信号ユニットに対する送信フレームの第2の生成例を説明する図である。
図372Aは、送信フレームのブロックの送信順序を昇順、すなわち、ブロック1、ブロック2、ブロック3、ブロック4の順、と降順、すなわち、ブロック4、ブロック3、ブロック2、ブロック1の順、を繰り返す。
受信装置1520の生成する受信フレームが送信フレームの前半部分または後半部分で構成される場合、第2の生成例のような送信フレームをカルーセル方式で複数回出力することで、1つの信号ユニットのブロック1、ブロック2、ブロック3、ブロック4の全てを、可視光通信信号として復元できる。
図372Bは、実施の形態24にかかる1つの信号ユニットに対する送信フレームの第3の生成例を説明する図である。図372Bは、信号ユニットの4つのブロックのうち、1つのブロックを省きかつ送信フレームごとに送信順序を変更する。表示装置1500から出力される1回目の送信フレームのブロックの順序は、ブロック4を省き、ブロック1、ブロック2、ブロック3、ブロック2である。表示装置1500から出力される2回目の送信フレームのブロックの順序は、ブロック2を省き、ブロック3、ブロック4、ブロック1、ブロック3である。表示装置1500から出力される3回目の送信フレームのブロックの順序は、ブロック3を省き、ブロック4、ブロック1、ブロック2、ブロック4である。このような送信順序に変更し、すべてのブロックを同じ回数送信することができる。
図372Cは、実施の形態24にかかる1つの信号ユニットに対する送信フレームの第4の生成例を説明する図である。図372Cは、信号ユニットのブロックをブロック1、ブロック2、ブロック3、ブロック4の順に並べ、その中に1つのブロックを追加する。表示装置1500から出力される1回目の送信フレームのブロックの順序は、ブロック1を追加し、ブロック1、ブロック1、ブロック2、ブロック3である。表示装置1500から出力される2回目の送信フレームのブロックの順序は、1回目に含まれなかったブロック4から始め、ブロック2を追加し、ブロック4、ブロック1、ブロック2、ブロック2の順である。表示装置1500から出力される3回目の送信フレームのブロックの順序は、2回目に含まれなかったブロック3から始め、ブロック3、ブロック4、ブロック1、ブロック2の順である。
このように、第4の生成例のような送信フレームをカルーセル方式で複数回出力するうちに、1つの信号ユニットのブロック1、ブロック2、ブロック3、ブロック4の全てを、可視光通信信号として復元できる。
図372Dは、実施の形態24にかかる1つの信号ユニットに対する送信フレームの第5の生成例を説明する図である。図372Dは、信号ユニットのブロックの順序をランダム変更する。表示装置1500から出力される1回目の送信フレームのブロックの順は、ブロック1、ブロック3、ブロック2、ブロック4である。表示装置1500から出力される2回目の送信フレームのブロックの順は、ブロック3、ブロック1、ブロック2、ブロック4である。表示装置1500から出力される3回目の送信フレームのブロックの順は、ブロック2、ブロック3、ブロック1、ブロック4である。1つの信号ユニットに対する送信フレームのブロックの順序をランダムに変更してカルーセル方式で複数回出力するうちに、1つの信号ユニットのブロック1、ブロック2、ブロック3、ブロック4の全てを、可視光通信信号として復元できる。
図372Eは、実施の形態24にかかる1つの信号ユニットに対する送信フレームの第6の生成例を説明する図である。図372Eは、1つの送信フレームにおいて、同一ブロックを2回連続する。表示装置1500から出力される1回目の送信フレームのブロックの順は、ブロック1、ブロック1、ブロック2、ブロック2である。表示装置1500から出力される2回目の送信フレームのブロックの順は、ブロック3、ブロック3、ブロック4、ブロック4である。表示装置1500から出力される3回目の送信フレームのブロックの順は、ブロック1、ブロック1、ブロック2、ブロック2である。
[1−7.可視光通信信号処理部の動作]
次に、表示装置1500の可視光通信信号処理部1506の動作を説明する。図373は、表示装置1500の可視光通信信号処理部1506の動作を説明するフローチャートである。
(ステップS1501)可視光通信信号処理部1506は、可視光通信信号入力部1505から可視光通信信号の入力の有無を判定する。可視光通信信号の入力が「有り」と判断された場合(Yesの場合)、ステップS1502へ処理を進める。可視光通信信号の入力が「無し」と判断された場合(Noの場合)、ステップS1501の処理を繰り返す。
(ステップS1502)入力された可視光通信信号は複数の信号ユニットで構成されている。可視光通信信号処理部1506は、1つの信号ユニットを読み込む。
(ステップS1503)可視光通信信号処理部1506は、読み込んだ1つの信号ユニットに対し、所定数のデータに分割し、各データを符号化し、各データに対しヘッダー部を付加し、ブロックを生成する。
(ステップS1504)可視光通信信号処理部1506は、生成したブロックに基づいて、カルーセル方式で送信する複数の送信フレームのそれぞれの送信フレームに含めるブロックの送信順序を決定する。
(ステップS1505)可視光通信信号処理部1506は、複数の送信フレームを生成し、バックライト制御部1507に出力する。
(ステップS1506)可視光通信信号処理部1506は、残りの信号ユニットの有無を判定する。残りの信号ユニットが「有り」と判定された場合(Yesの場合)は、ステップS1501に戻る。残りの信号ユニットが「無し」と判定された場合(Noの場合)は、処理を終了する。
[1−8.効果等]
以上のように、本実施の形態における表示装置は、複数の信号ユニットで構成される可視光通信信号をカルーセル方式で出力可能な表示装置であって、映像信号を表示する表示パネルと、信号ユニットを符号化し、複数のブロックに分割し、複数のブロックを用いて送信フレームを複数生成してバックライト制御信号とする可視光通信処理部と、バックライト制御信号に基づいて、表示パネルを背面から発光するバックライトと、を備える。可視光通信処理部で生成された1つの信号ユニットに対する複数の送信フレームは、少なくとも2つの送信フレームの複数のブロックの順序が異なる。
これにより、表示装置1500は、1つの信号ユニットに対しブロックの送信順序の異なる複数の送信フレームを出力することで、受信装置1520は可視光通信信号を復元できる。
また、本実施の形態における表示装置は、可視光通信処理部で生成された1つの信号ユニットに対する複数の送信フレームは、少なくとも隣接する2つの送信フレームに同一のブロックを含む。
これにより、表示装置1500は、1つの信号ユニットに対し少なくとも隣接する2つの送信フレームに同一のブロックを含めることで、受信装置1520は可視光通信信号を復元できる。
また、本実施の形態における表示装置は、可視光通信処理部で生成された1つの信号ユニットに対する複数の送信フレームは、少なくとも1つの送信フレームに、同一のブロックを複数個含み、複数の送信フレームで複数のブロックを全て含む。
これにより、表示装置1500は、1つの送信フレームに同一のブロックを複数項含め、複数の送信フレームでブロックを全て含めることで、受信装置1520は可視光通信信号を復元できる。
また、本実施の形態における表示装置は、可視光通信信号処理部は、隣接する2つの信号ユニットの間にリセット信号を挿入する。
これにより、表示装置1500は、現在の信号ユニットから次の信号ユニットに切り替わったことを示すことができる。
本実施の形態の表示装置1500は、液晶パネルの駆動周波数とイメージセンサーのフレームレートの関係が、互いに整数倍または整数分の一の関係であり、表示装置1500から送信フレームが液晶パネルの駆動周波数に同期して出力される場合に、特に有効である。
なお、本実施の形態において、表示装置1500からカルーセル方式で出力する送信フレームの送信回数を3回として説明したが、これに限らない。カルーセル方式で出力する送信フレームの送信回数は、複数回であれば、何回でもよい。
(実施の形態25)
以下、実施の形態25について、図374〜図376を用いて説明する。
[2−1.可視光通信システムの構成]
本実施の形態における可視光通信システムは、実施の形態24で説明した可視光通信システム1500Sと同じ構成である。本実施の形態における可視光通信システムにおいて異なる点を中心に説明する。
[2−2.映像の明暗と可視光通信信号の出力の関係]
本実施の形態における表示装置1500の表示パネル1504は、液晶パネルである。液晶パネルは、映像を表示する際に、表示面1510の液晶のシャッターを開閉する、或いは階調性の制御とバックライト1508の制御を行うことで、映像として視認する。
そのため、バックライト1508が非常に明るい設定であっても、映像信号が暗い場合、可視光通信領域に暗い領域ができる。映像信号の暗い領域は、表示パネル1504の液晶のシャッターによってバックライト1508の光が遮蔽される。暗い領域に可視光通信信号を出力する場合は、受信装置1520の撮像部1521で撮像された撮像画像から可視光通信信号を復元できないことがある。
そこで、本実施の形態では、表示装置1500の表示面1510全体である可視光通信領域に対して、所定以上の明るさを有する領域である高輝度領域の割合が小さい場合は、1つの信号ユニットに含まれるブロックの送信回数を複数回出力することで、可視光通信信号を復元できるようにする。逆に、可視光通信領域に対して、高輝度領域の割合が大きい場合は、高輝度領域の割合が小さい場合に比べて1つの信号ユニットに含まれるブロックの送信回数を減らす、または1つの信号ユニットに含まれるブロックの送信回数は1回にする。
[2−3.可視光通信信号処理部の動作]
実施の形態25の実施の形態24と異なる点は主に可視光通信信号処理部1506の動作である。次に、可視光通信信号処理部1506の動作を説明する。図374は、実施の形態25にかかる表示装置1500の可視光通信信号処理部1506の動作を説明するフローチャートである。
ステップS1501〜ステップS1503までの動作は、実施の形態24の動作と同じである。
(ステップS1511)可視光通信信号処理部1506は、可視光通信領域の高輝度領域を、映像信号処理部1502より入力された映像信号から検出する。可視光通信信号処理部は、可視光通信領域における高輝度領域の割合に基づいて送信ユニットの各ブロックの送信回数を決定する。送信回数の決定方法は、後述する。
(ステップS1512)可視光通信信号処理部1506は、信号ユニットの各ブロックの送信回数に基づいて、ブロックの送信順序を決定する。ブロックの送信順序の決定方法は後述する。
ステップS1505、ステップS1506の動作は、実施の形態24の動作と同じである。
[2−4.ブロックの送信回数の決定方法]
次に、ブロックの送信回数の決定方法について説明する。図375は、1つの信号ユニットに対する送信フレームの任意のブロックの送信回数を決定する方法の一例を説明する図である。
図375において、横軸は、可視光通信領域の高輝度領域の割合であり、縦軸は、信号ユニットにおける任意のブロックの送信回数を示している。
図375は、可視光通信領域のうち、高輝度領域が約80%以上であれば、信号ユニットにおける任意のブロックの送信回数は1回で、受信装置1520で可視光通信信号を復元できると想定し、可視光通信領域のうち、高輝度領域の割合が小さくなるに従って、信号ユニットにおける任意のブロックの送信回数を増やすことで、受信装置1520で可視光通信信号を復元できると想定する。具体的には、可視光通信領域のうち、高輝度領域が90%(A点)であれば、信号ユニットにおける任意のブロックの送信回数は1回、可視光通信領域のうち、高輝度領域が50%(B点)であれば、信号ユニットにおける任意のブロックの送信回数は3回、可視光通信領域のうち、高輝度領域が10%(C点)であれば、信号ユニットにおける任意のブロックの送信回数は6回とする。図375において、信号ユニットにおける任意のブロックの送信回数は、可視光通信領域のうち、高輝度領域の割合が80%から約15%の割合で、信号ユニットにおける任意のブロックの送信回数を1回ずつ増やしている。
なお、送信回数の割合は、これに限らず適宜変更してもよい。
[2−5.ブロックの送信順序の決定方法]
次に、1つの信号ユニットに対するブロックの送信順序の決定方法について説明する。図376は、実施の形態25にかかる1つの信号ユニットに対する送信フレームの生成例を説明する図である。本実施の形態における表示装置1500の表示パネル1504である液晶パネルの駆動周波数は120Hzであり、受信装置1520の撮像部1521のイメージセンサーのフレームレートは30fpsで動作する。さらに、液晶パネルの駆動周波数に同期して、表示装置1500の送信フレームが出力される。図376において、表示装置1500から出力される可視光通信信号の1つの信号ユニットをカルーセル方式で3回出力する場合を示している。1つの信号ユニットは、データ長の同じ6つのデータで構成され、符号化され6つのブロックが生成されるものとする。
図376において、1つの信号ユニットに対する3回の送信フレームに含むブロックの送信回数を可視光通信領域の高輝度領域の割合に応じて、決定している。
表示装置1500から出力される1回目の送信フレームは、高輝度領域の割合が80%であることから、信号ユニットの任意のブロックの送信回数は1回である。従って、表示装置1500から出力される1回目の送信フレームのブロックの順序は、ブロック1、ブロック2、ブロック3、ブロック4、ブロック5、ブロック6である。表示装置1500から出力される1回目の送信フレームに対し、受信装置1520は1フレームレートの撮像期間にイメージセンサーの露光を行う。受信装置1520は、露光データに基づいて撮像画像である受信フレームLを生成する。受信装置1520は、受信フレームLから可視光通信信号を復元する。受信フレームLにデータが全て含まれるブロック2、ブロック3、ブロック4、ブロック5が可視光通信信号として復元できる。
次に、表示装置1500から出力される2回目の送信フレームは、高輝度領域の割合が50%であることから、信号ユニットの任意のブロックの送信回数は、3回である。従って、表示装置1500から出力される2回目の送信フレームのブロックの順序は、ブロック1、ブロック2を順に3回繰り返している。表示装置1500から出力される2回目の送信フレームに対し、受信装置1520は1フレームレートの撮像期間にイメージセンサーの露光を行う。受信装置1520は、露光データに基づいて撮像画像である受信フレームL+1を生成する。受信フレームL+1のうち、高輝度領域でない領域のブロックは、復元できない。受信装置1520は、受信フレームL+1から可視光通信信号を復元する。受信フレームL+1にデータが全て含まれるブロック1、ブロック2が可視光通信信号として復元できる。
次に、表示装置1500から出力される3回目の送信フレームは、高輝度領域の割合が10%であることから、信号ユニットの任意のブロックの送信回数は6回である。表示装置1500から出力される3回目の送信フレームのブロックの順序は、ブロック6を連続して6回繰り返す。表示装置1500から出力される3回目の送信フレームに対し、受信装置1520は1フレームレートの撮像期間にイメージセンサーの露光を行う。受信装置1520は、露光データに基づいて撮像画像である受信フレームL+2を生成する。受信フレームL+2のうち、高輝度領域でない領域のブロックは、復元できない。受信装置1520は、受信フレームL+2から可視光通信信号を復元する。受信フレームL+2にデータが全て含まれるブロック6が可視光通信信号として復元できる。
1つの信号ユニットに対する送信フレームを、高輝度領域の割合に基づいてブロックの送信順序を決定してカルーセル方式で3回出力すると、1つの信号ユニットのブロック1、ブロック2、ブロック3、ブロック4、ブロック5、ブロック6の全てを、可視光通信信号として復元できる。
[2−6.効果等]
以上のように、本実施の形態の表示装置は、可視光通信処理部は、表示パネルの所定以上の輝度を有する領域を検出し、領域の大きさに応じて、送信フレームに含める同一のブロックの個数を決定し、信号ユニットに対する複数の送信フレームを生成する。
これにより、表示装置1500は、1つの信号ユニットに対し高輝度領域の割合に応じてブロックの送信回数を変更して複数の送信フレームを出力することで、受信装置1520は可視光通信信号を復元できる。
なお、本実施の形態では表示装置1500から出力する1つの信号ユニットに対して、カルーセル方式で3回の送信フレームを出力したが、これに限らない。例えば、カルーセル方式で3回以上の送信フレームを出力し、その組み合わせとして2回目の送信フレームのブロックの順序として、ブロック1、ブロック2を3回繰り返す組み合わせを変更した送信フレームを用いてもよい。
本実施の形態の表示装置1500は、液晶パネルの駆動周波数とイメージセンサーのフレームレートの関係が、互いに整数倍または整数分の一の関係であり、表示装置1500から送信フレームが液晶パネルの駆動周波数に同期して出力される場合に、特に有効である。
(実施の形態26)
以下、実施の形態26について、図377〜図380を用いて説明する。
[3−1.可視光通信システムの構成]
本実施の形態における可視光通信システムは、実施の形態24で説明した可視光通信システム1500Sと同じ構成である。本実施の形態における可視光通信システムにおいて異なる点を中心に説明する。
[3−2.表示装置からの距離との可視光通信信号の送信の関係]
表示装置1500と受信装置1520の距離が相対的に近い場合と遠い場合を比較する。表示装置1500と受信装置1520の距離が相対的に近い場合は、表示装置1500と受信装置1520の距離が相対的に遠い場合に比べて、受信装置1520で撮像した撮像画像に含まれるブロックが多くなる。
これは、表示装置1500と受信装置1520の距離が相対的に近い場合、受信装置1520の撮像部1521で生成できる撮像画像は相対的に大きくなり、表示装置1500と受信装置1520の距離が相対的に遠い場合、受信装置1520の撮像部1521で生成できる撮像画像は相対的に小さくなるためである。
そこで、本実施の形態における表示装置1500は、受信装置1520との距離に応じて、1つの信号ユニットの送信フレームの任意のブロックの送信回数を変更する。
[3−3.可視光通信信号処理部の動作]
実施の形態26の実施の形態24と異なる点は主に可視光通信信号処理部1506の動作である。可視光通信信号処理部1506の動作を説明する。図377は、実施の形態26にかかる表示装置1500の可視光通信信号処理部1506の動作を説明するフローチャートである。
ステップS1501〜ステップS1503までの動作は、実施の形態24の動作と同じである。
(ステップ1401)可視光通信信号処理部1506は、受信装置1520との距離に応じて、送信ユニットの各ブロックの送信回数を決定する。送信回数の決定方法は、後述する。
(ステップ1402)可視光通信信号処理部1506は、信号ユニットの各ブロック送信回数に基づいて、ブロックの送信順序を決定する。送信順序の決定方法は、後述する。
ステップS1505、ステップS1506の動作は、実施の形態24の動作と同じである。
[3−4.ブロックの送信回数の決定方法]
次に、ブロックの送信回数の決定方法について説明する。図378は、1つの信号ユニットに対する送信フレームの任意のブロックの送信回数を決定する方法の一例を説明する図である。
図378において、横軸は、表示装置1500と受信装置1520の距離であり、縦軸は、信号ユニットにおける任意のブロックの送信回数を示している。距離が近い場合は、信号ユニットの各ブロックの送信回数を少なくする。図378において、距離が3m以下であれば信号ユニットの各ブロックの送信回数を1回にする。
距離が遠い場合は、信号ユニットの各ブロック送信回数を多くする。図378において、距離が3m以上より2mの割合で1回ずつ信号ユニットの各ブロックの送信回数を増やしている。
なお、この割合は適宜変更してもよい。
[3−5.ブロックの送信順序の決定方法]
次に、1つの信号ユニットに対するブロックの送信順序の決定方法について説明する。図379は、実施の形態26にかかる表示装置1500から出力される1つの信号ユニットに対する送信フレームの生成例を説明する図である。図379は、距離が3mの場合である。本実施の形態における表示装置1500の表示パネル1504である液晶パネルの駆動周波数が、120Hzであり、受信装置1520の撮像部1521のイメージセンサーのフレームレートは30fpsで動作する。さらに、液晶パネルの駆動周波数に同期して、表示装置1500の送信フレームが出力される。図379において、表示装置1500から出力される可視光通信信号の1つの信号ユニットをカルーセル方式で4回送信する場合を示している。1つの信号ユニットは、データ長の同じ4つのデータで構成され、符号化され4つのブロックが生成されるものとする。
図378において、距離が3mの場合は、信号ユニットの1つの送信フレームの任意のブロックの送信回数は2回である。従って、図379に示すように、1つの送信フレームに任意のブロックを2回ずつ送信する。
表示装置1500から出力される1回目の送信フレームのブロックの順序は、ブロック1、ブロック2がそれぞれ2回出力されるように、ブロック1、ブロック1、ブロック2、ブロック2である。表示装置1500から出力される1回目の送信フレームに対し、受信装置1520は1フレームレートの撮像期間にイメージセンサーの露光を行う。受信装置1520は、露光データに基づいて撮像画像である受信フレームLを生成する。受信装置1520は、受信フレームLから可視光通信信号を復元する。受信フレームLにデータが全て含まれるブロック1、ブロック2が可視光通信信号として復元できる。
表示装置1500から出力される2回目の送信フレームのブロックの順序は、ブロック3、ブロック4がそれぞれ2回出力されるように、ブロック3、ブロック3、ブロック4、ブロック4である。表示装置1500から出力される2回目の送信フレームに対し、受信装置1520は1フレームレートの撮像期間にイメージセンサーの露光を行う。受信装置1520は、露光データに基づいて撮像画像である受信フレームL+1を生成する。受信装置1520は、受信フレームL+1から可視光通信信号を復元する。受信フレームL+1にデータが全て含まれるブロック3、ブロック4が可視光通信信号として復元できる。
表示装置1500から出力される3回目の送信フレームのブロックの順序は、ブロック1、ブロック2がそれぞれ2回出力されるように、ブロック1、ブロック1、ブロック2、ブロック2である。表示装置1500から出力される3回目の送信フレームに対し、受信装置1520は1フレームレートの撮像期間にイメージセンサーの露光を行う。受信装置1520は、露光データに基づいて撮像画像である受信フレームL+2を生成する。受信装置1520は、受信フレームL+2から可視光通信信号を復元する。受信フレームL+2にデータが全て含まれるブロック1、ブロック2が可視光通信信号として復元できる。
表示装置1500から出力される4回目の送信フレームのブロックの順序は、ブロック3、ブロック4がそれぞれ2回出力されるように、ブロック3、ブロック3、ブロック4、ブロック4である。表示装置1500から出力される4回目の送信フレームに対し、受信装置1520は1フレームレートの撮像期間にイメージセンサーの露光を行う。受信装置1520は、露光データに基づいて撮像画像である受信フレームL+3を生成する。受信装置1520は、受信フレームL+3から可視光通信信号を復元する。受信フレームL+3にデータが全て含まれるブロック3、ブロック4が可視光通信信号として復元できる。
以上のように、各受信フレームは、送信フレームに含まれる任意のブロックが2回出力される内の1つのブロックを受信できる。すなわち、各受信フレームから異なる2個のブロックを受信できる。
図380は、実施の形態26にかかる表示装置から出力される1つの信号ユニットに対する送信フレームの別の生成例を説明する図である。図380は、距離が8mの場合である。本実施の形態における表示装置1500の表示パネル1504である液晶パネルの駆動周波数が、120Hzであり、受信装置1520の撮像部1521のイメージセンサーのフレームレートは30fpsで動作する。さらに、液晶パネルの駆動周波数に同期して、表示装置1500の送信フレームが出力される。図380において、表示装置1500から出力される可視光通信信号の1つの信号ユニットをカルーセル方式で4回送信する場合を示している。1つの信号ユニットは、データ長の同じ4つのデータで構成され、符号化され4つのブロックが生成されるものとする。
図378において、距離が8mの場合は、信号ユニットの1つの送信フレームの任意のブロックの送信回数は4回である。従って、図380に示すように、1つの送信フレームに任意のブロックを4回ずつ送信する。
表示装置1500から出力される1回目の送信フレームのブロックの順序は、ブロック1を4回出力する。表示装置1500から出力される1回目の送信フレームに対し、受信装置1520は1フレームレートの撮像期間にイメージセンサーの露光を行う。受信装置1520は、露光データに基づいて撮像画像である受信フレームLを生成する。受信装置1520は、受信フレームLから可視光通信信号を復元する。受信フレームLにデータが全て含まれるブロック1が可視光通信信号として復元できる。
表示装置1500から出力される2回目の送信フレームのブロックの順序は、ブロック2を4回出力する。表示装置1500から出力される2回目の送信フレームに対し、受信装置1520は1フレームレートの撮像期間にイメージセンサーの露光を行う。受信装置1520は、露光データに基づいて撮像画像である受信フレームL+1を生成する。受信装置1520は、受信フレームL+1から可視光通信信号を復元する。受信フレームL+1にデータが全て含まれるブロック2が可視光通信信号として復元できる。
表示装置1500から出力される3回目の送信フレームのブロックの順序は、ブロック3を4回出力する。表示装置1500から出力される3回目の送信フレームに対し、受信装置1520は1フレームレートの撮像期間にイメージセンサーの露光を行う。受信装置1520は、露光データに基づいて撮像画像である受信フレームL+2を生成する。受信装置1520は、受信フレームL+2から可視光通信信号を復元する。受信フレームL+2にデータが全て含まれるブロック3が可視光通信信号として復元できる。
表示装置1500から出力される4回目の送信フレームのブロックの順序は、ブロック4を4回出力する。表示装置1500から出力される4回目の送信フレームに対し、受信装置1520は1フレームレートの撮像期間にイメージセンサーの露光を行う。受信装置1520は、露光データに基づいて撮像画像である受信フレームL+3を生成する。受信装置1520は、受信フレームL+3から可視光通信信号を復元する。受信フレームL+3にデータが全て含まれるブロック2が可視光通信信号として復元できる。
以上のように、各受信フレームは、送信フレームに含まれる任意のブロックが4回出力される内の1つのブロックを受信できる。すなわち、各受信フレームから1個のブロックを受信できる。
[3−6.効果等]
以上のように、本実施の形態において、可視光通信処理部は、表示装置と出力された可視光通信信号を受信可能な受信装置との距離に応じて、送信フレームに含める同一ブロックの個数を決定し、信号ユニットに対する複数の送信フレームを生成する。
これにより、表示装置1500は、表示装置1500と受信装置1520の距離に応じて、ブロックの送信回数を変更して複数の送信フレームを出力することで、受信装置1520は可視光通信信号を復元できる。
本実施の形態の表示装置1500は、液晶パネルの駆動周波数とイメージセンサーのフレームレートの関係が、互いに整数倍または整数分の一の関係であり、表示装置1500から送信フレームが液晶パネルの駆動周波数に同期して出力される場合に、特に有効である。
なお、表示装置1500と受信装置1520の距離は、表示装置1500であらかじめ設定でき、さらに、用途や、表示装置1500の設置状況によって適宜変更することが望ましい。
受信装置1520は、距離の指定を、Wi−Fi(Wireless Fidelity)、Bluetooth(登録商標)、LTE(Long Yerm Evolution)などの無線通信を通して表示装置1500に設定の要求をしてもよい。
さらに、距離は、表示装置1500または受信装置1520のいずれか一方で、センサーやカメラを用いて推定してもよい。
また、本実施の形態では、生成した送信フレームは一例であり、これに限定されない。
また、本実施の形態においては、送信フレームに2つのブロックを複数回出力する場合、同じ回数にしたが、同じ回数にしなくてもよい。
(実施の形態27)
以下、実施の形態27について、図381〜図383を用いて説明する。
[4−1.可視光通信システムの構成]
本実施の形態における可視光通信システムは、実施の形態24で説明した可視光通信システム1500Sと同じ構成である。本実施の形態における可視光通信システムにおいて異なる点を中心に説明する。
[4−2.ブランクの挿入]
図381は、実施の形態27にかかる1つの信号ユニットに対する送信フレームの生成例を説明する図である。本実施の形態における表示装置1500の表示パネル1504である液晶パネルの駆動周波数は120Hzであり、受信装置1520の撮像部1521のイメージセンサーのフレームレートは30fpsで動作する。さらに、液晶パネルの駆動周波数に同期して、表示装置1500の送信フレームが出力される。表示装置1500から出力される可視光通信信号の1つの信号ユニットをカルーセル方式で4回出力する。1つの信号ユニットは、データ長の同じ4つのデータで構成され、符号化され4つのブロックが生成される。
本実施の形態において、同じブロックが同じ位置にならないように、送信フレームに、ブロックと同じサイズのブランクを挿入する。
図381において、表示装置1500から出力される1回目の送信フレームは、ブロック1、ブロック2、ブロック3、ブロック4、ブランクの順である。表示装置1500から出力される1回目の送信フレームに対し、受信装置1520は1フレームレートの撮像期間にイメージセンサーの露光を行う。受信装置1520は、露光データに基づいて撮像画像である受信フレームLを生成する。受信装置1520は、受信フレームLから可視光通信信号を復元する。受信フレームLにデータが全て含まれるブロック2、ブロック3のみが可視光通信信号として復元できる。
表示装置1500から出力される2回目の送信フレームは、ブロック1、ブロック2、ブロック3、ブロック4、ブランクの順である。表示装置1500から出力される2回目の信号ユニットに対し、1フレームレートの撮像期間にイメージセンサーの露光を行う。受信装置1520は、露光データに基づいて撮像画像である受信フレームL+1を生成する。受信装置1520は、受信フレームL+1から可視光通信信号を復元する。受信フレームL+1にデータが全て含まれるブロック1、ブロック2のみが可視光通信信号として復元できる。
表示装置1500から出力される3回目の送信フレームは、ブロック1、ブロック2、ブロック3、ブロック4、ブランクの順である。表示装置1500から出力される3回目の送信フレームに対し、1フレームレートの撮像期間にイメージセンサーの露光を行う。受信装置1520は、露光データに基づいて撮像画像である受信フレームL+2を生成する。受信装置1520は、受信フレームL+2から可視光通信信号を復元する。受信フレームL+2にデータが全て含まれるブロック1のみが可視光通信信号として復元できる。
表示装置1500から出力される4回目の送信フレームは、ブロック1、ブロック2、ブロック3、ブロック4、ブランクの順である。表示装置1500から出力される4回目の送信フレームに対し、1フレームレートの撮像期間にイメージセンサーの露光を行う。受信装置1520は、露光データに基づいて撮像画像である受信フレームL+3を生成する。受信装置1520は、受信フレームL+3から可視光通信信号を復元する。受信フレームL+3にデータが全て含まれるブロック4のみが可視光通信信号として復元できる。
なお、挿入するブランクの信号パターンは、信号ユニットに含まれるデータと異なるパターンであれば、何でもよい。
以上のように、液晶パネルの駆動周波数とイメージセンサーのフレームレートの関係が、互いに整数倍または整数分の一の関係であり、表示装置1500から送信フレームが液晶パネルの駆動周波数に同期して出力される場合、1つの信号ユニットに対する送信フレームにブランクを挿入することで表示装置1500のバックライト1508の点灯と消灯のタイミングが液晶パネルの駆動周波数と同期することを避け、4回とも同じ送信フレームを出力しても、1つの信号ユニットのブロック1、ブロック2、ブロック3、ブロック4の全てを、可視光通信信号として復元できる。
また、挿入するブランクのサイズをブロックのサイズと同じにすることで、映像信号の輝度の揺れを防ぐことができる上、輝度調整期間としても有効である。
なお、挿入するブランクのサイズをブロックのサイズと同じにする、として説明したが、これに限らない。表示装置1500のバックライト1508の点灯と消灯のタイミングが液晶パネルの駆動周波数と同期しないように、挿入するブランクのサイズを決定すればよい。
なお、挿入するブランクのサイズは、常に同じサイズでなくてもよい。
さらに、ブランクが挿入された送信フレームの生成例はこれに限らない。
図382Aは、実施の形態27にかかる1つの信号ユニットに対する送信フレームの第2の生成例を説明する図である。
図382Aは、送信フレームの一番後ろにブランクを挿入し、かつ送信フレームのブロックの送信順序を実施の形態24で説明したように、毎回異ならせている。すなわち、表示装置1500から出力される1回目の送信フレームのブロックの順序は、ブロック1、ブロック2、ブロック3、ブロック3、ブランクである。表示装置1500から出力される2回目の送信フレームは、ブロック4、ブロック3、ブロック2、ブロック1、ブランクの順である。表示装置1500から出力される3回目の送信フレームは、ブロック2、ブロック3、ブロック4、ブロック1、ブランクの順である。
図382Bは、実施の形態27にかかる1つの信号ユニットに対する送信フレームの第3の生成例を説明する図である。
図382Bは、送信フレームの各ブロックの後にブランクを挿入する。すなわち、表示装置1500から出力される送信フレームは、ブロック1、ブランク、ブロック2、ブランク、ブロック3、ブランク、ブロック4、ブランクの順である。挿入するブランクのサイズは、ブロック長×α(0<α≦1の小数)であり、表示装置1500のバックライト1508の点灯と消灯のタイミングが液晶パネルの駆動周波数と同期しないようにαを決定する。
図382Cは、実施の形態27にかかる1つの信号ユニットに対する送信フレームの第4の生成例を説明する図である。
図382Cは、送信フレームの任意のブロックの後にブランクを挿入する。すなわち、表示装置1500から出力される送信フレームは、ブロック1、ブランク、ブロック2、ブランク、ブロック3、ブロック4の順である。
[4−3.可視光通信信号処理部の動作]
実施の形態27の実施の形態24と異なる点は主に可視光通信信号処理部1506の動作である。次に、可視光通信信号処理部1506の動作を説明する。図383は、実施の形態27にかかる表示装置1500の可視光通信信号処理部1506の動作を説明するフローチャートである。
ステップS1501〜ステップS1502までの動作は、実施の形態24の動作と同じである。
(ステップS1531)可視光通信信号処理部1506は、送信ユニットのブランクを挿入する位置を決定する。
(ステップS1532)可視光通信信号処理部1506は、ブランクのサイズを決定する。
ステップS1503〜ステップS1506の動作は、実施の形態24の動作と同じである。
[4−4.効果等]
以上のように、本実施の形態の表示装置は、可視光通信処理部は、1つの信号ユニットに対する複数の送信フレームのうち少なくとも1つの送信フレームにブランクを挿入する。
これにより、1つの信号ユニットに対する送信フレームにブランクを挿入することで表示装置1500のバックライト1508の点灯と消灯のタイミングが液晶パネルの駆動周波数と同期することを避け、受信装置1520は可視光通信信号を復元できる。
本実施の形態の表示装置1500は、液晶パネルの駆動周波数とイメージセンサーのフレームレートの関係が、互いに整数倍または整数分の一の関係であり、表示装置1500から送信フレームが液晶パネルの駆動周波数に同期して出力される場合に、特に有効である。
(他の実施の形態)
以上のように、本開示の技術の例示として、実施の形態24〜27を説明した。本開示の技術は、これに限定されず、変更、置き換え、付加、省略などを行った実施の形態にも適用できる。また、上記実施の形態24〜27で説明した各構成要素を組み合わせて、新たな実施の形態とすることも可能である。
なお、本開示の表示装置は、液晶パネルの駆動周波数に同期して送信フレームが出力される場合の送信フレームの生成例を示したが、これに限定されない。
例えば、表示装置から液晶パネルの駆動周波数に同期しないで送信フレームが出力される場合でも、送信フレームが出力される搬送周波数がイメージセンサーの周波数の整数倍となる場合は、本実施の形態が有効である。
また、表示装置の表示パネルが液晶パネルである場合について説明したが、これに限定されない。
例えば、表示装置が、画像フィルムが背面からLEDなどの照明で照らされるような看板であっても、表示装置から出力される送信フレームの搬送周波数が受信装置のイメージセンサーの周波数の整数倍となった場合は、本実施の形態が有効である。
本開示にかかる表示装置は、可視光通信信号を出力可能な表示装置、例えば、家庭におけるテレビ、パーソナルコンピュータ、タブレット端末などの機器、外出先でのサイネージ端末や、情報端末、情報表示機器に適用可能である。
(まとめ)
本開示における第1の態様に係る表示装置は、複数の信号ユニットで構成される可視光通信信号をカルーセル方式で出力可能な表示装置であって、映像信号を表示する表示パネルと、前記信号ユニットを符号化し、複数のブロックに分割し、前記複数のブロックを用いて送信フレームを複数生成してバックライト制御信号とする可視光通信処理部と、前記バックライト制御信号に基づいて、前記表示パネルを背面から発光するバックライトと、を備え、前記可視光通信処理部で生成された1つの前記信号ユニットに対する複数の前記送信フレームは、少なくとも2つの前記送信フレームの前記複数のブロックの順序が異なる。
本開示における第2の態様に係る表示装置は、前記可視光通信処理部で生成された1つの前記信号ユニットに対する複数の前記送信フレームは、少なくとも隣接する2つの前記送信フレームに同一のブロックを含む、第1の態様に係る表示装置である。
本開示における第3の態様に係る表示装置は、前記可視光通信処理部で生成された1つの前記信号ユニットに対する複数の前記送信フレームは、少なくとも1つの前記送信フレームに、同一のブロックを複数個含み、複数の前記送信フレームで前記複数のブロックを全て含む、第1の態様に係る表示装置である。
本開示における第4の態様に係る表示装置は、前記可視光通信処理部は、前記表示パネルの所定以上の輝度を有する領域を検出し、前記領域の大きさに応じて、前記送信フレームに含める同一のブロックの個数を決定し、前記信号ユニットに対する複数の前記送信フレームを生成する、第3の態様に係る表示装置である。
本開示における第5の態様に係る表示装置は、前記可視光通信処理部は、前記表示装置と出力された前記可視光通信信号を受信可能な受信装置との距離に応じて、前記送信フレームに含める同一ブロックの個数を決定し、前記信号ユニットに対する複数の前記送信フレームを生成する、第3の態様に係る表示装置である。
本開示における第6の態様に係る表示装置は、前記可視光通信信号処理部は、隣接する2つの前記信号ユニットの間にリセット信号を挿入する、第1の態様に係る表示装置である。
本開示における第7の態様に係る表示装置は、前記可視光通信処理部は、1つの前記信号ユニットに対する複数の前記送信フレームのうち少なくとも1つの前記送信フレームにブランクを挿入する、第1の態様に係る表示装置である。
本開示における第8の態様に係る表示方法は、複数の信号ユニットで構成される可視光通信信号をカルーセル方式で出力可能な表示方法であって、前記信号ユニットを符号化し、複数のブロックに分割し、前記複数のブロックを用いてカルーセル方式で出力するための送信フレームを複数生成し、バックライト制御信号として出力する第1のステップと、前記バックライト制御信号に基づいてバックライトを制御する第2のステップと、前記第1のステップで生成された1つの前記信号ユニットに対する複数の前記送信フレームは、少なくとも2つの前記送信フレームの前記複数のブロックの順序が異なる、表示方法である。
(実施の形態28)
図384は、送信装置がテレビなどの動画表示装置である場合の可視光通信(VLC:Visible light communication)の切り替え制御について説明するための図である。
具体的には、図384の(a)は、複数のピクチャからなる動画像を示す図であり、図384の(b)は、可視光通信がOFFである場合の動画像表示装置のバックライトのON/OFF制御を示す図であり、図384の(c)は、可視光通信がONである場合の動画表示装置のバックライトのON/OFF制御を示す図である。
図384の(a)に示すように、複数のピクチャP1601、P1602、P1603、P1604、P1605、P1606、・・・から構成される動画像1600を再生する場合、複数のピクチャP1601、P1602、P1603、P1604、P1605、P1606、・・・は、それぞれ時刻t1601、t1603、t1605、t1607、t1609、t1611、・・・で動画像表示装置に表示されるものとする。なお、時刻t1は、動画像1600の表示開始時刻であり、絶対的な時刻であってもよいし、ユーザにより指定された時刻であってもよい。また、時刻t1603、t1605、t1607、t1609、t1601、・・・は、時刻t1から所定時間間隔Δt1600おきの時刻である。つまり、時刻t1603、t1605、t1607、t1609、t1611、・・・は、一定の周期(所定時間間隔Δt1600)で決定される時刻である。
このような動画像1600を再生する場合、特に液晶ディスプレイでは、動画像1600がぼけて再生されるのを低減するために、隣接するピクチャ間に真っ黒なピクチャを挿入する制御を行うものがある。このような動画像表示装置の場合、図384の(b)のように、複数のピクチャP1601、P1602、P1603、P1604、P1605、P1606、・・・が表示される時刻t1601、t1603、t1605、t1607、t1609、t1611、・・・の間の時刻t1602、t1604、t1606、t1608、t1610、t1612、・・・において、真っ黒なピクチャを挿入するために動画像表示装置のバックライトをOFFにする制御を行っている。つまり、複数のピクチャP1601、P1602、P1603、P1604、P1605、P1606、・・・が表示される時刻t1601、t1603、t1605、t1607、t1609、t1611、・・・においては、バックライトをONにし、時刻t1602、t1604、t1606、t1608、t1610、t1612、・・・においてはバックライトをOFFにする制御を行う。
しかしながら、可視光通信を行っている間に、バックライトをOFFにしてしまうと、バックライトがOFFの期間中は通信が途切れてしまうことになる。このため、図384の(c)に示すように、可視光通信を行っている場合(つまり、VLCがONの場合)には、動画像1600の再生中であってもバックライトをONにし続ける制御を行う。このように、この場合の送信装置では、可視光通信を行っている場合には、図384の(c)のようにバックライトをONにし続け、可視光通信を行っていない場合には、図384の(b)のようにバックライトのON及びOFFを繰り返す制御を切り替える。これにより、可視光通信を行っている場合には、通信が途切れることを抑制でき、可視光通信を行っていない場合には、動画像1600がぼけて再生されることを低減できる。
(実施の形態29)
本実施の形態では、可視光通信のプロトコル送出方式について説明する。
図385及び図386は、アプリ層で利用する論理データ(例えばIDなど)を、可視光通信で送信する場合の手順を示す図である。
まず、論理データエラー訂正符号付与部1701は、アプリ層で利用する論理データ1711にエラー訂正符号である論理データ訂正符号1712を付与する。
次に、論理データ分割部1702は、論理データ1711及び論理データ訂正符号1712を、送信が可能なデータサイズへ分割することで複数の分割論理データ1713を生成する。また、論理データ分割部1702は、各分割論理データ1713に分割種別1714及びアドレス1715を付与する。
データ変調部1703は、論理データ分割部1702により生成されたデータを、送信が可能なデータ列へ変換することで、送信するための物理データ1716を生成する。
なお、論理データエラー訂正符号付与部1701は、論理データのサイズ又は伝送路の状況に応じて、CRC又はリードソロモン符号などの符合化を利用する。また、論理データ訂正符号1712が、論理データ1711の先頭に付与される場合、末尾に付与される場合、論理データ1711の特定位置に挿入される場合がある。
なお、論理データ分割部1702は、分割後のサイズを変動させることにより可視光通信で受信可能な限界距離と受信スピードを決定することができる。また、論理データ分割部1702は、分割方法を変動させることにより、論理データ訂正符号1712及び物理データ訂正符号1717によるエラー耐性に加えて、バーストエラーへの耐性を向上できるとともに、データ復号時の秘匿性を向上できる。
なお、データ変調部1703は、PPM変調又はマンチェスター変調などの変調種別を問わず、可視光通信発信部の装置特性(例えば、照明の場合はできる限り明るさを保つ必要がある、ディスプレイの場合は動画や静止画と共存する必要があるなど)によって、論理データの1ビット当たりに該当する量子化数又は標本値を変動させることにより、明るさ制御又は変調率制御を実現できる。例えば、データ変調部1703は、発光している場合を物理データの「1」、発光していない場合を物理データの「0」というように2値を用いる場合と、発光時の明るさを100%とした場合を「2」、発光時の明るさを50%した場合を「1」、発光時の明るさを0%とした場合を「0」というよう設定する場合とを切り替えることで、明るさの制御を実現できる。また、データ変調部1703は、発光している場合を物理データの「1」、発光していない場合を物理データの「0」としたうえで、論理データ「01」を、物理データ「0100」に変調したり、「11001111」に変調したりすることを切り替えることで、物理データ送信サイズにおける平均の明るさを制御できる。
次に、物理データエラー訂正符号付与部1704は、データ変調部1703により生成された物理データ1716にエラー訂正符号である物理データ訂正符号1717を付与する。
次に、物理データヘッダ挿入部1705は、物理データ1716の開始位置を示すためのヘッダ1718を、物理データ1716に付与する。得られたデータは、可視光通信発信部により可視光通信データとして発信される。
なお、物理データエラー訂正符号付与部1704は、物理データ1716のサイズ又は伝送路の状況に応じて、CRC又はリードソロモン符号などの符合化を利用する。また、物理データ訂正符号1717が、物理データ1716の付与される場合、末尾に付与される場合、物理データ1716の特定位置に挿入される場合がある。
なお、物理データヘッダ挿入部1705は、可視光通信受信部が可視光通信データの物理データの先頭を識別可能なプリアンブルデータをヘッダとして挿入する。挿入されるプリアンブルデータは、送信する物理データ1716と物理データ訂正符号1717を合わせたデータに現れることのないデータ列である。物理データヘッダ挿入部1705は、プリアンブルデータのサイズとプリアンブルデータ列を変えることで、可視光通信発信部のちらつき具合及び必要な明るさを制御できる。さらに、プリアンブルデータは、可視光通信受信部での装置種別の識別などにも利用することができる。例えば、物理データ1716と物理データ訂正符号1717を合わせたデータの送信中の明るさと、プリアンブルデータの送信中の明るさとの差が極小となるようにプリアンブルデータを設定することでちらつきを低減できる。また、プリアンブル中の発光期間を少なくすることで、プリアンブルデータの明るさを小さく調整できる。
また、論理データ分割部1702での分割には一般的なインタリーブ方式を利用することができる。図387は、論理データ分割部1702による分割処理を説明するための図である。
図387は、論理データが「010011000111010」であり、分割数が3である場合の分割例を示す図である。例えば、図387の(a)に示すように、論理データ分割部1702は、論理データ1711及び論理データ訂正符号1712を先頭から5BITずつに区切ることで、複数の分割論理データ1713を生成する。または、図387の(b)に示すように、論理データ分割部1702は、論理データ1711及び論理データ訂正符号1712を、先頭から1BITずつを各分割論理データ1713に割振ることで、複数の分割論理データ1713を生成する。
また、図388に示すように、論理データ分割部1702は、論理データの分割に必要なSKIP数を定義し、論理データ1711及び論理データ訂正符号1712を先頭からSKIP数分のBITずつ各分割論理データ1713に割振ることで、複数の分割論理データ1713を生成してもよい。
この場合、論理データ分割部1702は、SKIP数を任意に指定することで、設定されたSKIP数を知らない可視光通信受信部では論理データの復元ができないように秘匿性を持たせることが可能となる。なお、論理データ分割部1702は、任意値を元にハッシュ関数を適用して出力されるハッシュ値を利用して分割を行ってもよいし、分割指定BITを任意値によりユニークに特定する任意の演算式を用いてもよい。
さらに、論理データ分割部1702は、時間を任意値として用いることで、特定の時間でしか受信できないように秘匿性を確保することもでる。また、論理データ分割部1702は、テレビチャンネル番号を任意値に用いることで特定チャンネルしか受信できないようなサービスに展開することもできる。また、論理データ分割部1702は、場所に関する数値を任意値に用いることで、そのデータをその場所でしか利用できないようにできる。
なお、本発明は以下の態様を含んでいてもよい。
送信機は、可視光送信部と人センサ部を備える。人センサ部により人がいることを検知し、送信を開始する。人センサ部によって人が居ると検知した方向に送信を行う。これにより、消費電力を抑えることができる。
受信機は、送信機のIDを受信し、住所情報、または、現在位置情報を付加してサーバに送信する。サーバは、受信された住所または位置に最適な設定を行うためのコードを受信機に送信する。受信機はサーバから受信したコードを画面に表示し、送信機に設定するようにユーザに示す。これにより、例えば、炊飯器や洗濯機の設定を居住地域の水質に最適な設定にすることができる。
受信機は、露光時間の設定を撮像フレーム毎に変更し、露光時間が短いフレームでは可視光信号を受信し、露光時間が長いフレームでは、その他の信号やマーカー、例えば、2次元バーコードを受信したり、物体認識や画像認識を行う。これにより、可視光受信とその他の信号やマーカーの受信を同時に行うことができる。
受信機は、フレーム毎に露光時間を少しずつ変更して撮像を行う。これにより、送信信号の変調周波数が不明であっても、いずれかのフレームの画像は適切な露光時間で撮像されており、信号を復調することができる。また、同じ信号を複数の露光時間で撮像することで、より効率的に受信信号を復調することができる。
受信機は、所定の範囲のIDを受信した場合は、サーバに問い合わせず、受信したIDをそのまま別の処理部に渡す。これにより、素早いレスポンスが得られる。また、サーバに接続できない状態であっても、処理を行うことができる。また、サーバにコンテンツを設定する前に動作を確認することができる。
送信機は、振幅変調により送信信号を表現する。このとき、異なる信号を表す複数のシンボルにおいて、輝度が低い状態、または、輝度が高い状態のどちらかの持続時間を等しくする。これにより、低い制御クロックでも信号を表現することができる。
送信機は、起動時に送信IDとコンテンツをサーバに登録する。これにより、所望のコンテンツをサーバから受信機に送信することができる。
IDの一部は、送信機が自由に設定することができるものとする。これにより、送信機の状態を示すコードをIDに含めることができる。受信機やサーバは、この部分によって表示コンテンツを変えてもよいし、無視してもよい。
(多値振幅パルス信号)
図389、図390および図391は、本実施の形態における送信信号の一例を示す図である。
パルスの振幅に意味を持たせることで、単位時間あたりにより多くの情報を表現することができる。例えば、振幅を3段階に分類すると、図389のように、平均輝度は50%に保ったまま、2スロットの送信時間で3値を表現することができる。ただし、図389の(c)を連続で送信すると輝度変化がないため、信号の存在がわかりにくい。また、デジタル処理では3値は少し扱いにくい。
そこで、図390の(a)から(d)の4種類のシンボルを用いることで、平均輝度は50%に保ったまま、平均3スロットの送信時間で4値を表現することができる。シンボルによって送信時間が異なるが、シンボルの最後の状態を輝度が低い状態とすることで、シンボルの終了時点を認識することができる。輝度が高い状態と低い状態を入れ替えても同様の効果が得られる。図390の(e)は、(a)を2回送信することと区別がつかないため、適さない。図390の(f)と(g)は、中間輝度が連続するため、やや認識しづらいが、利用することはできる。
図391の(a)や(b)のパターンをヘッダとして利用することを考える。これらのパターンは周波数解析において特定の周波数成分を強く持つため、これらのパターンをヘッダとすることで、周波数解析によって信号検出を行うことができる。
図391の(c)のように、(a)や(b)のパターンを用いて送信パケットを構成する。特定の長さのパターンをパケット全体のヘッダとし、異なる長さのパターンをセパレータとして用いることで、データを区切ることができる。また、途中の箇所にこのパターンを含むことで、信号検出を容易にすることができる。これにより、1パケットが1フレームの画像の撮像時間よりも長い場合であっても、受信機は、データをつなぎあわせて復号することができる。また、これにより、セパレータの数を調整することで、パケットの長さを可変とすることができる。パケットヘッダのパターンの長さでパケット全体の長さを表現するとしてもよい。また、セパレータをパケットヘッダとし、セパレータの長さをデータのアドレスとすることで、受信機は、部分的に受信したデータを合成することができる。
送信機は、このように構成したパケットを繰り返し送信する。図391の(c)のパケット1〜4の内容は全て同じでも良いし、異なるデータとして受信側で合成するとしてもよい。
(実施の形態30)
本実施の形態では、上記各実施の形態におけるスマートフォンなどの受信機と、LEDや有機ELの点滅パターンとして情報を送信する送信機とを用いた各適用例について説明する。
図392Aは、本実施の形態における送信機を説明するための図である。
本実施の形態における送信機は、例えば液晶ディスプレイのバックライトとして構成され、青色LED2303と、緑色蛍光成分2304および赤色蛍光成分2305からなる蛍光体2310とを備える。
青色LED2303は、青色(B)の光を放つ。蛍光体2310は、青色LED2303から放たれた青色の光を励起光として受けると黄色(Y)に発光する。つまり、蛍光体2310は、黄色の光を放つ。詳細には、蛍光体2130は、緑色蛍光成分2304および赤色蛍光成分2305からなるため、これらの蛍光成分の発光によって黄色の光を放つ。それらの2つの蛍光成分のうち緑色蛍光成分2304は、青色LED2303から放たれた青色の光を励起光として受けると緑色に発光する。つまり、緑色蛍光成分2304は、緑色(G)の光を放つ。上述の2つの蛍光成分のうち赤色蛍光成分2305は、青色LED2303から放たれた青色の光を励起光として受けると赤色に発光する。つまり、赤色蛍光成分2305は、赤色(R)の光を放つ。これにより、RGBまたはY(RG)Bのそれぞれの光が放たれるため、送信機はバックライトとして白色光を出力する。
この送信機は、青色LED2303を上記各実施の形態と同様に輝度変化させることによって、白色光の可視光信号を送信する。このとき、白色光の輝度が変化することによって所定の搬送周波数を有する可視光信号が出力される。
ここで、バーコードリーダは、赤色レーザ光をバーコードに照射し、バーコードから反射される赤色レーザ光の輝度変化に基づいて、そのバーコードを読み取る。この赤色レーザ光におけるバーコードの読み取り周波数は、現在実用化されている一般的な送信機から出力される可視光信号の搬送周波数と一致または近似している場合がある。したがって、このような場合に、バーコードリーダが、その一般的な送信機からの可視光信号である白色光に照らされたバーコードを読み取ろうとすると、その白色光に含まれる赤色の光の輝度変化によって、その読み取りに失敗してしまうことがある。つまり、可視光信号(特に赤色の光)の搬送周波数と、バーコードの読み取り周波数との干渉によって、バーコードの読み取りエラーが発生する。
そこで本実施の形態における、赤色蛍光成分2305には、緑色蛍光成分2304よりも、残光の継続時間が長い蛍光材料が用いられる。つまり、本実施の形態における赤色蛍光成分2305は、青色LED2303および緑色蛍光成分2304の輝度変化の周波数よりも十分に低い周波数で輝度変化する。言い換えれば、赤色蛍光成分2305は、可視光信号に含まれる赤色の輝度変化の周波数をなまらせる。
図392Bは、RGBのそれぞれの輝度変化を示す図である。
青色LED2303からの青色の光は、図392Bの(a)に示すように、可視光信号に含まれて出力される。緑色蛍光成分2304は、図392Bの(b)に示すように、青色LED2303からの青色の光を受けると、緑色に発光する。この緑色蛍光成分2304における残光の継続時間は短い。したがって、その青色LED2303が輝度変化していると、緑色蛍光成分2304は、その青色LED2303の輝度変化の周波数(つまり可視光信号の搬送周波数)と略同一の周波数で輝度変化する緑色の光を放つ。
赤色蛍光成分2305は、図392Bの(c)に示すように、青色LED2303からの青色の光を受けると、赤色に発光する。この赤色蛍光成分2305における残光の継続時間は長い。したがって、その青色LED2303が輝度変化していると、赤色蛍光成分2305は、その青色LED2303の輝度変化の周波数(つまり可視光信号の搬送周波数)よりも、低い周波数で輝度変化する赤色の光を放つ。
図393は、本実施の形態における緑色蛍光成分2304および赤色蛍光成分2305の残光特性を示す図である。
緑色蛍光成分2304は、例えば、青色LED2303が輝度変化することなく点灯している場合、強度I=I0の緑色の光を輝度変化させることなく(つまり輝度変化の周波数f=0の光を)放つ。また、青色LED2303が低い周波数で輝度変化しても、緑色蛍光成分2304は、その低い周波数と略同じ周波数fで輝度変化する、強度I=I0の緑色の光を放つ。しかし、青色LED2303が高い周波数で輝度変化すると、その高い周波数と略同じ周波数fで輝度変化する、緑色蛍光成分2304から放たれる緑色の光の強度Iは、緑色蛍光成分2304における残光の影響によって、強度I0よりも小さくなる。その結果、緑色蛍光成分2304から放たれる緑色の光の強度Iは、図393の点線に示すように、その光の輝度変化の周波数fが閾値fb未満の場合には、I=I0に保たれるが、周波数fが閾値fbを超えて高くなると、次第に小さくなる。
また、本実施の形態における赤色蛍光成分2305の残光の継続時間は、緑色蛍光成分2304の残光の継続時間よりも長い。したがって、赤色蛍光成分2305から放たれる赤色の光の強度Iは、図393の実線に示すように、その光の輝度変化の周波数fが、上記閾値fbよりも低い閾値fa未満まで、I=I0に保たれるが、周波数fが閾値fbを超えて高くなると、次第に小さくなる。言い換えれば、赤色蛍光成分2305から放たれる赤色の光は、緑色蛍光成分2304から放たれる緑色の光の周波数帯域のうちの、高周波領域には存在せず、低周波領域にのみ存在する。
より具体的には、本実施の形態における赤色蛍光成分2305には、可視光信号の搬送周波数f1と同一の周波数fで放たれる赤色の光の強度IがI=I1となる蛍光材料が用いられる。搬送周波数f1は、送信機に備えられている青色LED2303による輝度変化の搬送周波数である。また、上述の強度I1は、強度I0の1/3の強度、または、強度I0の−10dBの強度である。例えば、搬送周波数f1は10kHz、または5〜100kHzである。
つまり、本実施の形態における送信機は、可視光信号を送信する送信機であって、輝度変化する青色の光を前記可視光信号に含まれる光として放つ青色LEDと、前記青色の光を受けることによって緑色の光を前記可視光信号に含まれる光として放つ緑色蛍光成分と、前記青色の光を受けることによって赤色の光を前記可視光信号に含まれる光として放つ赤色蛍光成分とを備える。そして、前記赤色蛍光成分における残光の継続時間は、緑色蛍光成分における残光の継続時間よりも長い。なお、前記緑色蛍光成分および前記赤色蛍光成分は、前記青色の光を受けることによって黄色の光を前記可視光信号に含まれる光として放つ単一の蛍光体に含まれていてもよい。あるいは、前記緑色蛍光成分は、緑色蛍光体に含まれ、且つ、前記赤色蛍光成分は、前記緑色蛍光体とは別体の赤色蛍光体に含まれていてもよい。
これにより、赤色蛍光成分における残光の継続時間が長いため、青色および緑色の光の輝度変化における周波数よりも低い周波数で赤色の光を輝度変化させることができる。したがって、白色光の可視光信号に含まれる青色および緑色の光の輝度変化における周波数が、赤色レーザ光におけるバーコードの読み取り周波数と同一または近似していても、白色光の可視光信号に含まれる赤色の光の周波数を、バーコードの読み取り周波数から大きく異ならせることができる。その結果、バーコードの読み取りエラーの発生を抑制することができる。
ここで、前記赤色蛍光成分は、青色LEDから放たれる光の輝度変化の周波数よりも低い周波数で輝度変化する赤色の光を放ってもよい。
また、前記赤色蛍光成分は、青色の光を受けることによって赤色の光を放つ赤色蛍光材料と、所定の周波数帯域の光のみを透過ささるローパスフィルタとを備えてもよい。例えば、前記ローパスフィルタは、前記青色LEDから放たれる青色の光のうち、低域の周波数帯域の光のみを透過させて前記赤色蛍光材料に当てる。なお、前記赤色蛍光材料は、前記緑色蛍光成分と同じ残光特性を有するものであってもよい。または、前記ローパスフィルタは、前記青色LEDから放たれた青色の光が前記赤色蛍光材料に当たることによって、前記赤色蛍光材料から放たれる赤色の光のうち、低域の周波数帯域の光のみを透過させる。このようなローパスフィルタを用いる場合であっても、上述と同様に、バーコードの読み取りエラーの発生を抑制することができる。
また、前記赤色蛍光成分は、予め定められた残光特性を有する蛍光材料からなってもよい。例えば、予め定められた残光特性は、(a)前記赤色蛍光成分から放たれる赤色の光の輝度変化の周波数fが0である場合における前記赤色の光の強度をI0とし、(b)前記青色LEDから放たれる光の輝度変化における搬送周波数をf1とする場合、前記赤色の光の周波数fがf=f1のときに、前記赤色の光の強度が、前記I0の1/3以下、または−10dB以下となる、特性である。
これにより、可視光信号に含まれる赤色の光の周波数を、バーコードの読み取り周波数から確実に大きく異ならせることができる。その結果、バーコードの読み取りエラーの発生を確実に抑制することができる。
また、前記搬送周波数f1は略10kHzであってもよい。
これにより、現在実用化されている、可視光信号の送信に用いられる搬送周波数は9.6kHzであるため、この実用化されている可視光信号の送信において、バーコードの読み取りエラーの発生を有効に抑制することができる。
また、前記搬送周波数f1は略5〜100kHzであってもよい。
可視光信号を受信する受信機のイメージセンサ(撮像素子)の進歩により、今後の可視光通信において、20kHz、40kHz、80kHzまたは100kHzなどの搬送周波数が用いられることが想定される。したがって、上述の搬送周波数f1を略5〜100kHzとすることにより、今後の可視光通信においても、バーコードの読み取りエラーの発生を有効に抑制することができる。
なお、本実施の形態では、緑色蛍光成分および赤色蛍光成分が単一の蛍光体に含まれているか、それらの2つの蛍光成分のそれぞれが別体の蛍光体に含まれているかに関わらず、上記各効果を奏することができる。つまり、単一の蛍光体が用いられる場合であっても、その蛍光体から放たれる赤色の光および緑色の光のそれぞれの残光特性、すなわち周波数特性は異なる。したがって、赤色の光における残光特性または周波数特性が劣り、緑色の光における残光特性または周波数特性が勝る単一蛍光体を用いることによっても、上記各効果を奏することができる。なお、残光特性または周波数特性が劣るとは、残光の継続時間が長い、または、高周波数帯域における光の強度が弱いということであり、残光特性または周波数特性が勝るとは、残光の継続時間が短い、または、高周波数帯域における光の強度が強いということである。
ここで、図392A〜図393に示す例では、可視光信号に含まれる赤色の輝度変化の周波数をなまらせることによって、バーコードの読み取りエラーの発生を抑制したが、可視光信号の搬送周波数を高くすることによって、その読み取りエラーの発生を抑制してもよい。
図394は、バーコードの読み取りエラーの発生を抑制するために新たに発生する課題を説明するための図である。
図394に示すように、可視光信号の搬送周波数fcが約10kHzである場合、バーコードの読み取りに用いられる赤色レーザ光の読み取り周波数も約10〜20kHzであるため、互いの周波数が干渉し、バーコードの読み取りエラーが発生する。
そこで、可視光信号の搬送周波数fcを約10kHzから例えば40kHzに上げることにより、バーコードの読み取りエラーの発生を抑制することができる。
しかし、可視光信号の搬送周波数fcが約40kHzであれば、受信機が撮影によって可視光信号をサンプリングするためのサンプリング周波数fsは、80kHz以上である必要がある。
つまり、受信機において必要とされるサンプリング周波数fsが高いために、受信機の処理負担が増大するという新たな課題が生じる。そこで、この新たな課題を解決するために、本実施の形態における受信機はダウンサンプリングを行う。
図395は、本実施の形態における受信機で行われるダウンサンプリングを説明するための図である。
本実施の形態における送信機2301は、例えば液晶ディスプレイ、デジタルサイネージまたは照明機器として構成されている。そして、送信機2301は、周波数変調された可視光信号を出力する。このとき、送信機2301は、その可視光信号の搬送周波数fcを例えば40kHzと45kHzとに切り替える。
本実施の形態における受信機2302は、その送信機2301を例えば30fpsのフレームレートで撮影する。このとき、受信機2302は、上記各実施の形態における受信機と同様に、撮影によって得られる各画像(具体的には各フレーム)に輝線が生じるように、短い露光時間で撮影を行う。また、受信機2302の撮影に用いられるイメージセンサには、例えば1000本の露光ラインがある。したがって、1フレームの撮影では、1000本の露光ラインがそれぞれ異なるタイミングに露光を開始することによって、可視光信号がサンプリングされる。その結果、1秒間では、30fps×1000本=30000回のサンプリング(30ks/秒)が行われる。言い換えれば、可視光信号のサンプリング周波数fsは30kHzとなる。
一般的なサンプリング定理にしたがえば、サンプリング周波数fs=30kHzでは、15kHz以下の搬送周波数の可視光信号しか復調することができない。
しかし、本実施の形態における受信機2302は、サンプリング周波数fs=30kHzで、搬送周波数fc=40kHzまたは45kHzの可視光信号をダウンサンプリングする。このダウンサンプリングによって、フレームにはエイリアスが発生するが、本実施の形態における受信機2302は、そのエイリアスを観察および分析することによって、可視光信号の搬送周波数fcを推定する。
図396は、本実施の形態における受信機2302の処理動作を示すフローチャートである。
まず、受信機2302は、被写体を撮影することにより、搬送周波数fc=40kHzまたは45kHzの可視光信号に対して、サンプリング周波数fs=30kHzのダウンサンプリングを行う(ステップS2310)。
次に、受信機2302は、そのダウンサンプリングによって得られるフレームに発生するエイリアスを観察および分析する(ステップS2311)。これにより、受信機2302は、そのエイリアスの周波数を例えば5.1kHzまたは5.5kHzとして特定する。
そして、受信機2302は、その特定されたエイリアスの周波数に基づいて、可視光信号の搬送周波数fcを推定する(ステップS2311)。つまり、受信機2302は、エイリアスから元の周波数を復元する。これにより、受信機2302は、可視光信号の搬送周波数fcを例えば40kHzまたは45kHzとして推定する。
このように、本実施の形態における受信機2302は、ダウンサンプリングと、エイリアスに基づく周波数の復元とを行うことによって、高い搬送周波数の可視光信号を適切に受信することができる。例えば、受信機2302は、サンプリング周波数がfs=30kHzであっても、30kHz〜60kHzの搬送周波数の可視光信号を受信することができる。したがって、可視光信号の搬送周波数を、現在実用化されている周波数(約10kHz)から30kHz〜60kHzに上げることができる。その結果、可視光信号の搬送周波数とバーコードの読み取り周波数(10〜20kHz)とを大きく異ならせることができ、互いの周波数の干渉を抑えることができる。その結果、バーコードの読み取りエラーの発生を抑制することができる。
このような本実施の形態における受信方法は、被写体から情報を取得する受信方法であって、イメージセンサによる前記被写体の撮影によって得られるフレームに、前記イメージセンサに含まれる複数の露光ラインに対応する複数の輝線が前記被写体の輝度変化に応じて生じるように、前記イメージセンサの露光時間を設定する露光時間設定ステップと、前記イメージセンサに含まれる前記複数の露光ラインのそれぞれが順次異なる時刻で露光を開始することを繰り返すことにより、前記イメージセンサが、所定のフレームレートで、且つ、設定された前記露光時間で、輝度変化する前記被写体を撮影する撮影ステップと、前記撮影によって得られるフレームごとに、当該フレームに含まれる前記複数の輝線のパターンによって特定されるデータを復調することにより情報を取得する情報取得ステップとを含む。そして、前記撮影ステップでは、前記複数の露光ラインのそれぞれが順次異なる時刻で露光を開始することを繰り返すことによって、前記被写体の輝度変化によって送信される可視光信号の搬送周波数よりも低いサンプリング周波数で、前記可視光信号をダウンサンプリングし、前記情報取得ステップでは、前記撮影によって得られるフレームごとに、当該フレームに含まれる前記複数の輝線のパターンによって特定されるエイリアスの周波数を特定し、特定された前記エイリアスの周波数から前記可視光信号の周波数を推定し、推定された前記可視光信号の周波数を復調することによって前記情報を取得する。
このような受信方法では、ダウンサンプリングと、エイリアスに基づく周波数の復元とを行うことによって、高い搬送周波数の可視光信号を適切に受信することができる。
また、前記ダウンサンプリングでは、30kHzよりも高い搬送周波数の可視光信号をダウンサンプリングしてもよい。これにより、可視光信号の搬送周波数とバーコードの読み取り周波数(10〜20kHz)との干渉を避けることができ、バーコードの読み取りエラーをより効果的に抑制することができる。
(実施の形態31)
図397は、受信装置(撮像装置)の処理動作を示す図である。具体的には、図397は、可視光通信を受信する場合における、通常撮像モードとマクロ撮像モードとの切り替え処理の一例について説明するための図である。
ここで、受信装置1610は、複数の光源(図397では、4つの光源)から構成される送信装置が発光している可視光を受信する。
まず、受信装置1610は、可視光通信を行うモードに遷移した場合、通常撮像モードで撮像部を起動する(S1601)。なお、受信装置1610は、可視光通信を行うモードに遷移した場合、光源を撮像する枠1611を画面に表示する。
所定時間後に、受信装置1610は、撮像部の撮像モードをマクロ撮像モードに切り替える(S1602)。なお、ステップS1601からステップS1602への切り替えのタイミングは、ステップS1601から所定時間後ではなく、受信装置1610が枠1611内に光源が収まるように撮像されたことを判断したときとしてもよい。このようにマクロ撮像モードに切り替えれば、ユーザは、マクロ撮像モードにより画像がぼける前の通常撮像モードでのクリアな画像で光源を枠1611内に収めればよいので、容易に光源を枠1611内に収めることをできる。
次に、受信装置1610は、光源からの信号を受信したか否かを判定する(S1603)。光源からの信号を受信したと判定すれば(S1603でYes)、ステップS1601の通常撮像モードに戻り、光源からの信号を受信していないと判定すれば(S1603でNo)、ステップ1602のマクロ撮像モードを継続する。なお、ステップS1603でYesの場合には、受信した信号に基づいた処理(例えば、受信した信号に示される画像を表示する処理)を行ってもよい。
この受信装置1610によれば、ユーザーがスマートフォンの光源1611の表示部を指でタッチすることにより通常撮像モードからマクロ撮像モードに切り替えることにより、複数の光源をぼけた状態で撮像することができる。このため、マクロ撮像モードで撮像した画像には、通常撮像モードで撮像した場合の画像よりも明るい領域を多く含む。特に、複数の光源のうちの隣接する2つの光源の間では、2つの光源からの光が重なり合うため、図397の(a)の左図に示すようにストライプ状の映像が離れていたため、連続信号として受信できないという課題を、右図のように連続したストライプになるための連続受信信号として、復調することができる。一度に長い符号を受信できるため、レスポンス時間が短くなるという効果がある。図397の(b)のように、撮影画像をまず通常シャッターと通常焦点で撮影すると美しい通常の画像が得られる。しかし文字のように光源が離れているとシャッターを高速化しても連続データがとれないため復調できない。次にシャッターを高速化するとともにレンズの焦点用駆動部を近距離(マクロ)にすると光源がぼけて拡がるため、4つの光源が、つながるため、データが受信できる。次に焦点を戻して、シャッター速度を通常に戻すと元の美しい画像が得られる。(c)のように表示部には、美しい画像をメモリーに記録し、表示することにより、表示部には美しい画像だけが表示されるという効果がある。通常撮像モードで撮像した画像よりもマクロ撮像モードで撮像した画像の方が所定の明るさより明るい領域を多く含む。よって、マクロ撮像モードでは、その被写体に対して輝線を生成することが可能な露光ラインの数を増やすことができる。
図398は、受信装置(撮像装置)の処理動作を示す図である。具体的には、図398は、可視光通信を受信する場合における、通常撮像モードとマクロ撮像モードとの切り替え処理の別の一例について説明するための図である。
ここで、受信装置1620は、複数の光源(図398では、4つの光源)から構成される送信装置が発光している可視光を受信する。
まず、受信装置1620は、可視光通信を行うモードに遷移した場合、通常撮像モードで撮像部を起動し、受信装置1620の画面に表示されている画像1622よりも広い範囲の画像1623を撮像する。そして、撮像した画像1623を示す画像データと、当該画像1623を撮像したときの受信装置1620のジャイロセンサ、地磁気センサ及び加速度センサにより検出された受信装置1620の姿勢を示す姿勢情報とをメモリに保持する(S1611)。なお、撮像した画像1623は、受信装置1620の画面に表示されている画像1622を基準として上下方向及び左右方向に所定の幅だけ広い範囲の画像である。また、受信装置1620は、可視光通信を行うモードに遷移した場合、光源を撮像する枠1621を画面に表示する。
所定時間後に、受信装置1620は、撮像部の撮像モードをマクロ撮像モードに切り替える(S1612)。なお、ステップS1611からステップS1612への切り替えのタイミングは、ステップS1611から所定時間後ではなく、画像1623を撮像し、撮像した画像1623を示す画像データがメモリに保持されたことを判断したときとしてもよい。このとき、受信装置1620は、メモリに保持された画像データに基づいて画像1623のうちの受信装置1620の画面サイズに対応するサイズの画像1624を表示する。
なお、このとき受信装置1620に表示される画像1624は、画像1623のうちの一部の画像であって、ステップS1611で取得された姿勢情報で示される受信装置1620の姿勢(白破線で示される位置)と、現在の受信装置1620の姿勢との差分から現在の受信装置1620により撮像されていると予測される領域の画像である。つまり、画像1624は、画像1623のうちの一部の画像であって、実際にマクロ撮像モードで撮像されている画像1625の撮像対象に対応する領域の画像である。つまり、ステップS1612では、ステップS1611の時点から変化した姿勢(撮像方向)を取得し、取得した現在の姿勢(撮像方向)から現在撮像されていると推測される撮像対象を特定し、予め撮像した画像1623から現在の姿勢(撮像方向)に応じた画像1624を特定し、画像1624を表示する処理を行っている。このため、受信装置1620は、図398の画像1623で示すように、白破線で示す位置から白抜き矢印の方向に受信装置1620が移動した場合に、当該移動量に応じて画像1623から切り出す画像1624の領域を決定し、決定された領域における画像1623である画像1624を表示できる。
これにより、受信装置1620は、マクロ撮像モードで撮像している場合であっても、マクロ撮像モードで撮像されている画像1625を表示せずに、よりクリアな通常撮像モードで撮像した画像1623から、現在の受信装置1620の姿勢に応じて切り出した画像1624を表示できる。焦点をぼかした画像から距離が離れた複数の光源から、連続した可視光情報を得ると同時に、記憶した通常面像を表示部に表示させる本発明の方式においては、ユーザがスマートフォンを用いて撮影する時、手振れが発生して、実際の撮影画像とメモリから表示する静止画像の方向がずれて、目標とする光源にユーザーが方向を合わせることができないという課題が発生することが予想される。この場合、光源からのデータを受信できなくなるため対策が必要である。しかし、改良した本発明により、手振れしても、画像揺動検知手段や振動ジャイロ当の揺動検出手段により、手振れを検知して、静止画像の中の目標画像が所定の方向にシフトされカメラの方向とのずれがユーザーにわかる。この表示により、ユーザーが目標とする光源にカメラを向けることが可能となるため、通常画像を表示しながら分割された複数の光源を、光学的に連結させて撮影でき、連続的に信号を受信することができる。これにより、通常画像を表示させるから複数に分割された光源を受信することができる。この場合、複数の光源が枠1621に合うように受信装置1620の姿勢を調整することが容易にできる。なお、焦点をボケさせる場合、光源が分散されるため、等価的に輝度がおちるため、カメラのISO等の感度を上げることにより、より確実に可視光データを受信できるという効果がある。
次に、受信装置1620は、光源からの信号を受信したか否かを判定する(S1613)。光源からの信号を受信したと判定すれば(S1613でYes)、ステップS1611の通常撮像モードに戻り、光源からの信号を受信していないと判定すれば(S1613でNo)、ステップ1612のマクロ撮像モードを継続する。なお、ステップS1613でYesの場合には、受信した信号に基づいた処理(例えば、受信した信号に示される画像を表示する処理)を行ってもよい。
この受信装置1620においても受信装置1610と同様に、マクロ撮像モードにおいてより明るい領域を含む画像を撮像できる。このため、マクロ撮像モードでは、その被写体に対して輝線を生成することが可能な露光ラインの数を増やすことができる。
図399は、受信装置(撮像装置)の処理動作を示す図である。
ここで、送信装置1630は、例えば、テレビなどの表示装置であり、所定時間間隔Δ1630で可視光通信により異なる送信IDを送信している。具体的には、時刻t1631、t1632、t1633、t1634において、それぞれ表示される画像1631、1632、1633、1634に対応するデータにそれぞれ紐付けられた送信IDであるID1631、ID1632、ID1633、ID1634を送信する。つまり、送信装置1630からは、ID1631〜ID1634が所定時間間隔Δt1630で次々に送信される。
受信装置1640は、可視光通信により受信した送信IDに基づいてサーバ1650に、各送信IDに紐付けられたデータを要求し、サーバからデータを受信し、当該データに対応した画像を表示する。具体的には、ID1631、ID1632、ID1633、ID1634にそれぞれ対応した、画像1641、1642、1643、1644を、それぞれ時刻t1631、t1632、t1633、t1634において表示する。
受信装置1640は、時刻t1631で受信したID1631を取得した場合、サーバ1650から、その後の時刻t1632〜t1634で送信装置1630から送信される予定の送信IDを示すID情報を取得してもよい。この場合、受信装置1640は、取得したID情報を用いることで、送信装置1630から送信IDをその都度受信しなくても、時刻t1632〜t1634でのID1632〜ID1634に紐付けられたデータをサーバ1650に要求し、受信したデータを各時刻t1632〜t1634で表示することができる。
また、受信装置1640は、サーバ1650からその後の時刻t1632〜t1634で送信装置1630から送信される予定の送信IDを示す情報を取得しなくても、時刻t1631においてID1631に対応するデータを要求すれば、サーバ1650からその後の時刻t1632〜t1634に対応する送信IDに紐付けられたデータを受信し、受信したデータを各時刻t1632〜t1634で表示するようにしてもよい。つまり、サーバ1650は、受信装置1640から時刻t1631に送信されたID1631に紐付けられたデータの要求を受信した場合、その後の時刻t1632〜t1634に対応する送信IDに紐付けられたデータを受信装置1640からの要求がなくても受信装置1640に対して各時刻t1632〜t1634において送信する。つまり、この場合、サーバ1650は、各時刻t1631〜1634と、各時刻t1631〜1634に対応する送信IDに紐付けられたデータとが関連付けられた関連付け情報を保持しており、関連付け情報に基づいて所定の時刻で当該所定の時刻に関連付けられた所定のデータを送信する。
このように、受信装置1640は、時刻t1631において送信ID1631を可視光通信により取得できれば、その後の時刻t1632〜t1634では、可視光通信を行わなくてもサーバ1650から各時刻t1632〜t1634に対応するデータを受信できる。このため、ユーザは、可視光通信により送信IDを取得するために送信装置1630に受信装置1640を向け続ける必要がなくなり、容易に受信装置1640にサーバ1650から取得したデータを表示させることができる。この場合、受信装置1640は、サーバーからIDに対応するデータを毎回取得すると、サーバーからの時間遅れが生じてレスポンス時間が長くなる。従って、レスポンスを早くするためには、サーバー等から予め、IDに対応したデータを受信機の記憶部に記憶しておき、記憶部の中のIDに対応するデータを表示することにより、レスポンス時間をはやくすることができる。この方式においては、可視光送信機からの送信信号に次のIDを出力する時間情報を入れておけば、受信機側は、連続的に可視光信号を受信しなくても、その時間になれば、次のIDの送信時間を知ることができるため、受信装置を光源の方にずーっと、向けておく必要がなくなるという効果がある。この方式は、可視光を受信したときに、送信機側の時間情報(時計)を受信機側の時間情報(時計)の同期をとるだけで、同期後は、送信機のデータを受け取らなくても、送信機と同期した画面を連続的に表示できるという効果がある。
また、上述の例では、受信装置1640は、時刻t1631、t1632、t1633、およびt1634のそれぞれにおいて、送信IDであるID1631、ID1632、ID1633およびID1634のそれぞれ対応した、画像1641、1642、1643、1644をそれぞれ表示した。ここで、受信装置1640は、図400に示すように、上記各時刻において画像だけでなく他の情報を提示してもよい。つまり、受信装置1640は、時刻t1631において、ID1631に対応した画像1641を表示するとともに、そのID1631に対応した音または音声を出力する。このときさらに、受信装置1640は、その画像に映し出されている例えば商品の購入サイトを表示してもよい。このような音の出力および購入サイトの表示は、時刻t1631以外の時刻t1632、t1633、およびt1634のそれぞれにおいても、同様に行われる。
次に図397の(b)のように立体用の左右2つのカメラを搭載したスマートフォンの場合は、左眼用で通常のシャッター速度、通常の焦点で通常の画質の画像を表示する。同時に右眼用カメラでは、左眼より高速のシャッターで、かつ/もしくは、短い距離の焦点やマクロに設定し、本発明のストライプ状の輝線を得て、データを復調する。これにより、表示部には通常の画質の画像が表示されるとともに、右眼カメラにより、距離的に分割された複数の光源の光通信データを受信できるという効果が得られる。
(実施の形態32)
ここで、音声同期再生の応用例について以下に説明する。
図401は、実施の形態32におけるアプリケーションの一例を示す図である。
例えばスマートフォンとして構成される受信機1800aは、例えば街頭デジタルサイネージとして構成される送信機1800bから送信された信号(可視光信号)を受信する。つまり、受信機1800aは、送信機1800bによる画像再生のタイミングを受信する。受信機1800aは、その画像再生と同じタイミングで、音声を再生する。言い換えれば、受信機1800aは、送信機1800bによって再生される画像と音声とが同期するように、その音声の同期再生を行う。なお、受信機1800aは、送信機1800bによって再生される画像(再生画像)と同一の画像、または、その再生画像に関連する関連画像を、音声とともに再生してもよい。また、受信機1800aは、受信機1800aに接続された機器に、音声などの再生をさせてもよい。また、受信機1800aは、可視光信号を受信した後には、その可視光信号に対応付けられている音声または関連画像などのコンテンツをサーバからダウンロードしてもよい。受信機1800aは、そのダウンロード後に同期再生を行う。
これにより、送信機1800bからの音声が聞こえない場合や、街頭音声再生が禁止されているため送信機1800bからの音声が再生されていない場合でも、ユーザは、送信機1800bの表示に合わせた音声を聞くことができる。また、音声到達までに時間がかかるような距離がある場合でも、表示に合わせた音声を聞くことが出来る。
ここで、音声同期再生による多言語対応について以下に説明する。
図402は、実施の形態32におけるアプリケーションの一例を示す図である。
受信機1800aおよび受信機1800cのそれぞれは、その受信機に設定された言語の音声であって、送信機1800dに表示されている例えば映画などの映像に対応する音声を、サーバから取得して再生する。具体的には、送信機1800dは、表示されている映像を識別するためのIDを示す可視光信号を受信機に送信する。受信機は、その可視光信号を受信すると、その可視光信号に示されるIDと、自らに設定されている言語とを含む要求信号をサーバに送信する。受信機は、その要求信号に対応する音声をサーバから取得して再生する。これにより、ユーザは、自分の設定した言語で送信機1800dに表示された作品を楽しむことが出来る。
ここで、音声同期方法について以下に説明する。
図403および図404は、実施の形態32における送信信号の例と音声同期方法の例とを示す図である。
それぞれ異なるデータ(例えば図403に示すデータ:1〜6など)は、一定時間(N秒)ごとの時刻に関連付けられている。これらのデータは、例えば、時間を識別するためのIDであってもよく、時間であってもよく、音声データ(例えば64Kbpsのデータ)であってもよい。以下、データがIDであることを前提に説明する。それぞれ異なるIDは、IDに付随する付加情報部分が異なったものであるとしても良い。
IDを構成するパケットは異なっているほうが望ましい。そのためIDは連続していないほうが望ましい。もしくは、IDをパケット化する際に、非連続な部分を一つのパケットとして構成するパケット化方法が望ましい。誤り訂正信号は、連続したIDであっても異なるパターンとなる傾向が高いため、誤り訂正信号を一つのパケットにまとめるのではなく、複数のパケットに分散させて構成するとしても良い。
送信機1800dは、例えば表示している画像の再生時刻に合わせてIDを送信する。受信機は、IDが変更されたタイミングを検出することで、送信機1800dの画像の再生時刻(同期時刻)を認識することができる。
(a)の場合は、ID:1とID:2の変化時点を受信しているため、正確に同期時刻を認識することができる。
IDが送信されている時間Nが長い場合は、このような機会が少なく、(b)のようにIDが受信されることがある。この場合でも、以下の方法で同期時刻を認識することができる。
(b1)IDが変化した受信区間の中点をID変化点と想定する。また、過去に推定したID変化点から時間Nの整数倍後の時刻もID変化点と推定し、複数のID変化点の中点をより正確なID変化点と推定する。このような推定のアルゴリズムにより、徐々に正確なID変化点を推定することができる。
(b2)上記に加え、IDが変化しなかった受信区間、及び、その時間Nの整数倍後の時刻はID変化点が含まれないと推定することで、徐々にID変化点である可能性のある区間が減り、正確なID変化点を推定することができる。
Nを0.5秒以下に設定することで、正確に同期させることができる。
Nを2秒以下に設定することで、ユーザに遅延を感じさせずに同期させることができる。
Nを10秒以下に設定することで、IDの浪費を抑えて同期させることができる。
図404は、実施の形態32における送信信号の例を示す図である。
図404では、時間パケットによって同期を行うことで、IDの浪費を避けることができる。時間パケットは、送信された時刻を保持しているパケットである。長い時間を表現する必要がある場合は、細かい時間を表す時間パケット1と粗い時間を表す時間パケット2に分割して時間パケットを構成する。例えば、時間パケット2は、時刻のうちの時および分を示し、時間パケット1は、時刻のうちの秒のみを示す。時刻を示すパケットを3以上の時間パケットに分割するとしても良い。粗い時間は必要性が薄いため、細かい時間パケットを荒い時間パケットより多く送信することで、受信機は、素早く正確に同期時刻を認識することができる。
つまり、本実施の形態では、可視光信号は、時刻のうちの時および分を示す第2の情報(時間パケット2)と、時刻のうちの秒を示す第1の情報(時間パケット1)とを含むことによって、可視光信号が送信機1800dから送信される時刻を示す。そして、受信機1800aは、第2の情報を受信するとともに、その第2の情報を受信する回数よりも多くの回数だけ第1の情報を受信する。
ここで、同期時刻調整について以下に説明する。
図405は、実施の形態32における受信機1800aの処理フローの一例を示す図である。
信号が送信されてから受信機1800aで処理され、音声または動画が再生されるまでにはある程度の時間がかかるため、この処理時間を見越して音声または動画を再生する処理を行うことで、正確に同期再生を行うことができる。
まず、受信機1800aには、処理遅延時間が指定される(ステップS1801)。これは、処理プログラム中に保持されていてもよいし、ユーザが指定してもよい。ユーザが補正を行うことで、受信機個体に合わせたより正確な同期が実現可能となる。この処理遅延時間は、受信機のモデル毎、受信機の温度やCPU使用割合によって変化させることで、より正確に同期を行うことが出来る。
受信機1800aは、時間パケットを受信したか否か、または、音声同期用として関連付けられたIDを受信したか否かを判定する(ステップS1802)。ここで、受信機1800aは、受信したと判定すると(ステップS1802のY)、さらに、処理待ち画像があるか否かを判定する(ステップS1804)。処理待ち画像があると判定すると(ステップS1804のY)、受信機1800aは、その処理待ち画像を廃棄し、または、処理待ち画像の処理を後に回して、取得された最新の画像からの受信処理を行う(ステップS1805)。これにより、処理待ち量による不測の遅延を回避することができる。
受信機1800aは、可視光信号(具体的には輝線)が画像中のどの位置にあるのかを計測する(ステップS1806)。つまり、イメージセンサにおける最初の露光ラインから、露光ラインに垂直な方向のどの位置に信号が現れているかを計測することで、画像取得開始時刻から信号受信時刻までの時間差(画像内遅延時間)を計算することができる。
受信機1800aは、認識した同期時刻に、処理遅延時間と画像内遅延時間を加えた時刻の音声または動画を再生することで、正確に同期再生を行うことができる(ステップS1807)。
一方、ステップS1802において、受信機1800aは、時間パケットまたは音声同期用IDを受信していないと判定すると、撮像によって得られた画像から信号を受信する(ステップS1803)。
図406は、実施の形態32における受信機1800aのユーザインタフェースの一例を示す図である。
ユーザは、図406の(a)に示すように、受信機1800aに表示されたボタンBt1〜Bt4の何れかを押すことで、上述の処理遅延時間を調整することができる。また、図406の(b)のようにスワイプ動作で処理遅延時間を設定できるとしてもよい。これにより、ユーザの感覚に基づいてより正確に同期再生を行うことができる。
ここで、イヤホン限定再生について以下に説明する。
図407は、実施の形態32における受信機1800aの処理フローの一例を示す図である。
この処理フローによって示されるイヤホン限定再生によって、周囲に迷惑をかけずに音声再生を行うことができる。
受信機1800aは、イヤホン限定の設定が行われているかどうかを確認する(ステップS1811)。イヤホン限定の設定が行われている場合には、例えば、受信機1800aにイヤホン限定の設定がなされている。あるいは、受信された信号(可視光信号)中にイヤホン限定である設定がされている。または、イヤホン限定であることが、受信された信号に関連付けられてサーバまたは受信機1800aに記録されている。
受信機1800aは、イヤホン限定されていることを確認すると(ステップS1811のY)、イヤホンが受信機1800aに接続されているか否かを判定する(ステップS1813)。
受信機1800aは、イヤホン限定がされていないことを確認すると(ステップS1811のN)、または、イヤホンが接続されていると判定すると(ステップS1813のY)、音声を再生する(ステップS1812)。音声を再生するときには、受信機1800aは、音量が設定範囲内となるようにその音量を調整する。この設定範囲は、イヤホン限定の設定と同様に設定されている。
受信機1800aは、イヤホンが接続されていないと判定すると(ステップS1813のN)、イヤホンの接続をユーザに促す通知を行う(ステップS1814)。この通知は、例えば、画面表示、音声出力または振動によって行われる。
また、受信機1800aは、強制的に音声再生を行うことを禁じる設定がされていない場合には、強制再生のためのインタフェース用意し、ユーザが強制再生の操作を行ったか否かを判定する(ステップS1815)。ここで、強制再生の操作を行ったと判定すると(ステップS1815のY)、受信機1800aは、イヤホンが接続されていない場合でも音声を再生する(ステップS1812)。
一方、強制再生の操作を行っていないと判定すると(ステップS1815のN)、受信機1800aは、あらかじめ受信した音声データ、および解析した同期時刻を保持しておくことで、イヤホンが接続された際に速やかに音声の同期再生を行う。
図408は、実施の形態32における受信機1800aの処理フローの他の例を示す図である。
受信機1800aは、まず、送信機1800dからIDを受信する(ステップS1821)。つまり、受信機1800aは、送信機1800dのID、または、送信機1800dに表示されているコンテンツのID、を示す可視光信号を受信する。
次に、受信機1800aは、その受信したIDに関連付けられている情報(コンテンツ)を、サーバからダウンロードする(ステップS1822)。または、受信機1800aは、受信機1800aの内部にあるデータ保持部からその情報を読み出す。以下、この情報を関連情報という。
次に、受信機1800aは、その関連情報に含まれている同期再生フラグがONを示しているか否かを判定する(ステップS1823)。ここで、同期再生フラグがONを示していないと判定すると(ステップS1823のN)、受信機1800aは、その関連情報によって示される内容を出力する(ステップS1824)。つまり、その内容が画像である場合には、受信機1800aは画像を表示し、その内容が音声である場合には、受信機1800aは音声を出力する。
一方、受信機1800aは、同期再生フラグがONを示していると判定すると(ステップS1823のY)、さらに、その関連情報に含まれている時刻合わせモードが、送信機基準モードに設定されているか、絶対時刻モードに設定されているかを判定する(ステップS1825)。絶対時刻モードに設定されていると判定すると、受信機1800aは、最後の時刻合わせが現在時刻から一定時間以内に行われたか否かを判定する(ステップS1826)。このときの時刻合わせは、所定の方法によって時刻情報を入手し、その時刻情報を用いて、受信機1800aに備えられている時計の時刻を、基準クロックの絶対時刻に合わせる処理である。所定の方法は、例えばGPS(Global Positioning System)電波またはNTP(Network Time Protocol)電波を用いた方法である。なお、上述の現在時刻は、端末装置である受信機1800aが可視光信号を受信した時刻であってもよい。
受信機1800aは、最後の時刻合わせが一定時間以内に行われたと判定すると(ステップS1826のY)、受信機1800aの時計の時刻に基づいて関連情報を出力することにより、送信機1800dに表示されるコンテンツと関連情報とを同期させる(ステップS1827)。関連情報によって示される内容が例えば動画像である場合には、受信機1800aは、送信機1800dに表示されるコンテンツに同期するように、その動画像を表示する。関連情報によって示される内容が例えば音声である場合には、受信機1800aは、送信機1800dに表示されるコンテンツに同期するように、その音声を出力する。例えば、関連情報が音声を示す場合には、関連情報は、音声を構成する各フレームを含み、それらのフレームにはタイムスタンプが付けられている。受信機1800aは、自らの時計の時刻に該当するタイプスタンプが付けられているフレームを再生することによって、送信機1800dのコンテンツに同期された音声を出力する。
受信機1800aは、最後の時刻合わせが一定時間以内に行われていないと判定すると(ステップS1826のN)、所定の方法で時刻情報の入手を試み、その時刻情報を入手することができたか否かを判定する(ステップS1828)。ここで、時刻情報を入手することができたと判定すると(ステップS1828のY)、受信機1800aは、その時刻情報を用いて、受信機1800aの時計の時刻を更新する(ステップS1829)。そして、受信機1800aは、上述のステップS1827の処理を実行する。
また、ステップS1825において、時刻合わせモードが送信機基準モードであると判定したとき、または、ステップS1828において、時刻情報を入手することができなかったと判定すると(ステップS1828のN)、受信機1800aは、送信機1800dから時刻情報を取得する(ステップS1830)。つまり、受信機1800aは、可視光通信によって同期信号である時刻情報を送信機1800dから取得する。例えば、同期信号は、図404に示す時間パケット1および時間パケット2である。または、受信機1800aは、Bluetooth(登録商標)またはWi−Fiなどの電波によって時刻情報を送信機1800dから取得する。そして、受信機1800aは、上述のステップS1829およびS1827の処理を実行する。
本実施の形態では、ステップS1829,S1830のように、GPS電波またはNTP電波によって、受信機1800aである端末装置の時計と基準クロックとの間で同期をとるための処理(時刻合わせ)が行われた時刻が、端末装置が可視光信号を受信した時刻から所定の時間より前である場合、送信機1800dから送信された可視光信号が示す時刻により、端末装置の時計と、送信機の時計との間で同期をとる。これにより、端末装置は、送信機1800dで再生される送信機側コンテンツと同期するタイミングに、コンテンツ(動画または音声)を再生することができる。
図409Aは、実施の形態32における同期再生の具体的な方法を説明するための図である。同期再生の方法には、図409に示す方法a〜eがある。
(方法a)
方法aでは、送信機1800dは、上記各実施の形態と同様に、ディスプレイを輝度変化させることよって、コンテンツIDおよびコンテンツ再生中時刻を示す可視光信号を出力する。コンテンツ再生中時刻は、コンテンツIDが送信機1800dから送信されたときに送信機1800dによって再生されている、コンテンツの一部であるデータの再生時刻である。データは、コンテンツが動画像であれば、その動画像を構成するピクチャまたはシーケンスなどであり、コンテンツが音声であれば、その音声を構成するフレームなどである。再生時刻は、例えば、コンテンツの先頭からの再生時間を時刻として示す。コンテンツが動画像であれば、再生時刻はPTS(Presentation Time Stamp)としてコンテンツに含まれている。つまり、コンテンツには、そのコンテンツを構成するデータごとに、そのデータの再生時刻(表示時刻)が含まれている。
受信機1800aは、上記各実施の形態と同様に送信機1800dを撮影することによって、その可視光信号を受信する。そして、受信機1800aは、可視光信号によって示されるコンテンツIDを含む要求信号をサーバ1800fに送信する。サーバ1800fは、その要求信号を受信し、要求信号に含まれるコンテンツIDに対応付けられているコンテンツを受信機1800aに送信する。
受信機1800aは、そのコンテンツを受信すると、そのコンテンツを、(コンテンツ再生中時刻+ID受信からの経過時間)の時点から再生する。ID受信からの経過時間は、コンテンツIDが受信機1800aによって受信されたときからの経過時間である。
(方法b)
方法bでは、送信機1800dは、上記各実施の形態と同様に、ディスプレイを輝度変化させることよって、コンテンツIDおよびコンテンツ再生中時刻を示す可視光信号を出力する。受信機1800aは、上記各実施の形態と同様に送信機1800dを撮影することによって、その可視光信号を受信する。そして、受信機1800aは、可視光信号によって示されるコンテンツIDおよびコンテンツ再生中時刻を含む要求信号をサーバ1800fに送信する。サーバ1800fは、その要求信号を受信し、要求信号に含まれるコンテンツIDに対応付けられているコンテンツのうち、コンテンツ再生中時刻以降の一部のコンテンツのみを受信機1800aに送信する。
受信機1800aは、その一部のコンテンツを受信すると、その一部のコンテンツを、(ID受信からの経過時間)の時点から再生する。
(方法c)
方法cでは、送信機1800dは、上記各実施の形態と同様に、ディスプレイを輝度変化させることよって、送信機IDおよびコンテンツ再生中時刻を示す可視光信号を出力する。送信機IDは、送信機を識別するための情報である。
受信機1800aは、上記各実施の形態と同様に送信機1800dを撮影することによって、その可視光信号を受信する。そして、受信機1800aは、可視光信号によって示される送信機IDを含む要求信号をサーバ1800fに送信する。
サーバ1800fは、送信機IDごとに、その送信機IDの送信機によって再生されるコンテンツのタイムテーブルである再生予定表を保持している。さらに、サーバ1800fは時計を備えている。このようなサーバ1800fは、その要求信号を受信すると、その要求信号に含まれる送信機IDと、サーバ1800fの時計の時刻(サーバ時刻)とに対応付けられているコンテンツを、再生中のコンテンツとして、再生予定表から特定する。そして、サーバ1800fは、そのコンテンツを受信機1800aに送信する。
受信機1800aは、そのコンテンツを受信すると、そのコンテンツを、(コンテンツ再生中時刻+ID受信からの経過時間)の時点から再生する。
(方法d)
方法dでは、送信機1800dは、上記各実施の形態と同様に、ディスプレイを輝度変化させることよって、送信機IDおよび送信機時刻を示す可視光信号を出力する。送信機時刻は、送信機1800dに備えられている時計によって示される時刻である。
受信機1800aは、上記各実施の形態と同様に送信機1800dを撮影することによって、その可視光信号を受信する。そして、受信機1800aは、可視光信号によって示される送信機IDおよび送信機時刻を含む要求信号をサーバ1800fに送信する。
サーバ1800fは、上述の再生予定表を保持している。このようなサーバ1800fは、その要求信号を受信すると、その要求信号に含まれる送信機IDと送信機時刻とに対応付けられているコンテンツを、再生中のコンテンツとして、再生予定表から特定する。さらに、サーバ1800fは、送信機時刻からコンテンツ再生中時刻を特定する。つまり、サーバ1800fは、特定されたコンテンツの再生開始時刻を再生予定表から見つけ出し、送信機時刻と再生開始時刻との間の時間をコンテンツ再生中時刻として特定する。そして、サーバ1800fは、そのコンテンツおよびコンテンツ再生中時刻を受信機1800aに送信する。
受信機1800aは、そのコンテンツおよびコンテンツ再生中時刻を受信すると、そのコンテンツを、(コンテンツ再生中時刻+ID受信からの経過時間)の時点から再生する。
このように、本実施の形態では、可視光信号は、その可視光信号が送信機1800dから送信される時刻を示す。したがって、端末装置である受信機1800aは、可視光信号が送信機1800dから送信される時刻(送信機時刻)に対応付けられたコンテンツを受信することができる。例えば、送信機時刻が5時43分であれば、5時43分に再生されるコンテンツを受信することができる。
また、本実施の形態では、サーバ1800fは、それぞれ時刻に関連付けられている複数のコンテンツを有している。しかし、可視光信号が示す時刻に関連付けられたコンテンツがサーバ1800fに存在しない場合がある。このような場合には、端末装置である受信機1800aは、その複数のコンテンツのうち、可視光信号が示す時刻に最も近く、かつ、可視光信号が示す時刻の後の時刻に関連付けられているコンテンツを受信してもよい。これにより、可視光信号が示す時刻に関連付けられたコンテンツがサーバ1800fに存在しなくても、そのサーバ1800fにある複数のコンテンツの中から、適切なコンテンツを受信することができる。
また、本実施の形態における再生方法は、光源の輝度変化により可視光信号を送信する送信機1800dから、可視光信号を受信機1800a(端末装置)のセンサにより受信する信号受信ステップと、受信機1800aから、可視光信号に対応付けられたコンテンツを要求するための要求信号をサーバ1800fに送信する送信ステップと、受信機1800aが、サーバ1800fからコンテンツを受信するコンテンツ受信ステップと、コンテンツを再生する再生ステップとを含む。可視光信号は、送信機IDと送信機時刻とを示す。送信機IDはID情報である。また、送信機時刻は、送信機1800dの時計によって示される時刻であり、その可視光信号が送信機1800dから送信される時刻である。そして、コンテンツ受信ステップでは、受信機1800aは、可視光信号によって示される送信機IDおよび送信機時刻に対応付けられたコンテンツを受信する。これにより、受信機1800aは、送信機IDおよび送信機時刻に対して適切なコンテンツを再生することができる。
(方法e)
方法eでは、送信機1800dは、上記各実施の形態と同様に、ディスプレイを輝度変化させることよって、送信機IDを示す可視光信号を出力する。
受信機1800aは、上記各実施の形態と同様に送信機1800dを撮影することによって、その可視光信号を受信する。そして、受信機1800aは、可視光信号によって示される送信機IDを含む要求信号をサーバ1800fに送信する。
サーバ1800fは、上述の再生予定表を保持し、さらに、時計を備えている。このようなサーバ1800fは、その要求信号を受信すると、その要求信号に含まれる送信機IDとサーバ時刻とに対応付けられているコンテンツを、再生中のコンテンツとして、再生予定表から特定する。なお、サーバ時刻は、サーバ1800fの時計によって示される時刻である。さらに、サーバ1800fは、特定されたコンテンツの再生開始時刻も再生予定表から見つけ出す。そして、サーバ1800fは、そのコンテンツおよびコンテンツ再生開始時刻を受信機1800aに送信する。
受信機1800aは、そのコンテンツおよびコンテンツ再生開始時刻を受信すると、そのコンテンツを、(受信機時刻−コンテンツ再生開始時刻)の時点から再生する。なお、受信機時刻は、受信機1800aに備えられている時計によって示される時刻である。
このように、本実施の形態における再生方法は、光源の輝度変化により可視光信号を送信する送信機1800dから、可視光信号を受信機1800a(端末装置)のセンサにより受信する信号受信ステップと、受信機1800aから、可視光信号に対応付けられたコンテンツを要求するための要求信号をサーバ1800fに送信する送信ステップと、受信機1800aが、各時刻と、各時刻に再生されるデータとを含むコンテンツを、サーバ1800fから受信するコンテンツ受信ステップと、そのコンテンツのうち、受信機1800aに備えられている時計の時刻に該当するデータを再生する再生ステップとを含む。したがって、受信機1800aは、そのコンテンツにおけるデータを、間違った時刻に再生してしまうことなく、そのコンテンツに示される正しい時刻に、適切に再生することができる。また、送信機1800dにおいても、そのコンテンツに関連するコンテンツ(送信機側コンテンツ)が再生されていれば、受信機1800aは、コンテンツをその送信機側コンテンツに適切に同期させて再生することができる。
なお、上記方法c〜eであっても、方法bのように、サーバ1800fは、コンテンツのうち、コンテンツ再生中時刻以降の一部のコンテンツのみを受信機1800aに送信してもよい。
また、上記方法a〜eでは、受信機1800aは、サーバ1800fに要求信号を送信して、サーバ1800fから必要なデータを受信するが、このよう送受信をすることなく、サーバ1800fにあるデータを予め保持しておいてもよい。
図409Bは、上述の方法eによって同期再生を行う再生装置の構成を示すブロック図である。
再生装置B10は、上述の方法eによって同期再生を行う受信機1800aまたは端末装置であって、センサB11と、要求信号送信部B12と、コンテンツ受信部B13と、時計B14と、再生部B15とを備えている。
センサB11は、例えばイメージセンサであって、光源の輝度変化により可視光信号を送信する送信機1800dから、その可視光信号を受信する。要求信号送信部B12は、可視光信号に対応付けられたコンテンツを要求するための要求信号をサーバ1800fに送信する。コンテンツ受信部B13は、各時刻と、各時刻に再生されるデータとを含むコンテンツを、サーバ1800fから受信する。再生部B15は、そのコンテンツのうち、時計B14の時刻に該当するデータを再生する。
図409Cは、上述の方法eによって同期再生を行う端末装置の処理動作を示すフローチャートである。
再生装置B10は、上述の方法eによって同期再生を行う受信機1800aまたは端末装置であって、ステップSB11〜SB15の各処理を実行する。
ステップSB11では、光源の輝度変化により可視光信号を送信する送信機1800dから、その可視光信号を受信する。ステップSB12では、可視光信号に対応付けられたコンテンツを要求するための要求信号をサーバ1800fに送信する。ステップSB13では、各時刻と、各時刻に再生されるデータとを含むコンテンツを、サーバ1800fから受信する。ステップSB15では、そのコンテンツのうち、時計B14の時刻に該当するデータを再生する。
このように、本実施の形態における再生装置B10および再生方法では、コンテンツにおけるデータを、間違った時刻に再生してしまうことなく、そのコンテンツに示される正しい時刻に、適切に再生することができる。
なお、本実施の形態において、各構成要素は、専用のハードウェアで構成されるか、各構成要素に適したソフトウェアプログラムを実行することによって実現されてもよい。各構成要素は、CPUまたはプロセッサなどのプログラム実行部が、ハードディスクまたは半導体メモリなどの記録媒体に記録されたソフトウェアプログラムを読み出して実行することによって実現されてもよい。ここで、本実施の形態の再生装置B10などを実現するソフトウェアは、図409Cに示すフローチャートに含まれる各ステップをコンピュータに実行させるプログラムである。
図410は、実施の形態32における同期再生の事前準備を説明するための図である。
受信機1800aは、同期再生を行うために、受信機1800aに備えられている時計の時刻を基準クロックの時刻に合わせる時刻合わせを行う。この時刻合わせのために、受信機1800aは、以下の(1)〜(5)の処理を行う。
(1)受信機1800aは、信号を受信する。この信号は、送信機1800dのディスプレイの輝度変化によって送信される可視光信号であっても、無線機器からのWi−FiまたはBluetooth(登録商標)に基づく電波信号であってもよい。または、受信機1800aは、このような信号を受信する代わりに、受信機1800aの位置を示す位置情報を例えばGPSなどによって取得する。そして、受信機1800aは、その位置情報によって、受信機1800aが予め定められた場所または建物に入ったことを認識する。
(2)受信機1800aは、上記信号を受信すると、または、予め定められた場所に入ったことを認識すると、その信号または場所などに関連付けられているデータ(関連情報)を要求する要求信号をサーバ(可視光ID解決サーバ)1800fに送信する。
(3)サーバ1800fは、上述のデータと、受信機1800aに時刻合わせをさせるための時刻合わせ要求とを受信機1800aに送信する。
(4)受信機1800aは、データと時刻合わせ要求とを受信すると、時刻合わせ要求をGPSタイムサーバ、NTPサーバまたは、電気通信事業者(キャリア)の基地局に送信する。
(5)上記サーバまたは基地局は、その時刻合わせ要求を受信すると、現在時刻(基準クロックの時刻または絶対時刻)を示す時刻データ(時刻情報)を受信機1800aに送信する。受信機1800aは、自らに備えられている時計の時刻を、その時刻データに示される現在時刻に合わせることによって、時刻合わせを行う。
このように本実施の形態では、受信機1800a(端末装置)に備えられている時計と、基準クロックとの間では、GPS(Global Positioning System)電波、または、NTP(Network Time Protocol)電波によって、同期がとられている。したがって、受信機1800aは、基準クロックにしたがった適切な時刻に、その時刻に該当するデータを再生することができる。
図411は、実施の形態32における受信機1800aの応用例を示す図である。
受信機1800aは、上述のようにスマートフォンとして構成されて、例えば、透光性を有する樹脂またはガラスなどの部材で構成されたホルダー1810に保持されて利用される。このホルダー1810は、背板部1810aと、背板部1810aに立設された係止部1810bとを有する。受信機1800aは、背板部1810aと係止部1810bとの間に、その背板部1810aに沿わせるように挿入される。
図412Aは、実施の形態32における、ホルダー1810に保持された受信機1800aの正面図である。
受信機1800aは、上述のように挿入された状態でホルダー1810に保持される。このとき、係止部1810bは、受信機1800aの下部と係止し、その下部を背板部1810aと挟持する。また、受信機1800aの背面は、背板部1810aと対向し、受信機1800aのディスプレイ1801は露出した状態となる。
図412Bは、実施の形態32における、ホルダー1810に保持された受信機1800aの背面図である。
また、背板部1810aには、通孔1811が形成され、その通孔1811の近くに可変フィルタ1812が取り付けられている。受信機1800aがホルダー1810に保持されると、受信機1800aのカメラ1802は、背板部1810aから通孔1811を介して露出する。また、受信機1800aのフラッシュライト1803は、可変フィルタ1812に対向する。
可変フィルタ1812は、例えば円盤状に形成され、それぞれ扇状で同じサイズの3つの色フィルタ(赤色フィルタ、黄色フィルタ、および緑色フィルタ)を有する。また、可変フィルタ1812は、可変フィルタ1812の中心を軸にして回転自在に背板部1810aに取り付けられている。また、赤色フィルタは、赤色の透光性を有するフィルタであって、黄色フィルタは、黄色の透光性を有するフィルタであって、緑色フィルタは、緑色の透光性を有するフィルタである。
したがって、可変フィルタ1812が回転されて、例えば、赤色フィルタがフラッシュライト1803aに対向する位置に配置される。この場合、フラッシュライト1803aから放たれる光は、赤色フィルタを透過することによって、赤色の光としてホルダー1810の内部で拡散する。その結果、ホルダー1810の略全体が赤色に発光する。
同様に、可変フィルタ1812が回転されて、例えば、黄色フィルタがフラッシュライト1803aに対向する位置に配置される。この場合、フラッシュライト1803aから放たれる光は、黄色フィルタを透過することによって、黄色の光としてホルダー1810の内部で拡散する。その結果、ホルダー1810の略全体が黄色に発光する。
同様に、可変フィルタ1812が回転されて、例えば、緑色フィルタがフラッシュライト1803aに対向する位置に配置される。この場合、フラッシュライト1803aから放たれる光は、緑色フィルタを透過することによって、緑色の光としてホルダー1810の内部で拡散する。その結果、ホルダー1810の略全体が緑色に発光する。
つまり、ホルダー1810は、ペンライトのように、赤色、黄色または緑色に点灯する。
図413は、実施の形態32における、ホルダー1810に保持された受信機1800aのユースケースを説明するための図である。
例えば、ホルダー1810に保持された受信機1800aであるホルダー付受信機は、遊園地などで利用される。つまり、遊園地において移動するフロートに向けられた複数のホルダー付受信機は、そのフロートから流れる音楽に合わせて、同期しながら点滅する。つまり、フロートは、上記各実施の形態における送信機として構成され、フロートに取り付けられている光源の輝度変化によって可視光信号を送信する。例えば、フロートは、フロートのIDを示す可視光信号を送信する。そして、ホルダー付受信機は、上記各実施の形態と同様に、受信機1800aのカメラ1802の撮影によって、その可視光信号、つまりIDを受信する。IDを受信した受信機1800aは、そのIDに対応付けられたプログラムを例えばサーバから取得する。このプログラムは、所定の各時刻において受信機1800aのフラッシュライト1803を点灯させる命令からなる。この所定の各時刻は、フロートから流れる音楽に合わせて(同期するように)設定されている。そして、受信機1800aは、そのプログラムにしたがって、フラッシュライト1803aを点滅させる。
これにより、そのIDを受信した各受信機1800aのホルダー1810は、そのIDのフロートから流れる音楽に合わせて同じタイミングで点灯することを繰り返す。
ここで、各受信機1800aは、設定されている色フィルタ(以下、設定フィルタという)に応じてフラッシュライト1803の点滅を行う。設定フィルタとは、受信機1800aのフラッシュライト1803に対向している色フィルタである。また、各受信機1800aは、ユーザによる操作に基づいて、現在の設定フィルタを認識している。または、各受信機1800aは、カメラ1802の撮影によって得られる画像の色などに基づいて、現在の設定フィルタを認識している。
つまり、IDを受信した複数の受信機1800aのうち、所定の時刻では、設定フィルタが赤色フィルタであることを認識している複数の受信機1800aのホルダー1810のみが同時に点灯する。次の時刻では、設定フィルタが緑色フィルタであることを認識している複数の受信機1800aのホルダー1810のみが同時に点灯する。さらに次の時刻では、設定フィルタが黄色フィルタであることを認識している複数の受信機1800aのホルダー1810のみが同時に点灯する。
このように、ホルダー1810に保持される受信機1800aは、上述の図401〜図407に示す同期再生と同様に、フロートの音楽と、他のホルダー1810に保持される受信機1800aとに同期して、フラッシュライト1803、すなわちホルダー1810を点滅させる。
図414は、実施の形態32における、ホルダー1810に保持された受信機1800aの処理動作を示すフローチャートである。
受信機1800aは、フロートからの可視光信号によって示されるフロートのIDを受信する(ステップS1831)。次に、受信機1800aは、そのIDに対応付けられているプログラムをサーバから取得する(ステップS1832)。次に、受信機1800aは、そのプログラムを実行することにより、設定フィルタに応じた所定の各時刻にフラッシュライト1803を点灯させる(ステップS1833)。
ここで、受信機1800aは、受信したIDまたは取得したプログラムに応じた画像をディスプレイ1801に表示させてもよい。
図415は、実施の形態32における受信機1800aによって表示される画像の一例を示す図である。
受信機1800aは、例えばサンタクロースのフロートからIDを受信すると、図415の(a)に示すように、サンタクロースの画像を表示させる。さらに、受信機1800aは、図415の(b)に示すように、フラッシュライト1803の点灯と同時に、そのサンタクロースの画像の背景色を、設定フィルタの色に変更してもよい。例えば、設定フィルタの色が赤色の場合には、フラッシュライト1803の点灯によって、ホルダー1810が赤色に点灯すると同時に、赤色の背景色を有するサンタクロースの画像がディスプレイ1801に表示される。つまり、ホルダー1810の点滅と、ディスプレイ1801の表示とが同期する。
図416は、実施の形態32におけるホルダーの他の例を示す図である。
ホルダー1820は、上述のホルダー1810と同様に構成されているが、通孔1811および可変フィルタ1812がない。このようなホルダー1820は、背板部1820aに受信機1800aのディスプレイ1801が向けられた状態で、その受信機1800aを保持する。この場合、受信機1800aは、フラッシュライト1803の代わりに、ディスプレイ1801を発光させる。これにより、ディスプレイ1801からの光がホルダー1820の略全体に拡散する。したがって、受信機1800aが、上述のプログラムに応じて、赤色の光でディスプレイ1801を発光させると、ホルダー1820は赤色に点灯する。同様に、受信機1800aが、上述のプログラムに応じて、黄色の光でディスプレイ1801を発光させると、ホルダー1820は黄色に点灯する。受信機1800aが、上述のプログラムに応じて、緑色の光でディスプレイ1801を発光させると、ホルダー1820は緑色に点灯する。このようなホルダー1820を用いれば、可変フィルタ1812の設定を省くことができる。
(実施の形態33)
(可視光信号)
図417A〜図417Dは、実施の形態33における可視光信号の一例を示す図である。
送信機は、上述と同様、例えば図417Aに示すように、4PPMの可視光信号を生成し、この可視光信号にしたがって輝度変化する。具体的には、送信機は、4スロットを一信号単位に割り当て、複数の信号単位からなる可視光信号を生成する。信号単位は、スロットごとにHigh(H)またはLow(L)を示す。そして、送信機は、Hのスロットにおいて明るく発光し、Lのスロットにおいて暗く発光または消灯する。例えば、1スロットは、1/9600秒の時間に相当する期間である。
また、送信機は、例えば図417Bに示すように、一信号単位に割り当てられるスロット数が可変となる可視光信号を生成してもよい。この場合、信号単位では、1つ以上の連続するスロットにおいてHを示す信号と、そのHの信号に続く1つのスロットにおいてLを示す信号とからなる。Hのスロット数が可変であるため、信号単位の全体のスロット数が可変となる。例えば図417Bに示すように、送信機は、3スロットの信号単位、4スロットの信号単位、6スロットの信号単位の順に、それらの信号単位を含む可視光信号を生成する。そして、送信機は、この場合にも、Hのスロットにおいて明るく発光し、Lのスロットにおいて暗く発光または消灯する。
また、送信機は、例えば図417Cに示すように、複数のスロットを一信号単位に割り当てることなく、任意の期間(信号単位期間)を一信号単位に割り当ててもよい。この信号単位期間は、Hの期間と、そのHの期間に続くLの期間とからなる。Hの期間は、変調前の信号に応じて調整される。Lの期間は、固定であって、上記スロットに相当する期間であってもよい。また、Hの期間およびLの期間はそれぞれ例えば100μs以上の期間である。例えば図417Cに示すように、送信機は、信号単位期間が210μsの信号単位、信号単位期間が220μsの信号単位、信号単位期間が230μsの信号単位の順に、それらの信号単位を含む可視光信号を送信する。そして、送信機は、この場合にも、Hの期間において明るく発光し、Lの期間において暗く発光または消灯する。
また、送信機は、例えば図417Dに示すように、LとHとを交互に示す信号を可視光信号として生成してもよい。この場合、可視光信号においてLの期間と、Hの期間とは、それぞれ変調前の信号に応じて調整される。例えば図417Dに示すように、送信機は、100μsの期間においてHを示し、次に、120μsの期間においてLを示し、次に、110μsの期間においてHを示し、さらに、200μsの期間においてLを示す可視光信号を送信する。そして、送信機は、この場合にも、Hの期間において明るく発光し、Lの期間において暗く発光または消灯する。
図418は、実施の形態33における可視光信号の構成を示す図である。
可視光信号は、例えば、信号1と、その信号1に対応する明るさ調整信号と、信号2と、その信号2に対応する明るさ調整信号とを含む。送信機は、変調前の信号を変調することによって信号1および信号2を生成すると、それらの信号に対する明るさ調整信号を生成し、上述の可視光信号を生成する。
信号1に対応する明るさ調整信号は、信号1にしたがった輝度変化による明るさの増減を補う信号である。信号2に対応する明るさ調整信号は、信号2にしたがった輝度変化による明るさの増減を補う信号である。ここで、信号1と、その信号1の明るさ調整信号とにしたがった輝度変化によって、明るさB1が表現され、信号2と、その信号2の明るさ調整信号とにしたがった輝度変化によって、明るさB2が表現される。本実施の形態における送信機は、その明るさB1と明るさB2とが等しくなるように、信号1および信号2のそれぞれの明るさ調整信号を可視光信号の一部として生成する。これにより、明るさが一定に保たれ、ちらつきを抑えることができる。
また、送信機は、上述の信号1を生成するときには、データ1と、そのデータ1に続くプリアンブル(ヘッダ)と、そのプリンブルに続くデータ1とを含む信号1を生成する。ここで、プリアンブルは、その前後に配置されているデータ1に対応する信号である。例えば、このプリアンブルは、データ1を読み出すための識別子となる信号である。このように、2つのデータ1と、それらの間に配置されるプリアンブルとから信号1が構成されているため、受信機は、前にあるデータ1の途中から可視光信号を読み出しても、そのデータ1(すなわち信号1)を正しく復調することができる。
(輝線画像)
図419は、実施の形態33における受信機の撮像によって得られる輝線画像の一例を示す図である。
受信機は、上述のように、輝度変化する送信機を撮像することによって、その送信機から送信される可視光信号を輝線パターンとして含む輝線画像を取得する。このような撮像によって、可視光信号が受信機に受信される。
例えば、図419に示すように、受信機は、イメージセンサに含まれるN個の露光ラインを用いて、時刻t1に撮像することによって、それぞれ輝線パターンが現れている領域aおよび領域bを含む輝線画像を取得する。領域aおよび領域bはそれぞれ、被写体である送信機が輝度変化することによって輝線パターンが現れる領域である。
ここで、受信機は、領域aおよび領域bの輝線パターンから可視光信号を復調する。しかし、受信機は、復調された可視光信号だけでは不十分と判定すると、そのN個の露光ラインのうち、領域aに該当するM(M<N)個の連続する露光ラインのみを用いて、時刻t2に撮像する。これにより、受信機は、領域aおよび領域bのうち領域aのみを含む輝線画像を取得する。受信機は、このような撮像を、時刻t3〜t5においても繰り返し実施する。その結果、領域aに対応する被写体からの十分なデータ量の可視光信号を高速に受信することができる。さらに、受信機は、そのN個の露光ラインのうち、領域bに該当するL(L<N)個の連続する露光ラインのみを用いて、時刻t6に撮像する。これにより、受信機は、領域aおよび領域bのうち領域bのみを含む輝線画像を取得する。受信機は、このような撮像を、時刻t7〜t9においても繰り返し実施する。その結果、領域bに対応する被写体からの十分なデータ量の可視光信号を高速に受信することができる。
また、受信機は、時刻t10およびt11において、時刻t2〜t5と同様の撮像を行うことによって、領域aのみを含む輝線画像を取得してもよい。さらに、受信機は、時刻t12およびt13において、時刻t6〜t9と同様の撮像を行うことによって、領域bのみを含む輝線画像を取得してもよい。
また、上述の例では、受信機は、可視光信号が不十分であると判定したときに、時刻t2〜t5において、領域aのみを含む輝線画像の連写を行ったが、時刻t1の撮像によって得られた画像に輝線が現れていれば、上述の連写を行ってもよい。同様に、受信機は、可視光信号が不十分であると判定したときに、時刻t6〜t9において、領域bのみを含む輝線画像の連写を行ったが、時刻t1の撮像によって得られた画像に輝線が現れていれば、上述の連写を行ってもよい。また、受信機は、領域aのみを含む輝線画像の取得と、領域bのみを含む輝線画像の取得とを交互に行ってもよい。
なお、上記の領域aに該当するM個の連続する露光ラインは、領域aの生成に寄与する露光ラインであり、上記の領域bに該当するL個の連続する露光ラインは、領域bの生成に寄与する露光ラインである。
図420は、実施の形態33における受信機の撮像によって得られる輝線画像の他の例を示す図である。
例えば、図420に示すように、受信機は、イメージセンサに含まれるN個の露光ラインを用いて、時刻t1に撮像することによって、それぞれ輝線パターンが現れている領域aおよび領域bを含む輝線画像を取得する。領域aおよび領域bはそれぞれ、上述と同様に、被写体である送信機が輝度変化することによって輝線パターンが現れる領域である。また、領域aおよび領域bはそれぞれ、輝線または露光ラインの方向に沿って互いに重なる領域(以下、重なり領域という)を有する。
ここで、受信機は、その領域aおよび領域bの輝線パターンから復調された可視光信号が不十分と判定すると、そのN個の露光ラインのうち、重なり領域に該当するP(P<N)個の連続する露光ラインのみを用いて、時刻t2に撮像する。これにより、受信機は、領域aおよび領域bのそれぞれの重なり領域のみを含む輝線画像を取得する。受信機は、このような撮像を、時刻t3およびt4においても繰り返し実施する。その結果、領域aおよび領域bのそれぞれに対応する被写体からの十分なデータ量の可視光信号を、略同時に、且つ高速に受信することができる。
図421は、実施の形態33における受信機の撮像によって得られる輝線画像の他の例を示す図である。
例えば、図421に示すように、受信機は、イメージセンサに含まれるN個の露光ラインを用いて、時刻t1に撮像することによって、輝線パターンが不明瞭に現れている部分aと、明瞭に現れている部分bとからなる領域を含む輝線画像を取得する。この領域は、上述と同様に、被写体である送信機が輝度変化することによって輝線パターンが現れる領域である。
このような場合、受信機は、上述の領域の輝線パターンから復調された可視光信号が不十分と判定すると、そのN個の露光ラインのうち、部分bに該当するQ(Q<N)個の連続する露光ラインのみを用いて、時刻t2に撮像する。これにより、受信機は、上述の領域のうち部分bのみを含む輝線画像を取得する。受信機は、このような撮像を、時刻t3およびt4においても繰り返し実施する。その結果、上述の領域に対応する被写体からの十分なデータ量の可視光信号を、高速に受信することができる。
また、受信機は、部分bのみを含む輝線画像の連写が行われた後に、さらに、部分aのみを含む輝線画像の連写を行ってもよい。
上述のように、輝線画像において輝線パターンが現れている領域(または部分)が複数含まれている場合には、受信機は、それぞれの領域に順番を付けて、その順番にしたがって、その領域のみを含む輝線画像の連写を行う。この場合、その順番は、信号の大きさ(領域または部分の広さ)に応じた順番であっても、輝線の明瞭度に応じた順番であってもよい。また、その順番は、それらの領域に対応する被写体からの光の色に応じた順番であってもよい。例えば、最初の連写は、赤色の光に対応する領域に対して行われ、次の連写では、白色の光に対応する領域に対して行われる。また、赤色の光に対する領域の連写だけが行われてもよい。
(HDR合成)
図422は、実施の形態33における受信機の、HDR合成を行うカメラシステムへの適応を説明するための図である。
車両には、衝突防止などのためにカメラシステムが搭載されている。このカメラシステムは、カメラの撮像によって得られた画像を用いてHDR(High Dynamic Range)合成を行う。このHDR合成によって、輝度のダイナミックレンジが広い画像が得られる。カメラシステムは、この広いダイナミックレンジの画像に基づいて、周辺の車両、障害物または人などの認識を行う。
例えば、カメラシステムは、設定モードとして通常設定モードおよび通信設定モードとを有する。設定モードが通常設定モードの場合、例えば図422に示すように、カメラシステムは、時刻t1〜t4において、それぞれ同じ1/100秒のシャッタースピードで、且つそれぞれ異なる感度で、4回の撮像を行う。カメラシステムは、この4回の撮像によって得られた4枚の画像を用いてHDR合成を行う。
一方、設定モードが通信設定モードの場合、例えば図422に示すように、カメラシステムは、時刻t5〜t7において、それぞれ同じ1/100秒のシャッタースピードで、且つそれぞれ異なる感度で、3回の撮像を行う。さらに、カメラシステムは、時刻t8において、1/10000秒のシャッタースピードで、且つ、最大の感度(例えばISO=1600)で撮像を行う。カメラシステムは、この4回の撮像のうちの、最初の3回の撮像によって得られた3枚の画像を用いてHDR合成を行う。さらに、カメラシステムは、上述の4回の撮像のうちの最後の撮像によって可視光信号を受信し、その撮像によって得られた画像に現れている輝線パターンを復調する。
また、設定モードが通信設定モードの場合には、カメラシステムは、HDR合成を行わなくてもよい。例えば図422に示すように、カメラシステムは、時刻t9において、1/100秒のシャッタースピードで、且つ低い感度(例えば、ISO=200)で、撮像を行う。さらに、カメラシステムは、時刻t10〜t12において、1/10000秒のシャッタースピードで、且つ、互いに異なる感度で3回の撮像を行う。カメラシステムは、この4回の撮像のうちの、最初の1回の撮像によって得られた画像から、周辺の車両、障害物または人などの認識を行う。さらに、カメラシステムは、上述の4回の撮像のうちの最後の3回の撮像によって可視光信号を受信し、その撮像によって得られた画像に現れている輝線パターンを復調する。
なお、図422に示す例では、時刻t10〜t12のそれぞれにおいて、互いに異なる感度で撮像が行われているが、同じ感度で撮像を行ってもよい。
このようなカメラシステムでは、HDR合成を行うことができるとともに、可視光信号の受信も行うことができる。
(セキュリティ)
図423は、実施の形態33における可視光通信システムの処理動作を説明するための図である。
この可視光通信システムは、例えばレジに配置される送信機と、受信機であるスマートフォンと、サーバとからなる。なお、スマートフォンとサーバとの間の通信と、送信機とサーバとの間の通信とは、それぞれセキュアな通信回線を介して行われる。また、送信機とスマートフォンとの間の通信は、可視光通信によって行われる。本実施の形態における可視光通信システムは、送信機からの可視光信号が正確にスマートフォンに受信されているか否かを判定することにより、セキュリティを確保する。
具体的には、送信機は、時刻t1において輝度変化することによって、例えば値「100」を示す可視光信号をスマートフォンに送信する。スマートフォンは、時刻t2に、その可視光信号を受信すると、その値「100」を示す電波信号をサーバに送信する。サーバは、時刻t3に、スマートフォンからその電波信号を受信する。このとき、サーバは、その電波信号によって示される値「100」が、送信機からスマートフォンに受信された可視光信号の値であるか否かを判定するための処理を行う。すなわち、サーバは、例えば値「200」を示す電波信号を送信機に送信する。その電波信号を受信した送信機は、時刻t4において輝度変化することによって、その値「200」を示す可視光信号をスマートフォンに送信する。スマートフォンは、時刻t5に、その可視光信号を受信すると、その値「200」を示す電波信号をサーバに送信する。サーバは、時刻t6に、スマートフォンからその電波信号を受信する。サーバは、この受信した電波信号の示す値が、時刻t3において送信した電波信号の示す値と同一であるか否かを判別する。同一であれば、サーバは、時刻t3において受信した可視光信号によって示される値「100」が、送信機からスマートフォンに送信されて受信された可視光信号の値であると判定する。一方、同一でなければ、サーバは、時刻t3において受信した可視光信号によって示される値「100」が、送信機からスマートフォンに送信されて受信された可視光信号の値として疑わしいと判定する。
これにより、サーバは、スマートフォンが送信機から可視光信号を確かに受信したか否かを判定することができる。つまり、スマートフォンが、送信機から可視光信号を受信していないにも関わらず、その可視光信号を受信したかのように見せかけて、信号をサーバに送信するのを防ぐことができる。
なお、上述の例では、スマートフォンとサーバと送信機の間では、電波信号を用いた通信が行われているが、可視光信号以外の光信号による通信、または電気信号による通信が行われてもよい。また、送信機からスマートフォンに送信される可視光信号は、例えば、課金の値、クーポンの値、モンスターの値、またはビンゴの値などを示す。
(車両関係)
図424Aは、実施の形態33における可視光を用いた車車間通信の一例を示す図である。
例えば、先頭の車両は、その車両に搭載されているセンサ(カメラなど)によって、進行方向に事故があることを認識する。このように事故を認識すると、先頭の車両は、テールランプを輝度変化させることによって、可視光信号を送信する。例えば、先頭の車両は、後続車両に対して減速を促す可視光信号を送信する。後続車両は、その車両に搭載されているカメラによる撮像によって、その可視光信号を受信すると、その可視光信号にしたがって、減速するとともに、さらに後続の車両に対して減速を促す可視光信号を送信する。
このように、減速を促す可視光信号は、一列に並んで走行する複数の車両に先頭から順次送信され、その可視光信号を受信した車両は減速する。各車両への可視光信号の送信は早く行われるため、それらの複数の車両は略同時に同じように減速を行うことができる。したがって、事故による渋滞を緩和することができる。
図424Bは、実施の形態33における可視光を用いた車車間通信の他の例を示す図である。
例えば、前の車両は、テールランプを輝度変化させることによって、後の車両に対するメッセージ(例えば「ありがとう」)を示す可視光信号を送信してもよい。このメッセージは、例えばユーザによるスマートフォンへの操作によって生成される。そして、スマートフォンは、そのメッセージを示す信号を上述の前の車両に送信する。その結果、前の車両は、そのメッセージを示す可視光信号を後の車両に送信することができる。
図425は、実施の形態33における複数のLEDの位置決定方法の一例を示す図である。
例えば、車両のヘッドライトは、複数のLED(Light Emitting Diode)を有する。この車両の送信機は、ヘッドライトの複数のLEDのそれぞれを個別に輝度変化させることによって、それぞれのLEDから可視光信号を送信する。他の車両の受信機は、そのヘッドライトを有する車両を撮像することによって、それらの複数のLEDからの可視光信号を受信する。
このとき、受信機は、受信された可視光信号が何れのLEDから送信された信号であるかを認識するために、その撮像によって得られた画像から、複数のLEDのそれぞれの位置を決定する。具体的には、受信機は、その受信機と同じ車両に取り付けられている加速度センサを利用し、その加速度センサによって示される重力の方向(例えば図425中の下向き矢印)を基準に、複数のLEDのそれぞれの位置を決定する。
なお、上述の例では、輝度変化する発光体の一例としてLEDをあげたが、LED以外の発光体であってもよい。
図426は、実施の形態33における、車両を撮像することによって得られる輝線画像の一例を示す図である。
例えば、走行する車両に搭載された受信機は、後の車両(後続車両)を撮像することにより、図426に示す輝線画像を取得する。後続車両に搭載された送信機は、車両の2つのヘッドライトを輝度変化させることによって、可視光信号を前の車両に送信する。前の車両の後部またはサイドミラーなどには、後方を撮像するカメラが取り付けられている。受信機は、後続車両を被写体としたそのカメラによる撮像によって、輝線画像を取得し、その輝線画像に含まれる輝線パターン(可視光信号)を復調する。これにより、後続車両の送信機から送信された可視光信号は、前の車両の受信機に受信される。
ここで、受信機は、2つのヘッドライトから送信されて復調された可視光信号のそれぞれから、そのヘッドライトを有する車両のIDと、その車両の速度と、その車両の車種を取得する。受信機は、2つの可視光信号のそれぞれのIDが同じであれば、その2つの可視光信号が同じ車両から送信された信号であると判断する。そして、受信機は、その車両の車種から、その車両が有する2つのヘッドライトの間の長さ(ライト間距離)を特定する。さらに、受信機は、輝線画像に含まれている、輝線パターンが現れている2つの領域の間の距離L1を計測する。そして、受信機は、その距離L1と、ライト間距離とを用いた三角測量によって、その受信機を搭載する車両から、後続車両までの距離(車間距離)を算出する。受信機は、その車間距離と、可視光信号から取得された車両の速度とに基づいて、衝突の危険性を判断し、その判断結果に応じた警告を、車両の運転者に報知する。これにより、車両の衝突を回避することができる。
なお、上述の例では、受信機は、可視光信号に含まれる車種からライト間距離を特定したが、車種以外の情報からライト間距離を特定してもよい。また、上述の例では、受信機は、衝突の危険性があると判断したときには、警告を発するが、その危険性を回避する動作を車両に実行させるための制御信号を車両に出力してもよい。例えば、その制御信号は、車両を加速させるための信号、または、車両に車線変更させるための信号である。
また、上述の例では、カメラは後続車両を撮像するが、対向車両を撮像してもよい。また、受信機は、カメラによる撮像によって得られる画像から、受信機(つまり受信機を備えた車両)周辺に霧が立ち込めていると判断すると、上述のような可視光信号を受信するモードとなってもよい。これにより、車両の受信機は、周辺に霧が立ち込めていても、対向車両のヘッドライトから送信される可視光信号を受信することによって、その対向車両の位置および速度を特定することができる。
図427は、実施の形態33における受信機と送信機の適用例を示す図である。なお、図427は自動車を後ろから見た図である。
例えば車の2つのテールランプ(発光部またはライト)を有する送信機(車)7006aは、送信機7006aの識別情報(ID)を例えばスマートフォンとして構成される受信機に送信する。受信機は、そのIDを受信すると、そのIDに対応付けられた情報をサーバから取得する。例えば、その情報は、その車または送信機のID、発光部間の距離、発光部の大きさ、車の大きさ、車の形状、車の重さ、車のナンバー、前方の様子、または危険の有無を示す情報である。また、受信機はこれらの情報を送信機7006aから直接取得してもよい。
図428は、実施の形態33における受信機と送信機7006aの処理動作の一例を示すフローチャートである。
送信機7006aのIDと、IDを受信した受信機に渡す情報とを関連付けてサーバに記憶する(7106a)。受信機に渡す情報には、送信機7006aとなる発光部の大きさや、発光部間の距離や、送信機7006aを構成要素の一部とする物体の形状や、重量や、車体ナンバー等の識別番号や、受信機から観察しづらい場所の様子や危険の有無などの情報を含めても良い。
送信機7006aは、IDを送信する(7106b)。送信内容には、前記サーバのURLや、前記サーバに記憶させるとした情報を含めても良い。
受信機は、送信されたID等の情報を受信する(7106c)。受信機は、受信したIDに紐付いた情報をサーバから取得する(7106d)。受信機は、受信した情報やサーバから取得した情報を表示する(7106e)。
受信機は、発光部の大きさ情報と撮像した発光部の見えの大きさから、または、発光部間の距離情報と撮像した発光部間の距離から三角測量の要領で、受信機と発光部との距離を計算する(7106f)。受信機は、受信機から観察しづらい場所の様子や危険の有無などの情報を基に、危険の警告などを行う(7106g)。
図429は、実施の形態33における受信機と送信機の適用例を示す図である。
例えば車の2つのテールランプ(発光部またはライト)を有する送信機(車)7007bは、送信機7007bの情報を例えば駐車場の送受信装置として構成される受信機7007aに送信する。送信機7007bの情報は、送信機7007bの識別情報(ID)、車のナンバー、車の大きさ、車の形状、または車の重さを示す。受信機7007aは、その情報を受信すると、駐車の可否、課金情報、または駐車位置を送信する。なお、受信機7007aは、IDを受信して、ID以外の情報をサーバから取得してもよい。
図430は、実施の形態33における受信機7007aと送信機7007bの処理動作の一例を示すフローチャートである。なお、送信機7007bは、送信だけでなく受信も行なうとため、車載送信機と車載受信機とを備える。
送信機7007bのIDと、IDを受信した受信機7007aに渡す情報とを関連付けてサーバ(駐車場管理サーバ)に記憶する(7107a)。受信機7007aに渡す情報には、送信機7007bを構成要素の一部とする物体の形状や、重量や、車体ナンバー等の識別番号や、送信機7007bのユーザの識別番号や支払いのための情報を含めても良い。
送信機7007b(車載送信機)は、IDを送信する(7107b)。送信内容には、前記サーバのURLや、前記サーバに記憶させる情報を含めても良い。駐車場の受信機7007a(駐車場の送受信装置)は、受信した情報を、駐車場を管理するサーバ(駐車場管理サーバ)に送信する(7107c)。駐車場管理サーバは、送信機7007bのIDをキーに、IDに紐付けられた情報を取得する(7107d)。駐車場管理サーバは、駐車場の空き状況を調査する(7107e)。
駐車場の受信機7007a(駐車場の送受信装置)は、駐車の可否や、駐車位置情報、または、これらの情報を保持するサーバのアドレスを送信する(7107f)。または、駐車場管理サーバは、これらの情報を別のサーバに送信する。送信機(車載受信機)7007bは、上記で送信された情報を受信する(7107g)。または、車載システムは、別のサーバからこれらの情報を取得する。
駐車場管理サーバは、駐車を行いやすいように駐車場の制御を行う(7107h)。例えば、立体駐車場の制御を行う。駐車場の送受信装置は、IDを送信する(7107i)。車載受信機(送信機7007b)は、車載受信機のユーザ情報と受信したIDとを基に、駐車場管理サーバに問い合わせを行う(7107j)。
駐車場管理サーバは、駐車時間等に応じて課金を行う(7107k)。駐車場管理サーバは、駐車された車両にアクセスしやすいように駐車場の制御を行う(7107m)。例えば、立体駐車場の制御を行う。車載受信機(送信機7007b)は、駐車位置への地図を表示し、現在地からのナビゲーションを行う(7107n)。
(電車内)
図431は、実施の形態33における、電車の車内に適用される可視光通信システムの構成を示す図である。
可視光通信システムは、例えば、電車内に配置された複数の照明装置1905と、ユーザが保持するスマートフォン1906と、サーバ1904と、電車内に配置されたカメラ1903とを備える。
複数の照明装置1905のそれぞれは、上述の送信機として構成され、明かりを照らすとともに、輝度変化することによって可視光信号を送信する。この可視光信号は、その可視光信号を送信する照明装置1905のIDを示す。
スマートフォン1906は、上述の受信機として構成され、照明装置1905を撮像することによって、その照明装置1905から送信される可視光信号を受信する。例えば、ユーザは、電車内でトラブル(例えば痴漢または喧嘩など)に巻き込まれた場合、スマートフォン1906にその可視光信号を受信させる。スマートフォン1906は、可視光信号を受信すると、その可視光信号によって示されるIDをサーバ1904に通知する。
サーバ1904は、そのIDの通知を受けると、そのIDによって識別される照明装置1905によって照らし出される範囲を撮像範囲とするカメラ1903を特定する。そして、サーバ1904は、その特定されたカメラ1903に、照明装置1905によって照らし出される範囲を撮像させる。
カメラ1903は、サーバ1904からの指示に応じて撮像し、その撮像によって得られた画像をサーバ1904に送信する。
これにより、電車内でのトラブルの状況を示す画像を取得することができる。この画像は、トラブルの証拠として利用することができる。
また、ユーザは、スマートフォン1906を操作することにより、カメラ1903の撮像によって得られた画像をサーバ1904からスマートフォン1906に送信させてもよい。
また、スマートフォン1906は、画面に撮像ボタンを表示し、その撮像ボタンがユーザによってタッチされると、撮像を促す信号をサーバ1904に送信してもよい。これにより、ユーザは、撮像のタイミングを自ら決定することができる。
図432は、実施の形態33における、遊園地などの施設に適用される可視光通信システムの構成を示す図である。
可視光通信システムは、例えば、施設に配置された複数のカメラ1903と、人に取り付けられる装身具1907とを備える。
装身具1907は、例えば複数のLEDが取り付けられたリボンを有するカチューシャなどである。また、この装身具1907は、上述の送信機として構成され、複数のLEDを輝度変化させることによって、可視光信号を送信する。
複数のカメラ1903のそれぞれは、上述の受信機として構成され、可視光通信モードと通常撮像モードとを有する。また、これらの複数のカメラ1903のそれぞれは、施設内の通り道における互いに異なる箇所に配置されている。
具体的には、カメラ1903は、可視光通信モードに設定されているときに、装身具1907が被写体として撮像されると、その装身具1907から可視光信号を受信する。カメラ1903は、その可視光信号を受信すると、設定されているモードを可視光通信モードから通常撮像モードに切り替える。その結果、カメラ1903は、装身具1907を身につけている人を被写体として撮像する。
したがって、装身具1907を付けた人が施設内の通り道を歩いていると、その人の近くにあるカメラ1903が次々にその人を撮像することになる。これにより、その人が施設で楽しんでいる様子を映す画像を自動的に取得して保存することができる。
なお、カメラ1903は、可視光信号を受信すると直ちに通常撮像モードによる撮像を行うのではなく、例えばスマートフォンから撮像開始の指示を受けたときに、通常撮像モードによる撮像を行ってもよい。これにより、ユーザは、スマートフォンの画面に表示される撮像開始ボタンに触れるタイミングで、自らをカメラ1903に撮像させることができる。
図433は、実施の形態33における、遊具とスマートフォンとからなる可視光通信システムの一例を示す図である。
遊具1901は、例えば複数のLEDを備えた上述の送信機として構成されている。つまり、遊具1901は、その複数のLEDを輝度変化させることによって、可視光信号を送信する。
スマートフォン1902は、その遊具1901を撮像することによって、その遊具1901から送信される可視光信号を受信する。そして、図433の(a)に示すように、スマートフォン1902は、その可視光信号を1回目に受信したときには、その可視光信号と1回目とに対応付けられている動画1を例えばサーバなどからダウンロードして再生する。一方、スマートフォン1902は、その可視光信号を2回目に受信したときには、図433の(b)に示すように、その可視光信号と2回目とに対応付けられている動画2を例えばサーバなどからダウンロードして再生する。
つまり、スマートフォン1902は、同じ可視光信号を受信しても、その可視光信号を受信した回数に応じて、再生される動画を切り替える。可視光信号を受信した回数は、スマートフォン1902によってカウントされてもよく、サーバによってカウントされてもよい。または、スマートフォン1902は、複数回、同一の可視光信号を受信しても、連続して同じ動画を再生することはしない。または、スマートフォン1902は、同一の可視光信号に対応付けられている複数の動画のうち、既に再生された動画の出現確率を低下させて、出現確率の高い動画を優先的にダウンロードして再生してもよい。
また、スマートフォン1902は、複数の店舗を有する施設の案内所に備えられているタッチパネルから送信される可視光信号を受信し、その可視光信号に応じた画像を表示してもよい。例えば、タッチパネルは、施設の概要を示す初期画面を表示しているときには、その施設の概要を示す可視光信号を輝度変化によって送信している。したがって、スマートフォンは、その初期画面を表示しているタッチパネルを撮像することによって、その可視光信号を受信すると、施設の概要を示す画像を自らのディスプレイに表示することができる。ここで、ユーザによってタッチパネルが操作されると、タッチパネルは、例えば特定の店舗の情報を示す店舗画像を表示する。このとき、タッチパネルは、その特定の店舗の情報を示す可視光信号を送信している。したがって、スマートフォンは、その店舗画像を表示しているタッチパネルを撮像することによって、その可視光信号を受信すると、特定の店舗の情報を示す店舗画像を表示することができる。このように、スマートフォンは、タッチパネルと同期した画像を表示することができる。