JP7056500B2 - 画像生成装置、画像生成方法、およびプログラム - Google Patents

Description

本発明は、画像生成装置、画像生成方法、およびプログラムに関する。

近年、移動、物流、および物販などの目的に活用可能なモビリティサービスを提供するための車両が提案されている。モビリティサービスを提供する車両においては、外面に情報を表示することによって、他の車両や歩行者などの周囲にいる人に向けて情報を提供するデジタルサイネージ（電子看板）も提案されている。車両の外面に情報を表示する方法として、例えば特許文献１には、中古車両に２次元コードシールを貼り、車両の販売情報を入手可能にする技術が開示されている。

特開２００９－１７６２６１号公報

上述した関連技術において、車両などの移動体から外部に提供する情報を適宜変更する技術が検討されている。ところが、特許文献１に記載の技術においては、移動体の外面に表示する情報を変更することも、情報を変更して移動体に関連する販売情報以外の他の情報を提供することについても、何ら検討されていない。そこで、移動体の外側から認識可能な部分に、デジタルサイネージなどの情報を表示する表示装置を設け、表示装置に表示する情報を変更することによって、外部に提供する情報を変更する技術が提案された。しかしながら、移動体に表示装置を設けて外部に提供する情報を変更する場合、表示装置の稼働によって消費する電力が大きくなったり、発熱量が増加したりするという問題があった。そのため、移動体から外部に向けて提供する情報を変更でき、かつ移動体の消費電力および発熱量を低減できる技術が求められていた。

本発明は、上記に鑑みてなされたものであって、その目的は、移動体から外部に向けて提供する情報を変更でき、かつ移動体の消費電力および発熱量を低減できる画像生成装置、画像生成方法、およびプログラムを提供することにある。

上述した課題を解決し、上記目的を達成するために、本発明に係る画像生成装置は、メモリと、ハードウェアを有するプロセッサと、を備え、前記プロセッサは、外部から認識可能な識別情報を有する移動体から、前記移動体に関する移動体関連情報を入力し、前記移動体を撮像可能な利用端末から、前記利用端末に関する利用端末情報および前記利用端末によって撮像された前記移動体の画像を含む撮像データを入力し、前記撮像データに含まれる前記識別情報に基づいて前記移動体を特定し、前記特定した移動体の前記移動体関連情報と、前記移動体の画像を含む撮像データを出力した利用端末の前記利用端末情報とに基づいて、前記利用端末の表示部において前記撮像データに重畳表示する重畳画像データを生成して前記メモリに出力する。

本発明の一態様に係る画像生成装置は、上記の発明において、前記移動体関連情報が前記移動体によって提供されるサービスに関するサービス情報を含み、前記利用端末の前記利用端末情報に対応して、前記サービス情報に含まれる情報から、前記重畳画像データに含める情報を選択しても良い。

この構成によれば、利用端末情報が互いに異なる利用端末に対して、サービス情報から重畳画像データに含める情報を異なる情報にできるので、生成される重畳画像データを利用端末ごとに異なる画像データにできる。これにより、利用端末ごとに適した情報を重畳画像データと適宜選択して、利用端末の表示部に表示できる。

本発明の一態様に係る画像生成方法は、画像生成装置が実行する画像生成方法であって、外部から認識可能な識別情報を有する移動体から、前記移動体に関する移動体関連情報を入力し、前記移動体を撮像可能な利用端末から、前記利用端末に関する利用端末情報および前記利用端末によって撮像された前記移動体の画像を含む撮像データを入力し、前記撮像データに含まれる前記識別情報に基づいて前記移動体を特定し、前記特定した移動体の前記移動体関連情報と、前記移動体の画像を含む撮像データを出力した利用端末の前記利用端末情報とに基づいて、前記利用端末の表示部において前記撮像データに重畳表示する重畳画像データを生成してメモリに出力する。

本発明の一態様に係るプログラムは、画像生成装置に実行させるプログラムであって、外部から認識可能な識別情報を有する移動体から、前記移動体に関する移動体関連情報を入力し、前記移動体を撮像可能な利用端末から、前記利用端末に関する利用端末情報および前記利用端末によって撮像された前記移動体の画像を含む撮像データを入力してメモリに格納し、前記撮像データに含まれる前記識別情報に基づいて前記移動体を特定し、前記特定した移動体の前記移動体関連情報と、前記移動体の画像を含む撮像データを出力した利用端末の前記利用端末情報とに基づいて、前記利用端末の表示部において前記撮像データに重畳表示する重畳画像データを生成してメモリに出力する。

本発明に係る画像生成装置、画像生成方法、およびプログラムによれば、移動体の識別情報を外部から認識可能な部分に表示して、識別情報をユーザ端末によって撮像することで、ユーザ端末に表示される移動体の外部に重畳される表示内容を変更できるので、移動体から外部に向けて提供する情報を適宜変更でき、かつ移動体の消費電力および発熱量を低減することが可能となる。

図１は、本発明の一実施形態による画像生成装置を適用可能な画像生成システムを示す概略図である。 図２は、図１に示す画像生成装置の構成を概略的に示すブロック図である。 図３は、図１に示す車両に搭載された車載機の構成を概略的に示すブロック図である。 図４は、図１に示すユーザ端末装置の構成を概略的に示すブロック図である。 図５は、本発明の一実施形態による画像生成方法の処理の流れを示すフロー図である。 図６は、本発明の一実施形態による画像生成方法の第１実施例を説明するための図である。 図７は、本発明の一実施形態による画像生成方法の第２実施例を説明するための図である。 図８は、本発明の一実施形態による画像生成方法の第３実施例を説明するための図である。 図９は、本発明の一実施形態による画像生成方法の第４実施例を説明するための図である。

以下、一実施形態について図面を参照しつつ説明する。なお、以下の一実施形態の全図においては、同一または対応する部分には同一の符号を付す。

（画像生成システム）
まず、一実施形態による画像生成装置が適用される画像生成システムについて説明する。図１は、本実施形態による画像生成装置を適用可能な画像生成システム１を示す概略図である。図１に示すように、一実施形態による画像生成システム１は、ネットワーク１０を介して互いに通信可能な、画像生成サーバ３０、外側表示部５８を備えた車両５０、およびユーザ端末装置７０を有する。

ネットワーク１０は、インターネット回線網や携帯電話回線網などから構成される。ネットワーク１０は、例えば、インターネットなどの公衆通信網であって、ＷＡＮ（Wide Area Network）や、携帯電話などの電話通信網や、ＷｉＦｉなどの無線通信網などのその他の通信網を含んでも良い。

（処理サーバ）
画像生成装置としての画像生成サーバ３０は、車両５０の外側表示部５８に表示する識別情報を制御するとともに、ユーザ端末装置７０に送信する画像データを生成する。本実施形態において画像生成サーバ３０には、それぞれの車両５０から所定のタイミングで、各種の運行情報や車両情報が供給される。運行情報は、位置情報、速度情報、および加速度情報などの車両５０の運行に関する情報を含むが、必ずしもこれらの情報に限定されない。車両情報は、バッテリ充電量（ＳＯＣ）、燃料残量、現在位置、および車内状態などの車両５０の状況に関する情報を含むが、必ずしもこれらの情報に限定されない。

図２は、画像生成サーバ３０の構成を概略的に示すブロック図である。図２に示すように、画像生成サーバ３０は、ネットワーク１０を介して通信可能な、一般的なコンピュータの構成を有する。画像生成サーバ３０は、通信部３１、制御部３２、および記憶部３３を備える。

通信部３１は、例えば、ＬＡＮ（Local Area Network）インターフェースボードや無線通信のための無線通信回路などである。ＬＡＮインターフェースボードや無線通信回路は、ネットワーク１０に接続される。通信部３１は、ネットワーク１０に接続して車両５０との間で通信する。通信部３１は、それぞれの車両５０から、車両５０に固有の移動体識別情報である車両識別情報、車両５０の運行に関する運行状況情報、および車両５０が提供するサービスの内容や状況を示すサービス情報などの各種情報を受信する。なお、車両識別情報は、それぞれの車両５０を個々に識別可能にするための情報を含む。サービス情報は、車両５０に関連するサービスの計画などのスケジュール情報や、搭載している荷物などの荷物情報や、搭載している商品などの在庫情報などの、車両５０が提供するサービスに関連する種々の情報を含む。通信部３１は、車両５０に対して、情報の送信を要求する要求信号などの各種情報、および車両５０を制御するための指示情報などを送信する。移動体関連情報としては、上述した車両識別情報およびサービス情報を含むが、さらに、車両情報や運行状況情報を含んでも良い。また、移動体関連情報としては、必ずしもこれらの情報に限定されない。

制御部３２は、具体的に、ＣＰＵ（Central Processing Unit）、ＤＳＰ（Digital Signal Processor）、ＦＰＧＡ（Field-Programmable Gate Array）などのプロセッサ、およびＲＡＭ（Random Access Memory）やＲＯＭ（Read Only Memory）などの主記憶部（いずれも図示せず）を備える。記憶部３３は、ＥＰＲＯＭ（Erasable Programmable ROM）、ハードディスクドライブ（ＨＤＤ、Hard Disk Drive）、およびリムーバブルメディアなどから選ばれた記憶媒体から構成される。なお、リムーバブルメディアは、例えば、ＵＳＢ（Universal Serial Bus）メモリ、または、ＣＤ（Compact Disc）、ＤＶＤ（Digital Versatile Disc）、またはＢＤ（Blu-ray（登録商標） Disc）のようなディスク記録媒体である。記憶部３３には、オペレーティングシステム（Operating System :ＯＳ）、各種プログラム、各種テーブル、各種データベースなどが格納可能である。制御部３２は、記憶部３３に格納されたプログラムを主記憶部の作業領域にロードして実行し、プログラムの実行を通じて各構成部などを制御することで、所定の目的に合致した機能を実現できる。本実施形態において、制御部３２は、プログラムの実行を通じて表示制御部３４および運行管理部３５の機能を実現できる。

記憶部３３は、各種のデータが検索可能に格納されたサービス情報データベース３３ａ、画像情報データベース３３ｂ、および運行管理データベース３３ｃを備える。画像情報データベース３３ｂ、サービス情報データベース３３ａおよび運行管理データベース３３ｃは、例えばリレーショナルデータベース（ＲＤＢ）である。なお、以下に説明するデータベース（ＤＢ）は、上述したプロセッサによって実行されるデータベース管理システム（Database Management System：ＤＢＭＳ）のプログラムが、記憶部に記憶されるデータを管理することによって構築される。

サービス情報データベース３３ａは、車両識別情報とサービス情報とが関連付けされて、検索可能に格納されている。サービス情報は、車両５０の用途に応じて提供可能なサービスに関連した種々の情報であって、車両５０の使用状況に基づいた種々の情報を含む。サービス情報としては、車両５０がバスやライドシェア用車両である場合には、運行時刻の情報であったり、車両５０が移動販売サービス用車両であれば、積載している商品の種類や在庫数の情報であったりする。サービス情報のさらなる具体例については、後述する。画像情報データベース３３ｂには、表示制御部３４がサービス情報に基づいて選択可能な種々の画像データが格納されている。なお、画像データは、静止画データであっても動画データであっても良い。運行管理データベース３３ｃには、車両識別情報と運行情報などとが互いに関連付けされて、検索可能に格納されている。

車両識別情報は、車両５０に割り当てられた際に、検索可能な状態でサービス情報データベース３３ａおよび運行管理データベース３３ｃに格納される。車両識別情報は、個々の車両５０を互いに識別するための種々の情報を含む。車両５０が、車両識別情報とともにサービス情報を画像生成サーバ３０に送信すると、画像生成サーバ３０は、受信したサービス情報を車両識別情報と関連付けて、サービス情報データベース３３ａ内に検索可能な状態で格納する。同様に、車両５０が、車両識別情報とともに位置情報や車両情報などの情報を画像生成サーバ３０に送信すると、画像生成サーバ３０は、受信した情報を車両識別情報と関連付けて、運行管理データベース３３ｃ内に検索可能な状態で格納する。

本実施形態において、制御部３２は、上述したプログラムの実行を通じて表示制御部３４および運行管理部３５の機能を実現できる。表示制御部３４は、それぞれの車両５０から受信したサービス情報などの情報を収集して、サービス情報データベース３３ａに格納する。表示制御部３４は、所定の車両５０から受信したサービス情報およびユーザ端末装置７０から受信した撮像データを解析する。表示制御部３４は、解析した結果に応じて、画像情報データベース３３ｂから画像データを索出したり、索出した画像データを互いに合成したりして、撮像データに重畳させる重畳画像データを生成する。重畳画像データは、通信部３１およびネットワーク１０を介して、ユーザ端末装置７０に送信される。運行管理部３５は、それぞれの車両５０から受信した車両情報および運行情報などの情報を収集して、運行管理データベース３３ｃに格納する。

（車両）
移動体としての車両５０は、運転者による運転によって走行する車両や、与えられた運行指令に従って自律走行可能に構成された自律走行車両である。図３は、車両５０の構成を概略的に示すブロック図である。図３に示すように、車両５０は、駆動部５１、電子制御部５２、通信部５３、記憶部５４、入出力部５５、センサ群５６、ＧＰＳ部５７、および外側表示部５８を備える。

駆動部５１は、車両５０の走行に必要な従来公知の駆動部である。具体的には、車両５０は、駆動源としてのエンジンを備え、エンジンは燃料の燃焼による駆動によって電動機などを用いて発電可能に構成される。発電された電力は充電可能なバッテリに充電される。さらに、車両５０は、エンジンの駆動力を伝達する駆動伝達機構、および走行するための駆動輪などを備える。

電子制御部５２および記憶部５４はそれぞれ、物理的には上述した制御部３２および記憶部３３と同様である。電子制御部５２は、車両５０に搭載される各種構成要素の動作を統括的に制御する。通信部５３は、ネットワーク１０を介した無線通信によって、少なくとも画像生成サーバ３０との間で通信を行う、例えばＤＣＭ（Data Communication Module）などからなる。記憶部５４は、車両情報データベース５４ａ、運行情報データベース５４ｂ、およびサービス情報データベース５４ｃを備える。車両情報データベース５４ａには、バッテリ充電量、燃料残量、現在位置などを含む各種情報が、更新可能に格納されている。運行情報データベース５４ｂには、画像生成サーバ３０から提供される運行情報を含む各種データが、更新可能に格納されている。サービス情報データベース５４ｃには、車両５０が提供するサービスの種類に応じたサービスの内容や状況などの、車両５０が提供するサービスに関する種々の情報が、更新可能に格納されている。

入出力部５５は、タッチパネルディスプレイやスピーカマイクロホンなどから構成される。出力手段としての入出力部５５は、電子制御部５２による制御に従って、タッチパネルディスプレイの画面上に文字や図形や画像などを表示したり、スピーカマイクロホンから音声を出力したりして、所定の情報を外部に通知可能に構成される。また、入力手段としての入出力部５５は、ユーザなどがタッチパネルディスプレイを操作したり、スピーカマイクロホンに向けて音声を発したりすることによって、電子制御部５２に所定の情報を入力するように構成される。

センサ群５６は、車速センサや、加速度センサなどの車両５０の走行に関するセンサや、例えば車室内の種々の状況を検知可能な車室内センサや、例えば撮像カメラなどの撮像装置などから構成される。ＧＰＳ部５７は、ＧＰＳ（Global Positioning System）衛星（図示せず）からの電波を受信して、車両５０の位置を検出する。検出された位置は、車両情報における位置情報として、車両情報データベース５４ａに検索可能に格納される。なお、車両５０の位置を検出する方法として、LiDAR（Light Detection and Ranging、Laser Imaging Detection and Ranging）と３次元デジタル地図とを組み合わせた方法を採用しても良い。

外側表示部５８は、例えば、有機ＥＬパネルや液晶表示パネルなどからなり、文字や図形などを表示パネルに表示することによって、情報を外部に報知する。本実施形態において外側表示部５８は、個々の車両５０を識別するための車両識別情報の少なくとも一部の情報として、例えばＱＲコード（登録商標）のような２次元コード、バーコード、文字列、記号、アイコン、または数字列などの識別情報を表示する。さらに、電子制御部５２が、記憶部５４に格納された種々の情報を外側表示部５８に入力することによって、外側表示部５８に表示される識別情報や画像などの各種情報を変更しても良い。

（ユーザ端末装置）
ユーザ端末装置７０は、ユーザによって操作される。ユーザ端末装置７０は、例えば、通信アプリケーションによる各種データを用いた通信によって、撮像データや、ユーザ識別情報およびユーザ選択情報を含むユーザ情報、および現在位置情報などの各種情報を、画像生成サーバ３０に送信する。ユーザ情報は、ユーザ端末装置７０を識別するための利用端末情報となる。ユーザ端末装置７０は、画像生成サーバ３０から、重畳画像データなどの各種情報を受信可能に構成される。図４は、図１に示すユーザ端末装置７０の構成を概略的に示すブロック図である。

図４に示すように、ユーザ端末装置７０は、互いに通信可能に接続された、電子制御部７１、入力部７２、表示部７３、通信部７４、記憶部７５、ＧＰＳ部７６、および撮像部７７を備える。電子制御部７１、通信部７４、記憶部７５、およびＧＰＳ部７６はそれぞれ、物理的には上述した制御部３２、通信部３１，５３、記憶部３３，５４、およびＧＰＳ部５７と同様である。

電子制御部７１は、記憶部７５に格納されたＯＳやＡＲ表示アプリケーション７５ａを主記憶部の作業領域にロードして実行し、入力部７２、表示部７３、通信部７４、記憶部７５、ＧＰＳ部７６、および撮像部７７の動作を統括的に制御する。本実施形態においてＡＲ表示アプリケーション７５ａは、電子制御部７１の制御によって拡張現実（ＡＲ：Augmented Reality）を表示部７３に表示するプログラムである。

入力部７２は、例えば、キーボードや表示部７３の内部に組み込まれて表示パネルのタッチ操作を検出するタッチパネル式キーボード、または外部との間の通話を可能とする音声入力デバイスなどから構成される。ここで、外部との間の通話は、他のユーザ端末装置７０との通話のみならず、例えば画像生成サーバ３０に常駐するオペレータや人工知能システムとの通話なども含む。表示部７３は、例えば、有機ＥＬパネルや液晶表示パネルなどからなり、記憶部７５に格納された画像データや、通信部７４を介して受信した重畳画像データや、撮像部７７によって撮像された撮像データを画面上に表示する。これによって、ユーザは、撮像データ、画像データ、および重畳画像データなどを認識可能になる。なお、入力部７２および表示部７３を、上述した入出力部５５と同様に構成しても良い。

通信部７４は、ネットワーク１０を介して、ユーザ識別情報、ユーザ選択情報、撮像データ、および音声データなどの各種情報を、画像生成サーバ３０などの外部のサーバとの間で送受信する。記憶部７５は、ユーザ識別情報およびユーザ選択情報を含むユーザ情報を記憶可能に構成されている。ユーザ識別情報は、ユーザ端末装置７０を識別するための情報である。ユーザ識別情報は、例えば、ユーザ端末装置７０に固有のＩＤの情報や、所持するユーザの氏名や性別や住所、またはユーザの位置などを表す経度および緯度などの位置情報などの各種情報を選択的に含む。ユーザ選択情報は、例えば、ユーザによる車両５０の利用に必要な各種情報、またはユーザがユーザ端末装置７０の入力部７２から入力した情報などの各種情報を選択的に含む。撮像部７７は、例えばカメラなどの撮像装置であって、対象物を撮像可能に構成される。ユーザがユーザ端末装置７０の撮像部７７によって撮像した撮像データは、電子制御部７１によって記憶部７５に格納される。また、ＡＲ表示アプリケーション７５ａによって撮像部７７が撮像した撮像データは、電子制御部７１によって、通信部７４およびネットワーク１０を介して、画像生成サーバ３０に送信される。上述したユーザ端末装置７０は、具体的に、スマートフォンなどの携帯電話、タブレット型などの情報端末、またはパーソナルコンピュータなどを採用することができる。

（画像生成方法）
次に、以上のように構成された画像生成システム１において実行される画像生成方法について説明する。なお、以下の説明において、情報の送受信はネットワーク１０を介して行われるが、この点についての都度の説明は省略する。図５は、第１の実施形態による画像生成方法を説明するためのフローチャートである。

すなわち、図５のステップＳＴ１に示すように、移動体である車両５０は、電子制御部５２の制御によって、車両情報を通信部５３から所定のタイミングで定期的に画像生成サーバ３０に送信する。ここで、所定のタイミングとしては、例えば１分間程度の所定時間間隔の周期的なタイミングなどであるが、車両５０における種々のタイミングを設定可能である。

一方、ステップＳＴ２においてユーザは、ユーザ端末装置７０においてＡＲ表示アプリケーション７５ａを起動させて、撮像部７７を用いて所定の車両５０を撮像する。なお、ＡＲ表示アプリケーション７５ａの起動は、フォアグラウンド処理であってもバックグラウンド処理であっても良い。この際、撮像部７７は、車両５０の外側表示部５８に表示される識別情報を合わせて撮像する。

ステップＳＴ３において電子制御部７１は、ＡＲ表示アプリケーション７５ａのプログラムに従って、撮像部７７によって撮像した撮像データを、通信部７４を介して画像生成装置である画像生成サーバ３０に送信する。電子制御部７１は、撮像データの送信時において、撮像データに関連づけてユーザ情報および位置情報を画像生成サーバ３０に送信する。

その後、ステップＳＴ４において画像生成サーバ３０の表示制御部３４は、受信した撮像データを解析する画像解析処理を行う。表示制御部３４が撮像データに含まれる識別情報を解析して、運行管理部３５に出力すると、運行管理部３５は、撮像データに撮像されている車両５０を特定する。同様に、表示制御部３４は、撮像データに関連付けされたユーザ情報に含まれるユーザ識別情報に基づいて、撮像データを送信したユーザ端末装置７０を特定する。

ステップＳＴ５において制御部３２は、特定した車両５０に対して、サービス情報の送信を要求する要求信号を送信する。その後、ステップＳＴ６において、要求信号を受信した車両５０は、サービス情報データベース５４ｃからサービス情報を読み出して、画像生成サーバ３０に送信する。

ステップＳＴ７において画像生成サーバ３０の表示制御部３４は、車両５０から受信したサービス情報と、ユーザ端末装置７０から受信した撮像データ、ユーザ情報、および位置情報とに基づいて、撮像データに重畳させる重畳画像データを生成する。ここで、重畳画像データは、静止画データであっても動画データであっても良く、さらには文字情報データであっても良い。ここで、表示制御部３４は、ユーザ選択情報とサービス情報に基づいて重畳画像データを生成しても良い。すなわち、表示制御部３４は、サービス情報とユーザ情報に含まれるユーザ選択情報とを解析して、ユーザが撮像している車両５０が提供するサービスに対応しているとともにユーザ選択情報に対応した情報を含む画像データを、重畳画像データとして生成しても良い。なお、車両５０が送信するサービス情報の具体例、およびユーザ選択情報の具体例については、後述する。

その後、ステップＳＴ８において制御部３２は、表示制御部３４によって生成した重畳画像データを、ユーザ情報に含まれるユーザ識別情報に基づいて特定したユーザ端末装置７０に対して送信する。ステップＳＴ９において、重畳画像データを受信したユーザ端末装置７０の電子制御部７１は、撮像データに重畳画像データを重畳させて、表示部７３の画面上に表示する。これにより、ユーザは表示部７３にＡＲ表示された画像を視認することができる。以上により、本実施形態による画像生成処理が終了する。

（実施例）
次に、以上のように実行される画像生成処理によって得られる重畳画像データをユーザ端末装置７０の表示部７３に重畳表示させる具体的な実施例について説明する。

（第１実施例）
図６は、この一実施形態による画像生成方法の第１実施例を説明するための図である。図６に示すように、外側表示部５８Ａに識別情報が表示された所定の車両５０Ａを、ユーザ端末装置７０ａ，７０ｂの撮像部７７ａ，７７ｂによってそれぞれ撮像する。この場合、ユーザ端末装置７０ａ，７０ｂにおけるユーザ識別情報やユーザ選択情報に基づいて、表示部７３ａ，７３ｂにそれぞれ、撮像している車両５０Ａの外面に所定の重畳画像データが重畳された画像データが表示される。図６に示す例は、別々のユーザが所持するそれぞれのユーザ端末装置７０ａ，７０ｂによって、移動販売用の車両５０Ａを撮像する例である。

上述したように、画像生成サーバ３０の表示制御部３４は、ユーザ端末装置７０ａ，７０ｂから受信した撮像データおよびユーザ識別情報やユーザ選択情報と、車両５０Ａから受信したサービス情報とに基づいて、重畳画像データをそれぞれ生成して、ユーザ端末装置７０ａ，７０ｂに送信する。具体的には、ユーザ端末装置７０ａから受信したユーザ識別情報において、ユーザの性別、年齢、および使用言語の情報がそれぞれ、「女性」、「２０歳以上」、および「日本語」であり、車両５０から受信したサービス情報において、２０歳以上の女性に提供する情報のカテゴリとして、例えば「化粧品」の情報が含まれているとする。この場合、ユーザ端末装置７０ａの表示部７３ａには、車両５０Ａの外面に重畳して、「化粧品」の画像と日本語による例えば「化粧品」の文字情報とが表示される。一方、ユーザ端末装置７０ｂから受信したユーザ識別情報において、ユーザの性別および使用言語の情報がそれぞれ、「男性」および「英語」であって、ユーザがユーザ端末装置７０ｂの入力部（図示せず）から、ユーザ選択情報として傘を所望する旨の情報を入力する。さらにサービス情報に、車両５０Ａには「傘」の在庫がある旨の情報が含まれているとする。この場合、ユーザ端末装置７０ｂの表示部７３ｂには、車両５０Ａの外面に重畳して、「傘」の画像と英語による例えば「Ｕｍｂｒｅｌｌａ」の文字情報とが表示される。

このように、車両５０Ａの外側表示部５８Ａに変更可能な識別情報を表示して、車両５０Ａの周囲にいる歩行中のユーザなどに向けた情報を表示するデジタルサイネージを、ユーザ端末装置７０ａ，７０ｂの撮像部７７ａ，７７ｂを用いて撮像することによって車両５０Ａを識別するとともに、表示部７３ａ，７３ｂに表示されている車両５０Ａに、重畳画像データを重畳表示する。これにより、ユーザ端末装置７０ａ，７０ｂのそれぞれの撮像部７７ａ，７７ｂを用いて車両５０Ａを見た場合に、画像生成サーバ３０が、サービス情報からユーザ端末装置７０ａ，７０ｂのそれぞれに提供すべき情報が選択し、車両５０Ａの少なくともいずれか１つの外面の全面または一部の面に、静止画、動画、文字情報を重畳して表示する重畳画像データを生成できる。そのため、ユーザ端末装置７０ａ，７０ｂを利用するユーザにとっては、車両５０Ａに情報が表示されているように見え、同一の車両５０Ａであっても、ユーザ情報に即してユーザ端末装置７０ａ，７０ｂごとに異なる情報を表示できる。この第１実施例によれば、ユーザ端末装置７０ａ，７０ｂを利用するユーザのそれぞれに適合した情報を、ユーザごとに視認できる。そのため、車両５０Ａの外側表示部５８に単に情報を表示する場合に比して、車両５０Ａによってユーザが認識できる情報を多様化でき、ユーザに対する情報の提供の利便性を向上できる。

（第２実施例）
図７は、この一実施形態による画像生成方法の第２実施例を説明するための図である。図７に示すように、外側表示部５８Ｂに識別情報が表示された所定の車両５０Ｂを、ユーザ端末装置７０ｃの撮像部７７ｃによって撮像すると、表示部７３ｃに撮像している車両５０Ｂの外面に所定の重畳画像データが重畳された画像データが表示される。図７に示す例は、ユーザが所持するユーザ端末装置７０ｃによって、移動販売用の車両５０Ｂを撮像する例である。この場合、画像生成サーバ３０の表示制御部３４は、ユーザ端末装置７０ｃから受信した撮像データ、およびユーザ識別情報やユーザ選択情報と、車両５０Ｂから受信したサービス情報とに基づいて、重畳画像データを生成して、ユーザ端末装置７０ｃに送信する。

具体的には、ユーザ端末装置７０ｃから受信したユーザ選択情報に、ユーザの嗜好の情報およびユーザが購入を予約した商品の情報が含まれ、車両５０Ｂから受信したサービス情報に、車両５０Ｂに積載されている商品の情報が含まれているとする。この場合、ユーザ端末装置７０ｃの表示部７３ｃには、車両５０Ｂの外面に重畳して、予約した商品の画像および例えば「ご予約の商品」の文字情報と、ユーザにお勧めの商品の画像および例えば「おすすめの商品」の文字情報とが表示される。第２実施例によれば、ユーザ端末装置７０ｃを利用するユーザが、車両５０Ｂの中を確認することなく、必要な商品や所望の商品を視認できるので、車両５０Ｂなどの移動販売や宅配などにおける利便性を向上できる。

なお、車両５０Ｂとしては、移動販売用の車両以外にも、宅配用の車両などの荷物を積載して移動する種々の移動体でも良い。すなわち、荷物や商品を運んでいる車両５０Ｂが、ユーザが受け取るべき荷物や買いたい商品を積載している場合に、それらの情報をユーザ端末装置７０ｃの表示部７３ｃに表示できる。さらに、画像生成サーバ３０において、ユーザ端末装置７０ｃから送信されるユーザ識別情報から、ユーザの年齢、性別、嗜好、または衣類のサイズなどを抽出したり推定したりすることによって、車両５０Ｂの外面に、おすすめしたい商品やサービス、またはそれらのクーボンなどを表示するようにしても良い。

（第３実施例）
図８は、この一実施形態による画像生成方法の第３実施例を説明するための図である。図８に示すように、外側表示部５８Ｃに識別情報が表示された所定の車両５０Ｃ、および外側表示部５８Ｄに識別情報が表示された所定の車両５０Ｄが隊列走行している。ユーザ端末装置７０の撮像部７７ｄによって、これらの車両５０Ｃ，５０Ｄを撮像する。この場合、ユーザ端末装置７０ｃにおけるユーザ識別情報やユーザ選択情報に基づいて、表示部７３ｃに撮像している車両５０Ｃ，５０Ｄの外面に所定の重畳画像データが重畳された画像データが表示される。図８に示す例は、ユーザ端末装置７０ｃによって、バスなどの乗り合い車両などの車両５０Ｃ，５０Ｄを撮像する例である。

具体的には、ユーザ端末装置７０ｃの入力部７２ｄにユーザが目的地を入力する。目的地はユーザ選択情報として画像生成サーバ３０に送信される。一方、車両５０Ｃ，５０Ｄのそれぞれから受信したサービス情報に、車両５０Ｃ，５０Ｄの路線の情報が含まれているとする。この場合、ユーザ端末装置７０ｄの表示部７３ｄには、車両５０Ｃが停車するバス停「○○バス停」、当該バス停に到着する予定時刻「８：３０到着」、および乗車料金「￥１５０」の文字情報が車両５０Ｃの外面に重畳して表示される。また、ユーザ端末装置７０ｄの表示部７３ｄには、車両５０Ｄがユーザ選択情報に含まれるバス停「○○バス停」に停車しない旨の文字情報が表示される。

なお、サービス情報に、現在位置から目的地までの距離や、車両５０Ｃ，５０Ｄの現在の乗客数や空席の数などが含まれている場合には、これらの距離や、乗客数や、空席の数を合わせて表示するようにしても良い。さらに、車両５０Ｃ，５０Ｄから、ユーザが所望する目的地までの乗車においてより便利な方の車両５０Ｃ，５０Ｄを強調表示するようにしても良い。また、複数の車両５０Ｃ，５０Ｄが隊列走行している場合にも、各々の車両５０Ｃ，５０Ｄを識別することによって、連動した情報を表示させても良い。これらの連動した情報は車両５０Ｃ，５０Ｄが送信するサービス情報に基づいて生成可能である。第３実施例によれば、ユーザ端末装置７０ｄを利用するユーザが、バスなどの乗り合い車両の路線や中の状況を外部から把握することができるので、バスの利用に関する利便性を向上できる。

なお、車両５０Ｃ，５０Ｄが、タクシー、相乗り車両、移動販売用の車両、移動サービス用の車両、または荷物の回収車などのように、ユーザが必要に応じて呼び止める必要があるような車両の場合、表示部７３ｄに表示された複数の車両５０Ｃ，５０Ｄから呼び止めたい車両をタップすることによって、車両を呼び止めたり、予約したり、車両５０Ｃ，５０Ｄ内にいる人などと音声やメッセージで会話したりすることも可能である。

図９は、この一実施形態による画像生成方法の第４実施例を説明するための図である。図９に示すように、外側表示部５８Ｅに識別情報が表示された所定の車両５０Ｅを、ユーザ端末装置７０ｅの撮像部７７ｅによって撮像すると、表示部７３ｅに撮像している車両５０Ｅの外面に所定の重畳画像データが動画として重畳されて表示される。図９に示す例は、ユーザが所持するユーザ端末装置７０ｅによって、宣伝用の車両５０Ｅを撮像する例である。この場合、画像生成サーバ３０の表示制御部３４は、ユーザ端末装置７０ｅから受信した撮像データ、およびユーザ識別情報やユーザ選択情報と、車両５０Ｅから受信したサービス情報とに基づいて、重畳画像データとして動画データを生成して、ユーザ端末装置７０ｅに送信する。

具体的には、ユーザ端末装置７０ｅから受信したユーザ選択情報に、ユーザの嗜好の情報などが含まれ、車両５０Ｅから受信したサービス情報に、車両５０Ｅが宣伝するキャラクターなどの情報が含まれているとする。この場合、ユーザ端末装置７０ｅの表示部７３ｅには、車両５０Ｅの外面に重畳して宣伝するキャラクターの画像が動画として表示される。この場合、識別情報は動画ではないため、走行中の車両にデジタルサイネージによる可変情報を表示することが禁止されている場合などであっても、車両５０Ｅの外面に動画を表示することなく、ユーザ端末装置７０ｅを利用したユーザは、表示部７３ｅにおいて外面に動画が再生されているような車両５０Ｅを視認できる。第４実施例によれば、表示部７３ｅにおいて車両５０Ｅの外面に重畳表示する重畳画像データを動画情報としていることにより、車両５０Ｅの外面の広告媒体としての利便性を向上できる。

なお、第１～第４実施例において、ユーザ端末装置７０ｅの表示部７３ｅの画面をユーザが指などで操作することによって、表示部７３ｅに表示されている情報を変更したり、商品やサービスを購入したり、ゲームを行ったり、ポイントを獲得したりするなどの、インタラクティブな操作を提供することも可能である。

（記録媒体）
上述の実施形態において、画像生成方法を実行可能なプログラムを、コンピュータその他の機械や装置（以下、コンピュータなど、という）が読み取り可能な記録媒体に記録することができる。コンピュータなどに、この記録媒体のプログラムを読み込ませて実行させることにより、当該コンピュータが一実施形態による画像生成サーバ３０として機能する。ここで、コンピュータなどが読み取り可能な記録媒体とは、データやプログラム等の情報を電気的、磁気的、光学的、機械的、または化学的作用によって蓄積し、コンピュータなどから読み取ることができる非一時的な記録媒体をいう。このような記録媒体のうちコンピュータなどから取り外し可能なものとしては、例えばフレキシブルディスク、光磁気ディスク、ＣＤ－ＲＯＭ、ＣＤ－Ｒ／Ｗ、ＤＶＤ、ＢＤ、ＤＡＴ、磁気テープ、フラッシュメモリなどのメモリカードなどがある。また、コンピュータなどに固定された記録媒体としてハードディスク、ＲＯＭなどがある。さらに、ＳＳＤは、コンピュータなどから取り外し可能な記録媒体としても、コンピュータなどに固定された記録媒体としても利用可能である。

以上説明した実施形態によれば、車両５０の識別情報を外部から認識可能な外側表示部５８に表示して、識別情報をユーザ端末装置７０によって撮像して車両５０を識別し、ユーザ端末装置７０から入力されるユーザ情報に基づいて、表示部７３に表示される車両５０の外面に重畳される表示内容を変更できるので、車両５０から外部に向けて提供する情報を適宜変更でき、車両に直接デジタルサイネージを表示する場合に比べて、消費電力や発熱や車両５０の重量を低減でき、車両５０によって外部に提供される情報のカスタマイズなどを効率良く行うことができる。

以上、一実施形態について具体的に説明したが、本発明は、上述の一実施形態に限定されるものではなく、本発明の技術的思想に基づく各種の変形が可能である。例えば、上述の一実施形態において挙げたサーバ、車両、ユーザ端末装置の構成はあくまでも例に過ぎず、必要に応じてこれと異なるサーバ、車両、ユーザ端末装置の構成を用いても良い。

例えば、上述の一実施形態において挙げたサーバの構成や情報の種類はあくまでも例に過ぎず、必要に応じてこれと異なるサーバの構成や情報の種類であっても良い。

上述の一実施形態においては、制御部３２の機能である表示制御部３４および運行管理部３５を単一の画像生成サーバ３０によって構成しているが、ネットワーク１０を介して通信可能な複数のサーバから構成しても良い。すなわち、表示制御部３４を備えた表示制御サーバ、および運行管理部３５を備えた運行管理サーバを、ネットワーク１０を介して別体に構成しても良い。

例えば、上述した実施形態において、画像生成サーバ３０の各機能構成要素のいずれか、またはその処理の一部は、ネットワーク１０に接続される他のコンピュータにより実行しても良い。また、画像生成サーバ３０によって実行される一連の処理は、ハードウェアにより実行させることもできるが、ソフトウェアによって実行させることもできる。

例えば、上述の一実施形態においては、画像生成サーバ３０を単一のサーバとしているが、画像生成サーバ３０を互いに通信可能な別体の複数のサーバから構成しても良い。具体的に例えば、画像生成サーバ３０の記憶部３３を、ネットワーク１０を介して情報を送受信可能な他のデータサーバに設けることも可能である。また、画像生成サーバ３０における記憶部３３のサービス情報データベース３３ａ、画像情報データベース３３ｂ、および運行管理データベース３３ｃをそれぞれ別のデータサーバに格納することも可能である。さらに、画像生成サーバ３０は、ネットワーク１０を介して過去に収集した各種画像データを、例えばビッグデータなどからなるデータベースとして格納しても良い。

また、上述の一実施形態においては、識別情報を外側表示部５８に表示しているが、識別情報は、車両５０を識別可能であれば、種々の方法で外部に提供することが可能である。例えば、識別情報を車両５０の外部から認識可能な部分に貼り付けたバーコードなどとしても良く、車両５０のナンバープレートを識別情報としても良い。

また、上述の一実施形態においては、ステップＳＴ４における撮像データの画像解析処理を画像生成サーバ３０において実行しているが、画像解析処理をユーザ端末装置７０において行うことも可能である。この場合、画像解析処理の結果情報を画像生成サーバ３０に送信し、車両５０から送信されたサービス情報および結果情報に基づいて、画像生成サーバ３０において重畳画像データを生成しても良い。

また、上述の一実施形態において、画像生成サーバ３０における処理の一部または全部を、車両５０において実行しても良い。また、重畳画像データの生成をユーザ端末装置７０において実行しても良い。さらに、上述の一実施形態における画像生成サーバ３０によって実行している種々の処理を、複数のサーバで、ネットワーク１０を介して情報の送受信を行うことによって、分担して行っても良い。

また、上述の一実施形態において、識別情報を可変な識別情報としているが、識別情報としては、種々の情報を採用できる。具体的に、識別情報としては、印刷された識別情報や、車両５０のナンバープレートや外装の特徴を採用することも可能である。さらに、画像生成サーバ３０が、ユーザ端末装置７０の固有識別情報と、車両５０およびユーザ端末装置７０の位置情報と、ユーザ端末装置７０の撮像部７７や車両５０が向いている方向等の情報とを、総合して車両５０を識別して特定しても良い。この場合、画像生成サーバ３０は、車両５０の識別とユーザ端末装置７０のユーザ情報とから、ユーザ端末装置７０に表示する情報を選別し、車両５０の形状に合わせて重畳画像データを生成する。

１ 画像生成システム
１０ ネットワーク
３０ 画像生成サーバ
３３ａ サービス情報データベース
３３ｂ 画像情報データベース
３３ｃ 運行管理データベース
３４ 表示制御部
３５ 運行管理部
５０，５０Ａ，５０Ｂ，５０Ｃ，５０Ｄ，５０Ｅ 車両
５４ａ 車両情報データベース
５４ｂ 運行情報データベース
５４ｃ サービス情報データベース
５８，５８Ａ，５８Ｂ，５８Ｃ，５８Ｄ，５８Ｅ 外側表示部
７０，７０ａ，７０ｂ，７０ｃ，７０ｄ，７０ｅ ユーザ端末装置
７３，７３ａ，７３ｂ，７３ｃ，７３ｄ，７３ｅ 表示部
７５ａ ＡＲ表示アプリケーション
７７，７７ａ，７７ｂ，７７ｃ，７７ｄ，７７ｅ 撮像部

Claims (13)

1. メモリと、
   ハードウェアを有するプロセッサと、を備え、
   前記プロセッサは、
   外部から認識可能な識別情報を有する移動体から、前記移動体に関する移動体関連情報を入力し、
   前記移動体を撮像可能な利用端末から、前記利用端末に関する利用端末情報および前記利用端末によって撮像された前記移動体の画像を含む撮像データを入力し、
   前記撮像データに含まれる前記識別情報に基づいて前記移動体を特定し、
   前記特定した移動体の前記移動体関連情報と、前記移動体の画像を含む撮像データを出力した利用端末の前記利用端末情報とに基づいて、前記利用端末の表示部において前記撮像データに重畳表示する重畳画像データを生成して前記メモリに出力し、
   前記移動体関連情報が前記移動体によって提供されるサービスに関するサービス情報を含み、前記利用端末の前記利用端末情報に対応して、前記サービス情報に含まれる情報から、前記重畳画像データに含める情報を選択する
   画像生成装置。
2. 前記サービス情報は、前記移動体の使用状況に基づいた情報を含む
   請求項１に記載の画像生成装置。
3. 前記移動体がバスまたはライドシェア用車両である場合、前記サービス情報は運行時刻の情報を含む
   請求項１または２に記載の画像生成装置。
4. 前記サービス情報は、前記移動体が走行する路線の情報を含む
   請求項３に記載の画像生成装置。
5. 前記路線の情報は、前記移動体が停車する位置の情報、前記移動体が停車する位置に到着する予定時刻の情報、および乗車料金の情報を含む
   請求項４に記載の画像生成装置。
6. 前記サービス情報が、現在位置から目的地までの距離の情報、前記移動体の現在の乗客数または空席の数の情報を含む
   請求項４または５に記載の画像生成装置。
7. 前記移動体が移動販売サービス用車両である場合、前記サービス情報は、積載している商品の種類の情報および在庫数の情報の少なくとも一方を含む
   請求項１または２に記載の画像生成装置。
8. 前記プロセッサは、前記利用端末から受信した利用端末情報が、前記利用端末のユーザの性別、年齢、および使用言語の情報を含み、前記移動体から受信したサービス情報が、前記利用端末情報に基づいて提供する情報のカテゴリに基づいて、前記重畳画像データを生成する
   請求項７に記載の画像生成装置。
9. 前記利用端末情報が、前記利用端末のユーザの嗜好の情報およびユーザが購入を予約した商品の情報を含み、前記サービス情報が、前記移動体に積載されている商品の情報を含む
   請求項８に記載の画像生成装置。
10. 前記移動体が画像を表示することによって情報を外部に報知可能な外側表示部を有し、
    前記プロセッサは、前記移動体の前記外側表示部に表示する前記識別情報を制御する
    請求項１～９のいずれか１項に記載の画像生成装置。
11. 前記外側表示部に前記識別情報が表示された前記移動体が複数の利用端末によってそれぞれ撮像された場合に、前記プロセッサは、複数の前記利用端末から受信した前記識別情報を含む撮像データおよび前記利用端末情報と、前記移動体から受信した前記サービス情報とに基づいて、前記利用端末ごとに前記重畳画像データをそれぞれ生成する
    請求項１０に記載の画像生成装置。
12. 画像生成装置が実行する画像生成方法であって、
    外部から認識可能な識別情報を有する移動体から、前記移動体に関する移動体関連情報を入力し、
    前記移動体を撮像可能な利用端末から、前記利用端末に関する利用端末情報および前記利用端末によって撮像された前記移動体の画像を含む撮像データを入力し、
    前記撮像データに含まれる前記識別情報に基づいて前記移動体を特定し、
    前記特定した移動体の前記移動体関連情報と、前記移動体の画像を含む撮像データを出力した利用端末の前記利用端末情報とに基づいて、前記利用端末の表示部において前記撮像データに重畳表示する重畳画像データを生成してメモリに出力し、
    前記移動体関連情報が前記移動体によって提供されるサービスに関するサービス情報を含み、前記利用端末の前記利用端末情報に対応して、前記サービス情報に含まれる情報から、前記重畳画像データに含める情報を選択する
    画像生成方法。
13. 画像生成装置に実行させるプログラムであって、
    外部から認識可能な識別情報を有する移動体から、前記移動体に関する移動体関連情報を入力し、
    前記移動体を撮像可能な利用端末から、前記利用端末に関する利用端末情報および前記利用端末によって撮像された前記移動体の画像を含む撮像データを入力してメモリに格納し、
    前記撮像データに含まれる前記識別情報に基づいて前記移動体を特定し、
    前記特定した移動体の前記移動体関連情報と、前記移動体の画像を含む撮像データを出力した利用端末の前記利用端末情報とに基づいて、前記利用端末の表示部において前記撮像データに重畳表示する重畳画像データを生成してメモリに出力し、
    前記移動体関連情報が前記移動体によって提供されるサービスに関するサービス情報を含み、前記利用端末の前記利用端末情報に対応して、前記サービス情報に含まれる情報から、前記重畳画像データに含める情報を選択する
    プログラム。

Images