JP2019156299A - 車両遠隔操作装置及び車両遠隔操作方法 - Google Patents

Abstract

【課題】車両の遠隔操作における利便性及び操作性を向上させることが可能な技術を提供する。【解決手段】車両遠隔操作装置は、表示部と、車両を操作するための操作部と、前記操作部に対する操作に基づき前記車両の操作信号を生成する信号生成部と、前記車両及び他の車両遠隔操作装置と通信を行う通信部と、前記車両に対する操作権を管理する権限管理部と、を備える。前記表示部は、前記車両に搭載された複数の車載カメラそれぞれで撮影された複数の撮影画像に基づき生成された、仮想視点から見た前記車両の周辺領域を示す合成画像を表示する。前記通信部は、前記操作信号を前記車両に送信する。前記権限管理部は、前記通信部を介して、他の前記車両遠隔操作装置との間で前記車両の前記操作権の授受を行う。【選択図】図１

Description

本発明は、車両遠隔操作装置及び車両遠隔操作方法に関する。

近年、車両の遠隔操作に係る技術が種々提案されている。例えば、特許文献１で提案された携帯端末は、車両を所定の第１位置から第２位置に移動させるための端末である。この携帯端末は、端末自体のカメラで撮影された撮影画像に基づき車両の像を含む俯瞰画像を表示し、当該車両に対するユーザーの操作を受け付ける。また例えば、特許文献２で提案された駐車支援装置は、ジョイスティック等の遠隔操作手段を用いて駐車が可能である。また例えば、特許文献３で提案された車両遠隔操作システムは、タッチパネルへの接触操作に対応する操作信号を車両に送信する携帯端末を備える。この携帯端末は、車両に対して走行操作信号と、操舵操作信号とを送信することができる。

特開２０１４−６５３９２号公報 特開２０１０−９５０２７号公報 特開２０１６−７４２８５号公報

しかしながら、従来技術では、車両の遠隔操作における利便性及び操作性が十分に満足できるものではないことに課題があった。

本発明は、上記の課題に鑑みなされたものであり、車両の遠隔操作における利便性及び操作性を向上させることが可能な技術を提供することを目的とする。

本発明に係る車両遠隔操作装置は、表示部と、車両を操作するための操作部と、前記操作部に対する操作に基づく前記車両の操作信号を生成する信号生成部と、前記車両及び他の車両遠隔操作装置と通信を行う通信部と、前記車両に対する操作権を管理する権限管理部と、を備え、前記表示部は、前記車両に搭載された複数の車載カメラそれぞれで撮影された複数の撮影画像に基づき生成された、仮想視点から見た前記車両の周辺領域を示す合成画像を表示し、前記通信部は、前記操作信号を前記車両に送信し、前記権限管理部は、前記通信部を介して、他の前記車両遠隔操作装置との間で前記車両の前記操作権の授受を行う構成（第１の構成）である。

また、上記第１の構成の車両遠隔操作装置において、前記通信部は、前記車両において生成された前記合成画像を前記車両から受信する構成（第２の構成）であっても良い。

また、上記第１または第２の構成の車両遠隔操作装置において、前記操作信号は、前記合成画像の前記視点位置及び前記視線方向の操作に係る信号を含む構成（第３の構成）であっても良い。

また、上記第１から第３の構成の車両遠隔操作装置において、前記権限管理部は、他の前記車両遠隔操作装置との間で、前記車両の複数種類の前記操作権それぞれを個別に管理する構成（第４の構成）であっても良い。

また、上記第４の構成の車両遠隔操作装置において、前記権限管理部は、前記車両の複数種類の前記操作権のうち一部を、当該車両遠隔操作装置自体及び他の前記車両遠隔操作装置において一つとする構成（第５の構成）であっても良い。

また、上記第４の構成の車両遠隔操作装置において、前記権限管理部は、前記車両の複数種類の前記操作権のうち一部を、当該車両遠隔操作装置自体及び他の前記車両遠隔操作装置において共有する構成（第６の構成）であっても良い。

また、上記第１から第６の構成の車両遠隔操作装置において、前記通信部は、他の前記車両遠隔操作装置の前記表示部の表示画像を当該他の前記車両遠隔操作装置から受信し、前記表示部は、前記表示画像を表示する構成（第７の構成）であっても良い。

また、上記第１から第７の構成の車両遠隔操作装置において、前記表示部は、前記合成画像の表示の開始初期に、前記車両の周囲一周の前記合成画像を連続的に表示する構成（第８の構成）であっても良い。

また、上記第１から第８の構成の車両遠隔操作装置において、前記表示部は、前記合成画像の表示の開始初期に、当該車両遠隔操作装置自体の位置に対して前記車両を隔てた反対側から見た前記合成画像を表示する構成（第９の構成）であっても良い。

また、上記第１から第９の構成の車両遠隔操作装置において、前記表示部は、当該車両遠隔操作装置自体の移動とともに視点位置及び視線方向が変更された前記合成画像を表示する構成（第１０の構成）であっても良い。

また、上記第１から第１０の構成の車両遠隔操作装置において、前記通信部は、前記車両自体の操作状態に係る情報を前記車両から受信し、前記表示部は、前記操作状態に係る前記情報を表示する構成（第１１の構成）であっても良い。

また、上記第１から第１１の構成の車両遠隔操作装置において、前記通信部は、前記車両の内部が撮影された車内画像を前記車両から受信し、前記表示部は、前記車内画像を表示する構成（第１２の構成）であっても良い。

また、上記第１から第１２の構成の車両遠隔操作装置において、当該車両遠隔操作装置自体の傾きを検知するセンサ部を備え、前記表示部は、前記傾きに基づき視点位置及び視線方向が変更された前記合成画像を表示する構成（第１３の構成）であっても良い。

また、上記第１から第１３の構成の車両遠隔操作装置において、前記表示部に表示された前記合成画像を保存する記憶部を備える構成（第１４の構成）であっても良い。

また、本発明に係る車両遠隔操作方法は、車両に搭載された複数の車載カメラそれぞれで撮影された複数の撮影画像に基づいて、仮想視点から見た前記車両の周辺領域を示す合成画像を生成する工程と、前記合成画像を車両遠隔操作装置に表示する工程と、前記車両遠隔操作装置で前記車両に対する操作を受け付ける工程と、前記操作に基づき前記車両の操作信号を生成する工程と、前記操作信号を前記車両遠隔操作装置から前記車両に送信する工程と、他の前記車両遠隔操作装置との間で前記車両の操作権の授受を行う工程と、を含む構成（第１５の構成）である。

本発明の構成によれば、複数人によって、車両の周辺領域を合成画像で確認しながら、車両の遠隔操作を行うことができる。ユーザーは、例えば死角が生じた場合に、当該死角の状況を確認し易い他者に車両の操作権を渡すことができる。また、ユーザーは、他者に車両の操作権を渡した場合であっても、緊急時には車両を停止させることができる。すなわち、車両の遠隔操作における利便性及び操作性を向上させることが可能である。

実施形態の車両遠隔操作システムの構成を示すブロック図 車載カメラが車両に配置される位置を例示する図 車両の周辺領域を示す合成画像を生成する手法を説明するための図 実施例１の合成画像が表示された携帯端末の模式図（第１例） 実施例１の携帯端末に表示された合成画像の模式図 複数の携帯端末で車両を遠隔操作する手法を説明するための図 実施例１の合成画像が表示された携帯端末の模式図（第２例） 実施例１の車両遠隔操作に係る携帯端末における処理フローの例を示すフローチャート 実施例１の車両遠隔操作に係る車両における処理フローの例を示すフローチャート 実施例２の携帯端末に連続的に表示される合成画像の模式図 実施例３の携帯端末に表示された合成画像の模式図（第１例） 実施例３の携帯端末に表示された合成画像の模式図（第２例） 実施例４の合成画像及び補助画像が表示された携帯端末の模式図 実施例５の合成画像及び車内画像が表示された携帯端末の模式図 実施例６の合成画像が表示された携帯端末の模式図 実施例７の車両遠隔操作システムに係る車両を示す平面図 実施例７の車両遠隔操作システムに係る車両を示す斜視図 実施例７の合成画像が表示された携帯端末の模式図 実施例８の車両遠隔操作に係る車両における処理フローの例を示すフローチャート 実施例９の車両遠隔操作システムの構成を示すブロック図

以下、本発明の例示的な実施形態について、図面を参照しながら詳細に説明する。なお、本発明は以下に示す実施形態の内容に限定されるものではない。

また、以下の説明では、車両の直進進行方向であって、運転席からハンドルに向かう方向を「前方向（前方）」とする。車両の直進進行方向であって、ハンドルから運転席に向かう方向を「後方向（後方）」とする。車両の直進進行方向及び鉛直線に垂直な方向であって、前方を向いている運転手の右側から左側に向かう方向を「左方向」とする。車両の直進進行方向及び鉛直線に垂直な方向であって、前方を向いている運転手の左側から右側に向かう方向を「右方向」とする。

＜１．車両遠隔操作システムの構成＞
図１は、実施形態の車両遠隔操作システムＲＳの構成を示すブロック図である。車両遠隔操作システムＲＳは、携帯端末１と、画像処理装置２と、車両制御装置３と、を含む。

携帯端末１は、車両５を遠隔操作するための車両遠隔操作装置である。車両５は、例えば乗用車である。なお、車両遠隔操作システムＲＳは、複数の車両遠隔操作装置である携帯端末１、１ｘ、１ｙそれぞれによって、車両５を遠隔操作することができる。携帯端末１ｘ、１ｙについては詳細に図示しないが、携帯端末１、１ｘ、１ｙそれぞれは車両５の遠隔操作に関して同様の構成を有する。

画像処理装置２及び車両制御装置３は、車両５に搭載される。車両遠隔操作システムＲＳは、車両５の周辺領域を示す合成画像を表示することが可能な携帯端末１、１ｘ、１ｙによって車両５を遠隔操作するシステムである。車両５は、さらに撮影部４（車載カメラ）と、センサ部５１と、を含む。

携帯端末１は、画像処理装置２から出力される表示用画像を受信して表示し、車両制御装置３に対して操作信号を送信して車両５を遠隔操作する装置である。携帯端末１としては、例えば車両５の所有者等が所持するスマートフォン、タブレット型端末などが含まれる。本実施形態では、携帯端末１は、例えばスマートフォンである。

画像処理装置２は、車載カメラで撮影された撮影画像を処理する装置である。画像処理装置２は、車載カメラを搭載する車両ごとに備えられる。本実施形態では、画像処理装置２は、撮影部４から撮影画像を取得して処理する。また、画像処理装置２は、センサ部５１から情報を取得し、当該取得情報に基づいて画像処理に関する判断を行うことが可能である。また、画像処理装置２は、携帯端末１及び車両制御装置３との間で情報を送受信する。画像処理装置２は、携帯端末１に対して、画像処理装置２で生成された表示用画像を出力することができる。

車両制御装置３は、車両の動作全般に関わる制御を行う。車両制御装置３は、例えばエンジンを制御するエンジンＥＣＵ（Electronic Control Unit）、ステアリングを制御するステアリングＥＣＵ、ブレーキを制御するブレーキＥＣＵ、シフトを制御するシフトＥＣＵ、電源を制御する電源制御ＥＣＵ、ライトを制御するライトＥＣＵ、電動ミラーを制御するミラーＥＣＵ等を含む。本実施形態では、車両制御装置３は、携帯端末１及び画像処理装置２との間で情報を送受信する。車両制御装置３は、車両５の操作信号を携帯端末１から受信するとともに、当該操作信号に基づき車両５を制御する。

撮影部４は、車両周辺及び車室内部の状況を監視する目的で設けられる。撮影部４は、例えば５つの車載カメラ４１〜４５を備える。図２は、車載カメラ４１〜４５が車両５に配置される位置を例示する図である。

車載カメラ４１は車両５の前端に設けられる。このため、車載カメラ４１をフロントカメラ４１とも呼ぶ。フロントカメラ４１の光軸４１ａは上からの平面視で車両５の前後方向に沿って延びる。フロントカメラ４１は車両５の前方向を撮影する。車載カメラ４３は車両５の後端に設けられる。このため、車載カメラ４３をバックカメラ４３とも呼ぶ。バックカメラ４３の光軸４３ａは上からの平面視で車両５の前後方向に沿って延びる。バックカメラ４３は車両５の後方向を撮影する。フロントカメラ４１及びバックカメラ４３の取付位置は、車両５の左右中央であることが好ましいが、左右中央から左右方向に多少ずれた位置であっても良い。

車載カメラ４２は車両５の右側ドアミラー６１に設けられる。このため、車載カメラ４２を右サイドカメラ４２とも呼ぶ。右サイドカメラ４２の光軸４２ａは上からの平面視で車両５の左右方向に沿って延びる。右サイドカメラ４２は車両５の右方向を撮影する。車載カメラ４４は車両５の左側ドアミラー６２に設けられる。このため、車載カメラ４４を左サイドカメラ４４とも呼ぶ。左サイドカメラ４４の光軸４４ａは上からの平面視で車両５の左右方向に沿って延びる。左サイドカメラ４４は車両５の左方向を撮影する。

なお、車両５がいわゆるドアミラーレス車である場合、右サイドカメラ４２は右サイドドアの回転軸（ヒンジ部）の周辺にドアミラーを介することなく設けられ、左サイドカメラ４４は左サイドドアの回転軸（ヒンジ部）の周辺にドアミラーを介することなく設けられる。

車載カメラ４５は車両５の車室内部の前端に設けられる。このため、車載カメラ４５を車内カメラ４５とも呼ぶ。車内カメラ４５は、例えば運転席または助手席の前側上方、或いは運転席と助手席との間の前側上方に配置される。車内カメラ４５の光軸４５ａは上からの平面視で車両５の前後方向に沿って延びる。車内カメラ４５は車室内部を、前方から後方に向かって撮影する。

車載カメラ４１〜４５のレンズとしては、例えば魚眼レンズが使用される。車載カメラ４１〜４４は、それぞれの水平方向の画角θが１８０度以上であるため、車両５の水平方向における全周囲を撮影することができる。車内カメラ４５も同様に、水平方向の画角θが１８０度程度であるため、車両５の車室内部の水平方向における全域を撮影することができる。

図１に戻って、センサ部５１は、車載カメラ４１〜４５が搭載される車両５に関する情報を検出する複数のセンサを有する。車両５に関する情報には、車両自体の情報と、車両周辺の情報とが含まれて良い。本実施形態では、センサ部５１は、例えば車両の速度を検出する車速度センサ、ステアリングの回転角を検出する舵角センサ、車両の変速装置のシフトレバーの操作位置を検出するシフトセンサ、車両周辺の照度を検出する照度センサ、車両の振動を検出する振動センサ、車両の傾きを検出する傾斜センサ、車両周辺の人や動物、車両、その他の物体を検出する障害物センサ等が含まれる。

障害物センサは、例えば超音波センサ、赤外線等を用いた光センサ、レーダなどを利用し、車両周辺の人や動物、車両、その他の物体を検出することができる。障害物センサは、例えば車両５のフロントバンパー、リアバンパー及びドアなどの複数箇所に埋設される。障害物センサは、送信波を車両周辺に向けて送信し、人や他の車両などで反射した反射波を受信することで、人や他の車両などの有無や方向、位置を検出する。

＜２．携帯端末の構成＞
携帯端末１は、表示部１１、操作部１２、カメラ１３、音声入出力部１４、センサ部１５、制御部１６、記憶部１７及び通信部１８を含んで構成される。

表示部１１は、スマートフォンである携帯端末１の正面に配置される。本実施形態では、表示部１１は、例えば液晶表示パネルであって、操作部１２の一部であるタッチパネルをその表面に備える。表示部１１は、例えば画像処理装置２から出力された表示用画像を画面表示する。

操作部１２は、例えば表示部１１の表面に設けられたタッチパネルと、その他の操作ボタン等を含む。操作部１２は、文字や数値などの入力、メニューやその他選択肢の選択、処理の実行、キャンセルなど、ユーザーが外部から情報を入力できる構成である。本実施形態では、操作部１２は車両５を操作するために用いられるタッチパネルである。なお、操作部１２は、タッチパネル等を利用したソフトウェアキーに限定されるわけではなく、物理的な入力装置として携帯端末１に設けられたハードウェアキーであっても良い。

カメラ１３は、スマートフォンである携帯端末１の正面及び背面に配置される。正面のカメラ１３は、携帯端末１の正面側の周囲を撮影する。背面のカメラ１３は、携帯端末１の背面側の周囲を撮影する。

音声入出力部１４は、例えばマイクロフォンと、スピーカとを含む。マイクロフォンは、ユーザーが発する音声を含む、携帯端末１の周囲の音声情報を取得する。スピーカは、外部に向けて報知音及び通信回線上の音声等を発する。

センサ部１５は、携帯端末１に関する情報を検出するセンサを有する。本実施形態では、センサ部１５は、例えば携帯端末１の振動を検出する振動センサ、携帯端末１の傾きを検出する傾斜センサ、携帯端末１自体の位置情報を取得するＧＰＳ（Global Positioning System）センサ等が含まれる。振動センサは、携帯端末１に対する衝撃を検知することもできる。振動センサ、傾斜センサとして、例えば加速度センサ、ジャイロセンサを併用し、携帯端末１に係る振動、衝撃、傾斜それぞれを検出することもできる。衝撃について詳細に言えば、センサ部１５は、携帯端末１自体の加速度の変化に加えて、例えばユーザーが発した声や、手指等を鳴らした場合の音などの音声による衝撃（空気振動）も検出することができる。また、センサ部１５は、携帯端末１のバイブレーション機能のための振動モータも備える。

制御部１６は、不図示のＣＰＵ（Central Processing Unit）、ＲＡＭ（Random Access Memory）、及びＲＯＭ（Read Only Memory）を含む、いわゆるマイコンである。制御部１６は、記憶部１７に記憶されたプログラムに基づいて情報の処理及び送受信を行う。制御部１６は、有線で表示部１１、操作部１２、カメラ１３、音声入出力部１４、センサ部１５、記憶部１７及び通信部１８に接続される。

制御部１６は、表示制御部１６１と、操作判別部１６２と、信号生成部１６３と、権限管理部１６４と、を備える。制御部１６が備えるこれらの各構成要素それぞれの機能は、プログラムに従ってＣＰＵが演算処理を行うことによって実現される。

表示制御部１６１は、表示部１１の表示内容を制御する。表示制御部１６１は、例えば携帯端末１の各種機能の実行及び設定に係る入力を受け付けるに際し、その機能に係る機能画像を表示部１１に表示させる。機能画像は、携帯端末１の各種機能に対応する画像であって、例えばアイコン、ボタン、ソフトキー、スライドバー、スライドスイッチ、チェックボックス、テキストボックスなどを含む。ユーザーは、表示部１１に表示された機能画像をタッチパネル（操作部１２）を介してタッチして選択することで、携帯端末１の各種機能の実行及び設定を行うことが可能になる。

操作判別部１６２は、タッチパネル（操作部１２）が出力した検出信号を受信し、その検出信号に基づきタッチパネルに対する操作内容を判別する。操作判別部１６２は、タッチパネルにおける位置情報に加えて、タップ、ドラッグ、フリックなどの操作を判別する。ドラッグ、フリックなどの移動を伴う操作である場合、その移動方向、移動量等についても判別する。

信号生成部１６３は、操作部１２に対する操作に基づき車両５の操作信号を生成する。生成された車両５の操作信号は、通信部１８を介して車両５に送信される。

権限管理部１６４は、車両５に対する操作権を管理する。車両５は、複数の車両遠隔操作装置である携帯端末１、１ｘ、１ｙそれぞれによって遠隔操作することができる。権限管理部１６４は、通信部１８を介して、他の携帯端末１ｘ、１ｙとの間で車両５の操作権の授受を行う。

なお、車両５の操作権としては、例えば車両５の走行に係る操作権、車両５の停止に係る操作権などといった複数種類の操作権を含む。車両５の走行に係る操作権は、例えばアクセル操作、ハンドル操作など、さらに詳細に分類することができる。権限管理部１６４は、他の携帯端末１ｘ、１ｙとの間で、車両５の複数種類の操作権それぞれを個別に管理する。すなわち、例えば携帯端末１にはアクセルの操作権が授与され、携帯端末１ｘにはハンドルの操作権が授与され、携帯端末１ｙには車両５の走行に係る操作権が何も授与されないといった操作権の管理が可能である。なお、車両５の停止に係る操作権、すなわちブレーキの操作権はすべての携帯端末に授与されることが好ましい。また、この場合、非常停止（停止に至る急激なブレーキ操作）の操作権をすべての携帯端末に授与し、通常の停止（停止、減速となる強度指定も含むブレーキ操作）の操作権を一つの携帯端末に授与する方法も好ましい。

記憶部１７は、例えばフラッシュメモリ等の不揮発性のメモリであり、各種の情報を記憶する。記憶部１７は、例えばファームウェアとしてのプログラム、制御部１６が各種機能を実行するための様々なデータなどを記憶する。

通信部１８は、例えば無線によって様々な外部機器と接続される。本実施形態では、通信部１８は車両５、及び他の車両遠隔操作装置である携帯端末１ｘ、１ｙと通信を行う。携帯端末１は、通信部１８を介して、車両５の画像処理装置２で生成された表示用画像や、車両５のセンサ部５１で検出された各種情報（ステアリング舵角、シフト位置、走行速度、障害物情報等）を受信することができる。携帯端末１は、通信部１８を介して、操作部１２に対する操作に基づく車両５の操作信号を車両５に対して送信することができる。携帯端末１は、通信部１８を介して、携帯端末１ｘ、１ｙとの間で情報の送受信や、車両５の操作権の授受を行うことができる。

＜３．画像処理装置の構成＞
画像処理装置２は、画像生成部２１、制御部２２及び記憶部２３を含んで構成される。

画像生成部２１は、撮影部４で撮影された撮影画像を処理して表示用画像を生成する。本実施形態では、画像生成部２１は、各種の画像処理が可能なハードウェア回路として構成される。本実施形態では、画像生成部２１は、車両５に搭載された車載カメラ４１〜４４によって撮影された撮影画像に基づき、仮想視点から見た車両５の周辺領域を示す合成画像を生成する。さらに、画像生成部２１は、当該合成画像に基づき、携帯端末１で表示するための表示用画像を生成する。合成画像を生成する手法の詳細については後述する。

制御部２２は、不図示のＣＰＵ、ＲＡＭ、及びＲＯＭを含む、いわゆるマイコンである。制御部２２は、記憶部２３に記憶されたプログラムに基づいて情報の処理及び送受信を行う。制御部２２は、有線または無線で携帯端末１、車両制御装置３、撮影部４及びセンサ部５１に接続される。

制御部２２は、画像取得部２２１と、画像制御部２２２と、を備える。制御部２２が備えるこれらの各構成要素それぞれの機能は、プログラムに従ってＣＰＵが演算処理を行うことによって実現される。

画像取得部２２１は、車載カメラ４１〜４５で撮影された撮影画像を取得する。本実施形態では、車載カメラ４１〜４５の数は５つであり、画像取得部２２１は、車載カメラ４１〜４５それぞれで撮影された撮影画像を取得する。

画像制御部２２２は、画像生成部２１によって実行される画像処理の制御を行う。例えば、画像制御部２２２は、画像生成部２１に対して、合成画像及び表示用画像を生成するために必要となる各種のパラメータ等の指示を行う。また、画像制御部２２２は、画像生成部２１によって生成された表示用画像を携帯端末１に対して出力する際の制御を行う。なお、この説明において、携帯端末１の表示部１１に表示される「合成画像の表示用画像」のことを、単に「合成画像」と呼ぶ場合がある。

記憶部２３は、例えばフラッシュメモリ等の不揮発性のメモリであり、各種の情報を記憶する。記憶部２３は、例えばファームウェアとしてのプログラム、画像生成部２１が合成画像及び表示用画像を生成するための各種のデータを記憶する。また、記憶部２３は、画像取得部２２１及び画像制御部２２２が処理を実行するために必要となる各種のデータを記憶する。

＜４．合成画像の生成＞
画像生成部２１が、仮想視点から見た車両５の周辺の様子を示す合成画像を生成する手法について説明する。図３は、車両５の周辺領域を示す合成画像ＣＰを生成する手法を説明するための図である。

フロントカメラ４１、右サイドカメラ４２、バックカメラ４３及び左サイドカメラ４４によって、車両５の前方、右側方、後方及び左側方それぞれを示す４つの撮影画像Ｐ４１〜Ｐ４４が同時に取得される。これら４つの撮影画像Ｐ４１〜Ｐ４４には、車両５の全周囲のデータが含まれる。画像生成部２１は、これら４つの撮影画像Ｐ４１〜Ｐ４４を、画像取得部２２１を介して取得する。

画像生成部２１は、これら４つの撮影画像Ｐ４１〜Ｐ４４に含まれるデータ（各画素の値）を、仮想的な三次元空間における立体的な曲面である投影面ＴＳに投影する。投影面ＴＳは、例えば略半球形状（お椀形状）をしており、その中心部（お椀の底部分）が車両５の位置として定められる。

投影面ＴＳでは、車両５の領域の外側の領域に、撮影画像のデータが投影される。撮影画像Ｐ４１〜Ｐ４４に含まれる各画素の位置と、投影面ＴＳの各画素の位置とは予め対応関係が定められる。この対応関係を示すテーブルデータは、記憶部２３に記憶される。投影面ＴＳの各画素の値は、この対応関係と、撮影画像Ｐ４１〜Ｐ４４に含まれる各画素の値とに基づいて決定できる。

次に、画像生成部２１は、画像制御部２２２の制御により、三次元空間に対して仮想視点ＶＰを設定する。仮想視点ＶＰは、視点位置と視線方向とで規定される。画像生成部２１は、任意の視点位置、且つ、任意の視線方向の仮想視点ＶＰを三次元空間に設定できる。画像生成部２１は、投影面ＴＳのうち、設定された仮想視点ＶＰから見た視野内に含まれる領域に投影されたデータを画像として切り出す。これにより、画像生成部２１は、任意の仮想視点ＶＰから見た合成画像を生成する。

例えば、図３に示すように、視点位置を車両５の直上、視線方向を直下とした仮想視点ＶＰａを想定した場合、車両５及び車両５の周辺領域を俯瞰する合成画像（俯瞰画像）ＣＰａを生成することができる。

合成画像ＣＰａ中に示す車両５の像５ｐは、予めビットマップなどのデータとして用意され、記憶部２３に記憶される。合成画像の生成の際には、当該合成画像の仮想視点ＶＰの視点位置と視線方向とに応じた形状の車両５の像５ｐのデータが読み出されて、合成画像ＣＰａ中に含められる。

このようにして、画像生成部２１は、仮想の立体的な投影面ＴＳを用いることで、現実に近い臨場感のある合成画像ＣＰａを生成することができる。

また、車両５に搭載された複数の車載カメラ４１〜４４それぞれで撮影された複数の撮影画像に基づき生成された、車両５の周辺領域を示す合成画像ＣＰを用いて、車両５の周辺領域を確認することができる。これにより、ユーザーの位置から死角となる領域、例えばユーザーの位置から見て車両５によって遮蔽される車両５の反対側の領域なども確認することが可能である。

＜５．携帯端末による車両の遠隔操作の実施例＞
＜５−１．実施例１＞
携帯端末１は、通信部１８を介して、車両５の画像処理装置２で生成された、仮想視点から見た車両５の周辺領域を示す合成画像を受信することが可能である。携帯端末１は、当該合成画像を表示部１１に表示することができる。図４は、実施例１の合成画像ＣＰ１が表示された携帯端末１の模式図（第１例）である。合成画像ＣＰ１は、例えば車両５の周辺領域を示す俯瞰画像である。

図５は、実施例１の携帯端末１に表示された合成画像ＣＰ１の模式図である。図５に示すように、携帯端末１は、車両５を遠隔操作するにあたって、表示部１１に車両５の操作に係る機能画像であるアイコン等を表示する。すなわち、合成画像ＣＰ１には、操作部１２の像であるアイコン等が重畳される。操作部１２は、合成画像ＣＰ１の車両５の像５ｐの位置及び向きに応じて配置される。

詳細に言えば、表示部１１の画面には、合成画像ＣＰ１に重ねて、例えば前進に係るアイコン１２ａ、右斜め前方に係るアイコン１２ｂ、左斜め前方に係るアイコン１２ｃ、後退に係るアイコン１２ｄ、右斜め後方に係るアイコン１２ｅ、左斜め後方に係るアイコン１２ｆが表示される。これらの車両５の走行に係るアイコンは、例えば車両５の像５ｐの周囲の、各進行方向に対応する位置及び向きに応じて配置される。なお、本実施例では、車両５の進行方向を示すアイコンを、例えば三角形形状で構成したが、矢印形状など他の形状で構成しても良い。

また、車両５の停止に係る「ＳＴＯＰ」と描かれたアイコン１２ｇが、車両５の像５ｐに重ねて配置される。また、合成画像ＣＰ１の外部には、車両５の遠隔操作を終了するためのアイコン１２ｈが表示される。

ユーザーはその手指で、これらのアイコンを任意に操作することができる。操作判別部１６２は、タッチパネル（操作部１２）の検出信号に基づきアイコンに対応する操作内容を判別する。信号生成部１６３は、アイコンに対応する操作内容に基づき車両５の操作信号を生成する。当該操作信号は、通信部１８を介して車両５に送信される。

例えば、ユーザーが車両５の前進に係るアイコン１２ａを１回押す（タップする）と、車両５は予め定められた所定距離（例えば１０ｃｍ）だけ前進する。また例えば、ユーザーが車両５の左斜め前方に係るアイコン１２ｃを１回押すと、車両５は左斜め前方に進むように所定角度だけステアリング角を変更する。このとき、ステアリング角を変更する度に、車両５の像５ｐの向きを変え、どの方向に曲がって行くのかを把握し易くしても良い。続いて、前進に係るアイコン１２ａを１回押すと、車両５は予め定められた所定距離だけ左斜め前方に進む。なお、タッチパネル（操作部１２）対するドラッグ、フリックなどの移動を伴う操作に基づき、車両５の移動方向、走行距離等を制御することにしても良い。

走行する車両５を途中で止めたい場合、車両５の停止に係る「ＳＴＯＰ」と描かれたアイコン１２ｇを押すと、車両５は停止する。なお、ユーザーが前進に係るアイコン１２ａ、または後退に係るアイコン１２ｄを押している期間だけ車両５が走行し、ユーザーがそれらのアイコンから手指を離すと車両５が停止する構成であっても良い。

さらに、ユーザーは、操作部１２を介して、表示部１１に表示された合成画像に係る視点位置・視線方向・ズームの変更などといった操作を行うことができる。

遠隔操作中、車両５の周辺の人や動物、車両、その他の物体といった障害物は、車両５のセンサ部５１によって検出される。センサ部５１が障害物を検出した場合、その検出信号が車両制御装置３に送信され、車両制御装置３は自動的に車両５を停車させる。

なお、図６に示すように、車両５は、例えば複数の車両遠隔操作装置である携帯端末１、１ｘ、１ｙそれぞれによって遠隔操作される。図６は、複数の携帯端末１、１ｘ、１ｙで車両５を遠隔操作する手法を説明するための図である。ユーザーＵ、Ｕｘ、Ｕｙはそれぞれ、携帯端末１、１ｘ、１ｙを有する。

ユーザーＵが有する携帯端末１は、通信部１８を介して、携帯端末１ｘ、１ｙとの間で車両５の操作権の授受を行うことが可能である。ユーザーＵｘ、Ｕｙが有する携帯端末１ｘ、１ｙも同様に、他の携帯端末との間で車両５の操作権の授受を行うことが可能である。携帯端末１ｘ、１ｙは、車両５を遠隔操作するにあたって、合成画像ＣＰ１を表示部１１に表示することができる。図７は、実施例１の合成画像ＣＰ１が表示された携帯端末１ｘ、１ｙの模式図（第２例）である。

図４及び図７に示すように、携帯端末１、１ｘ、１ｙは、車両５の操作権に係る情報を、画像１１１として表示部１１に表示することができる。車両５の操作権に係る情報の画像１１１は、操作権の有無画像１１１ａと、操作権の授受キー１１１ｂと、を含む。なお、ここでは、車両５のアクセル操作、ハンドル操作といった複数種類の走行に係る操作権がまとめて、携帯端末１及び他の携帯端末１ｘ、１ｙのいずれかに授与される構成について説明する。

操作権の有無画像１１１ａは、車両５の操作権の有無を表す画像である。例えば、携帯端末１が車両５の操作権を有する場合、図４に示すように、操作権の有無画像１１１ａは「あり」と表示される。携帯端末１の合成画像ＣＰ１には、車両５の走行に係るアイコン（操作部１２）が表示される。車両５の操作権を有さない携帯端末１ｘ、１ｙでは、図７に示すように、操作権の有無画像１１１ａは「なし」と表示される。携帯端末１ｘ、１ｙの合成画像ＣＰ１には、車両５の走行に係るアイコン（操作部１２）が表示されない。すなわち、権限管理部１６４は、車両５の複数種類の操作権のうち一部、すなわち車両５の走行に係る操作権を、携帯端末１及び他の携帯端末１ｘ、１ｙにおいて一つとする。車両５の走行に係る操作権を、例えばアクセル操作、ハンドル操作などに分ける場合も、それぞれの操作権が一つであることが好ましい。

操作権の授受キー１１１ｂは、携帯端末１及び他の携帯端末１ｘ、１ｙとの間で車両５の操作権の授受を行うためのキーである。例えば、携帯端末１が車両５の操作権を有する場合、図４に示すように、操作権の授受キー１１１ｂは「授与」と表示される。携帯端末１で、「授与」と表示された操作権の授受キー１１１ｂを操作すると、車両５の操作権を有さない携帯端末１ｘ、１ｙに車両５の操作権を与えることができる。車両５の操作権を有さない携帯端末１ｘ、１ｙでは、図７に示すように、操作権の授受キー１１１ｂは「受取」と表示される。携帯端末１ｘ、１ｙで「受取」と表示された操作権の授受キー１１１ｂを操作すると、車両５の操作権を有する携帯端末１から車両５の操作権を受け取ることができる。このとき、操作権の授受に関して、ユーザーＵ、Ｕｘ、Ｕｙの間で声を掛け合う、それぞれの携帯端末のソフトウェアを用いて確認を取り合うなどのコミュニケーションを図ることが望ましい。

図８は、実施例１の車両遠隔操作に係る携帯端末１における処理フローの例を示すフローチャートである。図９は、実施例１の車両遠隔操作に係る車両５における処理フローの例を示すフローチャートである。実施例１の携帯端末１による車両５の遠隔操作に係る処理について、図８及び図９の処理フローを参照しつつ説明する。

なお、ここでは、車両５のアクセル操作、ハンドル操作といった複数種類の走行に係る操作権がまとめて、携帯端末１及び他の携帯端末１ｘ、１ｙのいずれかに授与される構成について説明する。

携帯端末１は、例えばユーザーによって操作され、遠隔操作開始の指示を操作部１２から受け付けることで、携帯端末１による車両５の遠隔操作に係る処理を開始する（図８の「開始」）。車両５の遠隔操作は、車両５が停止した状態で開始される。

次に、携帯端末１は、車両５との間で、通信確立処理、遠隔操作確立処理を実施する（ステップＳ１０１）。このとき、車両５においても遠隔操作に係る処理が開始され（図９の「開始」）、携帯端末１との間で、通信確立処理、遠隔操作確立処理が実施される（ステップＳ２０１）。これらのステップでは、例えば携帯端末１と車両５とのマッチング処理、制御許可処理等が実施される。制御許可処理では、例えばＩＤ、パスワード等の認証処理が実施される。

次に、携帯端末１は、仮想視点から見た車両５の周辺領域を示す合成画像の生成に係る操作信号を車両５の画像処理装置２に送信する（ステップＳ１０２）。

車両５では、車両５の遠隔操作に係る操作信号を受信したか否かが判別される（図９のステップＳ２０２）。車両５が操作信号を受信し（ステップＳ２０２のＹｅｓ）、例えば当該操作信号が画像生成に係る信号である場合、画像処理装置２は当該操作信号に基づき画像を生成し、携帯端末１に対して送信する（ステップＳ２０３）。画像処理装置２では、車載カメラ４１〜４４それぞれから車両５の周辺の、複数の画像が取得される。画像生成部２１では、車両５の周辺の、複数の画像に基づき、仮想視点から見た車両５の周辺領域を示す合成画像ＣＰ１が生成される。

次に、携帯端末１は、合成画像ＣＰ１を画像処理装置２から受信し、その合成画像ＣＰ１を表示部１１に表示する（図８のステップＳ１０３）。

次に、携帯端末１は、自身に車両５のアクセル操作、ハンドル操作といった走行に係る操作権があるか否かを判別する（ステップＳ１０４）。携帯端末１自身に車両５の走行に係る操作権がある場合（ステップＳ１０４のＹｅｓ）、当該操作権の、他の携帯端末１ｘ、１ｙ等への授与が操作されたか否かが判別される（ステップＳ１０５）。

携帯端末１自身に車両５の走行に係る操作権がある場合（ステップＳ１０５のＮｏ）、携帯端末１は、車両５の走行に係る操作画像の、表示部１１への表示をＯＮにする（ステップＳ１０６）。すなわち、携帯端末１は、合成画像ＣＰ１に重ねて、車両５の走行に係る機能画像であるアイコン等（操作部１２）を表示部１１に表示する。これにより、ユーザーはその手指で、遠隔操作用のアイコンを任意に操作することができる。このとき、操作権の有無画像１１１ａは「あり」と表示され、操作権の授受キー１１１ｂは「授与」と表示される。

携帯端末１自身に車両５の走行に係る操作権がない場合（ステップＳ１０４のＮｏ）、他の携帯端末１ｘ、１ｙ等から車両５の走行に係る操作権を受け取ったか否かが判別される（ステップＳ１０７）。携帯端末１は、他の携帯端末１ｘ、１ｙ等から車両５の操作権を受け取った場合（ステップＳ１０７のＹｅｓ）、当該操作権の、他の携帯端末１ｘ、１ｙ等への授与が操作されたか否かを判別する（ステップＳ１０５）。

携帯端末１は、車両５の走行に係る操作権が他の携帯端末１ｘ、１ｙ等に授与された場合（ステップＳ１０５のＹｅｓ）、或いはそもそも当該操作権がなく、当該操作権を他の携帯端末１ｘ、１ｙ等から受け取ってもいない場合（ステップＳ１０７のＮｏ）、車両５の走行に係る操作画像の、表示部１１への表示をＯＦＦにする（ステップＳ１０８）。すなわち、携帯端末１は、合成画像ＣＰ１に重ねて、車両５の走行に係る機能画像であるアイコン等（操作部１２）を表示部１１に表示しない。このとき、操作権の有無画像１１１ａは「なし」と表示され、操作権の授受キー１１１ｂは「受取」と表示される。

次に、携帯端末１は、操作部１２に対してユーザーの操作入力があったか否かを判別する（ステップＳ１０９）。ユーザーの操作としては、例えば車両５の走行等に係る遠隔操作、合成画像ＣＰ１に係る視点位置・視線方向・ズームの変更などの操作を含む。

操作部１２への操作入力があった場合（ステップＳ１０９のＹｅｓ）、携帯端末１は、信号生成部１６３を用いて操作部１２に対する操作に基づく車両５の操作信号を生成し、当該操作信号を車両５に送信する（ステップＳ１１０）。これにより、ユーザーは車両５の遠隔操作を行うことができる。

車両５では、車両５の遠隔操作に係る操作信号を受信したか否かが判別される（図９のステップＳ２０２）。車両５が操作信号を受信し（ステップＳ２０２のＹｅｓ）、例えば当該操作信号が画像生成に係る信号である場合、画像処理装置２は当該操作信号に基づき画像を生成し、携帯端末１に対して送信する（ステップＳ２０３）。車両５が受信した操作信号が走行制御に係る信号である場合、車両制御装置３は当該操作信号に基づき車両５の走行を制御する（ステップＳ２０４）。

次に、携帯端末１は、車両５の遠隔操作ＯＦＦの操作がユーザーによって行われたか否かを判別する（ステップＳ１１１）。ユーザーは、車両５の遠隔操作を終了するためのアイコン１２ｈを操作して、車両５の遠隔操作を終了することができる。遠隔操作ＯＦＦの操作がない場合（ステップＳ１１１のＮｏ）、ステップＳ１０３に戻って、携帯端末１は合成画像ＣＰ１の受信及び表示を継続する。

遠隔操作ＯＦＦの操作がなされた場合（ステップＳ１１１のＹｅｓ）、携帯端末１における図８に示す処理フローが終了される。

車両５では、車両５の遠隔操作ＯＦＦの操作信号を受信したか否かが判別される（図９のステップＳ２０５）。遠隔操作ＯＦＦの操作信号を受信していない場合（ステップＳ２０５のＮｏ）、ステップＳ２０２に戻って、車両５の遠隔操作に係る操作信号の有無の判別が継続される。

遠隔操作ＯＦＦの操作信号を受信した場合（ステップＳ２０５のＹｅｓ）、車両５における図９に示す処理フローが終了される。

上記のように、本実施例の車両遠隔操作装置である携帯端末１は、表示部１１に、仮想視点から見た車両５の周辺領域を示す合成画像ＣＰ１を表示する。通信部１８は、車両５の操作信号を車両５に送信する。権限管理部１６４は、通信部１８を介して、他の携帯端末１ｘ、１ｙとの間で車両５の操作権の授受を行う。この構成によれば、複数人によって、車両５の周辺領域を合成画像ＣＰ１で確認しながら、車両５の遠隔操作を行うことができる。ユーザーは、例えば死角が生じた場合に、当該死角の状況を確認し易い他者に車両５の操作権を渡すことができる。すなわち、車両５の遠隔操作における利便性及び操作性を向上させることが可能である。

そして、通信部１８は、車両５において生成された合成画像ＣＰ１を車両５から受信する。この構成によれば、携帯端末１における負荷を低減させることができる。したがって、携帯端末１を用いて迅速且つ安定した遠隔操作を行うことができ、車両５の遠隔操作における利便性及び操作性を向上させることが可能である。

また、車両５の操作信号は、合成画像ＣＰ１の視点位置及び視線方向の操作に係る信号を含む。この構成によれば、ユーザーは、任意の様々な視点位置及び視線方向に関して合成画像ＣＰ１を見ることができる。したがって、車両５の遠隔操作における利便性及び操作性を向上させることが可能である。

そして、権限管理部１６４は、他の携帯端末１ｘ、１ｙとの間で、車両５の複数種類の操作権それぞれを個別に管理する。この構成によれば、例えばアクセル、ハンドルなどを複数のユーザー間で個別に操作することができる。すなわち、例えばユーザーの配置や技量などに応じて、車両５の操作を分担することができる。したがって、車両５の遠隔操作における利便性及び操作性を向上させることが可能である。

また、権限管理部１６４は、車両５の複数種類の操作権のうち一部、例えば車両５の走行に係る操作権を、携帯端末１自体及び他の携帯端末１ｘ、１ｙにおいて一つとする。この構成によれば、複数の携帯端末１、１ｘ、１ｙそれぞれから同時に、車両５の走行に係る操作信号が車両５に対して送信されることを防止することができる。したがって、遠隔操作時の安全性が高まり、車両５の遠隔操作における利便性を向上させることが可能である。

さらに、図４及び図７に示すように、携帯端末１、１ｘ、１ｙは、車両５の停止に係る「ＳＴＯＰ」と描かれたアイコン１２ｇを常時表示する。ユーザーＵ、Ｕｘ、Ｕｙはそれぞれ、車両５の走行に係る操作権の有無にかかわらず、アイコン１２ｇを操作して車両５を停止させることができる。すなわち、権限管理部１６４は、車両５の複数種類の操作権のうち一部である車両５の停止に係る操作権を、携帯端末１自体及び他の携帯端末１ｘ、１ｙにおいて共有する。この構成によれば、ユーザーは、他者に車両５の操作権を渡した場合であっても、緊急時には車両５を停止させることができる。したがって、遠隔操作時の安全性が高まり、車両５の遠隔操作における利便性をより一層向上させることが可能である。

また、携帯端末１、１ｘ、１ｙはそれぞれ、互いの携帯端末の表示部１１の表示画像を、自身の表示部１１に表示させることができる。すなわち、携帯端末１、１ｘ、１ｙそれぞれの通信部１８は、他の携帯端末の表示部１１の表示画像を当該他の携帯端末から受信する。そして、表示部１１は、その表示画像を表示する。携帯端末１、１ｘ、１ｙそれぞれの表示画像にはどの端末に属する画像であるかを示す識別符号が付され、各携帯端末はこの識別符号に基づき表示する画像を選択する。この構成によれば、携帯端末１、１ｘ、１ｙはそれぞれ、例えば車両５の操作権がある携帯端末の表示画像と、車両５の操作権がない携帯端末の表示画像とをワンタッチで切り替えることができる。これにより、ユーザーは、様々な位置、角度から車両５の状況を確認することができる。したがって、車両５の遠隔操作における利便性をより一層向上させることが可能である。

そして、携帯端末１の記憶部１７は、表示部１１に表示された合成画像ＣＰ１を保存することができる。この構成によれば、ユーザーは、車両５の遠隔操作時の状況を、あとで振り返って確認することができる。こにれより、車両５の遠隔操作に係る技術を高めることができる。したがって、車両５の遠隔操作における利便性及び操作性をより一層向上させることが可能である。

＜５−２．実施例２＞
図１０は、実施例２の携帯端末１に連続的に表示される合成画像の模式図である。実施例２の携帯端末１において、表示部１１は、合成画像の表示の開始初期に、車両５の周囲一周の合成画像ＣＰ１１〜ＣＰ１５を連続的に表示する。

例えば、表示部１１は、車両５の遠隔操作を開始するとき、図１０に示す合成画像ＣＰ１１を第一に表示する。合成画像ＣＰ１１は、例えば車両５の左後方上方から車両５の周辺領域を見た画像である。続いて、表示部１１は、例えば車両５の左前方上方から車両５の周辺領域を見た合成画像ＣＰ１２を表示する。さらに、表示部１１は、例えば車両５のほぼ正面上方から車両５の周辺領域を見た合成画像ＣＰ１３、車両５の右前方上方から車両５の周辺領域を見た合成画像ＣＰ１４、車両５の右後方上方から車両５の周辺領域を見た合成画像ＣＰ１５を順に表示する。最後に、表示部１１は、車両５の周辺領域を示す俯瞰画像である合成画像ＣＰ１を表示する。そして、合成画像ＣＰ１には、操作部１２の像であるアイコン等が重畳される。

なお、本実施形態では、車両５の周囲一周の合成画像を合成画像ＣＰ１１〜ＣＰ１５の５つであることとしたが、車両５の周囲一周の合成画像は５つに限定されるわけではなく、５つよりも少なくても、多くても良い。また、本実施形態では、車両５の周囲一周の合成画像ＣＰ１１〜ＣＰ１５を、合成画像ＣＰ１の車両５の像５ｐに対して時計回りで表示することとしたが、反時計回りであっても良い。

本実施例の携帯端末１の構成によれば、合成画像ＣＰ１の表示の開始初期、すなわち車両５の遠隔操作を開始するときに、車両５の周囲一周の状況を容易に確認することができる。したがって、車両５の遠隔操作における利便性及び操作性を向上させることが可能である。

＜５−３．実施例３＞
図１１は、実施例３の携帯端末１に表示された合成画像ＣＰ１の模式図（第１例）である。実施例３の携帯端末１において、表示部１１は、合成画像の表示の開始初期に、携帯端末１自体の位置に対して、車両５を隔てた反対側から見た合成画像ＣＰ１を表示する。

図１１に示すように、ユーザーＵは携帯端末１を所持し、例えば車両５の後方に立つ。そして、例えば、表示部１１は、車両５の遠隔操作を開始するとき、図１１に示す合成画像ＣＰ１を表示する。合成画像ＣＰ１は、携帯端末１を所持するユーザーＵの位置に対して、車両５を隔てた反対側、すなわち車両５のほぼ正面上方から車両５の周辺領域を見た画像である。

この構成によれば、合成画像ＣＰ１の表示の開始初期、すなわち車両５の遠隔操作を開始するときに、ユーザーＵは死角の状況を容易に確認することができる。したがって、車両５の遠隔操作における利便性及び操作性を向上させることが可能である。

なお、実施例２（図１０参照）で説明したように、車両５の周囲一周の合成画像ＣＰ１１〜ＣＰ１５を連続的に表示した後、最後に、携帯端末１の位置に対して車両５を隔てた反対側から見た合成画像ＣＰ１（図１１）を表示部１１に表示することにしても良い。

そして、表示部１１は、携帯端末１自体の移動とともに視点位置及び視線方向が変更された合成画像を表示する。図１２は、実施例３の携帯端末１に表示された合成画像ＣＰ２の模式図（第２例）である。

図１１に示すように車両５の後方に立ったユーザーＵが、例えば車両５の左側方に移動した場合、表示部１１は、図１２に示すように、車両５の右側方から車両５の周辺領域を見た合成画像ＣＰ２を表示する。すなわち、表示部１１は、図１１に示す合成画像ＣＰ１に対して、携帯端末１を所持するユーザーＵの移動とともに視点位置及び視線方向が変更された合成画像ＣＰ２を表示する。なお、合成画像ＣＰ１から合成画像ＣＰ２に至る過程の合成画像を連続的に表示部１１に表示しても良い。

この構成によれば、携帯端末１を所持するユーザーＵは、移動とともに変化する死角の状況を常時確認することができる。したがって、車両５の遠隔操作における利便性及び操作性を向上させることが可能である。

＜５−４．実施例４＞
図１３は、実施例４の合成画像ＣＰ１及び補助画像ＡＰ１が表示された携帯端末１の模式図である。実施例４の携帯端末１は、表示部１１の画面に、合成画像ＣＰ１に重ねて、車両５の遠隔操作に係る複数のアイコンを操作部１２として表示する。

さらに、携帯端末１の表示部１１は、合成画像ＣＰ１の下方に、補助画像ＡＰ１を表示する。なお、合成画像ＣＰ１と、補助画像ＡＰ１との上下の配置を入れ替えても良い。表示部１１は、車両５の操作状態に係る情報の画像１１２を、補助画像ＡＰ１として表示する。これに先立って、通信部１８は、車両５自体の操作状態に係る情報を車両５から受信する。車両５自体の操作状態に係る情報の画像１１２は、例えばハンドル画像１１２ａと、シフト画像１１２ｂと、走行速度画像１１２ｃと、を含む。

ハンドル画像１１２ａは、実際の車両５におけるハンドルの回転角を表す画像である。ハンドル画像１１２ａは、操作部１２によって操作した車両５のハンドルの回転に連動して、中心軸回りに回転する。シフト画像１１２ｂは、実際の車両５における変速装置のシフトレバーの操作位置を表す画像である。走行速度画像１１２ｃは、実際の車両５の走行速度を表す画像である。

本実施例の携帯端末１の構成によれば、ハンドルなどといった実際の車両５自体の操作状態を、携帯端末１の表示部１１で確認することができる。例えば、ハンドルがどの程度回転し、シフト位置がいずれであり、走行速度がどの程度であるのかを容易に確認することができる。したがって、車両５の遠隔操作における利便性及び操作性を一層向上させることが可能である。

なお、車両５自体の操作状態に係る情報としては、ハンドル、シフト位置、走行速度に係る情報に限定されるわけではなく、その他の情報、例えばタコメーター、燃料計、水温計、距離計などの情報を採用して表示しても良い。また、車両５自体の操作状態に係る情報は、表示部１１に表示された合成画像ＣＰ１とともに、記憶部１７に保存しておくことができる。これにより、ユーザーは、車両５の遠隔操作時のより詳細な状況を、あとで振り返って確認することができる。

＜５−５．実施例５＞
図１４は、実施例５の合成画像ＣＰ１及び車内画像ＡＰ２が表示された携帯端末１の模式図である。実施例５の携帯端末１は、表示部１１の画面に、合成画像ＣＰ１に重ねて、車両５の遠隔操作に係る複数のアイコンを操作部１２として表示する。

さらに、携帯端末１の表示部１１は、合成画像ＣＰ１の下方に、車内画像ＡＰ２を表示する。これに先立って、通信部１８は、車両５の内部が撮影された車内画像ＡＰ２を車両５から受信する。なお、合成画像ＣＰ１と、車内画像ＡＰ２との上下の配置を入れ替えても良い。

車内画像ＡＰ２は、車両５の画像処理装置２によって生成される。車内画像ＡＰ２には、車内カメラ４５が撮影した撮影画像が用いられる。画像処理装置２は、車内カメラ４５が撮影した撮影画像に基づき、携帯端末１の表示部１１で表示するための車内画像ＡＰ２の表示用画像を生成する。

本実施例の携帯端末１の構成によれば、車両５の周辺領域の状況に加えて、車両５の内部の様子も携帯端末１の表示部１１で確認しながら、車両５の遠隔操作を行うことができる。したがって、車両５の遠隔操作における利便性及び操作性を向上させることが可能である。

＜５−６．実施例６＞
図１５は、実施例６の合成画像ＣＰ１が表示された携帯端末１の模式図である。実施例６の携帯端末１は、表示部１１の画面に、合成画像ＣＰ１に重ねて、車両５の遠隔操作に係る複数のアイコンを操作部１２として表示する。

さらに、表示部１１は、当該携帯端末１自体の傾きに基づき視点位置及び視線方向が変更された合成画像ＣＰ１を表示する。センサ部１５は、傾斜センサを用いて、携帯端末１自体の傾きを検知する。

図１５に示すように、例えば携帯端末１を上部が左方を向くように角度αで傾けた場合、表示部１１は、角度αの程度に基づき車両５の左方の視野が広がるように、視点位置及び視線方向が変更された合成画像ＣＰ１を表示する。また例えば、図示しないが、携帯端末１を上部が前方を向くように傾けた場合に、視点位置がより低く変更された合成画像ＣＰ１を表示しても良い。

本実施例の携帯端末１の構成によれば、ユーザーは、携帯端末１の傾きを変えるだけで、合成画像ＣＰ１の視点位置及び視線方向を変更することができる。これにより、ユーザーは、車両５の周辺の所望の領域や死角などの状況を容易に確認することができる。したがって、車両５の遠隔操作における利便性及び操作性を向上させることが可能である。

＜５−７．実施例７＞
図１６は、実施例７の車両遠隔操作システムに係る車両７を示す平面図である。図１７は、実施例７の車両遠隔操作システムに係る車両７を示す斜視図である。実施例７の車両遠隔操作システムは、車両７の周辺領域を示す合成画像を表示することが可能な携帯端末によって車両７を遠隔操作するシステムである。

車両７は、例えば車両系建設機械であって、例えば図１６及び図１７に示す油圧ショベルである。なお、車両系建設機械としては油圧ショベルに限定されるわけではなく、例えばブルドーザー、くい打機、ホイールローダーなどであっても良い。さらに、遠隔操作する車両は自家用の乗用車や車両系建設機械に限定されるわけではなく、例えばバス、トラックなどであっても良く、また例えば消防車、救急車、パトロールカー、ごみ収集車、ミキサー車、タンクローリー、クレーン車、トレーラー連結車などの特殊用途車両であっても良い。

車両７は、ここでは図示しないが、上記実施例１〜６で説明した車両５と同様に、画像処理装置と、車両制御装置と、センサ部と、を含む。

車両７は、さらに撮影部４を含む。撮影部４は、例えば４つの車載カメラ４１〜４４を備える。車載カメラ４１はフロントカメラとも呼ばれ、車両７の前部に設けられて車両７の前方向を撮影する。車載カメラ４２は右サイドカメラとも呼ばれ、車両７の右側面に設けられて車両７の右方向を撮影する。車載カメラ４３はバックカメラとも呼ばれ、車両７の後部に設けられて車両７の後方向を撮影する。車載カメラ４４は左サイドカメラとも呼ばれ、車両７の左側面に設けられて車両７の左方向を撮影する。

さらに、図１７に示すように、撮影部４は、例えば車載カメラ４６を備える。車載カメラ４６は車両７のアーム７１に設けられる。車載カメラ４６は、例えばその光軸がアーム７１の延伸方向に沿って延び、アーム７１の先端方向、すなわちバケット７３が設けられた方向を撮影する。なお、車載カメラはブーム７２、バケット７３などに設けても良い。

携帯端末１は、通信部１８を介して、車両７の画像処理装置で生成された、仮想視点から見た車両７の周辺領域を示す合成画像を受信することが可能である。携帯端末１は、当該合成画像を表示部１１に表示することができる。図１８は、実施例７の合成画像ＣＰ３が表示された携帯端末１の模式図である。合成画像ＣＰ３は、例えば車両７の周辺領域を示す俯瞰画像である。

合成画像ＣＰ３には、操作部１２の像であるアイコン等が重畳される。操作部１２は、合成画像ＣＰ３の車両７の像７ｐの位置及び向きに応じて配置される。

詳細に言えば、例えば車両７の像７ｐの近隣には、車両７の走行に係るアイコン、すなわち車両７の左右のクローラ７４の操作に係るアイコン１２１が表示される。これらの車両７の走行に係るアイコン１２１は、例えば車両７の像７ｐの周囲の、各進行方向に対応する位置及び向きに応じて配置される。また、車両７の停止に係る「ＳＴＯＰ」と描かれたアイコンが、車両７の像７ｐに重ねて配置される。

また例えば、車両７の像７ｐの下方には、車両７の上部旋回体７５と、作業装置（アーム７１、ブーム７２、バケット７３）と、の操作に係るアイコン１２２が表示される。これらの車両７の操作に係るアイコン１２２は、例えば車両７の像７ｐの下方に描かれた２本の操作レバーに相当する画像（合成画像ＣＰ３内の黒丸印）の周囲の、各操作方向に対応する位置及び向きに応じて配置される。

そして、実施例７の車両遠隔操作システムは、複数の車両遠隔操作装置である携帯端末１及び他の携帯端末それぞれによって、車両７を遠隔操作することができる。携帯端末１は、車両７の操作権に係る情報を、画像１１１として表示部１１に表示する。車両７の操作権に係る情報の画像１１１は、操作権の有無画像１１１ａと、操作権の授受キー１１１ｂと、を含む。

携帯端末１は、権限管理部によって他の携帯端末との間で車両７の操作権の授受を行う。この構成によれば、車両７のような車両系建設機械や、その他の特殊用途車両などにおいても、複数人によって、車両７の周辺領域を合成画像ＣＰ３で確認しながら、車両７の遠隔操作を行うことができる。ユーザーは、例えば死角が生じた場合に、当該死角の状況を確認し易い他者に車両７の操作権を渡すことができる。すなわち、車両７の遠隔操作における利便性及び操作性を向上させることが可能である。

また、携帯端末１の表示部１１は、合成画像ＣＰ３の他に、補助画像を表示することにしても良い。この補助画像には、例えばアーム７１に設けられた車載カメラ４６が撮影した撮影画像が用いられる。この構成によれば、車両７の周辺領域の状況に加えて、アーム７１の先端方向の様子も携帯端末１の表示部１１で確認しながら、車両７の遠隔操作を行うことができる。したがって、車両７の遠隔操作における利便性及び操作性をより一層向上させることが可能である。

＜５−８．実施例８＞
実施例８の車両遠隔操作システムＲＳは、車両５自身が、車両５に対する例えば携帯端末１、１ｘ、１ｙそれぞれの操作権を管理する。図１９は、実施例８の車両遠隔操作に係る車両５における処理フローの例を示すフローチャートである。実施例８の、車両５の操作権の授受に係る処理について、図１９を参照しつつ説明する。

車両５は、携帯端末によって車両５の遠隔操作が開始され、携帯端末との間で通信確立処理、遠隔操作確立処理が実施されると、車両５の操作権の授受に係る処理を開始する（図１９の「開始」）。複数の携帯端末による遠隔操作が行われる場合、所定の携帯端末に対して車両５の操作権が授与される。

次に、車両５は、操作権の要求信号を携帯端末から受信したか否かを判別する（ステップＳ３０１）。操作権の要求信号を受信した場合（ステップＳ３０１のＹｅｓ）、車両５は、現在操作権を有する携帯端末に対して、操作権の移行要請に係る信号を送信する（ステップＳ３０２）。そして、車両５では、現在操作権を有する携帯端末からの、操作権の移行要請に対する回答が待たれる（ステップＳ３０３）。

現在操作権を有する携帯端末からの、操作権の移行要請に対する回答があった場合（ステップＳ３０３のＹｅｓ）、車両５は、当該回答が操作権の移行可能を示す回答であるか否かを判別する（ステップＳ３０４）。当該回答が操作権の移行可能を示す回答である場合（ステップＳ３０４のＹｅｓ）、車両５は、操作権を有する携帯端末の切替処理を実施する（ステップＳ３０５）。車両５では、例えばこれまで操作権を有していた携帯端末を今後操作権を有さない携帯端末とし、操作権の要求信号を発信した携帯端末を新たに操作権を有する携帯端末とする情報が記憶される。

次に、車両５は、各携帯端末に操作権の切り替えを通知する（ステップＳ３０６）。各携帯端末では、操作権の切替処理が実施される。これまで操作権を有していた携帯端末では、操作権がなくなる。車両５の走行に係る操作権がなくなった場合、例えば合成画像ＣＰ１上から車両５の走行に係るアイコン（操作部１２）が消去される。また、操作権の要求信号を発信した携帯端末は、新たに操作権を得る。車両５の走行に係る操作権を得た場合、例えば合成画像ＣＰ１上に車両５の走行に係るアイコン（操作部１２）が表示される。

一方、操作権の移行要請に対する回答が操作権の移行不可を示す回答である場合（ステップＳ３０４のＹｅｓ）、車両５は、各携帯端末に操作権の維持を通知する（ステップＳ３０７）。

そして、ステップＳ３０１に戻り、車両５において、操作権の要求信号を受信したか否かの判別が継続される。

この構成によれば、車両５の操作権の授受に係る各携帯端末の負荷を低減させることができる。したがって、携帯端末を用いて迅速且つ安定した遠隔操作を行うことができ、車両５の遠隔操作における利便性及び操作性を向上させることが可能である。

＜５−９．実施例９＞
図２０は、実施例９の車両遠隔操作システムＲＳの構成を示すブロック図である。実施例９の携帯端末１は、例えば制御部１６に画像生成部１６５を備える。画像生成部１６５は、車両５の撮影部４で撮影された撮影画像を処理して車両５の周辺領域を示す合成画像を生成する。本実施例では、画像生成部１６５は、例えば記憶部１７に記憶されたプログラムによってソフトウェア的に各種の画像処理を実現する。

携帯端末１は、通信部１８を介して、画像生成部１６５による画像処理に必要な各種データを車両５から受信する。画像処理に必要なデータとしては、例えば車載カメラ４１〜４４によって撮影された撮影画像、車載カメラ４１〜４４の取り付け状態（取り付け位置、カメラ角度）、カメラ特性（撮影画像のサイズ、縮尺）、車両５の像５ｐ及び透過像５ｔのデータなどが含まれる。車両５から受信したこれらのデータは、例えば記憶部１７に記憶される。

画像生成部１６５は、車両５から受信した車載カメラ４１〜４４によって撮影された撮影画像に基づき、仮想視点から見た車両５の周辺領域を示す合成画像を生成する。さらに、画像生成部１６５は、当該合成画像に基づき、表示部１１で表示するための表示用画像を生成する。画像生成部１６５は、合成画像として、俯瞰画像と、車内視点画像とを生成することが可能である。

携帯端末１による車両５の遠隔操作を行うとき、携帯端末１は、車両５との間で通信確立処理、遠隔操作確立処理を実施した後、画像生成部１６５による画像処理に必要な各種データを車両５から受信する。これらのデータは、例えば記憶部１７に記憶される。その後、画像生成部１６５は、操作部１２へのユーザーの操作入力に基づき、逐次車載カメラ４１〜４４によって撮影された撮影画像を車両５から受信し、合成画像を生成する。

＜６．その他＞
本明細書中に開示されている種々の技術的特徴は、上記実施形態のほか、その技術的創作の主旨を逸脱しない範囲で種々の変更を加えることが可能である。すなわち、上記実施形態は全ての点で例示であって、制限的なものではないと考えられるべきである。本発明の技術的範囲は上記実施形態の説明ではなく、特許請求の範囲によって示されるものであり、特許請求の範囲と均等の意味及び範囲内に属する全ての変更が含まれると理解されるべきである。また、上記の複数の実施形態及び実施例は可能な範囲で組み合わせて実施しても良い。

また、上記実施形態では、プログラムに従ったＣＰＵの演算処理によってソフトウェア的に各種の機能が実現されていると説明したが、これらの機能のうちの一部は電気的なハードウェア回路によって実現されても良い。また逆に、ハードウェア回路によって実現されるとした機能のうちの一部は、ソフトウェア的に実現されても良い。

１、１ｘ、１ｙ 携帯端末（車両遠隔操作装置）
２ 画像処理装置
３ 車両制御装置
４ 撮影部
５、７ 車両
５ｐ、７ｐ 像
１１ 表示部
１２ 操作部
１３ カメラ
１５ センサ部
１６ 制御部
１７ 記憶部
１８ 通信部
２１ 画像生成部
４１、４２、４３、４４、４５、４６ 車載カメラ
１６３ 信号生成部
１６４ 権限管理部
１６５ 画像生成部
ＡＰ１ 補助画像
ＡＰ２ 車内画像
ＣＰ１、ＣＰ２、ＣＰ３ 合成画像
ＲＳ 車両遠隔操作システム

Claims (15)

1. 表示部と、
   車両を操作するための操作部と、
   前記操作部に対する操作に基づく前記車両の操作信号を生成する信号生成部と、
   前記車両及び他の車両遠隔操作装置と通信を行う通信部と、
   前記車両に対する操作権を管理する権限管理部と、
   を備え、
   前記表示部は、前記車両に搭載された複数の車載カメラそれぞれで撮影された複数の撮影画像に基づき生成された、仮想視点から見た前記車両の周辺領域を示す合成画像を表示し、
   前記通信部は、前記操作信号を前記車両に送信し、
   前記権限管理部は、前記通信部を介して、他の前記車両遠隔操作装置との間で前記車両の前記操作権の授受を行う車両遠隔操作装置。
2. 前記通信部は、前記車両において生成された前記合成画像を前記車両から受信する請求項１に記載の車両遠隔操作装置。
3. 前記操作信号は、前記合成画像の前記視点位置及び前記視線方向の操作に係る信号を含む請求項１または請求項２に記載の車両遠隔操作装置。
4. 前記権限管理部は、他の前記車両遠隔操作装置との間で、前記車両の複数種類の前記操作権それぞれを個別に管理する請求項１から請求項３のいずれかに記載の車両遠隔操作装置。
5. 前記権限管理部は、前記車両の複数種類の前記操作権のうち一部を、当該車両遠隔操作装置自体及び他の前記車両遠隔操作装置において一つとする請求項４に記載の車両遠隔操作装置。
6. 前記権限管理部は、前記車両の複数種類の前記操作権のうち一部を、当該車両遠隔操作装置自体及び他の前記車両遠隔操作装置において共有する請求項４に記載の車両遠隔操作装置。
7. 前記通信部は、他の前記車両遠隔操作装置の前記表示部の表示画像を当該他の前記車両遠隔操作装置から受信し、
   前記表示部は、前記表示画像を表示する請求項１から請求項６のいずれかに記載の車両遠隔操作装置。
8. 前記表示部は、前記合成画像の表示の開始初期に、前記車両の周囲一周の前記合成画像を連続的に表示する請求項１から請求項７のいずれかに記載の車両遠隔操作装置。
9. 前記表示部は、前記合成画像の表示の開始初期に、当該車両遠隔操作装置自体の位置に対して前記車両を隔てた反対側から見た前記合成画像を表示する請求項１から請求項８のいずれかに記載の車両遠隔操作装置。
10. 前記表示部は、当該車両遠隔操作装置自体の移動とともに視点位置及び視線方向が変更された前記合成画像を表示する請求項１から請求項９のいずれかに記載の車両遠隔操作装置。
11. 前記通信部は、前記車両自体の操作状態に係る情報を前記車両から受信し、
    前記表示部は、前記操作状態に係る前記情報を表示する請求項１から請求項１０のいずれかに記載の車両遠隔操作装置。
12. 前記通信部は、前記車両の内部が撮影された車内画像を前記車両から受信し、
    前記表示部は、前記車内画像を表示する請求項１から請求項１１のいずれかに記載の車両遠隔操作装置。
13. 当該車両遠隔操作装置自体の傾きを検知するセンサ部を備え、
    前記表示部は、前記傾きに基づき視点位置及び視線方向が変更された前記合成画像を表示する請求項１から請求項１２のいずれかに記載の車両遠隔操作装置。
14. 前記表示部に表示された前記合成画像を保存する記憶部を備える請求項１から請求項１３のいずれかに記載の車両遠隔操作装置。
15. 車両に搭載された複数の車載カメラそれぞれで撮影された複数の撮影画像に基づいて、仮想視点から見た前記車両の周辺領域を示す合成画像を生成する工程と、
    前記合成画像を車両遠隔操作装置に表示する工程と、
    前記車両遠隔操作装置で前記車両に対する操作を受け付ける工程と、
    前記操作に基づき前記車両の操作信号を生成する工程と、
    前記操作信号を前記車両遠隔操作装置から前記車両に送信する工程と、
    他の前記車両遠隔操作装置との間で前記車両の操作権の授受を行う工程と、
    を含む車両遠隔操作方法。

Images