JP7032950B2

JP7032950B2 - 車両遠隔操作装置、車両遠隔操作システム及び車両遠隔操作方法

Info

Publication number: JP7032950B2
Application number: JP2018027159A
Authority: JP
Inventors: 史晃板東; 実前畑; 美岐一津屋
Original assignee: Denso Ten Ltd
Current assignee: Denso Ten Ltd
Priority date: 2018-02-19
Filing date: 2018-02-19
Publication date: 2022-03-09
Anticipated expiration: 2038-02-19
Also published as: US11181909B2; JP2019144756A; US20190258247A1; DE102018133014A1; DE102018133014B4

Description

本発明は、車両遠隔操作装置、車両遠隔操作システム及び車両遠隔操作方法に関する。

近年、車両の遠隔操作に係る技術が種々提案されている。例えば、特許文献１で提案された携帯端末は、車両を所定の第１位置から第２位置に移動させるための端末である。この携帯端末は、自身のカメラで撮影された撮影画像に基づき車両の像を含む俯瞰画像を表示し、当該車両に対するユーザーの操作を受け付ける。また例えば、特許文献２で提案された駐車支援装置は、ジョイスティック等の遠隔操作手段を用いて駐車が可能である。また例えば、特許文献３で提案された車両遠隔操作システムは、タッチパネルへの接触操作に対応する操作信号を車両に送信する携帯端末を備える。この携帯端末は、車両に対して走行操作信号と、操舵操作信号とを送信することができる。

特開２０１４－６５３９２号公報特開２０１０－９５０２７号公報特開２０１６－７４２８５号公報

しかしながら、従来技術では、車両の遠隔操作における利便性及び操作性が十分に満足できるものではないことに課題があった。

本発明は、上記の課題に鑑みなされたものであり、車両の遠隔操作における利便性及び操作性を向上させることが可能な技術を提供することを目的とする。

本発明に係る車両遠隔操作装置は、車両に搭載された複数の車載カメラそれぞれで撮影された複数の撮影画像に基づき生成された、仮想視点から見た前記車両の周辺領域を示す合成画像を受信する通信部と、前記合成画像を表示する表示部と、前記車両を操作するための操作部と、前記操作部に対する操作に基づく前記車両の制御信号を生成する信号生成部と、衝撃を検知するセンサ部と、を備え、前記通信部を介して、前記制御信号を前記車両に対して送信するとともに、前記センサ部が衝撃を検知した場合に、停止の前記制御信号を前記車両に対して送信し、前記操作部は、前記車両の走行経路に係る操作軌跡を受け付け、前記信号生成部は、前記操作軌跡に基づき前記車両の走行経路に係る前記制御信号を生成し、前記操作軌跡の太さに基づき前記車両の走行速度を変更する構成（第１の構成）である。

また、上記第１の構成の車両遠隔操作装置において、前記車両の走行に係る前記制御信号を送信する場合に、走行速度及び走行距離のいずれかを一定にする構成（第２の構成）であっても良い。

また、上記第１または第２の構成の車両遠隔操作装置において、当該車両遠隔操作装置による前記車両の操作が許可されているか否かを判別する認証部を備える構成（第３の構成）であっても良い。

また、上記第３の構成の車両遠隔操作装置において、当該車両遠隔操作装置自体の周囲を撮影するカメラを備え、前記認証部は、前記カメラで撮影された運転免許証に基づき前記操作部に対するユーザーの操作を許可する構成（第４の構成）であっても良い。

また、上記第４の構成の車両遠隔操作装置において、前記認証部は、前記カメラで撮影されたユーザーの顔と、前記運転免許証の顔写真とに基づき運転免許を判別する構成（第５の構成）であっても良い。

また、上記第１から第５の構成の車両遠隔操作装置において、前記操作部は、数値入力によって前記車両に対する操作を受け付ける構成（第６の構成）であっても良い。

また、上記第１から第６の構成の車両遠隔操作装置において、前記センサ部は、当該車両遠隔操作装置自体の傾きを検知し、前記傾きに基づき前記車両のステアリング角を導出する構成（第７の構成）であっても良い。

また、上記第１から第７の構成の車両遠隔操作装置において、当該車両遠隔操作装置自体の周囲を撮影するカメラと、前記カメラまたは前記車載カメラで撮影されたユーザーのジェスチャーに基づき前記車両に対する操作内容を判別する操作判別部と、を備え、前記信号生成部は、前記ジェスチャーに係る前記車両の操作に基づく前記制御信号を生成する構成（第８の構成）であっても良い。

また、上記第１から第８の構成の車両遠隔操作装置において、前記操作部は、前記車両の走行経路に係る操作軌跡を受け付け、前記信号生成部は、前記操作軌跡に基づき前記車両の走行経路に係る前記制御信号を生成する構成（第９の構成）であっても良い。

また、上記第９の構成の車両遠隔操作装置において、前記操作軌跡の太さに基づき前記車両の走行速度を変更する構成（第１０の構成）であっても良い。

また、上記第１から第１０の構成の車両遠隔操作装置において、前記センサ部は、当該車両遠隔操作装置自体の位置情報を取得し、前記信号生成部は、当該車両遠隔操作装置の移動軌跡に基づき前記車両の走行経路に係る前記制御信号を生成する構成（第１１の構成）であっても良い。

また、本発明に係る車両遠隔操作システムは、上記第１から第１１の構成の車両遠隔操作装置と、前記車両に搭載された複数の前記車載カメラそれぞれで撮影された複数の撮影画像に基づき仮想視点から見た前記車両の周辺領域を示す前記合成画像を生成するとともに、前記合成画像を前記車両遠隔操作装置に送信する画像処理装置と、前記車両の制御信号を前記車両遠隔操作装置から受信するとともに、前記制御信号に基づき前記車両を制御する車両制御装置と、を備える構成（第１２の構成）である。

また、本発明に係る車両遠隔操作方法は、車両に搭載された複数の車載カメラそれぞれで撮影された複数の撮影画像に基づき生成された、仮想視点から見た前記車両の周辺領域を示す合成画像を受信する工程と、前記合成画像を表示部に表示する工程と、前記車両に対する操作を受け付ける工程と、前記操作に基づく前記車両の制御信号を生成する工程と、前記制御信号を前記車両に対して送信する工程と、を含み、衝撃を検知した場合に、停止の前記制御信号を前記車両に対して送信し、前記車両に対する操作を受け付ける工程で前記車両の走行経路に係る操作軌跡を受け付け、前記制御信号を生成する工程では、前記操作軌跡に基づき前記車両の走行経路に係る前記制御信号を生成し、前記操作軌跡の太さに基づき前記車両の走行速度を変更する構成（第１３の構成）である。

本発明の構成によれば、例えば車両を急いで停止させたい場合に、車両遠隔操作装置において車両の停止のためのボタン等を探す必要がない。また、例えば車両遠隔操作装置で、車両の操作に係る許可／不許可についての認証を行うことができる。また、例えば数値入力によって車両を操作することができる。また、例えば車両遠隔操作装置で、車両の照明や警音器を操作することができる。すなわち、車両の遠隔操作における利便性及び操作性を向上させることが可能である。

実施形態の車両遠隔操作システムの構成を示すブロック図車載カメラが車両に配置される位置を例示する図車両の周辺領域を示す合成画像を生成する手法を説明するための図実施例１の合成画像が表示された携帯端末の模式図実施例１の携帯端末に表示された合成画像の模式図実施例１の車両遠隔操作に係る処理フローの例を示すフローチャート実施例２の車両遠隔操作に係る処理フローの例を示すフローチャート実施例３の合成画像及び操作部が表示された携帯端末の模式図実施例４の合成画像及び操作部が表示された携帯端末の模式図実施例５の合成画像が表示された携帯端末の模式図実施例６の車両に対する遠隔操作方法を示す模式図（第１例）実施例６の車両に対する遠隔操作方法を示す模式図（第２例）実施例７の車両に対する遠隔操作方法を示す模式図実施例８の車両に対する遠隔操作方法を示す模式図実施例９の車両遠隔操作に係る処理フローの例を示すフローチャート実施例９における合成画像が表示された携帯端末の模式図（第１例）実施例９における合成画像が表示された携帯端末の模式図（第２例）

以下、本発明の例示的な実施形態について、図面を参照しながら詳細に説明する。なお、本発明は以下に示す実施形態の内容に限定されるものではない。

また、以下の説明では、車両の直進進行方向であって、運転席からハンドルに向かう方向を「前方向（前方）」とする。車両の直進進行方向であって、ハンドルから運転席に向かう方向を「後方向（後方）」とする。車両の直進進行方向及び鉛直線に垂直な方向であって、前方を向いている運転手の右側から左側に向かう方向を「左方向」とする。車両の直進進行方向及び鉛直線に垂直な方向であって、前方を向いている運転手の左側から右側に向かう方向を「右方向」とする。

＜１．車両遠隔操作システムの構成＞
図１は、実施形態の車両遠隔操作システムＲＳの構成を示すブロック図である。車両遠隔操作システムＲＳは、携帯端末１と、画像処理装置２と、車両制御装置３と、を含む。携帯端末１は、車両５を遠隔操作するための車両遠隔操作装置である。画像処理装置２及び車両制御装置３は、車両５に搭載される。車両遠隔操作システムＲＳは、車両５の周辺領域を示す合成画像が表示された携帯端末１によって車両５を遠隔操作するシステムである。車両５は、さらに撮影部４（車載カメラ）と、センサ部５１と、前照灯５２と、警音器５３と、を含む。

携帯端末１は、画像処理装置２から出力される表示用画像を受信して表示し、車両制御装置３に対して制御信号を送信して車両５を遠隔操作する装置である。携帯端末１としては、例えば車両５の所有者等が所持するスマートフォン、タブレット型端末などが含まれる。本実施形態では、携帯端末１は、例えばスマートフォンである。

画像処理装置２は、車載カメラで撮影された撮影画像を処理する装置である。画像処理装置２は、車載カメラを搭載する車両ごとに備えられる。本実施形態では、画像処理装置２は、撮影部４から撮影画像を取得して処理する。また、画像処理装置２は、センサ部５１から情報を取得し、当該取得情報に基づいて画像処理に関する判断を行うことが可能である。

車両制御装置３は、車両の動作全般に関わる制御を行う。車両制御装置３は、例えばエンジンを制御するエンジンＥＣＵ（Electronic Control Unit）、ステアリングを制御するステアリングＥＣＵ、ブレーキを制御するブレーキＥＣＵ、シフトを制御するシフトＥＣＵ、電源を制御する電源制御ＥＣＵ、ライトを制御するライトＥＣＵ、電動ミラーを制御するミラーＥＣＵ等を含む。本実施形態では、車両制御装置３は、携帯端末１及び画像処理装置２と情報を送受信する。車両制御装置３は、車両５の制御信号を携帯端末１から受信するとともに、当該制御信号に基づき車両５を制御する。

撮影部４は、車両周辺の状況を監視する目的で設けられる。撮影部４は、例えば４つの車載カメラ４１～４４を備える。図２は、車載カメラ４１～４４が車両５に配置される位置を例示する図である。

車載カメラ４１は車両５の前端に設けられる。このため、車載カメラ４１をフロントカメラ４１とも呼ぶ。フロントカメラ４１の光軸４１ａは上からの平面視で車両５の前後方向に沿って延びる。フロントカメラ４１は車両５の前方向を撮影する。車載カメラ４３は車両５の後端に設けられる。このため、車載カメラ４３をバックカメラ４３とも呼ぶ。バックカメラ４３の光軸４３ａは上からの平面視で車両５の前後方向に沿って延びる。バックカメラ４３は車両５の後方向を撮影する。フロントカメラ４１及びバックカメラ４３の取付位置は、車両５の左右中央であることが好ましいが、左右中央から左右方向に多少ずれた位置であっても良い。

車載カメラ４２は車両５の右側ドアミラー６１に設けられる。このため、車載カメラ４２を右サイドカメラ４２とも呼ぶ。右サイドカメラ４２の光軸４２ａは上からの平面視で車両５の左右方向に沿って延びる。右サイドカメラ４２は車両５の右方向を撮影する。車載カメラ４４は車両５の左側ドアミラー６２に設けられる。このため、車載カメラ４４を左サイドカメラ４４とも呼ぶ。左サイドカメラ４４の光軸４４ａは上からの平面視で車両５の左右方向に沿って延びる。左サイドカメラ４４は車両５の左方向を撮影する。

なお、車両５がいわゆるドアミラーレス車である場合、右サイドカメラ４２は右サイドドアの回転軸（ヒンジ部）の周辺にドアミラーを介することなく設けられ、左サイドカメラ４４は左サイドドアの回転軸（ヒンジ部）の周辺にドアミラーを介することなく設けられる。

車載カメラ４１～４４のレンズとしては、例えば魚眼レンズが使用される。車載カメラ４１～４４は、それぞれの水平方向の画角θが１８０度以上であるため、車両５の水平方向における全周囲を撮影することができる。

図１に戻って、センサ部５１は、車載カメラ４１～４４が搭載される車両５に関する情報を検出する複数のセンサを有する。車両５に関する情報には、車両自体の情報と、車両周辺の情報とが含まれて良い。本実施形態では、センサ部５１は、例えば車両の速度を検出する車速度センサ、ステアリングの回転角を検出する舵角センサ、車両の変速装置のシフトレバーの操作位置を検出するシフトセンサ、車両周辺の照度を検出する照度センサ、車両の振動を検出する振動センサ、車両の傾きを検出する傾斜センサ、車両周辺の人や動物、車両、その他の物体を検出する障害物センサ等が含まれる。

障害物センサは、例えば超音波センサ、赤外線等を用いた光センサ、レーダなどを利用し、車両周辺の人や動物、車両、その他の物体を検出することができる。障害物センサは、例えば車両５のフロントバンパー、リアバンパー及びドアなどの複数箇所に埋設される。障害物センサは、送信波を車両周辺に向けて送信し、人や他の車両などで反射した反射波を受信することで、人や他の車両などの有無や方向、位置を検出する。

前照灯５２は車両５の前端に設けられる。前照灯５２は車両５の前方を照らす照明装置である。警音器５３は、いわゆるホーンであって、周囲に対して警笛音を発する。

＜２．携帯端末の構成＞
携帯端末１は、表示部１１、操作部１２、カメラ１３、音声入出力部１４、センサ部１５、制御部１６、記憶部１７及び通信部１８を含んで構成される。

表示部１１は、スマートフォンである携帯端末１の正面に配置される。表示部１１は、例えば画像処理装置２から出力された表示用画像を画面表示する。表示部１１は、例えば液晶表示パネルであって、操作部１２の一部であるタッチパネルをその表面に備える。

操作部１２は、例えば表示部１１の表面に設けられたタッチパネルと、その他の操作ボタン等を含む。操作部１２は、文字や数値などの入力、メニューやその他選択肢の選択、処理の実行、キャンセルなど、ユーザーが外部から情報を入力できる構成である。本実施形態では、操作部１２は車両５を操作するために用いられるタッチパネルである。なお、操作部１２は、タッチパネル等を利用したソフトウェアキーに限定されるわけではなく、物理的な入力装置として携帯端末１に設けられたハードウェアキーであっても良い。

カメラ１３は、スマートフォンである携帯端末１の正面及び背面に配置される。正面のカメラ１３は、携帯端末１の正面側の周囲を撮影する。背面のカメラ１３は、携帯端末１の背面側の周囲を撮影する。

音声入出力部１４は、例えばマイクロフォンと、スピーカとを含む。マイクロフォンは、ユーザーが発する音声を含む、携帯端末１の周囲の音声情報を取得する。スピーカは、外部に向けて報知音及び通信回線上の音声等を発する。

センサ部１５は、携帯端末１に関する情報を検出するセンサを有する。本実施形態では、センサ部１５は、例えば携帯端末の振動を検出する振動センサ、携帯端末の傾きを検出する傾斜センサ、携帯端末自体の位置情報を取得するＧＰＳ（Global Positioning System）センサ等が含まれる。振動センサは、携帯端末に対する衝撃を検知することもできる。振動センサ、傾斜センサとして、例えば加速度センサ、ジャイロセンサを併用し、携帯端末に係る振動、衝撃、傾斜それぞれを検出することもできる。また、センサ部１５は、携帯端末１のバイブレーション機能のための振動モータも備える。

衝撃について詳細に言えば、携帯端末１自体の加速度の変化に加えて、例えばセンサ部１５は、ユーザーが発した声や、手指等を鳴らした場合の音などの音声による衝撃（空気振動）も検出することができる。また、例えばセンサ部１５は、操作部１２に対する衝撃的なタッチ操作や、急激な押圧なども衝撃として検出することができる。また、例えばセンサ部１５は、操作部１２に対する複数回にわたる高速なタップ、ドラッグ、フリックなどの操作や、高速な往復移動を伴う操作なども衝撃として検出することができる。

特に、携帯端末１自体の加速度の変化及びユーザーが発した声の検出は、操作部分の確認や参照等の事前準備が必要ないので、特に素早い対応が可能となる。

制御部１６は、不図示のＣＰＵ（Central Processing Unit）、ＲＡＭ（Random Access Memory）、及びＲＯＭ（Read Only Memory）を含む、いわゆるマイコンである。制御部１６は、記憶部１７に記憶されたプログラムに基づいて情報の処理及び送受信を行う。制御部１６は、有線で表示部１１、操作部１２、カメラ１３、音声入出力部１４、センサ部１５、記憶部１７及び通信部１８に接続される。

制御部１６は、表示制御部１６１と、操作判別部１６２と、信号生成部１６３と、認証部１６４と、を備える。制御部１６が備えるこれらの各構成要素それぞれの機能は、プログラムに従ってＣＰＵが演算処理を行うことによって実現される。

表示制御部１６１は、表示部１１の表示内容を制御する。表示制御部１６１は、例えば携帯端末１の各種機能の実行及び設定に係る入力を受け付けるに際し、その機能に係る機能画像を表示部１１に表示させる。機能画像は、携帯端末１の各種機能に対応する画像であって、例えばアイコン、ボタン、ソフトキー、スライドバー、スライドスイッチ、チェックボックス、テキストボックスなどを含む。ユーザーは、表示部１１に表示された機能画像をタッチパネル（操作部１２）を介してタッチして選択することで、携帯端末１の各種機能の実行及び設定を行うことが可能になる。

操作判別部１６２は、タッチパネル（操作部１２）が出力した検出信号を受信し、その検出信号に基づきタッチパネルに対する操作内容を判別する。操作判別部１６２は、タッチパネルにおける位置情報に加えて、タップ、ドラッグ、フリックなどの操作を判別する。ドラッグ、フリックなどの移動を伴う操作である場合、その移動方向、移動量等についても判別する。

信号生成部１６３は、操作部１２に対する操作に基づく車両５の制御信号を生成する。生成された車両５の制御信号は、通信部１８を介して車両制御装置３に送信される。

認証部１６４は、操作部１２による車両５の操作が許可されているか否かを判別する。認証部１６４は、携帯端末１及びユーザーを特定するための固有情報に基づき車両５の操作の許可、不許可を判別する。携帯端末１の固有情報は、例えば予め設定されて記憶部１７に記憶されたＩＤや、電話番号、ＭＡＣアドレスなどが相当する。

記憶部１７は、例えばフラッシュメモリ等の不揮発性のメモリであり、各種の情報を記憶する。記憶部１７は、例えばファームウェアとしてのプログラム、制御部１６が各種機能を実行するための様々なデータなどを記憶する。

通信部１８は、例えば無線によって様々な外部機器と接続される。携帯端末１は、通信部１８を介して、車両５の画像処理装置２で生成された車両５の周辺領域を示す表示用画像（合成画像）や、センサ部５１で検出された各種情報（ステアリング舵角、シフト位置、車両速度、障害物情報等）を受信することが可能である。携帯端末１は、通信部１８を介して、操作部１２に対する操作に基づく車両５の制御信号を車両制御装置３に対して送信することが可能である。

＜３．画像処理装置の構成＞
画像処理装置２は、画像生成部２１、制御部２２、記憶部２３及び通信部２４を含んで構成される。

画像生成部２１は、撮影部４で撮影された撮影画像を処理して表示用画像を生成する。本実施形態では、画像生成部２１は、各種の画像処理が可能なハードウェア回路として構成される。本実施形態では、画像生成部２１は、車両５に搭載された車載カメラ４１～４４によって撮影された撮影画像に基づき、仮想視点から見た車両５の周辺を示す合成画像を生成する。さらに、画像生成部２１は、当該合成画像に基づき、携帯端末１で表示するための表示用画像を生成する。合成画像を生成する手法の詳細については後述する。

制御部２２は、不図示のＣＰＵ、ＲＡＭ、及びＲＯＭを含む、いわゆるマイコンである。制御部２２は、記憶部２３に記憶されたプログラムに基づいて情報の処理及び送受信を行う。制御部２２は、有線または無線で携帯端末１、車両制御装置３、撮影部４及びセンサ部５１に接続される。

制御部２２は、画像取得部２２１と、画像制御部２２２と、を備える。制御部２２が備えるこれらの各構成要素それぞれの機能は、プログラムに従ってＣＰＵが演算処理を行うことによって実現される。

画像取得部２２１は、車載カメラ４１～４４で撮影された撮影画像を取得する。本実施形態では、車載カメラ４１～４４の数は４つであり、画像取得部２２１は、車載カメラ４１～４４それぞれで撮影された撮影画像を取得する。

画像制御部２２２は、画像生成部２１によって実行される画像処理の制御を行う。例えば、画像制御部２２２は、画像生成部２１に対して、合成画像及び表示用画像を生成するために必要となる各種のパラメータ等の指示を行う。また、画像制御部２２２は、画像生成部２１によって生成された表示用画像を携帯端末１に対して出力する際の制御を行う。なお、この説明において、携帯端末１の表示部１１に表示される「合成画像の表示用画像」のことを、単に「合成画像」と呼ぶ場合がある。

記憶部２３は、例えばフラッシュメモリ等の不揮発性のメモリであり、各種の情報を記憶する。記憶部２３は、例えばファームウェアとしてのプログラム、画像生成部２１が合成画像及び表示用画像を生成するための各種のデータを記憶する。また、記憶部２３は、画像取得部２２１及び画像制御部２２２が処理を実行するために必要となる各種のデータを記憶する。

通信部２４は、例えば無線によって携帯端末１と接続される。画像処理装置２は、通信部２４を介して携帯端末１に、画像生成部２１で生成された表示用画像や、センサ部５１で検出された各種情報（ステアリング舵角、シフト位置、車両速度、障害物情報等）を出力することが可能である。

＜４．合成画像の生成＞
画像生成部２１が、仮想視点から見た車両５の周辺の様子を示す合成画像を生成する手法について説明する。図３は、車両５の周辺領域を示す合成画像ＣＰを生成する手法を説明するための図である。

フロントカメラ４１、右サイドカメラ４２、バックカメラ４３及び左サイドカメラ４４によって、車両５の前方、右側方、後方及び左側方それぞれを示す４つの撮影画像Ｐ４１～Ｐ４４が同時に取得される。これら４つの撮影画像Ｐ４１～Ｐ４４には、車両５の全周囲のデータが含まれる。画像生成部２１は、これら４つの撮影画像Ｐ４１～Ｐ４４を、画像取得部２２１を介して取得する。

画像生成部２１は、これら４つの撮影画像Ｐ４１～Ｐ４４に含まれるデータ（各画素の値）を、仮想的な三次元空間における立体的な曲面である投影面ＴＳに投影する。投影面ＴＳは、例えば略半球形状（お椀形状）をしており、その中心部（お椀の底部分）が車両５の位置として定められる。

投影面ＴＳでは、車両５の領域の外側の領域に、撮影画像のデータが投影される。撮影画像Ｐ４１～Ｐ４４に含まれる各画素の位置と、投影面ＴＳの各画素の位置とは予め対応関係が定められる。この対応関係を示すテーブルデータは、記憶部２３に記憶される。投影面ＴＳの各画素の値は、この対応関係と、撮影画像Ｐ４１～Ｐ４４に含まれる各画素の値とに基づいて決定できる。

次に、画像生成部２１は、画像制御部２２２の制御により、三次元空間に対して仮想視点ＶＰを設定する。仮想視点ＶＰは、視点位置と視線方向とで規定される。画像生成部２１は、任意の視点位置、且つ、任意の視線方向の仮想視点ＶＰを三次元空間に設定できる。画像生成部２１は、投影面ＴＳのうち、設定された仮想視点ＶＰから見た視野内に含まれる領域に投影されたデータを画像として切り出す。これにより、画像生成部２１は、任意の仮想視点ＶＰから見た合成画像を生成する。

例えば、図３に示すように、視点位置を車両５の直上、視線方向を直下とした仮想視点ＶＰａを想定した場合、車両５及び車両５の周辺を俯瞰する合成画像（俯瞰画像）ＣＰａを生成することができる。

なお、合成画像ＣＰａ中に示す車両５の像５ｐは、予めビットマップなどのデータとして用意され、記憶部２３に記憶される。合成画像の生成の際には、当該合成画像の仮想視点ＶＰの視点位置と視線方向とに応じた形状の車両５の像５ｐのデータが読み出されて、合成画像ＣＰａ中に含められる。

このようにして、画像生成部２１は、仮想の立体的な投影面ＴＳを用いることで、現実に近い臨場感のある合成画像ＣＰａを生成することができる。

また、車両５に搭載された複数の車載カメラ４１～４４それぞれで撮影された複数の撮影画像に基づき生成された、車両５の周辺領域を示す合成画像を用いて車両５の周辺領域を確認できる。これにより、ユーザーの位置から死角となる領域、例えばユーザーの位置から見て車両５によって遮蔽される車両５の反対側の領域なども確認することが可能である。

＜５．携帯端末による車両の遠隔操作の実施例＞
＜５－１．実施例１＞
携帯端末１は、画像処理装置２から出力される表示用画像（合成画像）を受信し、表示部１１に表示することができる。図４は、実施例１の合成画像ＣＰ１が表示された携帯端末１の模式図である。

図５は、実施例１の携帯端末１に表示された合成画像ＣＰ１の模式図である。図５に示すように、携帯端末１は、車両５を遠隔操作するにあたって、表示部１１に車両５の操作に係る機能画像であるアイコン等を表示する。すなわち、合成画像ＣＰ１には、操作部１２の像であるアイコン等が重畳される。操作部１２は、合成画像ＣＰ１の車両５の像５ｐの位置に応じて配置される。

詳細に言えば、表示部１１の画面には、合成画像ＣＰ１に重ねて、例えば前進に係るアイコン１２ａ、右斜め前方に係るアイコン１２ｂ、左斜め前方に係るアイコン１２ｃ、後退に係るアイコン１２ｄ、右斜め後方に係るアイコン１２ｅ、左斜め後方に係るアイコン１２ｆが表示される。これらの車両５の走行に係るアイコンは、例えば車両５の像５ｐの周囲の、各進行方向に対応する位置に配置される。なお、本実施例では、車両５の進行方向を示すアイコンを、例えば三角形形状で構成したが、矢印形状など他の形状で構成しても良い。

また、車両５の停止に係る「ＳＴＯＰ」と描かれたアイコン１２ｇが、車両５の像５ｐに重ねて配置される。また、合成画像ＣＰ１の外部には、車両５の遠隔操作を終了するためのアイコン１２ｈが表示される。

ユーザーはその手指で、これらのアイコンを任意に操作することができる。操作判別部１６２は、タッチパネル（操作部１２）の検出信号に基づきアイコンに対応する操作内容を判別する。信号生成部１６３は、アイコンに対応する操作内容に基づき車両５の制御信号を生成する。当該制御信号は、通信部１８を介して車両制御装置３に送信される。なお、車両５の走行に係る制御信号を送信する場合、走行速度及び走行距離のいずれかが一定にされる。例えば、走行速度が所定の低速度に設定され、また走行距離が所定の短距離に設定される。

例えば、ユーザーが車両５の前進に係るアイコン１２ａを１回押す（タップする）と、車両５は予め定められた所定距離（例えば１０ｃｍ）だけ前進する。また例えば、ユーザーが車両５の左斜め前方に係るアイコン１２ｃを１回押すと、車両５は左斜め前方に進むように所定角度だけステアリング角を変更する。このとき、ステアリング角を変更する度に、車両５の像５ｐの向きを変え、どの方向に曲がって行くのかを把握し易くしても良い。続いて、前進に係るアイコン１２ａを１回押すと、車両５は予め定められた所定距離だけ左斜め前方に進む。なお、タッチパネル（操作部１２）対するドラッグ、フリックなどの移動を伴う操作に基づき、車両５の移動方向、走行距離等を制御することにしても良い。

走行する車両５を途中で止めたい場合、車両５の停止に係る「ＳＴＯＰ」と描かれたアイコン１２ｇを押すと、車両５は停止する。なお、ユーザーが前進に係るアイコン１２ａ、または後退に係るアイコン１２ｄを押している期間だけ車両５が走行し、ユーザーがそれらのアイコンから手指を離すと車両５が停止する構成であっても良い。

なお、前述のように、操作部１２はハードウェアキーであっても良い。

遠隔操作中、車両周辺の人や動物、車両、その他の物体といった障害物は、センサ部５１によって検出される。センサ部５１が障害物を検出した場合、その検出信号が車両制御装置３に送信され、車両制御装置３は自動的に車両５を停車させる。

図６は、実施例１の車両遠隔操作に係る処理フローの例を示すフローチャートである。実施例１の携帯端末１による車両５の遠隔操作に係る処理について、図６の処理フローを参照しつつ説明する。

携帯端末１は、例えばユーザーによって操作され、遠隔操作開始の指示を操作部１２から受け付けることで、携帯端末１による車両５の遠隔操作に係る処理を開始する（図６の「開始」）。車両５の遠隔操作は、車両５が停止した状態で開始される。

次に、携帯端末１は、車両５の走行速度に関して、定速の制御信号を車両５の車両制御装置３に送信する（ステップＳ１０１）。これにより、当該フローに係る遠隔操作中の車両５の走行速度及び走行距離のいずれかが一定に設定される。

次に、携帯端末１は、合成画像ＣＰ１の生成に係る制御信号を車両５の画像処理装置２に送信する（ステップＳ１０２）。画像処理装置２では、車載カメラ４１～４４それぞれから車両５の周辺の、複数の画像が取得される。画像生成部２１では、車両５の周辺の、複数の画像に基づき、仮想視点から見た車両５の周辺領域を示す合成画像ＣＰ１が生成される。

次に、携帯端末１は、合成画像ＣＰ１を画像処理装置２から受信し、その合成画像ＣＰ１を表示部１１に表示する（ステップＳ１０３）。続いて、携帯端末１は、合成画像ＣＰ１に重ねて、表示部１１に車両５の操作に係る機能画像であるアイコン等（操作部１２）を表示する（ステップＳ１０４）。これにより、ユーザーはその手指で、遠隔操作用のアイコンを任意に操作することができる。

次に、携帯端末１は、センサ部１５が衝撃を検知したか否かを判別する（ステップＳ１０５）。携帯端末１に対する衝撃は、例えばセンサ部１５から取得した携帯端末１自体の加速度や周囲の音声、操作部１２に対する操作などの程度を表す検出信号に基づき判定される。

衝撃を検知した場合（ステップＳ１０５のＹｅｓ）、携帯端末１は、車両制御装置３に車両５の停止信号を送信する（ステップＳ１０６）。これにより、車両５が走行中である場合に、車両５の走行が停止される。車両５の停止信号は、例えば記憶部１７等に予め記憶される。

次に、携帯端末１は、操作部１２に対してユーザーの操作入力があったか否かを判別する（ステップＳ１０７）。操作部１２への操作入力がない場合（ステップＳ１０７のＮｏ）、ステップＳ１０３に戻って、携帯端末１は合成画像ＣＰ１の受信及び表示を継続する。

操作部１２への操作入力があった場合（ステップＳ１０７のＹｅｓ）、携帯端末１は、信号生成部１６３を用いて操作部１２に対する操作に基づき車両５の制御信号を生成し、当該制御信号を車両制御装置３に送信する（ステップＳ１０８）。これにより、ユーザーは車両５の遠隔操作を行うことができる。

次に、携帯端末１は、車両５の遠隔操作ＯＦＦの操作がユーザーによって行われたか否かを判別する（ステップＳ１０９）。ユーザーは、車両５の遠隔操作を終了するためのアイコン１２ｈを操作して、車両５の遠隔操作を終了することができる。遠隔操作ＯＦＦの操作がない場合（ステップＳ１０９のＮｏ）、ステップＳ１０３に戻って、携帯端末１は合成画像ＣＰ１の受信及び表示を継続する。

遠隔操作ＯＦＦの操作がなされた場合（ステップＳ１０９のＹｅｓ）、携帯端末１は、定速走行解除の制御信号を車両５の車両制御装置３に送信する（ステップＳ１１０）。これにより、当該フローに係る遠隔操作中に一定（所定の低速度）に設定された車両５の走行速度が解除される。そして、図６に示す処理フローが終了される。

上記のように、本実施例の車両遠隔操作装置である携帯端末１は、表示部１１に操作部１２の像を重畳した合成画像ＣＰ１を表示し、通信部１８を介して、操作部１２に対する操作に基づく制御信号を車両５に対して送信するとともに、センサ部１５が衝撃を検知した場合に、停止の制御信号を車両５に対して送信する。この構成によれば、ユーザーは、車両５を急いで停止させたい場合に、車両５の停止に係る「ＳＴＯＰ」と描かれたアイコン１２ｈを探す必要がなく、即座に車両５を停止させることができる。さらに、ユーザーが携帯端末１を落とした場合にも、落としたときの衝撃によって、即座に車両５を停止させることができる。すなわち、車両５の遠隔操作における利便性及び操作性を向上させることが可能である。

なお、衝撃を検知した場合に限らず、所定の操作とは異なる操作を検知した場合に、停止の制御信号を車両５に対して送信することにしても良い。これにより、所定の操作とは異なる様々な操作に基づき、車両５を停止させることができる。

また、携帯端末１は、車両５の走行に係る制御信号を送信する場合に、走行速度及び走行距離のいずれかを一定にする。この構成によれば、遠隔操作中、車両５の走行を所定の低速度に設定することができる。また、遠隔操作中、車両５の走行を所定の短距離に設定することができる。したがって、遠隔操作時の安全性が高まり、車両５の遠隔操作における利便性を向上させることが可能である。

＜５－２．実施例２＞
図７は、実施例２の車両遠隔操作に係る処理フローの例を示すフローチャートである。実施例２の携帯端末１による車両５の遠隔操作に係る処理について、図７を参照しつつ説明する。

携帯端末１は、例えばユーザーによって操作され、遠隔操作開始の指示を操作部１２から受け付けることで、携帯端末１による車両５の遠隔操作に係る処理を開始する（図７の「開始」）。車両５の遠隔操作は、車両５が停止した状態で開始される。

次に、携帯端末１は、携帯端末１自身の認証確認を実施する（ステップＳ２０１）。認証部１６４は、予め記憶部１７に記憶された携帯端末１を特定するための固有情報を参照する。

次に、携帯端末１は、自身が車両５の遠隔操作が可能な正当な端末であるか否かを判別する（ステップＳ２０２）。認証部１６４は、携帯端末１の固有情報に基づき、携帯端末１による車両５の操作が許可されているか否かを判別する。携帯端末１自体が車両５の遠隔操作に係る正当な端末ではない場合（ステップＳ２０２のＮｏ）、図７に示す処理フローが終了される。

携帯端末１自体が車両５の遠隔操作に係る正当な端末であると認証された場合（ステップＳ２０２のＹｅｓ）、携帯端末１は、運転免許証の確認を実施する（ステップＳ２０３）。この場合、認証部１６４が、カメラ１３で撮影されたユーザーの運転免許証に基づき免許を判別することにして良い。また、認証部１６４は、カメラ１３で撮影されたユーザーの顔と、運転免許証の顔写真とに基づき運転免許を判別することにしても良い。

次に、携帯端末１は、ユーザーが運転免許を所持しているか否かを判別する（ステップＳ２０４）。ユーザーが運転免許を所持していない場合（ステップＳ２０４のＮｏ）、図７に示す処理フローが終了される。

ユーザーが運転免許を所持していると判定された場合（ステップＳ２０４のＹｅｓ）、以下で、車両５の遠隔操作に係る詳細な処理が実施されるが、実施例１で説明した図６に示すステップＳ１０１～ステップＳ１１０と同じであるので説明を省略する（ステップＳ２０５）。

上記のように、本実施例の車両遠隔操作装置である携帯端末１は、当該携帯端末１自体による車両５の操作が許可されているか否かを判別する認証部１６４を備える。この構成によれば、携帯端末１において、車両５の操作に係る許可／不許可についての認証を行うことができる。したがって、正当な端末のみに車両５の操作を行わせることができ、遠隔操作の安全性が高まる。すなわち、車両５の遠隔操作における利便性を向上させることが可能である。

また、認証部１６４は、カメラ１３で撮影された運転免許証に基づき操作部１２に対するユーザーの操作を許可する。この構成によれば、ユーザーが運転免許を所持しているか否かを容易に判別することが可能になる。したがって、車両５の遠隔操作の安全性を向上させることができる。

また、認証部１６４は、カメラ１３で撮影されたユーザーの顔と、運転免許証の顔写真とに基づき運転免許を判別する。この構成によれば、ユーザーが運転免許証の所有者であるか否かを容易に判別することが可能になる。したがって、車両５の遠隔操作の安全性をより一層向上させることができる。

＜５－３．実施例３＞
図８は、実施例３の合成画像ＣＰ１及び操作部１２が表示された携帯端末１の模式図である。実施例３の携帯端末１は、表示部１１の画面に、合成画像ＣＰ１に重ねて、車両５の遠隔操作に係る複数のアイコンを操作部１２として表示する。

さらに、携帯端末１は、合成画像ＣＰ１の下方に、操作部１２の数値入力部１２１を配置する。数値入力部１２１は、方向指示アイコン１２１ａと、距離入力部１２１ｂと、角度入力部１２１ｃと、を有する。なお、合成画像ＣＰ１と、数値入力部１２１との上下の配置を入れ替えても良い。

方向指示アイコン１２１ａとしては、例えば車両５の前後左右の４方向を示す４つのアイコンが配置される。ユーザーは、車両５を移動させたい方向のアイコンを選択できる。距離入力部１２１ｂとしては、例えばテキストボックスが配置される。ユーザーは、車両５を移動させたい距離を数値入力することができる。角度入力部１２１ｃとしては、例えばテキストボックスが配置される。ユーザーは、車両５を移動させたい角度を数値入力することができる。なお、距離入力部１２１ｂ及び角度入力部１２１ｃは、予め定められた複数の数値を表示し、それら複数の数値の中から、ユーザーが任意に選択できるようにしても良い。

上記のように、本実施例の携帯端末１の操作部１２は、数値入力によって車両５に対する操作を受け付ける。この構成によれば、車両５の移動方向や移動距離、移動角度等を数値入力によって詳細に設定し、遠隔操作することができる。したがって、車両５に対してより細かい操作を実施することができ、車両５の遠隔操作における操作性を向上させることが可能である。

＜５－４．実施例４＞
図９は、実施例４の合成画像ＣＰ１及び操作部１２が表示された携帯端末１の模式図である。実施例４の携帯端末１は、表示部１１の画面に、合成画像ＣＰ１に重ねて、車両５の遠隔操作に係る複数のアイコンを操作部１２として表示する。

さらに、携帯端末１は、合成画像ＣＰ１の下方に、操作部１２の装備操作部１２２を配置する。装備操作部１２２は、前照灯スイッチ１２２ａと、警音器アイコン１２２ｂと、を有する。なお、合成画像ＣＰ１と、装備操作部１２２との上下の配置を入れ替えても良い。

前照灯スイッチ１２２ａとしては、例えばスライドスイッチが配置される。ユーザーは、スライドスイッチを操作することで、車両５の前照灯のＯＮ、ＯＦＦを切り替えることができる。警音器アイコン１２２ｂとしては、例えば警音器ＯＮを示すアイコンが配置される。警音器アイコン１２２ｂを押すと、車両５の警音器が作動し、外部に向けて警告音が発せられる。

上記のように、本実施例の携帯端末１の操作部１２は、車両５の前照灯に対する操作を受け付ける。この構成によれば、車両５の遠隔操作中に周囲が暗くなった場合に、周囲を明るくすることができる。したがって、車両５の遠隔操作における操作性を向上させることが可能である。さらに、遠隔操作時の安全性を高めることができる。

また、操作部１２は、車両５の警音器に対する操作を受け付ける。この構成によれば、車両５の遠隔操作中に、車両５に人や自転車、他の車両等が接近した場合に、それらに対して警告音を発することができる。したがって、遠隔操作時の安全性が高まり、車両５の遠隔操作における利便性を向上させることが可能である。

＜５－５．実施例５＞
図１０は、実施例５の合成画像ＣＰ１が表示された携帯端末１の模式図である。実施例５の携帯端末１は、表示部１１の画面に、合成画像ＣＰ１に重ねて、車両５の遠隔操作に係る複数のアイコンを操作部１２として表示する。

さらに、携帯端末１は、当該携帯端末１自体の傾きに基づき車両５のステアリング角を導出する。センサ部１５は、傾斜センサを用いて、携帯端末１自体の傾きを検知する。

図１０に示すように、例えば携帯端末１を上部が左方を向くように角度αで傾けた場合、携帯端末１は、角度αの程度に基づき車両５のステアリング角を導出する。さらに、携帯端末１を上部が前方を向くように傾けた場合に、車両５が走行を開始するようにしても良い。

本実施例の携帯端末１の構成によれば、ユーザーはハンドル操作を行うような感覚で、車両５を遠隔操作することができる。したがって、車両５の遠隔操作における利便性及び操作性を向上させることが可能である。

＜５－６．実施例６＞
図１１は、実施例６の車両５に対する遠隔操作方法を示す模式図（第１例）である。実施例６の携帯端末１は、ユーザーのジェスチャーに基づき操作を受け付ける操作モードを備える。携帯端末１は、カメラ１３によって、例えばユーザーの手Ｈなどで表現されるジェスチャーを撮影する。

操作判別部１６２は、カメラ１３で撮影されたユーザーのジェスチャーに基づき車両５に対する操作内容を判別する。操作内容を判別するための基準ジェスチャーは、操作内容と関連付けされて、画像として記憶部１７に予め記憶される。操作判別部１６２は、例えばパターンマッチング等の手法によって、遠隔操作時にカメラ１３で撮影されたユーザーのジェスチャーと、基準ジェスチャーとを比較し、操作内容を判別する。そして、信号生成部１６３は、当該ジェスチャーに係る車両５の操作に基づく制御信号を生成する。

なお、ユーザーのジェスチャーは車両５の車載カメラで撮影しても良い。図１２は、実施例６の車両５に対する遠隔操作方法を示す模式図（第２例）である。この場合、操作判別部１６２は、車載カメラ４１～４４で撮影されたユーザーＵ１のジェスチャーに基づき車両５に対する操作内容を判別する。

例えば、ユーザーＵ１は手指でＶサインなどを作って車載カメラに向かって示し、操作判別部１６２が当該車載カメラの撮影画像に含まれるＶサインに基づき車両５に対する操作内容を判別する。なお、例えば当該Ｖサインは、ユーザーＵ１のジェスチャーに基づき車両５の走行軌跡Ｖｔを指示する操作モードの開始の合図であることが予め記憶される。続いて、ユーザーＵ１が、実際の道路上で、車両５の走行軌跡Ｖｔをなぞって指示する。実際の道路上で車両５の走行軌跡Ｖｔをなぞる場合、路面から少し上方でも良いが、路面表面をなぞるほうが精度が向上する。

本実施例の携帯端末１の構成によれば、ユーザーは身振り手振りやハンドサインなどによって、車両５を遠隔操作することができる。したがって、車両５の遠隔操作における利便性及び操作性を向上させることが可能である。

＜５－７．実施例７＞
図１３は、実施例７の車両５に対する遠隔操作方法を示す模式図である。実施例７の携帯端末１は、ユーザーによる車両５の走行経路に係る操作を受け付ける操作モードを備える。

この操作モードにおける携帯端末１は、表示部１１の画面に、合成画像ＣＰ１を表示する。合成画像ＣＰ１は、ユーザーによる操作がし易いように、比較的大きめに表示されることが望ましい。車両５の遠隔操作に係るアイコンは、表示されないことが望ましい。

ユーザーは、車両５の像５ｐを起点として所望の終点まで、表示部１１の画面上をなぞって手指Ｆを移動させる。タッチパネルである操作部１２は、この手指Ｆの操作軌跡Ｆｔを車両５の走行経路として受け付ける。そして、信号生成部１６３は、操作軌跡Ｆｔに基づき車両５の走行経路に係る制御信号を生成する。

なお、操作軌跡Ｆｔを描くときの画像は、車載カメラの撮影画像であることが好ましい。車載カメラの撮影画像は、車両５に対する位置が決まっているので、車両５の走行経路の導出精度が向上する。また、操作軌跡Ｆｔを描くときの画像として、携帯端末１のカメラ１３の撮影画像を用いることもできる。例えば、携帯端末１の撮影画像の場合、操作軌跡Ｆｔに対応する実際の道路上の軌跡を携帯端末１のカメラ１３で撮影して道路（模様）の特徴を認識し、車載カメラの道路画像とマッチングをかけながら移動するという制御が行われる。

上記のように、本実施例の携帯端末１の操作部１２は、車両５の走行経路に係る操作軌跡Ｆｔを受け付ける。信号生成部１６３は、操作軌跡Ｆｔに基づき車両５の走行経路に係る制御信号を生成する。この構成によれば、アイコンや数値入力等を利用した細かい操作を行うことなく、車両５を所望の位置まで移動させることができる。したがって、車両５の遠隔操作における利便性及び操作性を向上させることが可能である。

なお、操作軌跡Ｆｔを描く速度に基づき車両５の走行速度を変更することにしても良い。例えば、操作軌跡Ｆｔを描くとき、ユーザーが手指Ｆを比較的ゆっくり移動させると、車両５の走行速度が所定の低速度よりもさらに低速になる。

さらに詳細に言えば、例えば操作軌跡Ｆｔの描画速度に対する倍率指定によって、車両５の走行速度が設定される。ユーザーは、車両５の実際の走行速度が、操作軌跡Ｆｔの描画速度に対して何倍であるかを適宜任意に設定することができる。例えば、表示部１１の画面上をなぞる操作軌跡Ｆｔの場合、表示画像（車両５、道路等の像）に対する描画速度の０．２倍が初期値として予め設定される。当該倍率指定は小さめの倍率であることが好ましい。

この構成によれば、操作軌跡Ｆｔを描く速度に基づき、容易に車両５の走行速度を任意に設定することができる。したがって、車両５の遠隔操作における利便性を向上させることが可能である。

また、操作軌跡Ｆｔの太さに基づき車両５の走行速度を変更することにしても良い。例えば、操作軌跡Ｆｔを描くとき、操作軌跡Ｆｔの太さを比較的細くする、すなわちユーザーが画面に対する手指Ｆの接触圧を弱くすると、車両５の走行速度が所定の低速度よりもさらに低速になる。この構成によれば、操作軌跡Ｆｔの太さに基づき、容易に車両５の走行速度を任意に設定することができる。したがって、車両５の遠隔操作における利便性を向上させることが可能である。

＜５－８．実施例８＞
図１４は、実施例８の車両５に対する遠隔操作方法を示す模式図である。実施例８の携帯端末１は、当該携帯端末１自体の移動軌跡に基づき車両５を操作する操作モードを備える。

この操作モードにおいて、ユーザーＵ１は、実際の車両５の近隣を起点として所望の終点まで、携帯端末１を所持したままで移動する。このとき、携帯端末１では、センサ部１５が、携帯端末１自体の位置情報を取得する。センサ部１５は、例えばＧＰＳを利用して、所定の時間間隔で携帯端末１の位置情報を逐次取得する。これにより、携帯端末１の移動軌跡１ｔを導出することができる。

信号生成部１６３は、携帯端末１の移動軌跡１ｔに基づき車両５の走行経路に係る制御信号を生成する。この場合、車両５の走行経路となる携帯端末１の移動軌跡１ｔを携帯端末１から指示している旨の信号が、携帯端末１から車両制御装置３に送信される。これにより、操作種別の認識精度が向上する。さらに例えば、携帯端末１の移動軌跡１ｔを携帯端末１から指示しているとき、表示部１１の画面を所定のパターンで点滅させる。これにより、携帯端末１から指示していることに係る識別性をより一層向上させることが可能である。

なお、車両５は、携帯端末１を所持するユーザーＵ１の移動に追随して走行するようにしても良い。また、車両５は、携帯端末１を所持するユーザーＵ１が所望の終点まで移動した後、ユーザーＵ１の指示に基づき走行を開始することにしても良い。

本実施例の携帯端末１の構成によれば、アイコンや数値入力、操作軌跡などによる表示部１１の画面を利用した操作を行うことなく、車両５を所望の位置まで移動させることができる。したがって、車両５の遠隔操作における利便性及び操作性を向上させることが可能である。

＜５－９．実施例９＞
図１５は、実施例９の車両遠隔操作に係る処理フローの例を示すフローチャートである。図１６は、実施例９における合成画像ＣＰ１が表示された携帯端末１の模式図（第１例）である。図１７は、実施例９における合成画像ＣＰ１が表示された携帯端末１の模式図（第２例）である。実施例９の携帯端末１による車両５の遠隔操作に係る処理について、図１５の処理フローを参照しつつ図１６及び図１７を用いて説明する。なお、実施例１で説明した図６の処理フロー及び実施例２で説明した図７の処理フローと共通する処理については、詳細な説明を省略する場合がある。

携帯端末１は、例えばユーザーによって操作され、遠隔操作開始の指示を操作部１２から受け付けることで、携帯端末１による車両５の遠隔操作に係る処理を開始する（図１５の「開始」）。車両５の遠隔操作は、車両５が停止した状態で開始される。

次に、携帯端末１は、車両５の走行速度に関して、定速の制御信号を車両５の車両制御装置３に送信する（ステップＳ３０１）。続いて、携帯端末１は、合成画像の生成に係る制御信号を車両５の画像処理装置２に送信する（ステップＳ３０２）。続いて、携帯端末１は、合成画像を画像処理装置２から受信し、その合成画像を表示部１１に表示する（ステップＳ３０３）。続いて、携帯端末１は、合成画像に重ねて、表示部１１に車両５の操作に係る機能画像であるアイコン等（操作部１２）を表示する（ステップＳ３０４）。

次に、車両５において、車両５及び車両５を遠隔操作するユーザーに対して外部から接近する人や動物、車両、その他の物体の確認がセンサ部５１または撮影部４を用いて実施され、それらの物体の接近を検出したか否かが判別される（ステップＳ３０５）。車両５では、例えば携帯端末１から合成画像の生成に係る制御信号等を受信するなどして、携帯端末１による遠隔操作の開始が確認されると、監視モードが起動され、車両５及びユーザーへの外部からの接近の監視が開始される。車両５及びユーザーの周辺の人や動物、車両、その他の物体の検出には、例えばセンサ部５１の超音波センサ、光センサ、レーダの検出信号、または車載カメラ４１～４４の撮影画像による画像認識に基づき判別される。

車両５及びユーザーに接近する物体の検出に関して、さらに詳細には、車両５は、物体が車両５及びユーザーから所定範囲内に進入することで、物体による車両５及びユーザーへの接触を予測する。車両５及びユーザーからの所定範囲としては、例えば車両５及びユーザーからの距離の応じた複数の範囲が設定される。車両５及びユーザーからの所定範囲は、例えば半径１０ｍ以内を第１範囲とし、半径７ｍ以内を第２範囲とし、半径５ｍ以内を第３範囲とし、半径３ｍ以内を第４範囲とするなど、任意に設定することができる。

車両５及びユーザーへの外部からの接近を検出した場合（ステップＳ３０５のＹｅｓ）、車両５及びユーザーに接近する物体が、車両５及びユーザーから第１範囲内であるか否かが判別される（ステップＳ３０６）。物体が、車両５及びユーザーから第１範囲内である場合（ステップＳ３０６のＹｅｓ）、携帯端末１の表示部１１に対する表示によって、物体の接近が報知される（ステップＳ３０７）。

例えば、図１６に示すように、携帯端末１の表示部１１には、車両５を遠隔操作するための合成画像ＣＰ１に並べて、物体の接近を報知するための警告画像ＷＰ１が表示される。警告画像ＷＰ１は、例えば合成画像ＣＰ１と同様に、車載カメラ４１～４４で撮影された撮影画像に基づく俯瞰画像で構成される。警告画像ＷＰ１には、例えば携帯端末１で遠隔操作される車両５の像と、携帯端末１を所持するユーザーＵ１の像と、車両５の後方から車両５及びユーザーＵ１に接近する物体Ｔｒ１の像と、が含まれる。さらに、表示部１１には、後方から車両５及びユーザーＵ１に接近する物体Ｔｒ１が存在することを示すテキストＴｘ１が表示される。

また例えば、図１７に示すように、携帯端末１の表示部１１には、車両５を遠隔操作するための合成画像ＣＰ１に並べて、物体の接近を報知するための警告画像ＷＰ２が表示される。警告画像ＷＰ２は、例えば携帯端末１のカメラ１３で撮影された撮影画像で構成される。警告画像ＷＰ２には、例えば携帯端末１を所持するユーザーＵ１の像と、ユーザーＵ１の後方から車両５及びユーザーＵ１に接近する物体Ｔｒ１の像と、が含まれる。さらに、表示部１１には、後方から車両５及びユーザーＵ１に接近する物体Ｔｒ１が存在することを示すテキストＴｘ１が表示される。

なお、合成画像ＣＰ１と、警告画像ＷＰ１、ＷＰ２の上下の配置を入れ替えても良い。

次に、車両５及びユーザーに接近する物体が、車両５及びユーザーから第２範囲内であるか否かが判別される（ステップＳ３０８）。物体が、車両５及びユーザーから第２範囲内である場合（ステップＳ３０８のＹｅｓ）、携帯端末１のバイブレーション機能による振動によって、物体の接近が報知される（ステップＳ３０９）。

次に、車両５及びユーザーに接近する物体が、車両５及びユーザーから第３範囲内であるか否かが判別される（ステップＳ３１０）。物体が、車両５及びユーザーから第３範囲内である場合（ステップＳ３１０のＹｅｓ）、携帯端末１から警告音を発することによって、物体の接近が報知される（ステップＳ３１１）。携帯端末１では、音声入出力部１４のスピーカから警告音が発せられる。

次に、車両５及びユーザーに接近する物体が、車両５及びユーザーから第４範囲内であるか否かが判別される（ステップＳ３１２）。物体が、車両５及びユーザーから第４範囲内である場合（ステップＳ３１２のＹｅｓ）、車両５から警告音を発することによって、物体の接近が報知される（ステップＳ３１３）。車両５では、警音器が作動し、外部に向けて警告音が発せられる。

なお、携帯端末１のカメラ１３を利用した警告画像ＷＰ２では、物体との距離が近づくほど画像の解像度が高められる。これにより、より精細に物体の接近を認識することが可能である。

次に、携帯端末１は、操作部１２に対してユーザーの操作入力があったか否かを判別する（ステップＳ３１４）。以下、実施例１で説明した図６に示すステップＳ１０８～ステップＳ１１０と同じであるので説明を省略する（ステップＳ３１５～ステップＳ３１７）。

本実施例の携帯端末１の構成によれば、車両５及びユーザーに接近する物体の存在を、車両５を遠隔操作するユーザーに対して報知することができる。したがって、遠隔操作時の安全性が高まり、車両５の遠隔操作における利便性を向上させることが可能である。

そして、物体の、車両５及びユーザーからの距離の応じて段階的に、ユーザーに対する報知方法を切り替えることができる。報知方法としては、例えば表示、振動、音を利用することができる。これにより、ユーザーは感覚的に、物体の接近距離を把握することができる。物体の接近を知らせるための表示としては、テキスト表示のほか、車両５の撮影部４による撮影画像と、携帯端末１のカメラ１３の撮影画像とを利用することができる。したがって、車両５の遠隔操作における利便性をより一層向上させることが可能である。

＜６．その他＞
本明細書中に開示されている種々の技術的特徴は、上記実施形態のほか、その技術的創作の主旨を逸脱しない範囲で種々の変更を加えることが可能である。すなわち、上記実施形態は全ての点で例示であって、制限的なものではないと考えられるべきである。本発明の技術的範囲は上記実施形態の説明ではなく、特許請求の範囲によって示されるものであり、特許請求の範囲と均等の意味及び範囲内に属する全ての変更が含まれると理解されるべきである。また、上記の複数の実施形態、実施例及び変形例は可能な範囲で組み合わせて実施しても良い。

また、上記実施形態では、プログラムに従ったＣＰＵの演算処理によってソフトウェア的に各種の機能が実現されていると説明したが、これらの機能のうちの一部は電気的なハードウェア回路によって実現されても良い。また逆に、ハードウェア回路によって実現されるとした機能のうちの一部は、ソフトウェア的に実現されても良い。

１携帯端末（車両遠隔操作装置）
１ｔ移動軌跡
２画像処理装置
３車両制御装置
４撮影部
５車両
５ｐ像
１１表示部
１２操作部
１３カメラ
１４音声入出力部
１５センサ部
１６制御部
１７記憶部
１８通信部
４１、４２、４３、４４車載カメラ
５２前照灯
５３警音器
１２１数値入力部
１２２装備操作部
１６１表示制御部
１６２操作判別部
１６３信号生成部
１６４認証部
ＣＰ１合成画像
Ｆｔ操作軌跡
ＲＳ車両遠隔操作システム

Claims

車両に搭載された複数の車載カメラそれぞれで撮影された複数の撮影画像に基づき生成された、仮想視点から見た前記車両の周辺領域を示す合成画像を受信する通信部と、
前記合成画像を表示する表示部と、
前記車両を操作するための操作部と、
前記操作部に対する操作に基づく前記車両の制御信号を生成する信号生成部と、
衝撃を検知するセンサ部と、を備え、
前記通信部を介して、前記制御信号を前記車両に対して送信するとともに、前記センサ部が衝撃を検知した場合に、停止の前記制御信号を前記車両に対して送信し、
前記操作部は、前記車両の走行経路に係る操作軌跡を受け付け、
前記信号生成部は、前記操作軌跡に基づき前記車両の走行経路に係る前記制御信号を生成し、
前記操作軌跡の太さに基づき前記車両の走行速度を変更する車両遠隔操作装置。
前記車両の走行に係る前記制御信号を送信する場合に、走行速度及び走行距離のいずれかを一定にする請求項１に記載の車両遠隔操作装置。
当該車両遠隔操作装置による前記車両の操作が許可されているか否かを判別する認証部を備える請求項１または請求項２に記載の車両遠隔操作装置。
当該車両遠隔操作装置自体の周囲を撮影するカメラを備え、
前記認証部は、前記カメラで撮影された運転免許証に基づき前記操作部に対するユーザーの操作を許可する請求項３に記載の車両遠隔操作装置。
前記認証部は、前記カメラで撮影されたユーザーの顔と、前記運転免許証の顔写真とに基づき運転免許を判別する請求項４に記載の車両遠隔操作装置。
前記操作部は、数値入力によって前記車両に対する操作を受け付ける請求項１から請求項５のいずれかに記載の車両遠隔操作装置。
前記センサ部は、当該車両遠隔操作装置自体の傾きを検知し、
前記傾きに基づき前記車両のステアリング角を導出する請求項１から請求項６のいずれかに記載の車両遠隔操作装置。
当該車両遠隔操作装置自体の周囲を撮影するカメラと、
前記カメラまたは前記車載カメラで撮影されたユーザーのジェスチャーに基づき前記車両に対する操作内容を判別する操作判別部と、を備え、
前記信号生成部は、前記ジェスチャーに係る前記車両の操作に基づく前記制御信号を生成する請求項１から請求項７のいずれかに記載の車両遠隔操作装置。
前記センサ部は、当該車両遠隔操作装置自体の位置情報を取得し、
前記信号生成部は、当該車両遠隔操作装置の移動軌跡に基づき前記車両の走行経路に係る前記制御信号を生成する請求項１から請求項８のいずれかに記載の車両遠隔操作装置。
請求項１から請求項９のいずれかに記載の車両遠隔操作装置と、
前記車両に搭載された複数の前記車載カメラそれぞれで撮影された複数の撮影画像に基づき仮想視点から見た前記車両の周辺領域を示す前記合成画像を生成するとともに、前記合成画像を前記車両遠隔操作装置に送信する画像処理装置と、
前記車両の制御信号を前記車両遠隔操作装置から受信するとともに、前記制御信号に基づき前記車両を制御する車両制御装置と、を備える車両遠隔操作システム。
車両に搭載された複数の車載カメラそれぞれで撮影された複数の撮影画像に基づき生成された、仮想視点から見た前記車両の周辺領域を示す合成画像を受信する工程と、
前記合成画像を表示部に表示する工程と、
前記車両に対する操作を受け付ける工程と、
前記操作に基づく前記車両の制御信号を生成する工程と、
前記制御信号を前記車両に対して送信する工程と、を含み、
衝撃を検知した場合に、停止の前記制御信号を前記車両に対して送信し、
前記車両に対する操作を受け付ける工程で前記車両の走行経路に係る操作軌跡を受け付け、
前記制御信号を生成する工程では、前記操作軌跡に基づき前記車両の走行経路に係る前記制御信号を生成し、
前記操作軌跡の太さに基づき前記車両の走行速度を変更する車両遠隔操作方法。