JP6816684B2 - 携帯端末、遠隔操作方法 - Google Patents

Description

本発明は、車両の使用者によって搭載された携帯端末を用いて、車両を遠隔操作する技術に関する。

車両の外部からリモコン装置を用いて車両を操縦することによって、車両を出庫させたり駐車させたりする技術が提案されている。また、今日ではスマートフォンなどの携帯端末が普及していることから、携帯端末のタッチパネル上に表示した前進／後退ボタンや、操舵ボタンを操作することによって、車両を外部から操縦可能とする技術も提案されている。
もっとも、こうして車両を外部から遠隔操作する場合も、通常の運転操作の場合と同様に、車両の使用者は車両を安全に操作する義務を負うと考えられる。従って、車両の使用者は車両の状況や車両の周囲の状況を十分に把握する必要があり、そのためには（遠隔操作とは言っても）使用者が車両の周辺に居る状態で車両を操作することが望ましい。

そこで、車両の使用者が携帯している電子キーを検出することによって、車両の周辺に使用者が存在することを確認する技術が提案されている（特許文献１）。この提案の技術では、車両が周辺に存在する電子キーを探索して、電子キーが見つかったらその電子キーが正規の電子キーであるか否かを認証する。その結果、正規の電子キーであった場合は、車両の使用者が周辺に存在するものと判断して、車両が外部からの遠隔操作を受け付けるようになっている。

特開２０１６−０９７９２７号公報

しかし、提案されている技術では、電子キーで認証を行うことから、車両の使用者は、携帯端末を用いて車両を遠隔操作するにも拘わらず、携帯端末に加えて電子キーも携帯することが必要である。
もちろん、電子キーの代わりに携帯端末を検出することによって、車両の使用者が周辺に存在することを確認できれば、こうした問題は生じないが、実際には、携帯端末の電波は人体の影響によって、車両に到達したときの電波強度が大きく変動するため、車両の周辺に携帯端末が存在するか否かを正しく判断することは困難である。
その結果、車両を遠隔操作しようとすると、車両の使用者は、遠隔操作するための携帯端末に加えて、電子キーも携帯する必要があるという問題が生じていた。

この発明は、従来技術が有する上述した課題に鑑みてなされたものであり、車両の使用者が電子キーを携帯していなくても、携帯端末を用いて車両を遠隔操作で移動させることが可能な技術の提供を目的とする。

上述した問題を解決するために本発明の携帯端末および遠隔操作方法は、携帯端末を用いて車両を撮影して、得られた撮影画像を表示すると共に、撮影画像の中から車両を検出して、その車両までの距離に関する距離情報を取得する。更に、携帯端末には、使用者が撮影画像の表示を確認しながら操作可能な操作部が設けられており、その操作部に対する操作内容を検出する。そして、車両までの距離が許容距離以内であると判断された場合には、携帯端末から車両に向けて操作信号を送信する。但し、車両に向けて操作信号を送信した後であっても、撮影画像から車両が検出できなくなった場合には、車両が許容距離以内で検出されるまで、操作内容に応じた操作信号の送信を停止する。

携帯端末から車両までの距離が許容距離よりも遠かった場合には、携帯端末から車両に向けて操作信号が送信されることはないから、車両が携帯端末からの操作信号を受信したと云うことは、携帯端末が車両から許容距離以内に存在することに他ならない。加えて、携帯端末から車両までの許容距離を、撮影画像に基づいて取得しているので、電波強度などに基づいて取得する場合に比べて、外乱などの影響を受け難く、このため、携帯端末が車両から許容距離以内に存在するか否かを、高い信頼性で判断することができる。その結果、車両の使用者が電子キーを携帯していなくても、車両を遠隔操作するための携帯端末を携帯していれば、許容距離よりも遠くから車両が遠隔操作される事態を回避することが可能となる。加えて、遠隔操作は、使用者が撮影画像の表示を確認しながら操作可能に儲けられた操作部を用いて行われるようになっており、遠隔操作が開始された後であっても、撮影画像から車両が検出できなくなった場合には、車両が許容距離以内で検出されるまで、遠隔操作が停止されるので、車両を安全に遠隔操作することが可能となる。

本実施例の携帯端末で車両を遠隔操作で移動させる状況を説明する図である。 携帯端末の大まかな内部構造を説明する図である。 車両を遠隔操作する際の携帯端末の画面表示例を説明する図である。 遠隔操作が禁止される状況の一例を説明する図である。 車両遠隔操作処理の開始可否判断段階におけるフローチャートである。 車両遠隔操作処理の操作実行段階におけるフローチャートである。 他の実施例の携帯端末の大まかな内部構造を説明する図である。 図７の内部構造の場合の開始可否判断段階におけるフローチャートである。 更に他の実施例の画面表示例を説明する図である。

以下では、上述した本願発明の内容を明確にするために実施例について説明する。

Ａ．システムの概要 ：
図１には、車両１を駐車するために、区画された複数の駐車枠のうちの１つの駐車枠３に向かって移動中の様子を上方から見た状態で示している。車両１の使用者２は、車外に出て車両１の周辺にいて、携帯端末１００で車両１を遠隔操作している。車両１は、使用者２の遠隔操作によって、左旋回しつつ後退させられることにより、仮想線１で示す位置まで移動させられて駐車枠３内に駐車させられる。このように、携帯端末１００を用いて車両１を遠隔操作することが可能となっているが、車両１の使用者２が車両１から遠く離れて遠隔操作することは、車両１周辺の状況を十分に確認できないため危険である。そこで、本実施例の携帯端末１００では、車両１の周辺にあるときは、これを操作できるが、車両１から遠くにあるときには、操作できないようになっている。

Ｂ．装置構成 ：
図２には、本実施例の携帯端末１００の大まかな内部構造を示している。図示のように、携帯端末１００は、撮影部１０１と、画像取得部１０２と、画像表示部１０３と、表示装置１０４と、正規車両判断部１０５と、車両識別情報記憶部１０６と、距離情報取得部１０７と、車両寸法情報記憶部１０８と、判断部１０９と、操作信号送信部１１０と、操作内容検出部１１１と、操作部１１２と、受信部１１３と、認証番号送信部１１４と、アンテナ１１５とを備えている。
なお、携帯端末１００の各「部」は、車両１を遠隔操作するに際して必要とされる機能に着目して、便宜的に携帯端末１００の内部を分類したものに過ぎず、携帯端末１００が物理的に区分されていることを表すものではない。したがって、各「部」は、ＣＰＵで実行されるコンピュータープログラムとして実現することもできるし、ＬＳＩを含む電子回路として実現することもできるし、更にはこれらの組合せとして実現することもできる。

撮影部１０１は、携帯端末１００の例えば背面に設けられたＣＣＤカメラやＣＭＯＳカメラなどを備えており、車両１を遠隔操作するに際して、その遠隔操作の期間内は連続的に撮影を実行する。画像取得部１０２は、撮影部１０１に接続されており、撮影部１０１で撮影された画像を一定周期で取得する。そして、取得した撮影画像を画像表示部１０３に逐次出力すると共に、正規車両判断部１０５および距離情報取得部１０７に対して必要の都度、例えばこれらからのデータ要求があったときに、出力する。

画像表示部１０３は、画像取得部１０２から受け取った撮影画像を携帯端末１００の例えば前面に設けられた表示装置１０４に逐次出力する。これにより、表示装置１０４には、常に最新の撮影画像が表示される。表示装置１０４は、ＬＣＤ、有機ＥＬ等の薄型パネルを備えたもので、前面の略全体に亘る広い範囲に設けられている。表示装置１０４は、感圧式或いは静電式等の適宜の方式によるタッチパネルとなっており、表示されるアイコンをタッチ操作することによって種々の入力や操作の指示ができるようになっている。車両１の使用者２は、遠隔操作の間、この表示装置１０４に表示される車両１を確認しつつ操作を行い、撮影部１０１で車両１を捉えられるように携帯端末１００の向きを随時調節することになる。

正規車両判断部１０５は、画像取得部１０２から受け取った撮影画像を解析して、その撮影画像から車両画像を抽出し、更に、その車両画像から車両識別情報を抽出して、車両識別情報記憶部１０６に予め記憶された車両１の識別情報と対比することにより、携帯端末１００で撮影されている車両がその携帯端末１００で遠隔操作の対象とする車両１すなわち正規車両か否かを判断する。車両判断結果は、判断部１０９に出力される。ここで、車両識別情報は、例えば、車両１のナンバープレート記載事項、車両の形状、色などが挙げられる。原則的にはナンバープレート記載事項が一致することを以て正規車両と判断するが、例えば、これに代えて車両の形状および色で判断するようにしてもよい。車両１の使用者２と車両１との位置関係次第で、撮影画像にナンバープレートが写らない場合や、写っていても記載事項を明瞭に読み取ることができない状況では、車両の形状と色に基づいて正規車両か否かを判断することが有効である。また、一層確実に正規車両か否かを判断することを目的として、ナンバープレート記載事項に加えて、車両の形状および色の一致も条件とすることもできる。なお、上記車両識別情報記憶部１０６は、例えば、遠隔操作をするに先立って、車両１の使用者２が携帯端末１００を操作して入力し、或いは、他の機器から携帯端末１００に向けて送信された情報を記憶する。

距離情報取得部１０７は、車両寸法情報記憶部１０８に予め記憶された車両１の全長や横幅等に関する寸法情報を参照しつつ画像取得部１０２から受け取った撮影画像を解析し、携帯端末１００から車両１までの距離に関する距離情報を取得する。取得した距離情報は、判断部１０９に出力される。画像中の車両の大きさは撮影距離に応じたものとなるため、その画像中の車両寸法を、予め記憶された車両寸法と比較することにより、車両１までの距離を得ることができる。距離情報は、このようにして得られる距離に限られず、予め定められた基準値との大小関係に関する情報でもよい。例えば、車両寸法の基準値を設定しておき、画像中から取得した車両寸法をこれと比較して、基準値以上である場合は大、それよりも小さい場合は小として記憶する。すなわち、撮影画像中の車両１の大きさに基づいて距離情報を取得することもできる。上記車両寸法の基準値は、例えば、携帯端末１００から車両１までの距離が、遠隔操作を行っても安全と判断できる許容距離であるときの画像中の車両寸法に定められる。
なお、上記車両寸法情報記憶部１０８は、例えば、遠隔操作をするに先立って、車両１の使用者２が携帯端末１００を操作して入力し、或いは、他の機器から携帯端末１００に向けて送信された車両１に関する寸法情報を記憶する。また、上記許容距離は、遠隔操作を行っても安全と判断できる距離であり、例えば、数ｍ〜数十ｍ程度に設定される。
また、車両寸法の基準値は、操作対象の車両１の実際の寸法に代えて、例えば５ｍ程度の汎用的な寸法を設定しておき、車両寸法の入力を省略することもできる。このような汎用寸法を基準とする場合には、携帯端末１００と車両１との距離を検出する際に、実際の車両寸法との相違に応じた誤差が生じ得るため、その誤差を考慮して許容距離を設定すればよい。

判断部１０９は、正規車両判断部１０５から受け取った正規車両か否かの車両判断結果と、距離情報取得部１０７から受け取った距離情報とに基づき、遠隔操作信号を車両１に向けて送信するか否かを判断する。車両判断結果が正規車両の判断である場合には、距離情報に基づき、携帯端末１００から車両１までの距離が許容距離以内であるか否かが判断され、許容距離以内であれば、操作信号送信部１１０に対して送信を許容する指示が出力される。この判断は、距離情報が画像中の車両寸法から導き出した距離であるときは、これが許容距離以下であるときに肯定され、距離情報が車両寸法の大小関係であるときは、「大」すなわち基準値以上であるときに肯定される。しかしながら、車両判断結果が正規車両ではない場合、或いは、距離が許容距離以内ではないと判断された場合には、遠隔操作を許容すべきではないので、送信を許容する指示は出力されず、または、送信を禁止する指示が出力される。なお、判断部１０９による判断は、上記とは反対に、許容距離以内であるか否かの判断を先に実行し、許容距離以内と判断された場合に正規車両か否かの判断を実行するようにしてもよい。

操作内容検出部１１１は、操作ボタン等による操作部１１２で操作された操作内容を検出し、その操作内容に従った操作信号を生成して操作信号送信部１１０に出力する。操作部１１２は、図示の操作ボタンの他、タッチパネルとなっている表示装置１０４等を備えており、上記操作内容にはタッチパネルを用いて行われた操作も含まれる。操作信号送信部１１０は、判断部１０９から送信許容指示を受け取っていれば、操作内容検出部１１１から受け取った操作信号を出力する。出力された操作信号は、アンテナ１１５から車両１に向けて送信される。送信許容指示がない場合は、操作信号は送信されない。

受信部１１３は、車両１から送信された信号をアンテナ１１５を通して受信する。車両１から認証要求信号を受信すると、これを認証信号送信部１１４に出力する。認証信号送信部１１４は、認証要求信号を受け取ると、予め記憶されている認証信号を車両１に向けて送信する。車両１は、一定周期で認証要求信号を送信し、周囲に存在する携帯端末１００を探索している。車両１の使用者２が携帯端末１００を所持して車両１に近づくと、車両１からの電波が到達する範囲内に入ったときに、携帯端末１００が認証要求信号を受信することにより、いわゆるパッシブ方式で車両１との間の認証処理が自動的に行われることになる。

図３には、携帯端末１００を用いた車両１の遠隔操作の実施状況をその表示装置１０４の表示例と併せて示している。携帯端末１００の前方に操作対象の車両１があり、奥の方に並ぶ他の２台の車両の間に駐車させる操作を行っている。携帯端末１００には、前記表示装置１０４と、前記操作部１１２の構成要素として、複数個、例えば４個の操作ボタン１２０ａ、１２０ｂ、１２０ｃ、１２０ｄとが備えられている。このように操作部１１２は、表示装置１０４と同一面上に備えられており、その表示装置１０４の表示を確認しながら操作可能となっている。図３には、携帯端末１００で遠隔操作アプリケーションを起動して操作中の状況を示しており、表示装置１０４には、アプリケーションの操作画面が表示されている。操作画面には、各ボタン１２０の上の位置に、左から順に「左」、「前」、「後」、「右」の文字が表示されている。これらは操作ボタン１２０ａ〜１２０ｄのそれぞれに対応づけられたアプリケーションの機能を表したもので、操作ボタン１２０ａでは車両１を左方に操舵し、操作ボタン１２０ｂでは車両１を前進させ、操作ボタン１２０ｃでは車両１を後退させ、操作ボタン１２０ｄでは車両１を右方に操舵することができる。各操作は、例えば、操作ボタン１２０を押している間に実行される。

上記の操作画面の上部には距離表示部１２２が配置されている。距離表示部１２２は、左端および右端にそれぞれ表示された「近」、「遠」の文字と、「近」の文字が表示された位置から、「遠」の文字に向かって、途中の位置までに表示された幅広の許容距離バーと、その許容距離バーと「遠」との間に表示された破線と、その破線の下に表示された「圏外」の文字とを備えている。また、許容距離バーには黒塗りの三角印（以下では、黒三角印と称する）が表示されている。この距離表示部１２２は、携帯端末１００から車両１までの現在距離を表示すると共に、現在距離が許容範囲であるか否かを示すためのものである。黒塗りの三角印が現在距離を表しており、許容距離バーが、遠隔操作が許容される距離の範囲を、破線が許容距離を越えている範囲を表している。黒三角印が「近」側に位置するほど車両１までの距離が近く、反対に「遠」側に位置するほど車両１までの距離が遠いことになる。車両１の使用者２は、黒三角印が許容距離バー上にあれば、車両１までの距離が許容距離以内であって、遠隔操作が可能であることを、破線上にあれば、許容距離を越えており、遠隔操作ができないことを視認することができる。
また、操作画面の右下部には、操作終了ボタン１２４が表示されている。車両１の使用者２は、この操作終了ボタン１２４をタップすることにより、遠隔操作終了指示を車両１に送信し、遠隔操作を終了させる。

また、操作画面の中央付近には、車両１が表示されている。遠隔操作は、このように車両１が操作画面に表示されているときに可能となっている。車両１の使用者２は、携帯端末１００で車両１を撮影しつつ、操作ボタン１２０ａ〜１２０ｄを押し下げ操作することにより、車両１に対して前進、後退、左操舵、右操舵の各操作指示を送信し、目標とする駐車位置まで車両１を移動させる。このように、遠隔操作は車両１が操作画面内に表示され且つ許容距離以下にあるときに、操作画面および実際の車両１の双方を視認しながら行われることから、車両１の使用者２が車両１の周辺状況を確認しながら安全に遠隔操作をすることができる。なお、操作画面に表示された「前」、「後」、「左」、「右」は、例えば、車両１の通常の運行における操作方向と同一であるが、例えば、「左」、「右」は、画面上の左右に合わせて、通常とは反対に設定することもできる。

なお、相反する操作方向である「前」、「後」、或いは、「左」、「右」に対応する操作ボタン１２０は相互に排他的に設定されており、共に押されても、車両１に対して前進、後退の両方の操作信号や、左操舵、右操舵の両方の操作信号が送信されることはない。排他的な２つの操作ボタン１２０が共に押されている場合には、先に押された一方に対応する操作信号を車両１に送信して、後から押された操作は無視し、或いは、信号送信を中止して操作画面に同時に操作できない旨の警告を表示すること等ができる。
一方、「前」、「後」の何れか一方と、「左」、「右」の何れか一方とは、共に押されている状態が許容される。共に押されたときには、車両１は、車輪の向きを変化させつつ前進或いは後退することになる。すなわち、「前」或いは「後」と、「左」或いは「右」とが押されている間は、車両１は旋回半径が変化しつつ前後進することになる。これに対して、「左」、「右」の何れかが単独で押された場合は、車両１の停止状態で車輪の向きを変えるいわゆる「据え切り」が行われることになる。

また、表示装置１０４の操作画面の左下部には、自動駐車ボタン１２３が設けられている。この自動駐車ボタン１２３は、車両１が自動運転機能を搭載している場合に表示されて選択可能となる。車両1の使用者２が、自動駐車ボタン１２３をタップすると、車両１は図示しない車載カメラを用いて周囲の画像を撮影し、得られた画像を解析することによって駐車枠３を認識する。そして、図示しないソナーやレーダーを用いて、車両１の周囲に存在する障害物を認識しながら、ハンドル操作や、ブレーキ操作、アクセル操作を自動で行うことによって、自動的に駐車枠３内に駐車する。
車両１が自動で駐車する機能を有している場合でも、車両１の使用者２には、車両１が安全に駐車できるように注意を払う責任が課せられている。そこで、車両１の使用者２は、自動駐車ボタン１２３をタップして自動駐車を開始した後も、携帯端末１００の表示装置１０４に写った車両１の画像から、車両１が自動駐車する様子や、車両１の周囲の状況を確認することが可能となっている。もちろん、距離表示部１２２の表示から、車両１までの距離についても容易に把握することができる。そして、何らの支障や危険などを感じた場合には、操作終了ボタン１２４をタップすることによって、車両１を停止させ、自動駐車を解除することができる。こうすることによって、車両１の使用者２が、車両１の運転席に座って運転する場合と同等以上に、安全に車両１を駐車させることが可能となる。
あるいは、所有者２が自動駐車ボタン１２３を押している間は、車両１が自動で駐車する機能を用いて駐車枠３内に向かって移動するが、所有者２が自動駐車ボタン１２３から指を離すと、車両１が自動で駐車する機能を中止して、その場で停止するようにしても良い。このようにすれば、車両１が自動で駐車する機能を用いている場合でも、安全を確保することが可能となる。

尚、本実施例の携帯端末１００では、図３に例示したように、各操作ボタン１２０が携帯端末１００のハードウェアによって実現されている。しかし、これら操作ボタン１２０の一部または全部を携帯端末１００の表示装置１０４に表示することによって、ソフトウェアによって実現してもよい。例えば、実装されている操作ボタン１２０の個数が３個以下の携帯端末を遠隔操作に利用する場合には、ソフトウェア的に実装することが有効である。

図４には、遠隔操作が禁止される状況における表示装置１０４の表示の一例を示している。この表示例では、車両１の全体が表示装置１０４の表示面に納まっておらず、一部が左側に出ている。本実施例では、例えば、表示装置１０４の表示面に車両１の全体が納まっているときに、遠隔操作対象の車両１が撮影されている状態であると判断し、その場合に正規車両か否かの判断や、許容距離以内であるか否かの判断を行う。車両１が写っているか否かをこのように判断することにより、撮影画像中の車両の大きさを正確に検出できるので、正規車両か否かの判断と、許容距離以内であるか否かの判断が一層確実になる。なお、上記のような判断に代えて、例えば、車両１の全体の一定以上の割合が表示面内に納まっていれば、車両１が撮影されている状態であると判断されるようにすることも可能である。ナンバープレートが明瞭に読み取れるように写っていれば、車両１の必ずしも全体が写っていない場合でも、ナンバープレートに記載された事項に基づいて、正規車両か否かを判断することが可能となる。

Ｃ．遠隔操作可否判断処理 ：
このような携帯端末１００を用いて、エンジン動作中の車両１を遠隔操作で駐車させる処理について説明する。なお、以下の処理に先立ち、車両１では、携帯端末１００の認証処理が行われる。この認証処理は、例えば、前述したように車両１から周囲に向けて一定時間間隔で繰り返し送信されている認証要求信号を携帯端末１００が前記受信部１１３で受信して、前記認証信号送信部１１４から車両１に認証信号を送信することにより行われる。

図５には、携帯端末１００が、車両１の画像を解析して車両識別情報や距離情報を検出し、遠隔操作の可否判断を行う処理のフローチャートが示されている。
図示のように、車両遠隔操作処理では、まず始めに車両１側の遠隔操作機能を起動する（Ｓ１００）。車両１の遠隔操作機能は、無用な電力消費や意図しない遠隔操作が為されることを避けるために、常には停止されている。そこで、遠隔操作を行う場合は、まず、携帯端末１００から、車両１に対して遠隔操作機能の起動信号を送信する。
次いで、車両１からの応答信号を受信したか否かを判断する（Ｓ１０１）。車両１は、遠隔操作機能の起動信号を受け取ると、遠隔操作機能を起動すると共に、携帯端末１００に対して応答信号を送信する。応答信号を受信していない場合は（Ｓ１０１：ｎｏ）、車両１に対して遠隔操作機能の起動信号が到達していないと考えられるので、Ｓ１００に戻り、再度、車両１に対して遠隔操作機能の起動信号を送信する。

このような起動操作（Ｓ１００）、判断（Ｓ１０１）を繰り返すうち、車両１からの応答信号を受信すると（Ｓ１０１：ｙｅｓ）、操作画面に、車両１の使用者２に対して車両１の撮影を促す指示が表示される（Ｓ１０２）。前述したように、本実施例では、操作対象であるか否かの判断や、遠隔操作に適切な距離であるか否かの判断などを、撮影した車両画像に基づいて行う。そのため、遠隔操作開始に際しては、まず、車両１を携帯端末１００で撮影する必要があることから、車両１の使用者２は、指示に従って撮影部１０１のカメラを車両１に向けて、撮影を開始する。撮影に際して、撮影部１０１の起動は、応答信号の受信を判断したときに（Ｓ１０１）自動的に行われてもよいが、操作画面に撮影開始ボタンを設けて車両１の使用者２がこれを操作することで行われるようにしてもよい。
次いで、前記画像取得部１０２で撮影画像が取得される（Ｓ１０３）。この処理は、例えば、操作画面に撮影の指示を表示した後に直ちに実行され、或いは、画面上に表示された撮影開始ボタンを車両１の使用者２が操作することにより実行される。画像取得部１０２は、撮影部１０１から撮影画像を取得すると、前記正規車両判断部１０５に逐次出力する。

次いで、正規車両判断部１０５において、受け取った撮影画像中から車両の抽出処理を実行し（Ｓ１０４）、撮影画像中に車両が写っているか否かを判断する（Ｓ１０５）。前述したように、遠隔操作は車両１が携帯端末１００で撮影されているときに許容されることから、まず、車両が写っているか否かを判断することになる。車両１の使用者２が未だ車両１の撮影を開始しておらず、撮影画像中に車両が写っていない場合は、車両の抽出に失敗し、この判断が否定されるので（Ｓ１０５：ｎｏ）、Ｓ１０２に戻り、操作画面に撮影を促す指示が再度表示される。この場合、車両１の使用者２は、改めて撮影開始操作を行い、或いは、カメラを車両１に向けて撮影を開始することになる。なお、車両が写っているか否かの判断は、例えば、前述したように、全体が写っているか否かを基準とするが、車両の一部が写っていない状態も許容するものと定めることもできる。このとき、正規車両判断部１０５では、前述したように、車両のナンバープレート記載事項に基づいて正規車両であるか否かを判断する。そのため、上記の車両が写っているか否かの判断（Ｓ１０５）は、ナンバープレートが明瞭に確認できる状態で車両が写っている場合に肯定される。そのため、車両が写っていても、ナンバープレートが明瞭に写っていない場合には、判断が否定され、Ｓ１０２に戻ることになる。
これらの処理が繰り返されるうち、撮影画像中からの車両の抽出に成功すると、上記判断が肯定されるので（Ｓ１０５：ｙｅｓ）、撮影画像中の車両の画像を解析して、画像から車両識別情報を抽出する（Ｓ１０６）。このとき、撮影画像中には、車両１の他にその周辺が写り込んでいることから、この画像解析に際しては、まず、撮影画像から車両画像を抽出する。そして、例えば、ナンバープレートの記載事項、車両の形状および色が抽出され、抽出された情報を車両識別情報記憶部１０６に記憶されていた情報と照合することにより、撮影画像中の車両が正規車両か否か、すなわち、撮影された車両が、遠隔操作を行おうとする車両１であるか否かが判断される（Ｓ１０７）。

予め記憶されている情報と、画像から取得したナンバープレートの記載事項が一致せず、或いは、車両の形状や色が一致しない場合は、携帯端末１００で遠隔操作の対象とする正規車両ではないと判断され（Ｓ１０７：ｎｏ）、例えば、「この端末で操作できる車両ではありません」等の正規車両では無い旨の通知を出力して操作画面に表示し（Ｓ１１１）、車両の遠隔操作機能を終了させると共に、携帯端末１００の遠隔操作アプリケーションを終了する。すなわち、遠隔操作が実行されないまま一連の処理が終了する。車両１の使用者２は、表示を確認することにより、撮影した車両が操作を意図した車両とは異なるか、或いは、誤って自己のものではない車両を操作しようとしていたことを理解できる。このように遠隔操作の開始の適否を判断することにより、携帯端末１００に予め登録されている車両以外の車両が誤って遠隔操作されることが防止される。

一方、予め記憶されている情報と、画像から取得したナンバープレートの記載事項が一致し、或いは、これに代えてまたはこれに加えて車両の形状や色が一致した場合には、携帯端末１００の操作対象となる車両、すなわち正規車両であると判断され（Ｓ１０７：ｙｅｓ）、前記距離情報取得部１０７において、車両の画像を解析して距離情報が検出される（Ｓ１０８）。この解析には、先に正規車両か否かの判断に用いられた車両の画像がそのまま用いられる。検出結果は、例えば前記操作画面で黒三角印の位置を更新する等により表示され、或いは、「操作可能圏内」、「操作可能圏外」といった文字で表示される。

取得された距離情報から、携帯端末１００から車両１までの距離が許容距離を越えると判断されると（Ｓ１０９：ｎｏ）、操作画面には車両に近づくように指示が表示され（Ｓ１１０）、Ｓ１０２に戻る。そして、車両１の使用者２に対して車両の撮影指示が表示され（Ｓ１０２）、以降のステップ（Ｓ１０２〜Ｓ１０９）が繰り返される。正規車両か否かと、許容距離以下か否かの判断とは、同一の車両画像で行われるため、車両に近づいて再撮影となる場合は、正規車両か否かの判断も改めて行われることになる。

このようにして撮影、抽出、判断の各ステップ（Ｓ１０２〜Ｓ１０９）が繰り返されるうち、車両１までの距離が許容距離以内であると判断されると（Ｓ１０９：ｙｅｓ）、車両１に対する遠隔操作を許容される条件が整うため、図６に示されるフローに進み、遠隔操作が実行される。この際、操作画面には、例えば、車両１の使用者２に対して遠隔操作が可能になった旨或いは、操作開始を促す旨が表示され、使用者２は、操作画面上に表示されたアイコンやボタンなどを操作し、或いは、前記操作ボタン１２０ａ〜１２０ｄを操作して、遠隔操作を開始する。

Ｄ．遠隔操作処理 ：
図６には、前記図５に続くフローすなわち遠隔操作が許容された後の、遠隔操作の実行フローが示されている。遠隔操作が許容される状態になると、車両１の使用者２は、車両１を現在の位置から前記駐車枠３に向けて移動させるための進行方向や旋回方向を見定め、操作しようとする内容に応じて操作部１１２を操作する。すなわち、操作画面上のアイコンやボタンなどを操作し、或いは、前記操作ボタン１２０ａ〜１２０ｄを操作する。これにより、その操作内容が前記操作内容検出部１１１によって検出される（Ｓ１１２）。

次いで、検出された操作内容が判断される（Ｓ１１３）。操作内容が遠隔操作の終了ではない場合は（Ｓ１１３：ｎｏ）、車両１を移動等させる意図の操作が行われているので、操作内容検出部１１１は、操作内容に従った操作信号を生成して操作信号送信部１１０に出力し、操作信号送信部１１０から、車両１に向けて検出した操作内容に応じた操作信号を送信する（Ｓ１１４）。例えば、操作ボタン１２０ａが押された場合は、左操舵の操作信号が車両１に送信されて車輪が左方向に据え切りされる。操作ボタン１２０ａおよび１２０ｂが共に押された場合は、左操舵および前進の操作信号が同時に車両１に送信されて、車両１が前進しつつ左に旋回させられる。操作ボタン１２０ｃが押された場合は、後退の操作信号が車両１に送信されて、車両１が後退させられる。また、自動駐車ボタン１２３がタップされた場合は、車両1が駐車枠３に向かってまっすぐ後退させられる。例示した以外の他の操作についても、これらと同様に、押された操作ボタン１２０等に対応する操作信号が送信され、車両１が移動等させられる。

上述したように操作信号が送信されて車両１が移動すると、携帯端末１００との距離が変化するため、遠隔操作の許容距離に保たれていることの確認が行われる。この確認処理は、安全確保のために必要な手順であり、例えば、遠隔操作を開始する際と同様に、撮影画像を解析して距離情報を検出することで行われる。すなわち、操作信号が送信された後、画像取得部１０２はその時点で撮影部１０１で撮影された画像を改めて取得し（Ｓ１１５）、その撮影画像から車両の画像を抽出し、更に、車両の画像を解析して距離情報を検出する（Ｓ１１６）。検出結果は、例えば前記操作画面で黒三角印の位置を更新する等により表示され、或いは、「操作可能圏内です」といった文字で表示される。次いで、検出された距離情報から、車両１までの距離が許容距離以内であるか否かを判断する（Ｓ１１７）。許容距離以内であれば（Ｓ１１７：ｙｅｓ）、Ｓ１１２に戻って、改めて操作部１１２に対する操作内容が検出され、以下の各ステップが繰り返される。しかしながら、車両１が使用者２から遠ざかる方向に移動させられることなどにより、現在の距離が許容距離以内ではないと判断された場合には（Ｓ１１７：ｎｏ）、操作画面には車両に近づくように指示が表示され（Ｓ１１８）、次いで、再び撮影画像の取得（Ｓ１１５）に進んで、以下の各ステップが繰り返される。

このように、上記Ｓ１１２からＳ１１８の各ステップが繰り返されることにより、順次撮影され且つ取得される撮影画像に基づき、その携帯端末１００から車両１までの距離を許容距離以下に保ったまま遠隔操作が行われる。そのため、車両１の周囲の状況を確認しつつ安全に遠隔操作を行うことができる。
なお、１回の操作信号送信（Ｓ１１４）の後に車両の画像を解析した際に（Ｓ１１６）、画像中に車両が存在しなくなっていた場合は、その旨を表示装置１０４に表示して、例えば、遠隔操作を自動的に終了するか、或いは、「操作者に対して車両の撮影を指示」（前記図５のＳ１０２）に戻り、改めて正規車両か否かの判断を行う。遠隔操作が自動的に終了した場合は、車両１の使用者２は、必要であれば、改めて遠隔操作の開始処理を実行する。

上記の各ステップが繰り返される過程で、操作内容が遠隔操作の終了指示であると判断されると（Ｓ１１３：ｙｅｓ）、前記操作信号送信部１１０から、車両１に対して、遠隔操作機能の終了指示信号が送信される（Ｓ１１９）。例えば、車両１を目的とした駐車位置まで移動できると、車両１の使用者２は、例えば操作画面上に設けられている前記操作終了ボタン１２４をタップする等の操作を行う。これにより、遠隔操作の終了が操作内容検出部１１１によって検出され、上記処理が実行される。終了指示信号を受けた車両１は、遠隔操作機能を終了させる。携帯端末１００は、車両１に向けて遠隔操作機能終了の指示を出した後、遠隔操作アプリケーションが終了する。なお、例えば、車両１から携帯端末１００に向けて終了指示の応答信号を返信するようにして、携帯端末１００は、その応答信号を確認した後に遠隔操作アプリケーションを終了させるようしてもよい。

なお、以上の各ステップは、車両１を遠隔操作によって駐車する場合について説明したが、車両１を駐車位置から出す場合も、車両の移動方向等が異なる他は、駐車する場合と何ら変わりなく、同様な遠隔操作で行うことができる。

このように、本実施例の携帯端末１００は、撮影画像に基づいて車両１までの距離に関する距離情報を取得して、携帯端末１００から車両１までの距離が許容距離以内である場合に、遠隔操作が許容されて、携帯端末１００から操作信号が車両１に送信されることから、そのため、車両１の使用者２が携帯端末１００を携帯していれば、車両１の周辺にいるか否かを判断できるので、電子キーを携帯していなくとも、使用者２が車両１の周辺にいれば、携帯端末１００を用いて車両１を遠隔操作で移動させることができる。

また、本実施例の携帯端末１００は、撮影画像を表示する表示装置１０４を備えると共に、その下方であって同一面上に操作部１１２を構成する操作ボタン１２０を備えており、前記操作内容検出部１１１において操作内容を検出して、操作信号送信部１１０から車両１に操作信号を送信するようになっている。そのため、表示装置１０４で操作対象の車両１を視覚的に確認しつつ遠隔操作を行うことができるので、一層安全に操作を行うことができる。

また、本実施例の携帯端末１００は、操作対象となる車両１を識別するためのナンバープレート記載事項等を車両識別情報記憶部１０６に記憶し、撮影画像中の車両画像から車両識別情報を抽出して、正規車両判断部１０５において操作対象とできる正規車両であるか否かを判断し、携帯端末１００から車両１までの距離が許容距離以内であり、且つ正規車両と判断された場合に、その車両１に向けて遠隔操作信号が送信される。そのため、操作対象ではない車両を誤って撮影してその撮影画像に基づいて許容距離以内であると判断して、目的とする車両１との距離の適否を判断しないまま、その車両１の遠隔操作が行われてしまうことが抑制される。携帯端末１００で操作できるのは、車両との間で認証される車両１に限られるので、他の車両が遠隔操作されることはない。また、車両１の使用者２は、対象とする車両１を表示装置１０４の表示および目で直接確認しながら遠隔操作を行うことができるので、表示装置１０４に他の車両が表示されている場合も速やかに気がつき、撮影対象を変更できる。したがって、正規車両であるか否かの判断が行われなくとも、遠隔操作の安全性は十分に確保されるが、その判断を予め行うようにすれば、一層高い安全性が得られる。

図７は、携帯端末１００の他の内部構造例を説明する図であり、前記図２に対応する図である。図２と共通する部分には、同一の符号を付して説明を省略する。

この実施例では、自動合焦部１２６が備えられており、撮影部１０１には、焦点距離を変更するためのレンズ駆動機構が備えられている。自動合焦部１２６は、位相差式、像面位相差式、或いはコントラスト式等のよく知られたパッシブ方式の自動合焦機能を備えたもので、撮影部１０１から画像を取得して、その撮影画像を解析して焦点距離調節量を算出し、撮影部１０１に対して焦点位置変更信号を出力する。撮影部１０１は、レンズ駆動機構を作動させることにより、その焦点位置変更信号に応じて、レンズを繰り出し或いは引き込んで焦点位置を変更し、車両１に合焦させる。

このようにして車両１に合焦したとき、自動合焦部１２６は、撮影部１０１における実際のレンズ繰り出し量を検出し、その繰り出し量信号を距離情報取得部１０７に出力する。或いは、繰り出し量信号に代えて、合焦したときに自動合焦部１２６から撮影部１０１に出力されていた焦点位置変更信号を距離情報取得部１０７に出力してもよい。距離情報取得部１０７は、受け取った繰り出し量信号或いは焦点位置変更信号に基づき、合焦したときの焦点距離すなわち携帯端末１００から車両１までの距離を算出し、距離情報信号を判断部１０９に出力する。判断部１０９では、前記図２に示した場合と同様に、正規車両であるか否かの判断と併せて許容距離以内であるか否かの判断が行われる。本実施例では、このように、前述した実施例とは距離情報の取得方法が相違し、車両寸法情報記憶部１０８に予め車両寸法情報を入力する必要がない。

図８は、上記内部構造に対応する処理フローを示した図である。この処理フローは、前記図５に対応するものであって、その図５との相違部分を中心に説明する。車両１の使用者２に対して車両の撮影が指示されることにより（Ｓ１０２）、携帯端末１００の撮影部１０１が車両１に向けられて撮影が開始されると、自動合焦部１２６は、撮影部１０１から逐次送られる画像データを処理し、その焦点位置を変更して車両１に合焦させる（Ｓ１２０）。次いで、画像取得部１０２が撮影画像を取得し（Ｓ１０３）、撮影画像中の車両の抽出（Ｓ１０４）以下の各ステップが実行される。

そして、車両画像の解析結果から正規車両であることが判断されると（Ｓ１０７：ｙｅｓ）、その車両画像の元となる撮影画像を取得した際に、自動合焦部１２６から送られたレンズの繰り出し量信号或いは焦点位置変更信号、すなわち、焦点位置情報に基づき、前記距離情報取得部１０７において、携帯端末１００から車両１までの距離情報が取得される（Ｓ１２１）。このように、この処理フローでは、距離情報の検出には車両画像が用いられず、自動合焦部１２６が合焦時に出力した焦点位置情報に基づいて取得された距離情報が用いられる。
なお、この実施例の場合にも、遠隔操作処理は、前記図６に示したものと同様なフローに従って実行される。その際、距離情報の検出（Ｓ１１６）に代えて、上記図８に示した「焦点距離情報から車両までの距離を算出」（Ｓ１２１）と同様に、自動合焦部１２６から得た情報に基づいて、携帯端末１００から車両１までの距離が取得される。

図９には、携帯端末１００の他の実施例の表示例が示されている。この表示例では、操作画面の上部に、前記距離表示部１２２に代えて、距離表示部１２８が設けられている。距離表示部１２８は、幅広の許容距離バーとその左側の「近」との間に破線が表示されている。この破線は「遠」側と同様に遠隔操作の許容範囲外を表したもので、この例では、携帯端末１００と車両１と距離が一定距離以下になると、遠隔操作が禁止されるようになっている。
例えば、使用者２が車両１に近づきすぎると、操作方向を誤った場合などに接触する危険性がある。そのため、この実施例では、許容距離の上限値に加えて下限値も定められており、前記判断部１０９における許容距離以内か否かの判断、すなわち、前記処理フローにおいて、「車両までの距離は許容距離以内か」（Ｓ１０９、Ｓ１１７）との判断は、その上下限の範囲内にある場合に許容距離以内と判断するものとなる。

以上、本実施例について説明したが、本発明は上述した実施例および変形例に限られるものではなく、その要旨を逸脱しない範囲において種々の態様で実施することができる。

１…車両、 ２…使用者、 １００…携帯機、
１０１…撮影部、 １０２…画像取得部、 １０５…正規車両判断部、
１０７…距離情報取得部、 １０９…判断部、 １１０…操作信号送信部

Claims (8)

1. 車両（１）の使用者によって携帯されて、前記使用者の操作に応じた操作信号を前記車両に送信することによって、前記車両を遠隔操作で移動させることが可能な携帯端末（１００）であって、
   前記車両を撮影する撮影部（１０１）に接続されて、該撮影部から撮影画像を取得する画像取得部（１０２）と、
   前記撮影画像を表示する画像表示部（１０３）と、
   前記撮影画像の中から前記車両を検出して、前記車両までの距離に関する距離情報を取得する距離情報取得部（１０７）と、
   前記車両までの距離が所定の許容距離以内であるか否かを、前記距離情報に基づいて判断する判断部（１０９）と、
   前記使用者が前記撮影画像の表示を確認しながら操作可能に設けられた操作部（１１２）に接続されて、前記操作部に対する操作内容を検出する操作内容検出部（１１１）と、
   前記車両までの距離が前記許容距離以内であると判断された場合には、前記操作内容に応じた前記操作信号を、前記車両に向けて送信する操作信号送信部（１１０）と
   を備え、
   前記操作信号送信部は、前記車両に向けて前記操作信号を送信した後であっても、前記撮影画像から前記車両が検出できなくなった場合には、前記車両が前記許容距離以内で検出されるまで、前記操作内容に応じた前記操作信号の送信を停止する
   ことを特徴とする携帯端末。
2. 請求項１に記載の携帯端末であって、
   前記画像表示部は、前記撮影画像に加えて、前記撮影画像に写った前記車両についての前記距離情報と、前記距離情報が前記許容距離以内であるか否かを示す情報とを表示する
   ことを特徴とする携帯端末。
3. 請求項１または請求項２に記載の携帯端末であって、
   前記距離情報取得部は、前記撮影画像に写った前記車両の大きさに基づいて、前記距離情報を取得する
   ことを特徴とする携帯端末。
4. 請求項１または請求項２に記載の携帯端末であって、
   前記撮影画像を解析して前記撮影部の焦点位置を変更することにより、前記撮影部を前記車両に合焦させる自動合焦部（１２６）を備え、
   前記距離情報取得部は、前記自動合焦部が変更した前記撮影部の焦点位置の情報に基づいて、前記距離情報を取得する
   ことを特徴とする携帯端末。
5. 請求項１ないし請求項４の何れか一項に記載の携帯端末であって、
   前記使用者による前記遠隔操作の対象となる正規車両を識別するための車両識別情報を、記憶している車両識別情報記憶部（１０６）と、
   前記撮影画像に写った前記車両の画像から前記車両識別情報を抽出することによって、前記車両が前記正規車両か否かを判断する正規車両判断部（１０５）と
   を備え、
   前記操作信号送信部は、前記車両までの距離が前記許容距離以内であると判断され、尚且つ、前記車両が前記正規車両であると判断された場合に、前記操作信号を送信する
   ことを特徴とする携帯端末。
6. 請求項３に記載の携帯端末であって、
   前記使用者による前記遠隔操作の対象となる正規車両の車両寸法に関する車両寸法情報を、記憶している車両寸法情報記憶部（１０８）を備え、
   前記距離情報取得部は、前記撮影画像に写った前記車両の大きさと、前記車両寸法情報とに基づいて、前記距離情報を取得する
   ことを特徴とする携帯端末。
7. 請求項１ないし請求項６の携帯端末であって、
   前記車両から送信された所定の認証要求信号を受信する受信部（１１３）と、
   前記認証要求信号が受信されると、予め記憶されている所定の認証信号を送信する認証信号送信部（１１４）と
   を備える携帯端末。
8. 車両の使用者によって携帯された携帯端末を用いて、前記車両を遠隔操作で移動させる遠隔操作方法であって、
   前記携帯端末に搭載された撮像部から、前記車両を撮影した撮影画像を取得して、前記撮影画像を表示する工程（Ｓ１０３）と、
   前記撮影画像の中から前記車両を検出して、前記車両までの距離に関する距離情報を取得する工程（Ｓ１０８）と、
   前記車両までの距離が所定の許容距離以内であるか否かを、前記距離情報に基づいて判断する工程（Ｓ１０９）と、
   前記使用者が前記撮影画像の表示を確認しながら操作可能に設けられた操作部（１１２）に対して行われた操作内容を検出する工程（Ｓ１１２）と、
   前記車両までの距離が前記許容距離以内であると判断された場合には、前記操作内容に応じた操作信号を、前記車両に向けて送信する工程（Ｓ１１４）と
   を備え、
   前記操作信号を送信する工程は、前記車両に向けて前記操作信号を送信した後であっても、前記撮影画像から前記車両が検出できなくなった場合には、前記車両が前記許容距離以内で検出されるまで、前記操作内容に応じた前記操作信号の送信を停止する
   ことを特徴とする遠隔操作方法。

Images