JP6657415B2 - 情報提供装置、及び移動体 - Google Patents
情報提供装置、及び移動体 Download PDFInfo
- Publication number
- JP6657415B2 JP6657415B2 JP2018541908A JP2018541908A JP6657415B2 JP 6657415 B2 JP6657415 B2 JP 6657415B2 JP 2018541908 A JP2018541908 A JP 2018541908A JP 2018541908 A JP2018541908 A JP 2018541908A JP 6657415 B2 JP6657415 B2 JP 6657415B2
- Authority
- JP
- Japan
- Prior art keywords
- user
- unit
- image
- information providing
- vehicle
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000008451 emotion Effects 0.000 claims description 64
- 230000006870 function Effects 0.000 claims description 51
- 238000001514 detection method Methods 0.000 claims description 27
- 238000004891 communication Methods 0.000 claims description 21
- 230000005540 biological transmission Effects 0.000 claims description 15
- 238000003384 imaging method Methods 0.000 claims description 10
- 230000004044 response Effects 0.000 claims description 3
- 238000000034 method Methods 0.000 description 19
- 230000008569 process Effects 0.000 description 17
- 230000006399 behavior Effects 0.000 description 11
- 230000009471 action Effects 0.000 description 9
- 230000001133 acceleration Effects 0.000 description 5
- 238000010586 diagram Methods 0.000 description 4
- 239000000284 extract Substances 0.000 description 3
- 230000000694 effects Effects 0.000 description 2
- 206010015535 Euphoric mood Diseases 0.000 description 1
- 230000036772 blood pressure Effects 0.000 description 1
- 230000002860 competitive effect Effects 0.000 description 1
- 230000002996 emotional effect Effects 0.000 description 1
- 230000008921 facial expression Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 230000035807 sensation Effects 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/174—Facial expression recognition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q30/00—Commerce
- G06Q30/02—Marketing; Price estimation or determination; Fundraising
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
- G06V20/597—Recognising the driver's state or behaviour, e.g. attention or drowsiness
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L51/00—User-to-user messaging in packet-switching networks, transmitted according to store-and-forward or real-time protocols, e.g. e-mail
- H04L51/07—User-to-user messaging in packet-switching networks, transmitted according to store-and-forward or real-time protocols, e.g. e-mail characterised by the inclusion of specific contents
- H04L51/08—Annexed information, e.g. attachments
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L51/00—User-to-user messaging in packet-switching networks, transmitted according to store-and-forward or real-time protocols, e.g. e-mail
- H04L51/42—Mailbox-related aspects, e.g. synchronisation of mailboxes
Landscapes
- Engineering & Computer Science (AREA)
- Business, Economics & Management (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Finance (AREA)
- Development Economics (AREA)
- Strategic Management (AREA)
- Accounting & Taxation (AREA)
- Multimedia (AREA)
- Marketing (AREA)
- General Business, Economics & Management (AREA)
- Entrepreneurship & Innovation (AREA)
- Game Theory and Decision Science (AREA)
- Economics (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Human Computer Interaction (AREA)
- Traffic Control Systems (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Description
本発明は、移動体の購入検討者、使用者等に対して、移動体の情報を提供する情報提供装置、及び移動体に関する。
従来、自動車のディーラーに購入検討者が来店した際に、車両の販売を促進するために用いられる情報提供装置、及びこの情報提供装置を用いた接客支援方法が提案されている(例えば、特許文献1参照)。
特許文献1に記載された情報提供装置は、ディーラーの入口に設置された端末に入力された購入検討者が所望する接客条件(対応スピード、説明レベル、要件)のデータと、購入検討者の過去の購入履歴及び嗜好性に基づく顧客情報や推薦商品を示すデータ等を、営業担当者の携帯端末に送信する。
また、特許文献1には、商品を購入した顧客に対してお礼に関する電子メールを送信し、商品の購入まで至らなかった顧客に対して商品情報に関する電子メールを送信する構成が記載されている。
車両等の移動体の購入に際しては、実際に移動体を使用したときのフィーリングや利便性を確認するために、購入検討者が販売店舗を訪れて移動体の試乗を行うことが多い。そのため、試乗によって、移動体に対する購入検討者の満足度を高めることが要望される。
また、購入検討者以外の移動体の使用者(移動体の所有者等)についても、使用者が好印象をもった移動体の使用状況を認識させることによって、移動体に対する使用者の満足度を向上させることができると考えられる。
そして、上述したように、画一的なお礼や商品情報の電子メールの送信では、移動体に対する使用者(試乗者、所有者等)の満足度を高める効果が低いという不都合がある。
本発明はかかる背景に鑑みてなされたものであり、移動体に対する使用者の満足度をより効果的に高めることができる情報提供装置、及び移動体を提供することを目的とする。
本発明の情報提供装置は、
移動体において機能する情報提供装置であって、
前記移動体を含む所定領域内に所在する前記移動体の使用者の状態を検出する使用者状態検出部と、
前記所定領域内を撮像する撮像部と、
前記使用者状態検出部の検出結果に基づいて、前記使用者の感情を推定する感情推定部と、
前記感情推定部により推定される前記使用者の感情レベルが増加したときに、前記撮像部により前記使用者を撮像し、該撮像した前記使用者の画像データを、前記使用者が前記移動体を含む所定領域から離れたことが推定又は検出された場合に、前記使用者の通信端末に送信する画像送信部と
を備えていることを特徴とする。
移動体において機能する情報提供装置であって、
前記移動体を含む所定領域内に所在する前記移動体の使用者の状態を検出する使用者状態検出部と、
前記所定領域内を撮像する撮像部と、
前記使用者状態検出部の検出結果に基づいて、前記使用者の感情を推定する感情推定部と、
前記感情推定部により推定される前記使用者の感情レベルが増加したときに、前記撮像部により前記使用者を撮像し、該撮像した前記使用者の画像データを、前記使用者が前記移動体を含む所定領域から離れたことが推定又は検出された場合に、前記使用者の通信端末に送信する画像送信部と
を備えていることを特徴とする。
かかる本発明によれば、使用者状態検出部により使用者の状態が検出され、感情推定部により使用者の感情が推定される。そして、画像送信部は、感情推定部により推定される使用者の感情レベルが増加したときに、撮像部により使用者を撮像して、該撮像した使用者の画像データを、前記使用者が前記移動体を含む所定領域から離れたことが推定又は検出された場合に、使用者の通信端末に送信する。この場合、使用者は、移動体に乗車中、或いは移動体のドアを操作しているとき等であって、自身の感情が高ぶったときの画像を、移動体から離れた後に自身の通信端末で閲覧することができる。そして、この閲覧により、気持ちが高ぶったシーンを想起させることによって、移動体に対する使用者の満足度を高めることができる。
また、前記使用者に対して、前記移動体が有する特定機能の利用を促す情報を提供する情報提供部を備え、
前記画像送信部は、前記情報の提供に応じて、前記使用者が前記特定機能を利用するための操作を行い、且つ、前記使用者が該操作を行ったときに、前記感情推定部により推定された前記使用者の感情レベルが増加したときに、前記撮像部により前記使用者を撮像して、該撮像した前記使用者の画像データを、前記使用者の通信端末に送信することを特徴とする。
前記画像送信部は、前記情報の提供に応じて、前記使用者が前記特定機能を利用するための操作を行い、且つ、前記使用者が該操作を行ったときに、前記感情推定部により推定された前記使用者の感情レベルが増加したときに、前記撮像部により前記使用者を撮像して、該撮像した前記使用者の画像データを、前記使用者の通信端末に送信することを特徴とする。
この構成によれば、使用者の感情が高まった特定機能の利用状況を使用者に想起させることにより、特定機能の有用性を再認識させて、移動体に対する使用者の満足度を高めることができる。
また、前記画像送信部は、前記使用者の画像データを、前記移動体を送信者として示すデータと共に前記使用者の通信端末に送信することを特徴とする。
この構成によれば、使用者は移動体から直接送信された画像データを受信することになるため、移動体に対する親しみを感じさせることができる。
また、前記移動体を示す移動体画像のデータを取得する移動体画像取得部を備え、
前記画像送信部は、前記使用者の画像データを、前記移動体画像のデータと共に、前記使用者の通信端末に送信することを特徴とする。
前記画像送信部は、前記使用者の画像データを、前記移動体画像のデータと共に、前記使用者の通信端末に送信することを特徴とする。
この構成によれば、使用者は、使用者の画像データが移動体から直接送られたことを、移動体の画像から視覚により直感的に認識させて、移動体に対する親しみを感じさせることができる。
また、前記使用者が前記移動体の試乗中であることを認識する試乗認識部を備え、
前記画像送信部は、前記試乗認識部により、前記使用者が前記移動体の試乗中であることが認識されているときに、前記撮像部により前記使用者を撮像し、前記試乗認識部により、前記使用者が前記移動体の試乗中であることが認識された状態から認識されない状態に切り替わった時点から、所定時間が経過した時に、前記使用者の画像データを前記使用者の通信端末に送信することを特徴とする。
前記画像送信部は、前記試乗認識部により、前記使用者が前記移動体の試乗中であることが認識されているときに、前記撮像部により前記使用者を撮像し、前記試乗認識部により、前記使用者が前記移動体の試乗中であることが認識された状態から認識されない状態に切り替わった時点から、所定時間が経過した時に、前記使用者の画像データを前記使用者の通信端末に送信することを特徴とする。
この構成によれば、ある程度インターバルをおいてから、使用者の画像データを送信することにより、使用者に生じた感情の高まりを思い起こさせて、使用者が感じている移動体に対する満足度を維持させることができる。
次に、本発明の移動体は、上記情報提供装置のいずれかを備えていることを特徴とする。上記情報提供装置を備えた移動体によれは、上述した情報提供装置と同様の作用効果を奏して、移動体に対する使用者の満足度が効果的に高めることができる。
本発明の実施の形態について、図1〜図8を参照して説明する。
[1.情報提供装置が搭載された車両の構成]
図1に示すように、情報提供装置60は、四輪の車両1(本発明の移動体に相当する。以下、車両1という)に搭載されている。なお、本実施形態では、車載型の情報提供装置60を示したが、本発明の情報提供装置は、使用者による持ち運びが可能であって、車両に持ち込んで用いられるポータブルタイプであってもよい。
図1に示すように、情報提供装置60は、四輪の車両1(本発明の移動体に相当する。以下、車両1という)に搭載されている。なお、本実施形態では、車載型の情報提供装置60を示したが、本発明の情報提供装置は、使用者による持ち運びが可能であって、車両に持ち込んで用いられるポータブルタイプであってもよい。
図1は、車両1の運転席5Rに、車両1の車種の購入検討者である試乗者P1(本発明の使用者に相当する)が座り、助手席5Lに車両の販売を担当する営業担当者P2が座っている状況を示している。営業担当者P2は、営業用端末9(タブレット、スマートフォン等)を持っており、営業用端末9を利用して試乗者P1に対する接客を行う。
車両1は、車両1の周囲の状況を認識するための構成として、前方カメラ11、前方レーダ12、後方カメラ13、及び後方レーダ14を備え、目的地までの経路情報を取得するための構成として、詳細を後述するGPS(Global Positioning System)ユニット41と地図DB(データベース)42とを有するナビゲーション装置40を備えている。
車両1は、車両1の運転者の状況を認識するための構成として、運転者の少なくとも顔部分を撮像する運転席カメラ20(本発明の撮像部、及び使用者状態検出部に相当する)と、運転者の音声を入力する運転席マイク21(本発明の使用者状態検出部に相当する)とを備えている。なお、運転席カメラ20による撮像範囲及び運転席マイク21による集音範囲が、本発明の所定領域に相当する)。
車両1は、運転者による車両操作部に対する操作を検出するための構成として、ステアリングの操舵角を検出する舵角センサ25、ステアリングに加わる操舵トルクを検出するトルクセンサ26、アクセルペダルの踏み込み量を検出するアクセルペダルセンサ24、ブレーキペダルの踏み込み量を検出するブレーキペダルセンサ27、スポーツモード(アクセル操作に対する駆動力の増加を大きく制御する等、レスポンスを向上させた走行モード)の設定と解除を受付けるスポーツモードスイッチ28を備えている。
車両1は、フロントドア2R,2L、リアドア3R,3L、及びバックドア4の開閉をそれぞれ検出するドアセンサ30R,30L,31R,31L,32と、運転席5R,助手席5L,後部座席6への搭乗者の着座の有無をそれぞれ検出するシートセンサ33R,33L,34R,34Lとを備えている。さらに、車両1は、乗員に対する報知を行うスピーカ22(本発明の報知部に相当する)と表示器23(本発明の報知部に相当する)とを備えている。
車両1は、車両1の全体的な作動を制御する制御ユニット50を備えている。制御ユニット50は、図示しないCPU,メモリ、各種インターフェース回路等により構成された電子回路ユニットであり、通信装置51と情報提供装置60を含んでいる。
制御ユニット50には、前方カメラ11、後方カメラ13、及び運転席カメラ20の撮像データ、前方レーダ12及び後方レーダ14により検出された物体の位置データが入力される。また、制御ユニット50には、舵角センサ25、トルクセンサ26、アクセルペダルセンサ24、ブレーキペダルセンサ27、ドアセンサ30R、30L,31R,31L,32、及びシートセンサ33R,33L,34R,34Lの検出信号が入力される。
さらに、制御ユニット50には、運転席マイク21に入力された音声信号が入力される。また、制御ユニット50は、ナビゲーション装置40との間で通信を行い、通信装置51を介して営業用端末9等との間で通信を行う。
また、制御ユニット50から出力される制御信号によって、スピーカ22、表示器23、通信装置51、ナビゲーション装置40等の作動が制御される。
[2.情報提供装置の構成]
次に、図2を参照して、情報提供装置60は、制御ユニット50のメモリに保持された情報提供装置60の制御用プログラムを、CPUが実行することによって構成される。情報提供装置60は、試乗認識部61、現有車情報取得部62、車両情報取得部63、操作状況検出部64、行動検出部65、感情エンジン66(本発明の感情推定部に相当する)、興味有機能推定部67、周囲状況認識部68、情報提供部69、画像送信部70、及び車両感情報知部71を備えている。
次に、図2を参照して、情報提供装置60は、制御ユニット50のメモリに保持された情報提供装置60の制御用プログラムを、CPUが実行することによって構成される。情報提供装置60は、試乗認識部61、現有車情報取得部62、車両情報取得部63、操作状況検出部64、行動検出部65、感情エンジン66(本発明の感情推定部に相当する)、興味有機能推定部67、周囲状況認識部68、情報提供部69、画像送信部70、及び車両感情報知部71を備えている。
試乗認識部61は、車両1の試乗が行われていることを、営業用端末9との通信等によって認識する。現有車情報取得部62は、車両1の試乗を行っている試乗者P1が現在所有している車両(現有車両)の情報を、通信ネットワーク110を介して、顧客情報サーバ100の顧客DB(データベース)101にアクセスすることによって取得する。
車両情報取得部63は、CAN(Control Area Network)等により、車両1のイグニッションスイッチ(図示しない)のON/OFF、安全装置系(図示しない)の作動(ADAS(Advanced Driver Assistance Systems)、ABS(Antilock Brake System)、エアバッグ、緊急通報等の作動)、車速、加減速等の情報を取得する。操作状況検出部64は、各センサ24〜27,30R,30L,31R,31L,32,33R,33L,34R,34Lの検出信号に基づいて、試乗者P1による車両1の各操作部の操作状況を検出する。行動検出部65は、操作状況検出部64により検出される各操作部の操作状況、カメラ11,13,20の撮像画像から認識される運転中又は車両1の周囲に所在する試乗者P1の状況、運転席マイク21に入力される試乗者P1の音声等に基づいて、試乗者P1の行動を検出する。
感情エンジン66は、車両1の運転者(ここでは試乗者P1)の感情を推定する感情エンジンAと、車両1を擬人化して車両1の感情を生成する感情エンジンBとにより構成されている。
感情エンジンAは、図3に示したように、運転席カメラ20の撮像画像から認識される試乗者P1の表情、運転席マイク21に入力される試乗者P1の音声のトーンや抑揚、操作状況検出部64により検出される試乗者P1による各操作部の操作状況、及び車両情報取得部63により取得された車両情報を数値化して、図3に示したように、横軸(穏やかさの軸)と縦軸(定常状態の軸)にプロットする。
そして、プロットされた点が属する象限(第1象限:好き、第2象限:嫌い、第3象限:耐える、第4象限:平穏)と、属する象限における各点の位置に基づいて、試乗者P1が示している各感情(好き:第1象限、嫌い:第2象限、耐える:第3象限、平穏:第4象限)の度合(感情レベル)のレベルを推定して出力する。
なお、本実施形態では、感情エンジン66は、試乗者P1の表情、試乗者P1の音声、車両1の各操作部の操作状況、及び車両1の車両情報を用いて、試乗者P1の感情レベルを推定したが、少なくとも試乗者P1の表情と音声とを用いることで試乗者P1の感情を推定することができる。また、試乗者P1の顧客データから認識される試乗者P1のプロフィール(嗜好性、年齢、性別等)、試乗者P1の生体情報(生体センサにより検出される脈拍、心拍数、血圧等)、試乗者P1によるステアリングの握り具合等の他の要素も加味して、試乗者P1の感情レベルを推定してもよい。
また、感情エンジンBは、操作状況検出部64により検出される車両1の各操作部の操作状況、車両情報取得部63により取得される車両1の車両情報等を数値化して、感情エンジンAと同様に図3に示したように、横軸(穏やかさの軸)と縦軸(定常状態の軸)にプロットする。そして、プロットされた点が属する象限と、属する象限におけるその点の位置とに基づいて、擬人化した車両1の各感情(好き、嫌い、耐える、平穏)の度合(感情レベル)を生成して出力する。
興味有機能推定部67は、感情エンジンAにより推定された試乗者P1の感情レベルに基づいて、車両1に備えられた機能のうち、試乗者P1の興味を惹くと想定される特定機能を推定する。
周囲状況認識部68は、前方カメラ11及び後方カメラ13により検出される車両1の周囲の画像、前方レーダ12及び後方レーダ14により検出される車両1の周囲の物体、及びナビゲーション装置40から提供される車両1の周囲の交通情報等に基づいて、車両1が走行している道路の状況を認識する。
車両感情報知部71は、詳細は後述するが、試乗の際に車両1を擬人化して、車両1の感情を表す報知を行う。
[3.情報提供処理]
次に、図4に示したフローチャートに従って、情報提供装置60により実行される試乗者P1に対する情報提供処理について説明する。
次に、図4に示したフローチャートに従って、情報提供装置60により実行される試乗者P1に対する情報提供処理について説明する。
STEP1は、試乗認識部61による処理である。試乗認識部61は、試乗者P1により車両1の試乗が行われていることを認識する。図6Aに示すように、車両の購入検討者である試乗者P1が自動車ディーラーの店舗Sを訪れると、店舗Sの入口に設置された店舗カメラ200により試乗者P1が撮像されて、撮像画像データが店舗Sに置かれたパソコン201に送信される。
パソコン201は、試乗者P1の顔画像を分析し、顧客情報サーバ100に保持された顧客DB101にアクセスして、試乗者P1が新規客(顧客データ無し)であるか既存客(顧客データ有り)であるかを判断する。そして、試乗者P1が既存客であるときは、顧客DB101から取得した試乗者P1の顧客データ(試乗者P1のプロフィール、嗜好性、これまでの取引履歴等が含まれる)を、試乗者P1を担当している営業担当者P2の営業用端末9に送信して、試乗者P1が来店したことを報知する。
ここで、営業用端末9とパソコン201との間の通信は、通信ネットワークを110を介して行ってもよく、パソコン201に接続された無線ルータ202を介した無線LANにより行ってもよい。
一方、試乗者P1が新規客であるときには、パソコン201は、適当な営業担当者P2を選択して、試乗者P1が来店したことを報知するデータを、選択した営業担当者P2の営業用端末9に送信する。この場合、営業担当者P2は、新規客である試乗者P1の接客を開始する際に、試乗者P1のプロフィール等を確認して、試乗者P1用の顧客データを新たに作成する。
営業担当者P2は、試乗者P1の接客において、試乗用の車両1が用意されていること知らせて試乗を勧め、試乗者P1が試乗を希望したときには、これから試乗者P1による試乗が開始されることを報知する試乗開始報知データと、試乗者P1の顧客データとを車両1の情報提供装置60に送信する。
試乗認識部61は、試乗開始報知データの受信により、試乗者P1による試乗が開始されることを認識したときにSTEP2に進む。なお、試乗認識部61が、運転席マイク21に入力された試乗者P1と営業担当者P2との会話音声を解析し、解析結果から試乗者P1による試乗が行われることを認識するようにしてもよい。
試乗認識部61は、試乗者P1が車両1に乗車したことを運転席5Rのシートセンサ33Rから出力されるON(検出状態)信号により認識し、シートセンサ33RがON状態であるときは試乗中であると認識する。
また、試乗認識部61は、車両情報取得部63により取得される車両情報と、ナビゲーション装置40により取得される車両1の現在位置により、車両1が試乗による走行の開始、走行中、走行の終了を認識する。
そして、試乗認識部61は、ナビゲーション装置40により取得される車両1の現在位置の推移により、車両1が店舗Sに戻ったことを検知し、シートセンサ33Rからの出力がON信号(検出状態)からOFF状態(非検出状態)に切り替わって、運転席側のフロントドア2Rのドアセンサ30Rの出力がON(検出状態)からOFF(非検出状態)に切り替わったときに、試乗が終了したと認識する。
なお、試乗認識部61が、運転席マイク21に入力された試乗者P1と営業担当者P2との会話音声を解析し、解析結果(例えば、営業担当者P2の「ご試乗頂きありがとうございました」との音声の解析)から、試乗者P1による試乗が終了したことを認識するようにしてもよい。
続くSTEP2は、車両感情報知部71による処理である。車両感情報知部71は、試乗認識部61により試乗が行われていることが認識されているときに、STEP3で、図7Aに示すように、車両1が喜んでいることを表す報知を行う。具体的には、表示器23に車両1が喜んでいる状態を擬人化した画像D1を表示すると共に、スピーカ22から「ドライブ日和ですね!」等の音声V5を明るいトーンで出力する。
なお、感情エンジンBから出力される車両1の「好き」の感情レベルに応じて、感情レベルが高い程、画像D1及び音声V5により表現する喜びの度合を高めるようにしてもよい。
続くSTEP3は、感情エンジンAによる処理であり、感情エンジンAは所定のサンプリング周期で上述した感情の推定処理を行って、試乗者P1の各感情(好き、嫌い、耐える、平穏)のレベルを随時出力する。続くSTEP4及びSTEP5から分岐したSTEP10は、画像送信部70による処理である。画像送信部70は、STEP4で、感情エンジンAから出力される「好き」の感情レベルが所定レベル以上増加したか否かを判断する。
そして、「好き」の感情レベルが所定レベル以上増加したときはSTEP10に分岐し、画像送信部70は、運転席カメラ20により試乗者P1を撮像し、撮像した画像のデータをメモリに保持してSTEP5に進む。なお、画像は、静止画でも動画でもよい。一方、「好き」の感情レベルが所定レベル以上増加していないときには、STEP5に進む。
STEP5、及びSTEP5から分岐した図5のSTEP20〜STEP22は、興味有機能推定部67による処理である。興味有機能推定部67は、STEP5で、行動検出部65により試乗者P1の行動が検出されているか否かを判断する。そして、試乗者P1の行動が検出されているときは図5のSTEP20に分岐し、試乗者P1の行動が検出されていないときにはSTEP6に進む。
STEP20で、興味有機能推定部67は、感情エンジンAの出力から試乗者P1の感情レベルを認識し、続くSTEP21で、試乗者P1の「好き」の感情レベルが所定レベル以上増加したか否かを判断する。そして、試乗者P1の「好き」の感情レベルが所定レベル以上増加したときはSTEP22に進み、「好き」の感情レベルが所定レベル以上増加していないときには、図4のSTEP6に進む。
STEP22で、興味有機能推定部67は、STEP5で検出した試乗者P1の行動に関連する車両1の特定機能を抽出する。例えば、試乗者P1が車両1のバックドア4を開閉する行動が検出されたとき(試乗者P1がバックドア4の開閉操作を行ったときに、試乗者P1の「好き」の感情が高まったとき)には、興味有機能推定部67は、この行動に関連する機能として、荷室拡大するための「後部座席の折り畳み機能」を抽出する。
また、例えば、試乗者P1がアクセルペダルを踏み込んで、車両1を加速させる行動が検出されたとき(試乗者P1が加速操作を行ったときに、試乗者P1の「好き」の感情が高まったとき)には、興味有機能推定部67は、この行動に関連する機能として、「スポーツモード機能」を選択する。
続くSTEP23〜STEP25、及びSTEP30は、情報提供部69による処理である。STEP23で、情報提供部69は、試乗者P1の顧客データから試乗者P1の現有車両の有無を判断する。そして、現有車両があるときはSTEP24に進み、情報提供部69は、現有車両及び現有車両のブランド(一般には現有車両の製造メーカー)の車両1と競合する車両(競合車両)における特定機能の情報を取得する。
例えば、特定機能が「スポーツモード機能」である場合には、情報提供部69は、試乗者P1の現有車両の「スポーツモード機能」と、競合車両(本発明の競合移動体に相当する)の「スポーツモード機能」の情報(スポーツモード機能の有無、スポーツモード機能により変更される要素等)を取得する。
そして、次のSTEP25で、情報提供部69は、車両1、現有車両、及び競合車両における特定機能の情報を、表示器23への表示及びスピーカ22からの音声出力によって試乗者P1に報知する。この報知により、試乗者P1は、車両1の特定機能について、現有車両及び競合車両との相違点や優位性を認識することができる。
一方、試乗者P1の現有車がないときにはSTEP23からSTEP30に分岐し、情報提供部69は、車両1の特定機能の情報のみを報知する。
ここで、車両1の特定機能の情報には、特定機能の使用を促す情報が含まれている。例えば、図6Aは、試乗者P1の興味を惹く特定機能として、「後部座席の折り畳み機能」が推定された場合に行われる報知を示しており、情報提供部69は、スピーカ22から「後部座席は簡単に折り畳めます。ぜひお試し下さい。」との音声メッセージV1を出力している。また、情報提供部69は、表示器23に、後部座席の折り畳み手順を説明する映像を出力する。
また、図6Bは、試乗者P1の興味を惹く特定機能として、「スポーツモード機能」が推定された場合に行われる報知を示している。情報提供部69は、加速操作を行った試乗者P1の「この加速いいね!」という音声V2を、運転席マイク21により入力したときに、スピーカ22から「ありがとうございます! 高出力モータと低燃費エンジンの組合せで実現した抜群の加速です!」という音声V3を出力して、車両1の走行性能をアピールしている。
そして、情報提供部69は、周囲状況認識部68により、車両1が走行している道路が空いていることが認識されていることを条件として、スピーカ22から「道が空いているようですので、スポーツモードにしてみませんか。走りをもっと楽しめますよ! スポーツモードスイッチを操作してみて下さい。」という音声V4を出力する。また、情報提供部69は、表示器23に、スポーツモードスイッチ28の配置箇所(シフトレバーの付近等)を示す映像を出力する。
続くSTEP26及びSTEP26から分岐したSTEP40は、画像送信部70による処理である。STEP26で、画像送信部70は、操作状況検出部64により、試乗者P1が特定機能の操作を行ったか否かを判断する。
そして、試乗者P1が特定機能の操作を行ったときは、STEP40に分岐し、試乗者P1が特定機能の操作を行わなかったときには図4のSTEP6に進む。STEP40で、画像送信部70は、運転席カメラ20により試乗者P1を撮像して撮像データをメモリに保持し、図4のSTEP6に進む。なお、試乗者P1が特定機能の操作を行ったときにSTEP40で画像送信部70が運転席カメラ20により試乗者P1を撮像して撮像データをメモリに保持したが、試乗者P1が特定機能の操作を行い、かつ試乗者P1の感情レベルが所定値以上増加した場合に、STEP40で画像送信部70が運転席カメラ20により試乗者P1を撮像して撮像データをメモリに保持するようにしてもよい。
図4のSTEP6,STEP7は、車両感情報知部71による処理である。車両感情報知部71は、STEP6で、試乗認識部61により試乗者P1による車両1の試乗の終了が認識されたか否かを判断する。そして、試乗の終了が認識されたときはSTEP7に進み、試乗が認識されていないときにはSTEP2に戻ってSTEP2以下の処理を再び実行する。
STEP7で、車両感情報知部71は、図7Bに示したように、車両1が寂しがっていることを表す報知を行う。具体的には、表示器23に車両1が寂しがっている状態を擬人化した画像D2を表示すると共に、スピーカ22から「もう終わりですか? またいらして下さいね!」等の音声V6を、沈んだトーンで出力する。
続くSTEP8は、画像送信部70による処理である。画像送信部70は、試乗者P1の顧客データから、試乗者P1の住所を抽出する。図8を参照して、画像送信部70は、店舗S(試乗が終了した場所)から試乗者P1の住居Hまでの距離を求めて、試乗者P1が住居Hに帰宅するであろう時刻(帰宅予測時刻)を予測する。なお、試乗が終了した時刻から帰宅予測時刻までの経過時間は、本発明の所定時間に相当する。
そして、画像送信部70は、帰宅予測時刻になったときに、試乗をしてくれたことに対する感謝を表す電子メール400を、メールサーバ120を介して試乗者P1の通信端末300(スマートフォン、タブレット、携帯電話等)に送信する。
電子メール400には、図4のSTEP10又は図5のSTEP40で撮像された試乗者P1の画像401と、お礼文書402と、車両1又は車両1と同一車種で同一色の車両の画像403とが含まれる。
画像403は本発明の移動体画像に相当し、画像送信部70が顧客情報サーバ100等から画像403のデータを取得する構成は、本発明の移動体画像取得部に相当する。
試乗者P1の画像401は、試乗者P1の「好き」の感情レベルが所定レベル以上増加した時に撮像された画像であるため、基本的には笑顔の画像となるが、撮像画像が複数ある場合には、各撮像画像について笑顔検出を行い、検出された笑顔のレベルが最も高い画像を電子メール400に添付する試乗者P1の画像401としてもよい。
また、電子メール400の差出人は、車両1の車種名(図8では、「HT−SPORT」を例示)となっており、車両1又は車両1と同一の車種で同一色の車両の画像403を含めることで、試乗者P1のこの車種に対する印象を高めることができる。
[4.他の実施形態]
上記実施形態では、試乗者P1が車両1の試乗を行う場合を例に説明したが、使用者が、自身が所有する車両を使用する際にも、同様にして使用者の興味を惹くと推定される特定機能に関する情報を提供することによって、現有車両の有用性を使用者に認識させることができる。
上記実施形態では、試乗者P1が車両1の試乗を行う場合を例に説明したが、使用者が、自身が所有する車両を使用する際にも、同様にして使用者の興味を惹くと推定される特定機能に関する情報を提供することによって、現有車両の有用性を使用者に認識させることができる。
上記実施形態では、試乗者P1の静止画像(画像401)を電子メール400に添付したが、使用者P1の動画像を添付してもよく、また、試乗者P1の撮像時に試乗者P1が発した音声のデータを録音しておき、画像と併せて電子メールに添付してもよい。また、試乗者P1が車両の購入を成約した場合は、電子メール、画像情報に成約日と納車予定日等を記載してもよい。
上記実施形態では、画像送信部70は、図4のSTEP8で、試乗者P1の帰宅時間を想定して試乗者P1に電子メールを送信したが、使用者P1が車両1を含む所定領域内から離れたことが推定又は検出されたときに、試乗者P1に電子メールを送信するようにしてもよい。この場合、画像送信部70は、例えば、(1)カメラ11,13,20の撮像画像等により、使用者P1が車両1から離れたことを認識した時点から、所定時間が経過した時、或いは、(2)使用者P1が車両1の試乗を終了した時、又は使用者がシートを倒す等の操作を行った時から所定時間が経過した時に、使用者P1が車両1を含む所定領域内から離れたと認識してもよい。
上記実施形態では、行動検出部65と感情エンジン66とを備え、興味有機能推定部67は、行動検出部65により検出された使用者の行動と、この行動が検出された時に感情エンジンAで推定された使用者の感情とに基づいて、使用者が興味を有する特定機能を推定した。しかし、行動検出部65のみを備えて、興味有機能推定部67は、行動検出部65により検出された使用者の行動に基づいて、特定機能を推定するようにしてもよい。或いは、感情エンジン66のみを備えて、興味有機能推定部67は、感情エンジン66により検出された使用者P1の感情に基づいて、使用者が興味を有する特定機能を推定するようにしてもよい。
上記実施形態では、本発明の移動体として四輪の車両1を示したが、2輪車両等の他のタイプの車両、船舶、航空機等の種々の移動体に対して、本発明の適用が可能である。
1…車両(移動体)、50…制御ユニット、51…通信装置、60…情報提供装置、61…試乗認識部、62…現有車情報取得部、63…車両情報取得部、64…操作状況検出部、65…行動検出部、66…感情エンジン(感情推定部)、67…興味有機能推定部、68…周囲状況認識部、69…情報提供部、70…画像送信部、71…車両感情報知部、100…顧客情報サーバ、101…顧客データベース、400…電子メール、P1…試乗者、P2…営業担当者。
Claims (6)
- 移動体において機能する情報提供装置であって、
前記移動体を含む所定領域内に所在する前記移動体の使用者の状態を検出する使用者状態検出部と、
前記所定領域内を撮像する撮像部と、
前記使用者状態検出部の検出結果に基づいて、前記使用者の感情を推定する感情推定部と、
前記感情推定部により推定される前記使用者の感情レベルが増加したときに、前記撮像部により前記使用者を撮像し、該撮像した前記使用者の画像データを、前記使用者が前記移動体を含む所定領域から離れたことが推定又は検出された場合に、前記使用者の通信端末に送信する画像送信部と
を備えていることを特徴とする情報提供装置。 - 請求項1に記載の情報提供装置において、
前記使用者に対して、前記移動体が有する特定機能の利用を促す情報を提供する情報提供部を備え、
前記画像送信部は、前記情報の提供に応じて、前記使用者が前記特定機能を利用するための操作を行い、且つ、前記使用者が該操作を行ったときに、前記感情推定部により推定された前記使用者の感情レベルが増加したときに、前記撮像部により前記使用者を撮像して、該撮像した前記使用者の画像データを、前記使用者の通信端末に送信することを特徴とする情報提供装置。 - 請求項1又は請求項2に記載の情報提供装置において、
前記画像送信部は、前記使用者の画像データを、前記移動体を送信者として示すデータと共に前記使用者の通信端末に送信することを特徴とする情報提供装置。 - 請求項1から請求項3のうちいずれか1項に記載の情報提供装置において、
前記移動体を示す移動体画像のデータを取得する移動体画像取得部を備え、
前記画像送信部は、前記使用者の画像データを、前記移動体画像のデータと共に、前記使用者の通信端末に送信することを特徴とする情報提供装置。 - 請求項1から請求項4のうちのいずれか1項に記載の情報提供装置において、
前記使用者が前記移動体の試乗中であることを認識する試乗認識部を備え、
前記画像送信部は、前記試乗認識部により、前記使用者が前記移動体の試乗中であることが認識されているときに、前記撮像部により前記使用者を撮像し、前記試乗認識部により、前記使用者が前記移動体の試乗中であることが認識された状態から認識されない状態に切り替わった時点から、所定時間が経過した時に、前記使用者の画像データを前記使用者の通信端末に送信することを特徴とする情報提供装置。 - 請求項1から請求項5のうちいずれか1項に記載の情報提供装置を備えたことを特徴とする移動体。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2016193788 | 2016-09-30 | ||
JP2016193788 | 2016-09-30 | ||
PCT/JP2017/023046 WO2018061353A1 (ja) | 2016-09-30 | 2017-06-22 | 情報提供装置、及び移動体 |
Publications (2)
Publication Number | Publication Date |
---|---|
JPWO2018061353A1 JPWO2018061353A1 (ja) | 2019-03-22 |
JP6657415B2 true JP6657415B2 (ja) | 2020-03-04 |
Family
ID=61762592
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018541908A Active JP6657415B2 (ja) | 2016-09-30 | 2017-06-22 | 情報提供装置、及び移動体 |
Country Status (5)
Country | Link |
---|---|
US (1) | US10706270B2 (ja) |
JP (1) | JP6657415B2 (ja) |
CN (1) | CN109690601B (ja) |
DE (1) | DE112017004942T5 (ja) |
WO (1) | WO2018061353A1 (ja) |
Families Citing this family (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2019003296A1 (ja) * | 2017-06-27 | 2019-01-03 | 川崎重工業株式会社 | 疑似感情生成方法並びに走行評価方法および走行評価システム |
CN112307816B (zh) * | 2019-07-29 | 2024-08-20 | 北京地平线机器人技术研发有限公司 | 车内图像获取方法、装置以及电子设备、存储介质 |
JP2022133854A (ja) * | 2021-03-02 | 2022-09-14 | マツダ株式会社 | 車両の制御システム |
JP7484802B2 (ja) * | 2021-04-14 | 2024-05-16 | トヨタ自動車株式会社 | 情報処理装置、プログラム及び情報処理方法 |
JP7596955B2 (ja) | 2021-07-16 | 2024-12-10 | トヨタ自動車株式会社 | 制御装置、災害支援システムおよびプログラム |
US20230298092A1 (en) * | 2022-03-16 | 2023-09-21 | Tekion Corp | Vehicle availability user interface elements for an online system |
Family Cites Families (22)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5670935A (en) * | 1993-02-26 | 1997-09-23 | Donnelly Corporation | Rearview vision system for vehicle including panoramic view |
JP2002245224A (ja) * | 2001-02-19 | 2002-08-30 | Hitachi Ltd | 潜在顧客の情報収集システム及び方法 |
JP2003331176A (ja) * | 2002-05-09 | 2003-11-21 | Toyota Motor Corp | 試乗車提供システム及び方法 |
JP3926254B2 (ja) * | 2002-11-25 | 2007-06-06 | Necシステムテクノロジー株式会社 | 車両に対する顧客満足度評価システム及びその方法 |
JP2004341719A (ja) * | 2003-05-14 | 2004-12-02 | Nec System Technologies Ltd | 客観的顧客満足度評価システム及びその方法 |
JP2005128928A (ja) | 2003-10-27 | 2005-05-19 | Kureo:Kk | 接客支援プログラム、接客支援方法、接客支援装置、接客支援バッチ発行プログラム、接客支援バッチ発行方法および接客支援バッチ発行装置 |
US20110258049A1 (en) * | 2005-09-14 | 2011-10-20 | Jorey Ramer | Integrated Advertising System |
US9418368B2 (en) * | 2007-12-20 | 2016-08-16 | Invention Science Fund I, Llc | Methods and systems for determining interest in a cohort-linked avatar |
JP5217703B2 (ja) | 2008-07-04 | 2013-06-19 | トヨタ自動車株式会社 | 運転者状態記録装置 |
JP2010277583A (ja) * | 2009-04-28 | 2010-12-09 | Everica:Kk | 試乗車両又は広告車両の提供システム |
US9491420B2 (en) * | 2009-09-20 | 2016-11-08 | Tibet MIMAR | Vehicle security with accident notification and embedded driver analytics |
US8576069B2 (en) * | 2009-10-22 | 2013-11-05 | Siemens Corporation | Mobile sensing for road safety, traffic management, and road maintenance |
DE102010062589A1 (de) * | 2010-12-08 | 2012-06-14 | Robert Bosch Gmbh | Kamerabasiertes Verfahren zur Abstandsbestimmung bei einem stehenden Fahrzeug |
US9348492B1 (en) * | 2011-04-22 | 2016-05-24 | Angel A. Penilla | Methods and systems for providing access to specific vehicle controls, functions, environment and applications to guests/passengers via personal mobile devices |
DE102011109564B4 (de) * | 2011-08-05 | 2024-05-02 | Mercedes-Benz Group AG | Verfahren und Vorrichtung zur Überwachung zumindest eines Fahrzeuginsassen und Verfahren zum Betrieb zumindest einer Assistenzvorrichtung |
US20140039723A1 (en) * | 2012-08-03 | 2014-02-06 | Ford Global Technologies, Llc | Apparatus and method for transmitting static and dynamic information to a personal communication device in a vehicle |
KR20140080727A (ko) * | 2012-12-14 | 2014-07-01 | 한국전자통신연구원 | 운전자 감성제어 장치 및 그 방법 |
US9751534B2 (en) * | 2013-03-15 | 2017-09-05 | Honda Motor Co., Ltd. | System and method for responding to driver state |
US20150352955A1 (en) * | 2013-04-18 | 2015-12-10 | Mitsubishi Electric Corporation | Moving body state informing apparatus, server system and moving body state informing method |
WO2015008290A2 (en) * | 2013-07-18 | 2015-01-22 | Secure4Drive Communication Ltd. | Method and device for assisting in safe driving of a vehicle |
US9902343B2 (en) * | 2013-07-31 | 2018-02-27 | Driverdo Llc | Digital vehicle tag and method of integration in vehicle allocation system |
JP2015169980A (ja) * | 2014-03-05 | 2015-09-28 | シャープ株式会社 | 運転監視装置 |
-
2017
- 2017-06-22 CN CN201780054444.5A patent/CN109690601B/zh active Active
- 2017-06-22 JP JP2018541908A patent/JP6657415B2/ja active Active
- 2017-06-22 US US16/317,144 patent/US10706270B2/en active Active
- 2017-06-22 DE DE112017004942.3T patent/DE112017004942T5/de not_active Withdrawn
- 2017-06-22 WO PCT/JP2017/023046 patent/WO2018061353A1/ja active Application Filing
Also Published As
Publication number | Publication date |
---|---|
CN109690601A (zh) | 2019-04-26 |
JPWO2018061353A1 (ja) | 2019-03-22 |
US10706270B2 (en) | 2020-07-07 |
WO2018061353A1 (ja) | 2018-04-05 |
DE112017004942T5 (de) | 2019-06-19 |
CN109690601B (zh) | 2022-11-18 |
US20190294867A1 (en) | 2019-09-26 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6655726B2 (ja) | 情報提供装置、及び移動体 | |
JP6657415B2 (ja) | 情報提供装置、及び移動体 | |
EP3343535B1 (en) | Information processing device, information processing method, and program | |
US20170349184A1 (en) | Speech-based group interactions in autonomous vehicles | |
US20170343375A1 (en) | Systems to dynamically guide a user to an autonomous-driving vehicle pick-up location by augmented-reality walking directions | |
CN107415938A (zh) | 基于乘员位置和注意力控制自主车辆功能和输出 | |
JP2018169705A (ja) | 車両運転支援システム及び車両運転支援方法 | |
CN107886045B (zh) | 设施满意度计算装置 | |
JP6713490B2 (ja) | 情報提供装置及び情報提供方法 | |
CN108312985B (zh) | 车辆信息提示方法和装置 | |
US11302304B2 (en) | Method for operating a sound output device of a motor vehicle using a voice-analysis and control device | |
CN111310062A (zh) | 匹配方法、匹配服务器、匹配系统以及存储介质 | |
JP6373323B2 (ja) | 移動体制御装置、及び移動体 | |
JP7151400B2 (ja) | 情報処理システム、プログラム、及び制御方法 | |
CN111568447A (zh) | 信息处理装置和信息处理方法 | |
US20210403040A1 (en) | Information processing device, information processing system, program, and vehicle | |
WO2020116227A1 (ja) | 情報処理装置 | |
WO2014054171A1 (ja) | 車載情報処理装置 | |
JP7543082B2 (ja) | 情報提示装置、情報提示方法及び情報提示プログラム | |
CN115631550A (zh) | 一种用户反馈的方法和系统 | |
JP2024026816A (ja) | 情報処理システム、情報処理装置、情報処理方法、及び、プログラム | |
CN115965938A (zh) | 基于智能头盔的骑行安全检测方法、装置及存储介质 | |
JP2021071868A (ja) | 情報処理装置 | |
JPWO2013080250A1 (ja) | 移動体用情報機器およびナビゲーション装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20181122 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20200128 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20200205 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6657415 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |