JP2021140624A - データ収集装置 - Google Patents

Abstract

【課題】不特定の評価者による車両の外観の動的なデザイン評価のデータを収集可能なデータ収集装置を提供する。【解決手段】データ収集装置は、自車両の周囲を撮影した撮像情報に基づいて、自車両を見ている人物の感情を推定する感情推定部と、自車両を見ている人物からみた自車両の状態を特定する特定部と、自車両を見ている人物の感情のデータを、特定した自車両の状態のデータに関連付けて記憶させる感情データ記憶処理部と、を備える。【選択図】図１

Description

本発明は、車両用のデータ収集装置に関する。

自動車の商品開発におけるデザイン評価では、操作ボタンやスイッチ等の機能的な評価は基準が明確である場合が多い一方で、外観等の感性的な要因については評価者の主観的な感性に依存する場合が多い。このため、評価者のサンプル数やサンプルサイズをできる限り大きくし、母集団に近い評価を得ることが理想的である。しかしながら、現実的には、評価者を集めるうえで費用や時間、サンプリング集団の偏りに起因して、限定的な評価に留まることが多い。

これに対して、特許文献１では、生体情報を測定することで、評価の主観的判断が加わることが無い手法が提案されている。具体的に、特許文献１には、デザインの良否に関する評価をすべき任意のデザインを映像出力装置によって出力可能に映像化し、その映像を映像出力装置によって任意の被験者に見せながらその被験者の脳波を測定するとともに、その脳波反応に基づいて評価対象のデザインを評価し、良好な評価結果が得られるまでデザインの検討から評価までの工程を繰り返す商品デザイン評価方法が開示されている。

特開２００４−３４２１１９号公報

ここで、自動車のデザインにおいては、走行中の外観がデザイン評価ひいては購買意欲に強く影響すると考えられる。しかしながら、現状の開発中の自動車の外観のデザイン評価においては、所定の場所に集められた特定の評価者に評価させることが一般的であり、不特定多数の人からデザイン評価を受けるようにはなっていない。上記の特許文献１に開示された手法は、不特定多数の評価者からデザイン評価を受けることについては考慮されていない。また、現状の開発中の自動車のデザイン評価においては、ターンテーブル上で自動車を回転させて光の変化を見せる等の工夫に留まっており、走行中の自動車を動的に評価できているとはいいがたい。したがって、現実世界において不特定多数の人からデザイン評価を受けることができる手法の確立が望まれる。

本発明は、上記問題に鑑みてなされたものであり、本発明の目的とするところは、不特定の評価者による車両の外観の動的なデザイン評価のデータを収集可能なデータ収集装置を提供することにある。

上記課題を解決するために、本発明のある観点によれば、自車両の周囲を撮影した撮像情報に基づいて、自車両を見ている人物の感情を推定する感情推定部と、自車両を見ている人物からみた自車両の状態を特定する特定部と、自車両を見ている人物の感情のデータを、特定した自車両の状態のデータに関連付けて記憶させる感情データ記憶処理部と、を備える、データ収集装置が提供される。

また、特定部は、自車両を見ている人物から自車両を見た場合の周囲情報を特定し、感情データ記憶処理部は、自車両を見ている人物の感情のデータを、周囲情報のデータに関連付けて記憶させてもよい。

また、特定部は、自車両を見ている人物から自車両を見た場合の周囲情報として、建造物、自然物、道路、他車両及び天候のうちの少なくとも一つに関する情報を特定してもよい。

また、特定部は、撮像情報に基づいて、人物が見ている自車両の部分をさらに特定し、感情データ記憶処理部は、自車両を見ている人物の感情のデータを、さらに人物が見ている自車両の部分のデータに関連付けて記憶させてもよい。

また、特定部は、撮像情報に基づいて、自車両を見ている人物の属性をさらに特定し、感情データ記憶処理部は、自車両を見ている人物の感情のデータを、さらに人物の属性のデータに関連付けて記憶させてもよい。

また、自車両を見ている人物が他車両に乗車している人物である場合、人物の属性のデータは、自車両に対する人物の相対速度の情報を含んでもよい。

また、感情データ記憶処理部は、自車両を見ている人物の感情のデータを、さらに季節、カレンダー、時刻又は地図データ上の位置のうちの少なくとも一つのデータに関連付けて記憶させてもよい。

また、感情データ記憶処理部は、人物の感情のデータを、時系列のデータとして記憶させてもよい。

また、感情推定部は、撮像情報に基づいて、自車両を見ている人物の自車両に対する興味度合の値を算出し、興味度合の値が所定の閾値以上の人物の感情を推定してもよい。

また、自車両に対する興味度合の値は、所定の時間に対する自車両に視線を向けていた時間の割合であってもよい。

以上説明したように本発明によれば、不特定の評価者による車両の外観の動的なデザイン評価のデータを収集することができる。

本発明の一実施形態に係るデータ収集装置の構成例を示すブロック図である。 同実施形態に係るデータ収集装置が取得する周囲情報を示す説明図である。 同実施形態に係るデータ収集装置が取得する車両の状態の情報を示す説明図である。 同実施形態に係るデータ収集装置が取得する人物の情報を示す説明図である。 同実施形態に係るデータ収集装置の動作例を示すフローチャートである。 同実施形態に係るデータ収集装置による感情推定処理を示すフローチャートである。 同実施形態に係るデータ収集装置による自車両状態特定処理を示すフローチャートである。

以下、添付図面を参照しながら、本発明の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。

＜１．データ収集装置の構成例＞
まず、本発明の実施の形態に係るデータ収集装置の構成例を説明する。図１は、本実施形態に係るデータ収集装置１０の構成例を示すブロック図である。

データ収集装置１０は、車両に搭載され、車両を見ている人物の感情を推定するとともに、推定した感情のデータを、車両の状態のデータに関連付けて記憶させる装置として構築されている。データ収集装置１０は、第１通信部７１、第２通信部７３、周囲撮影カメラ４１、車両状態検出器４３、ＧＰＳアンテナ４５及び電子制御装置５０を備えている。第１通信部７１、第２通信部７３、周囲撮影カメラ４１、車両状態検出器４３及びＧＰＳアンテナ４５は、それぞれ直接的に、又は、ＣＡＮ（Controller Area Network）やＬＩＮ（Local Inter Net）等の通信手段を介して電子制御装置５０に接続されている。

（１−１．周囲撮影カメラ）
周囲撮影カメラ４１は、車両の周囲の画像を取得する。周囲撮影カメラ４１は、車両の基本機能として搭載されていてもよく、車両のデザイン評価のために後付けされるものであってもよい。周囲撮影カメラ４１は、車両の前方、側方及び後方の少なくともいずれかの方向を撮影可能に車両に設けられた一つ又は複数のカメラからなる。自車両をあらゆる方向から見た外観のデザイン評価を行うには、車両の周囲すべての方向を撮影可能に設けられることが好ましい。周囲撮影カメラ４１は、例えば、ＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complementary Metal Oxide Semiconductor）等の撮像素子を備え、取得した撮像情報を電子制御装置５０へ送信する。電子制御装置５０は、周囲撮影カメラ４１で取得された撮像情報を取得可能に構成される。

（１−２．車両状態検出器）
車両状態検出器４３は、車両の状態の情報を検出する。車両の状態とは、車両の操作状態及び挙動を含む。車両状態検出器４３は、車速、加速度、ヨーレート等の車両の挙動の情報を検出する。車両状態検出器４３は、例えば、エンジン回転数センサ、車速センサ、加速度センサ、角速度センサのうちの少なくとも一つを含んでいてもよい。また、車両状態検出器４３は、アクセル操作量、ブレーキ操作量、ステアリング舵角等の車両の操作状態の情報を検出する。車両状態検出器４３は、例えば、アクセルポジションセンサ、ブレーキストロークセンサ、舵角センサのうちの少なくとも一つを含んでいてもよい。車両状態検出器４３は、検出した情報を電子制御装置５０へ送信する。電子制御装置５０は、車両状態検出器４３で検出された情報を取得可能に構成される。

（１−３．ＧＰＳアンテナ）
ＧＰＳアンテナ４５は、ＧＰＳ（Global Positioning System）衛星からの衛星信号を受信する。ＧＰＳアンテナ４５は、受信した衛星信号に含まれる車両の地図データ上の位置情報を電子制御装置５０へ送信する。電子制御装置５０は、ＧＰＳアンテナ４５から送信される位置情報を取得可能に構成される。なお、ＧＰＳアンテナ４５の代わりに、車両の位置を特定する他の衛星システムからの衛星信号を受信アンテナが備えられていてもよい。

（１−４．第１通信部及び第２通信部）
第１通信部７１は、車車間通信又は路車間通信、移動体通信網等の通信手段により車両の外部の装置と通信を行うためのインタフェースである。第１通信部７１は、それぞれの通信規格に対応する一つ又は複数のインタフェースを含む。なお、第１通信部７１を介した通信手段は、上記の例に限られない。

第２通信部７３は、移動体通信網等の通信手段により管理サーバ８０と通信を行うためのインタフェースである。第２通信部７３は、移動体通信網等の通信規格に対応するインタフェースにより構成される。なお、第２通信部７３を介した通信手段は、移動体通信網に限られない。また、第１通信部７１が第２通信部７３を兼ねていてもよい。

（１−５．電子制御装置）
電子制御装置５０は、例えば、ＣＰＵ（Central Processing Unit）又はＭＰＵ（Micro Processing Unit）等の演算処理装置、ＧＰＵ（Graphic Processing Unit）等の画像処理装置、及び、ＲＡＭ（Random Access Memory）やＲＯＭ（Read Only Memory）等の記憶素子を備えて構成される。演算処理装置は、記憶素子に記憶されたプログラムを実行することにより種々の演算処理を実行する。なお、電子制御装置５０の一部又は全部は、ファームウェア等の更新可能なもので構成されてもよく、また、ＣＰＵ等からの指令によって実行されるプログラムモジュール等であってもよい。

本実施形態において、電子制御装置５０は、周囲情報取得部５１、車両情報取得部５２、感情推定部５３、位置情報取得部５５、特定部５７、感情データ記憶処理部５９及び記憶部６１を備える。このうち、周囲情報取得部５１、車両情報取得部５２、感情推定部５３、位置情報取得部５５、特定部５７及び感情データ記憶処理部５９は、演算処理装置又は画像処理装置によるプログラムの実行により実現される機能であってもよい。

（１−５−１．記憶部）
記憶部６１は、ＲＡＭやＲＯＭ等の記憶素子を含む。記憶部６１は、これらの記憶素子と併せて、あるいは、記憶素子に代えて、ＨＤＤ（Hard Disk Drive）やＣＤ（Compact Disc）、ＤＶＤ（Digital Versatile Disc）、ＳＳＤ（Solid State Drive）、ＵＳＢ（Universal Serial Bus）フラッシュ、ストレージ装置等の記憶媒体を備えていてもよい。記憶部６１は、演算処理装置又は画像処理装置により実行されるソフトウェアプログラムや、演算処理に用いられる種々のパラメタ、取得した情報、演算結果等を記憶する。また、記憶部６１は、車両の配色や装備された外装に関する登録情報を記憶するとともに、収集した感情のデータを蓄積する。

（１−５−２．位置情報取得部）
位置情報取得部５５は、ＧＰＳアンテナ４５から送信される情報に基づいて車両の地図データ上の位置情報を取得する。

（１−５−３．周囲情報取得部）
周囲情報取得部５１は、周囲撮影カメラ４１から送信される撮像情報に基づいて、車両の周囲の情報を取得する。周囲情報取得部５１は、周囲撮影カメラ４１から送信される撮像情報を画像処理することにより、物体検知の技術を用いて、車両の周囲に存在する他車両や自転車、建造物、自然物、道路、天候等の情報を検出する。具体的に、周囲情報取得部５１は、撮像情報に基づいて、建造物の大きさや形状、配色、古さ、表面の質感、コントラスト等の情報を取得する。また、周囲情報取得部５１は、撮像情報に基づいて、樹木、川及び山等の自然物の大きさや形状、配色等の情報を取得する。また、周囲情報取得部５１は、撮像情報に基づいて、道路の形状、一般道又は高速道等の種別、幅、色、路面状態等の情報を取得する。また、周囲情報取得部５１は、撮像情報に基づいて、他車両の大きさや車種、自車両との位置関係、自車両との相対速度等の情報を取得する。また、周囲情報取得部５１は、撮像情報に基づいて、日照量や雨量、視界距離等の情報を取得する。

周囲情報取得部５１は、車車間通信又は路車間通信、移動体通信網等の通信手段を介して車両の外部の装置から送信される情報を取得し、上記の車両の周囲の情報の一部を特定してもよい。また、周囲情報取得部５１は、位置情報取得部５５により取得される車両の位置情報を用いて自車両の位置を特定し、上記の車両の周囲の情報の一部を特定してもよい。

図２は、周囲情報取得部５１が取得する情報と、それぞれの情報を取得するための手段、及び、それぞれの情報を取得する理由を示す説明図である。周囲情報取得部５１は、それぞれ図２に示された手段を用いて、一部又は全部の周囲情報を取得することができる。例えば、周囲情報取得部５１は、周囲撮影カメラ４１の撮像画像を画像処理したデータ及び車両の地図データ上の走行位置の情報のうちの少なくとも一つに基づいて、走行中の道路の車線数、走行車線、道路幅、道路形状、道路勾配及び道路状態、道路設置物、並びに、交通信号機及び道路標識のうちの少なくとも一つの情報を取得する。また、周囲情報取得部５１は、第１通信部７１を介して外部のテレマティクスシステムから取得される情報に基づいて、カレンダー情報あるいは季節情報を取得する。これらの取得情報は、自車両の背景色に対する自車両のコントラストや色彩差、並びに自車両への光の当たり方を推定するために用いられる。

また、周囲情報取得部５１は、周囲撮影カメラ４１の撮像画像を画像処理したデータあるいは撮像画像に基づいて物体認識の学習処理を行ったデータに基づいて、車両の周囲の人工物の情報を取得する。また、周囲情報取得部５１は、周囲撮影カメラ４１の撮像画像を画像処理したデータ、車両の地図データ上の走行位置の情報及び対象物の視角の情報のうちの少なくとも一つに基づいて、車両の周囲の人工物の大きさの情報を取得する。また、周囲情報取得部５１は、周囲撮影カメラ４１の撮像画像を画像処理したデータ及び車両の地図データ上の走行位置の情報のうちの少なくとも一つに基づいて、車両の周囲の人工物の形状、配色、古さ又は面質の少なくとも一つの情報を取得する。また、周囲情報取得部５１は、周囲撮影カメラ４１の撮像画像を画像処理したデータあるいは撮像画像に基づいて物体認識の学習処理を行ったデータに基づいて、車両の周囲の自然物の情報、並びに、当該自然物の大きさ、形状又は配色の少なくとも一つの情報を取得する。これらの取得情報は、自車両の背景色に対する自車両のコントラストや色彩差を推定するために用いられる。

また、周囲情報取得部５１は、周囲撮影カメラ４１の撮像画像を画像処理したデータ及び第１通信部７１を介して外部のテレマティクスシステムから取得される情報のうちの少なくとも一つに基づいて、車両の走行エリアの天候の情報を取得する。また、周囲情報取得部５１は、周囲撮影カメラ４１の撮像画像を画像処理したデータに基づいて、自車両に光を照射する光源の情報を取得する。また、周囲情報取得部５１は、車両に搭載された照度計の出力信号に基づいて、光源の強度の情報を取得する。また、周囲情報取得部５１は、周囲撮影カメラ４１の撮像画像を画像処理したデータ及び車両の地図データ上の走行位置の情報のうちの少なくとも一つに基づいて、光源の位置の情報を取得する。光源は、例えば、太陽及び照明装置を含む。これらの取得情報は、自車両が受ける光の影響を推定するために用いられる。

周囲情報取得部５１は、これらの周囲情報を収集することにより、人物が自車両を見たときの背景色と自車両とのコントラストや色彩差、自車両への光の当たり方を把握することができ、自車両の見せ方による人物の感情を分析することができる。なお、図２に示した取得情報はあくまでも一例であって、取得情報が他の情報を含んでいてもよい。

（１−５−４．車両情報取得部）
車両情報取得部５２は、車両状態検出器４３から送信される情報及び記憶部６１に記憶された情報に基づいて、車両に関する情報を取得する。取得される情報は、車両の操作状態及び挙動の情報、並びに、車両の配色及び装備された外装の情報を含む。外装は、例えば、スポイラやリヤウィング、サイドステップ等のエアロパーツを含む。車両の操作状態や挙動の情報は、ＣＡＮやＬＩＮ等の通信手段を介して送信される車両状態検出器４３の出力信号に基づいて取得される。また、車両の配色及び装備された外装の情報は、あらかじめ記憶部６１に記憶されている。

図３は、車両情報取得部５２が取得する情報と、それぞれの情報を取得するための手段、及び、それぞれの情報を取得する理由を示す説明図である。車両状態検出器４３は、それぞれ図３に示された手段を用いて、一部又は全部の車両の状態の情報を取得することができる。例えば、車両状態検出器４３は、ＣＡＮメッセージに含まれるセンサ情報及び位置情報取得部５５により取得される車両の位置情報に基づいて、自車両の速度、加速度、ジャーク（加加速度）、角速度、操舵角、並びに、アクセル開度及びブレーキ圧の情報を取得する。これらの取得情報は、自車両が走行中であるか、停車中であるかあるいは旋回中であるか等、自車両の運動状態を推定するために用いられる。

また、車両情報取得部５２は、位置情報取得部５５により取得される車両の位置情報に基づいて、自車両の走行位置の情報を取得する。これらの取得情報は、自車両が走行しているエリアの風景や日照方向の推定に用いられる。また、車両情報取得部５２は、記憶部６１に記憶された車両の登録情報に基づいて、自車両の配色及び装備された外装の情報を取得する。自車両の配色の情報は、自車両の背景色に対する自車両のコントラスト及び色彩差を推定するために用いられる。また、装備された外装の情報は、自車両のデザインの印象に影響を与え得る要素を推定するために用いられる。

車両情報取得部５２は、これらの車両の状態の情報を収集することにより、人物が自車両を見たときの車両の運動状態や背景、日照条件、デザインの印象に影響を与える要素等を把握することができ、自車両の見せ方や装備による人物の感情を分析することができる。なお、図３に示した取得情報はあくまでも一例であって、取得情報が他の情報を含んでいてもよい。

（１−５−５．感情推定部）
感情推定部５３は、周囲撮影カメラ４１から送信される撮像情報に基づいて、自車両を見ている人物の感情を推定する。具体的に、感情推定部５３は、撮像情報に基づいて、物体検知の技術を用いて人体の顔を抽出するとともに当該人物の視線を検出して、自車両を見ている人物を特定する。検出する人物は、歩行者や静止している人物に限らず、自転車に乗っている人物や、他車両の乗員を含む。感情推定部５３は、自車両を見ている人物を特定した場合、例えば、ＦＡＣＳ理論に基づく表情解析の手法により当該人物の表情のデータを解析して人物の感情を推定する。感情は、例えば、喜怒哀楽等の感情の種類ごとに規定されたレベルにより推定されてもよい。感情の推定方法は、他の手法であってもよい。

このとき、感情推定部５３は、自車両を見ている人物の自車両に対する興味度合の値を算出し、興味度合の値があらかじめ設定した閾値以上の人物の感情を推定してもよい。これにより、偶然自車両の方へ視線を向けている一方で自車両に興味を示していない人物の感情のデータを収集することを避けることができる。自車両に対する興味度合は、例えば、所定の時間に対する自車両に視線を向けていた時間の割合として求めてもよい。この他、感情推定部５３は、自車両に視線を向けているときの時間当たりの感情の変化状態に基づいて自車両に対する興味度合を求めることができる。あるいは、感情推定部５３は、自車両に視線を向けてからの動作の変化状態等に基づいて自車両に対する興味度合を求めてもよい。例えば、感情推定部５３は、走っていた人物が、自車両に視線を向けた後に立ち止まって自車両を注視したような場合に、自車両に対する興味度合が高いものと推定してもよい。

図４は、感情推定部５３が取得する人物の情報と、それぞれの情報を取得するための手段、及び、それぞれの情報を取得する理由を示す説明図である。感情推定部５３は、それぞれ図４に示された手段を用いて、一部又は全部の人物の情報を取得することができる。例えば、感情推定部５３は、周囲撮影カメラ４１の撮像画像を画像処理したデータあるいは撮像画像に基づいて物体認識の学習処理を行ったデータに基づいて、自車両の周囲に存在する人物を検出する。また、感情推定部５３は、周囲撮影カメラ４１の撮像画像を画像処理したデータに基づいて、検出した人物の視線の方向、及び、自車両に視線を向けている滞留時間又は頻度の少なくとも一つの情報を取得する。これらの取得情報は、自車両を注視する人物を把握するために用いられる。

また、感情推定部５３は、周囲撮影カメラ４１の撮像画像を画像処理したデータ及び解析したデータに基づいて、自車両を注視する人物の感情の種類又はレベルの少なくとも一つの情報を取得する。これらの取得情報は、自車両を注視する人物の感情の把握に用いられる。また、感情推定部５３は、周囲撮影カメラ４１の撮像画像を画像処理したデータあるいは撮像画像に基づいて物体認識の学習処理を行ったデータに基づいて、自車両の周囲の人物の位置、及び、人物と自車両との距離又は相対速度の少なくとも一つの情報を取得する。これらの取得情報は、自車両を注視する人物の状態を把握するために用いられる。つまり、人物が自車両の近くにいるか否か、あるいは、人物が移動中であるか否かが把握される。

また、感情推定部５３は、周囲撮影カメラ４１の撮像画像を画像処理したデータ及び解析したデータに基づいて、自車両を注視する人物の属性の情報を取得する。人物の属性の情報は、例えば、性別、年齢、人種、居住地域、所得、職業、学歴又は家族構成のうちの少なくとも一つの情報を含む。例えば、感情推定部５３は、周囲撮影カメラ４１の撮像画像を画像処理したデータ及び解析したデータに基づいて特徴量分析等の手法により人物を特定し、外部の管理サーバ８０等に蓄積された属性データを参照することにより人物の属性の情報を取得する。これらの取得情報は、自車両を注視する人物の属性のカテゴライズに用いられ、どのような属性の人物が自車両に対してどのような感情を抱く傾向にあるかの分析に用いられる。

感情推定部５３は、これらの人物の情報を収集することにより、自車両を注視する人物の感情、当該人物の状態及び属性等を把握することができ、車両のデザインに対する評価や車両のマーケティング情報を分析することができる。なお、図４に示した取得情報はあくまでも一例であって、取得情報が他の情報を含んでいてもよい。

（１−５−６．特定部）
特定部５７は、周囲情報取得部５１、車両情報取得部５２、感情推定部５３及び位置情報取得部５５により得られた情報に基づいて、自車両を見ている人物からみた自車両の状態を特定する。例えば、特定部５７は、自車両を見ている人物から自車両を見た場合の周囲情報を特定する。周囲情報とは、建造物、自然物、道路、他車両及び天候のうちの少なくとも一つに関する情報である。また、特定部５７は、自車両を見ている人物が自車両のどの部分を見ているかを特定してもよい。また、特定部５７は、自車両を見ている人物の属性を特定してもよい。人物の属性とは、当該人物の性別又は年齢の少なくとも一つの情報を含んでいてもよい。また、自車両を見ている人物が他車両に乗車している人物である場合、人物の属性とは、自車両に対する人物（他車両）の相対速度の情報を含んでいてもよい。

（１−５−７．感情データ記憶処理部）
感情データ記憶処理部５９は、自車両を見ている人物の感情のデータを、特定部５７により特定された自車両の状態のデータに関連付けて記憶部６１に記憶させる処理を実行する。これにより、どのような属性の人物が、どの角度から、どのような背景の下で、自車両のどの部分を見て、どのような感情を持ったのかのデータを蓄積することができる。したがって、どのような属性の人物が車両に対して関心を示したかあるいは示さないか、あるいは、どの角度又はどのような背景の下で人物が自車両に関心を示したかを分析することができる。

感情データ記憶処理部５８は、感情のデータを記憶させる際に、季節、カレンダー情報及び時刻のうちの少なくとも一つの情報に関連付けて記憶させてもよい。これにより、季節や月日、時刻に応じて変化する周囲情報に応じた車両のデザインへの人物の感情を分析することができる。

感情データ記憶処理部５９は、演算処理装置の処理能力に応じた処理サイクルごとに、自車両を見ている人物の感情のデータと、当該人物から見た車両の状態のデータとを時間的に関連付けて記憶部６１に蓄積してもよい。これにより、自車両を見ている人物の感情のデータを時系列のデータとして蓄積することができ、当該人物に対する車両の状態の動的な変化による感情の変化のデータや、車両の状態の動的な変化に対する感情のデータを収集することができる。また、感情データ記憶処理部５９は、第２通信部７３を介して、記憶部６１に蓄積するデータを管理サーバへ送信してもよい。このときデータが送信される管理サーバは、人物の属性のデータを記憶する管理サーバ８０と共通のサーバであってもよく、異なるサーバであってもよい。

＜２．データ収集装置の動作例＞
ここまで、本実施形態に係るデータ収集装置１０の構成例を説明した。次に、図５〜図７に示すフローチャートに基づいて、本実施形態に係るデータ収集装置１０の動作例を説明する。以下の説明においては、上述の構成例ですでに説明した内容と重複する説明を省略する場合がある。

まず、電子制御装置５０がデータ収集装置１０の起動を検知すると（ステップＳ１１）、次いで、車両情報取得部５２は、位置情報取得部５５により特定された自車両の地図データ上の位置の情報、車両状態検出器４３の出力信号及び記憶部６１に記憶された車両の登録情報に基づいて、図３に例示した車両の状態の情報を検出する（ステップＳ１３）。次いで、周囲情報取得部５１は、位置情報取得部５５により特定された自車両の地図データ上の位置の情報、周囲撮影カメラ４１から送信される撮像情報等に基づいて、図２に例示した車両の周囲の情報を取得する（ステップＳ１５）。次いで、感情推定部５３は、周囲撮影カメラ４１から送信される撮像情報等に基づいて、図４に示した人物の情報を取得するとともに、自車両を見ている人物の感情を推定する（ステップＳ１７）。

図６は、自車両を見ている人物の感情を推定する処理のフローチャートを示す。まず、感情推定部５３は、周囲撮影カメラ４１から送信される撮像情報に基づいて、物体検知の技術を用いて、自車両を見ている人物を抽出する（ステップＳ４１）。例えば、感情推定部５３は、自車両の周囲の人物を検出するとともに、検出される人物の視線の向きに基づいて自車両に視線を向けている人物を抽出する。次いで、感情推定部５３は、当該人物の自車両に対する興味度合を算出する（ステップＳ４３）。例えば、感情推定部５３は、所定時間に対する自車両に視線を向けている時間の割合を興味度合とする。この他、感情推定部５３は、自車両に視線を向けているときの時間当たりの感情の変化状態に基づいて自車両に対する興味度合を求めてもよい。あるいは、感情推定部５３は、自車両に視線を向けてからの動作の変化状態等に基づいて自車両に対する興味度合を求めてもよい。

次いで、感情推定部５３は、算出した興味度合が、あらかじめ設定された閾値以上であるか否かを判別する（ステップＳ４５）。算出した興味度合が閾値未満である場合（Ｓ４５／Ｎｏ）、感情推定部５３は、ステップＳ４１に戻って、自車両を見ている人物を再度抽出する。一方、算出した興味度合が閾値以上である場合（Ｓ４５／Ｙｅｓ）、感情推定部５３は、周囲撮影カメラ４１の撮像情報から特徴量を抽出する技術を用いる等により、性別、年齢、人種等の当該人物の属性を推定する（ステップＳ４７）。感情推定部５３は、人物を特定した後、外部の管理サーバ８０に登録された当該人物の属性の情報を取得してもよい。次いで、感情推定部５３は、当該人物の感情を推定する（ステップＳ４９）。例えば、感情推定部５３は、周囲撮影カメラ４１の撮像情報から抽出した人物の顔領域に対して、ＦＡＣＳ理論に基づく表情解析の手法により当該人物の表情のデータを解析して人物の感情を推定する。感情は、例えば、喜怒哀楽等の感情の種類ごとに規定されたレベルにより推定されてもよい。

図５に戻り、感情推定部５３による自車両を見ている人物の感情の推定を行った後、特定部５７は、自車両を見ている人物から見た自車両の状態を特定する（ステップＳ１９）。具体的に、図７に示すように、特定部５７は、周囲情報取得部５１、感情推定部５３及び位置情報取得部５５により得られた情報を組み合わせ、自車両を見ている人物からみた自車両の周囲環境（背景等）を特定し（ステップＳ５１）、さらに、当該人物が見ている車両の部分を特定する（ステップＳ５３）。

特定部５７が、自車両を見ている人物から見た自車両の状態を特定した後、感情データ記憶処理部５９は、人物の感情のデータを、特定した車両の状態のデータに関連付けて記憶部６１に記憶させる（ステップＳ２１）。本実施形態において、特定部５７は、人物の感情のデータを、さらに人物の属性のデータ及び季節、カレンダー情報に関連付けて記憶部６１に記憶させる。感情データ記憶処理部５９は、記憶部６１に記憶させるデータを、外部の管理サーバ８０へ送信し、管理サーバ８０へ記憶させてもよい。

次いで、データ収集装置１０が停止したか否かが判別され（ステップＳ２３）、データ収集装置１０が停止していない場合（Ｓ２３／Ｎｏ）、電子制御装置５０は、これらのステップＳ１３〜ステップＳ２１の一連の処理を、演算処理装置の処理能力に応じた処理サイクルごとに実行し、時系列のデータとして人物の感情のデータを蓄積する。一方、データ収集装置１０が停止していない場合（Ｓ２３／Ｎｏ）、電子制御装置５０は、一連の処理動作を終了する。

このようにして、本実施形態に係るデータ収集装置１０によれば、自車両の周囲を撮影した撮像情報に基づいて自車両を見ている人物を特定し、当該人物の感情を推定するとともに、当該人物の感情のデータを、当該人物から見た自車両の状態のデータに関連付けて蓄積する。したがって、人物が、自車両をどのように見た場合に、どのような感情を抱くかのデータを、不特定の人物を対象として収集することができる。

また、データ収集装置１０により収集される感情のデータは、人物から見た周囲の環境に対する自車両のコントラストや色彩差、車両への日照条件、車両を見る際の角度、相対速度、人物が見ている車両の部分等のデータに関連付けて蓄積される。また、データ収集装置１０により収集される感情のデータは、車両の操作状態や挙動のデータに関連付けて蓄積される。このため、車両をどのように見せるとよいかの分析や、車両のデザインの評価の分析を部分ごとに行うことができる。また、データ収集装置１０により収集される感情のデータは、人物の属性の情報とともに蓄積させてもよい。この場合、どのような属性の人物に、車両のデザインが好評であるかあるいは不評であるかを分析することができ、蓄積したデータを、車両の販売のためのマーケティングに用いることができる。

以上、添付図面を参照しながら本発明の好適な実施形態について詳細に説明したが、本発明はかかる例に限定されない。本発明の属する技術の分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例又は修正例に想到し得ることは明らかであり、これらについても、当然に本発明の技術的範囲に属するものと了解される。

１０…データ収集装置、４１…周囲撮影カメラ、４３…車両状態検出部、４５…ＧＰＳアンテナ、５１…周囲情報取得部、５２…車両情報取得部、５３…感情推定部、５５…位置情報取得部、５７…特定部、５９…感情データ記憶処理部、６１…記憶部、７１…第１通信部、７３…第２通信部

Claims (10)

1. 自車両の周囲を撮影した撮像情報に基づいて、自車両を見ている人物の感情を推定する感情推定部と、
   前記自車両を見ている人物からみた自車両の状態を特定する特定部と、
   前記自車両を見ている人物の感情のデータを、前記特定した自車両の状態のデータに関連付けて記憶させる感情データ記憶処理部と、
   を備える、データ収集装置。
2. 前記特定部は、前記自車両を見ている人物から自車両を見た場合の周囲情報を特定し、
   前記感情データ記憶処理部は、前記自車両を見ている人物の感情のデータを、前記周囲情報のデータに関連付けて記憶させる、請求項１に記載のデータ収集装置。
3. 前記特定部は、前記自車両を見ている人物から自車両を見た場合の周囲情報として、建造物、自然物、道路、他車両及び天候のうちの少なくとも一つに関する情報を特定する、請求項２に記載のデータ収集装置。
4. 前記特定部は、前記撮像情報に基づいて、前記人物が見ている自車両の部分をさらに特定し、
   前記感情データ記憶処理部は、前記自車両を見ている人物の感情のデータを、さらに前記人物が見ている自車両の部分のデータに関連付けて記憶させる、請求項１〜３のいずれか１項に記載のデータ収集装置。
5. 前記特定部は、前記撮像情報に基づいて、前記自車両を見ている人物の属性をさらに特定し、
   前記感情データ記憶処理部は、前記自車両を見ている人物の感情のデータを、さらに前記人物の属性のデータに関連付けて記憶させる、請求項１〜４のいずれか１項に記載のデータ収集装置。
6. 前記自車両を見ている人物が他車両に乗車している人物である場合、前記人物の属性のデータは、前記自車両に対する前記人物の相対速度の情報を含む、請求項５に記載のデータ収集装置。
7. 前記感情データ記憶処理部は、前記自車両を見ている人物の感情のデータを、さらに季節、カレンダー、時刻又は地図データ上の位置のうちの少なくとも一つのデータに関連付けて記憶させる、請求項１〜６のいずれか１項に記載のデータ収集装置。
8. 前記感情データ記憶処理部は、前記人物の感情のデータを、時系列のデータとして記憶させる、請求項１〜７のいずれか１項に記載のデータ収集装置。
9. 前記感情推定部は、前記撮像情報に基づいて、前記自車両を見ている人物の前記自車両に対する興味度合の値を算出し、前記興味度合の値が所定の閾値以上の人物の感情を推定する、請求項１〜８のいずれか１項に記載のデータ収集装置。
10. 前記自車両に対する興味度合の値は、所定の時間に対する前記自車両に視線を向けていた時間の割合である、請求項９に記載のデータ収集装置。
    

Images