上記本発明の自動車用ユーザーもてなしシステムによると、自動車に搭乗するユーザー(例えば運転者)の予め定められた生体状態を、当該生体状態を反映した数値パラメータである生体状態パラメータの時間的変化として検出し、その検出された生体状態パラメータの時間的変化に基づいて、ユーザーの精神的状態又は肉体的状態を推定し、その推定された精神的状態又は肉体的状態に応じて、もてなし動作部の動作内容を変化させるようにした。すなわち、ユーザーの精神状態あるいは体調を自動車側にて自発的に把握し、その精神状態あるいは体調に適合したもてなし動作を行なわせることで、自動車利用に際してのユーザーへサービス効果を著しく高めることができる。また、自動車がユーザーの精神あるいは肉体に自発的に歩み寄る構成となるため、ユーザーの共感意識が向上し、ひいては自動車とユーザーとの内面的なつながりが育まれ、自動車を単なる「交通移動手段」から、ユーザーの気持ちを自ら理解し行動する仮想パートナーとしての地位へと高めることができる。
生体状態変化検出部は、生体状態パラメータの時間的変化波形を検出するとすることができる。この場合、精神/肉体状態推定手段は、波形の振幅情報に基づいてユーザーの肉体的状態を推定することができる。例えば、病気や疲労によりユーザーの肉体的状態が低下すると、該肉体状態を反映する生体状態の変動も小さくなる。すなわち、生体状態パラメータの時間的変化波形の振幅が縮小する傾向となりやすく、上記病気や疲労といった、肉体状態の異常を適確に検出することが可能となる。一方、精神/肉体状態推定手段は、波形の周波数情報に基づいてユーザーの精神的状態を推定するものとすることもできる。精神状態の安定ないし不安定は、生体状態の変動速度に反映されることが多く、その変動速度は生体状態パラメータ波形の周波数に反映されるので、該周波数情報に基づいてユーザーの精神的状態を適確に推定することができる。
精神/肉体状態推定手段は、ユーザーの精神状態又は肉体状態を、予め定められた複数の精神状態レベル又は精神状態レベルのいずれかに特定するものとすることができる。また、もてなし動作部の動作内容を規定するもてなし動作情報を、複数の精神状態レベル又は精神状態レベルと対応付けて記憶するもてなし動作情報記憶部を設けることができる。そして、もてなし制御部は、推定されたれた精神状態レベル又は精神状態レベルに対応したもてなし動作情報をもてなし動作情報記憶部から読み出し、これに基づいてもてなし動作部の動作制御を司るものとして構成できる。該構成によると、元来アナログ的に複雑かつ連続的に変化するユーザーの肉体状態あるいは精神状態に、段階的なレベル設定を行なうことで、もてなし制御のアルゴリズムを大幅に簡略化することができる。
生体状態変化検出部は、生体状態パラメータの時間的変化情報として、ユーザーの体温の時間的変化状態を検出するものとすることができる。体温にはユーザーの肉体状態(体調)や精神状態、特に肉体状態が顕著に反映される(例えば、体調不良時には体温変動幅(波形振幅)が緩やかになる)とともに、赤外線測定(例えば顔のサーモグラフィーなど)により遠隔測定が可能であることから、運転中(あるいは車内滞在中)に限らず、自動車に対するユーザーの接近、乗り込み、降車/離脱といった種々の局面で、ユーザーの状態推定に活用できる利点があり、適確なもてなし動作を供するべきシーンの多様化にも貢献できる。
また、生体状態変化検出部は、生体状態パラメータの時間的変化状態として、ユーザーの顔の表情及び視線方向の少なくともいずれかの時間的変化状態を取得するものとすることもできる。これら2つのパラメータも、ユーザーの肉体状態(体調)や精神状態(特に精神状態)が顕著に反映され、かつ画像撮影による遠隔測定が可能であることから、運転中(あるいは車内滞在中)に限らず、自動車に対するユーザーの接近、乗り込み、降車/離脱といった種々の局面で、ユーザーの状態推定に活用できる利点があり、適確なもてなし動作を供するべきシーンの多様化にも貢献できる。
もてなし動作部は、ユーザーが自動車の運転中にもてなし動作を行なうものとすることができる。そして、生体状態変化検出部は、ユーザーの運転中における生体状態パラメータの時間的変化を検出するものとすることができる。これにより、運転者(ユーザー)の精神状態あるいは肉体状態に応じて、その運転中におけるもてなし動作が適正化され、快適でより安全な自動車の運転を実現することができる。
生体状態変化検出部は、生体状態パラメータの時間的変化状態として、血圧、心拍数、体温、皮膚抵抗及び発汗の1又は2以上からなる第一種生体状態パラメータの時間的変化状態を取得するものとすることができる。第一種生体状態パラメータは、運転者のいわば内部肉体的な状態変化を示すものであり、その時間的変化(波形)には、運転者の精神状態(あるいは心理状態)や肉体状態、特に精神状態が顕著に反映されるので、これを解析することで、該運転者に対するもてなし動作の適正化をより効果的に図ることができる。また、これら第一種生体状態パラメータは、例えばハンドルの運転者による握り位置に取り付けられたセンサにより直接的な測定が可能であり、その時間的変化を鋭敏に捉えることができる利点がある。具体例を挙げれば、危険を察知して冷やりとしたり、割り込みや追い越しでカッとくれば(つまり、精神的に興奮した場合)、発汗が顕著になったり、心臓の鼓動が高鳴ったりし、血圧、心拍数、体温、皮膚抵抗(あるいは発汗)といった第一種生体状態パラメータの波形(特に振幅)に顕著な変化が現れる。また、よそ事に気を取られて注意力が散漫になっている場合も、第一種生体状態パラメータが同様の波形を示すことが知られている。この場合、精神/肉体状態推定手段は、第一種生体状態パラメータの波形周波数が一定レベル以上に大きくなった場合に、ユーザーの精神状態に異常を来たしていると推定することが可能である。
一方、生体状態変化検出部は、生体状態パラメータの時間的変化状態として、ユーザーの運転中の姿勢、視線方向及び表情の少なくともいずれかからなる第二種生体状態パラメータの時間的変化状態を検出するものとすることができる。第二種生体状態パラメータは、運転者のいわば外的な肉体状態変化を示すものであり、体調不良や病気、あるいは疲労などの状態を反映して、その動きの振幅が縮小される傾向にある。従って、精神/肉体状態推定手段は、第二種生体状態パラメータの波形振幅が一定レベル以下に小さくなった場合に、ユーザーの体調に異常を来たしていると推定することができる。
一方、第二種生体状態パラメータの波形は、運転者の精神状態の把握にも有効活用することができる。例えば、運転者が興奮状態に陥ると運転者の姿勢が頻繁に変化するようになる一方、視線方向の変化は逆に減少し、いわゆる「目が据わった」状態になる。また、精神的に不安定な場合、顔の表情の変化も著しくなる。この場合、精神/肉体状態推定手段は、第二種生体状態パラメータの波形周波数が一定レベル以上に大きくなるか、又は一定レベル以下に小さくなった場合に(どちらになるかは、パラメータの種類によって異なる)、ユーザーの精神に異常を来たしていると推定することができる。
なお、周波数及び振幅とは異なる時間変化情報により、精神状態ないし肉体状態を把握できる生体状態パラメータも存在する。例えば、生体状態変化検出部は生体状態パラメータの時間的変化として、ユーザーの瞳孔寸法の時間的変化を検出するものとすることができる。精神/肉体状態推定手段は、検出された瞳孔寸法に予め定められたレベル以上の変動が生じている場合に、ユーザーの体調に異常を来たしていると推定することができる。これは、目の焦点合わせや光量調整が疲れにより不安定化し、いわゆるかすみ目やチラツキなどの状態に陥ることが多いためである。一方、怒り等により異常に興奮した状態になると、運転者は目をカッと見開いた状態になることが多い。この場合、精神/肉体状態推定手段は、検出された瞳孔寸法が予め定められたレベル以上に拡張している場合に、ユーザーの精神状態に異常を来たしていると推定することができる。
また、生体状態変化検出部は複数設けることができ、精神/肉体状態推定手段は、それら複数の生体状態変化検出部が検出する生体状態パラメータの時間的変化状態の組み合わせに基づいて、ユーザーの精神的状態又は肉体的状態を推定するものとすることができる。複数の生体状態パラメータを組み合わせることにより、推定(すなわち識別)可能な精神的状態又は肉体的状態の種別をより多様化(あるいは細分化)することができ、また、推定精度を高めることができる。この場合、ユーザーの、推定すべき精神的状態又は肉体的状態である複数の被推定状態と、個々の被推定状態が成立していると推定するための、複数の生体状態変化検出部がそれぞれ検出しているべき生体状態パラメータの時間的変化状態の組み合わせとを対応付けて記憶した判定テーブルを設けておき、精神/肉体状態推定手段は、検出された複数の生体状態パラメータの時間的変化状態の組み合わせを、判定テーブル上の組み合わせと照合し、照合一致した組み合わせに対応する被推定状態を現在成立している被推定状態として特定するものとすることができる。これにより、多数の生体状態パラメータを考慮する場合でも、被推定状態の特定処理を効率的に実施することができる。
被推定状態は、「集中力散漫」、「体調不良」及び「興奮状態」の少なくとも3つを含むものとすることができる。精神/肉体状態推定手段によりユーザー(運転者)が「集中力散漫」と推定された場合には、もてなし制御部はもてなし動作部に対し、ユーザーを覚醒させる動作を行なわせる物とすることができる。これにより、ユーザーを運転に集中させることができる。また、精神/肉体状態推定手段によりユーザーが「体調不良」と推定された場合に、もてなし制御部は、もてなし動作によりユーザーに与えられる外乱刺激が緩和されるように、対応するもてなし動作部の動作制御を行なうものとすることができる。外乱刺激の低減により、心理的負担からくる肉体疲労の増長を抑制でき、運転者の苦痛を軽減することができる。また、精神/肉体状態推定手段によりユーザーが「興奮状態」と推定された場合に、もてなし制御部はもてなし動作部に対し、ユーザーの精神的緊張を緩和するための動作を行なわせるものとすることができる。これにより、運転者の熱くなった精神状態を冷却することができ、冷静で温和な運転指向に矯正することが可能である。
以下、本発明の実施の形態を添付の図面を用いて詳しく説明する。図1は、本発明の一実施形態を示す自動車用ユーザーもてなしシステム(以下、単に「システム」ともいう)100の概念ブロック図である。該システム100は、種々のもてなし動作部502〜517,534,541,548,549,550,551,552,1001Bが接続された第一のコンピュータからなるもてなし実行制御部3と、種々のセンサ・カメラ群518〜528が接続された第二のコンピュータからなるもてなし意思決定部2とからなる自動車側搭載部100を、その要部として構成されている。第一のコンピュータと第二のコンピュータは、いずれもCPU,ROM,RAMを備え、ROMに格納された制御ソフトウェアを、RAMをワークメモリとして実行することにより、後述の種々の機能を実現する。
上記システム100においては、ユーザーが自動車に向けて接近し、該自動車に乗り込み、該自動車を運転し又は車内にて滞在し、その後、降車に至るまでのユーザーの自動車利用に係る一連の動作が、予め定められた複数のシーンに区切られる。そして、区切られた複数のシーン毎に、もてなし動作部502〜517,534,541,548,549,550,551,552,1001Bが、ユーザーによる自動車の利用を補助するための、又はユーザーを楽しませるためのもてなし動作を行なう。本実施形態では、車外への音波発生装置としてホーン502、ブザー503が接続されている。また、照明装置(ランプ類)としては、ヘッドランプ504(ビームをハイとローとで切り替え可)、フォグランプ505、ハザードランプ506、テールランプ507、コーナリングランプ508、バックアップランプ509、ストップランプ510、室内照明511及び床下ランプ512が接続されている。また、他のもてなし動作部として、エアコン514、カーオーディオシステム(カーステレオ)515、電動シート516及びサイドミラーやバックミラーなどの角度調整用の駆動部517、カーナビゲーションシステム534、ドア開閉用のアシスト機構(以下、ドアアシスト機構という)541、車内に芳香剤を放出する芳香発生部548、眠気(あるいは重度体調不良)に対する気付け・覚醒用のアンモニア発生部549(図50に示すように、運転用のハンドル340の中心部に、運転者の顔付近を目指す形でアンモニアを噴出するように取り付けられている)、運転者に注意喚起したり眠気から覚醒させるためのシートバイブレータ550(図58に示すように、シート底部あるいは背もたれ部に埋設される)、ハンドルバイブレータ551(図50に示すように、ハンドル340の軸に取り付けられている)、車内騒音低減用のノイズキャンセラ1001Bが接続されている。
図16は、室内照明511の構成例を示すもので、各々固有の照明色からなる複数の照明部(本実施形態では、赤色系照明511r、アンバー系照明511u、黄色系照明511y、白色系照明511w及び青色系照明511bからなる)を有する。これらの照明は、もてなし意思決定部2からもてなし実行制御部3を経て入力される制御指令信号を受けて、指定されたものが選択され、制御指令信号に従い種々の点灯パターンにて点灯制御される。図19は、ユーザーの性格種別に応じて定められた点灯制御データの構成例を示すもので、もてなし意思決定部2のROMに記憶され、制御ソフトウェアにより随時読み出されて使用される。例えば、活動的な性格(SKC1(図18参照))に対しては、赤色系照明511rを選んでこれをフラッシュ点灯(最初のみ、その後連続点灯)させ、おとなしい性格(SKC2)に対しては、アンバー系照明511uを選んでフェードイン点灯させる、などであるが、これはほんの一例である。
なお、照明装置は、白熱電球、蛍光ランプのほか、発光ダイオードを用いた照明装置を採用することも可能である。特に、赤色系(R)、緑色系(G)、青色系(B)の3原色の発光ダイオードを組み合わせることにより、種々の照明光を簡単に得ることができる。図39は、その回路構成の一例を示すもので、赤色系(R)、緑色系(G)、青色系(B)の各発光ダイオード3401が電源(Vs)に接続され、各々トランジスタ3402でスイッチング駆動される。このスイッチングは、コンパレータ3403に入力される三角波(のこぎり波でもよい)の周期と、指令信号の電圧レベルとによって定まるデューティ比によりPWM制御される。各色の発光ダイオード3401への指令信号の入力波形は、各々独立に変更可能であり、3つの発光色の混合比率に応じて任意の色調の照明色が得られ、また、色調や照明強度パターンを、指令信号の入力波形に応じて経時的に変化させることも可能である。なお、各色の発光ダイオード3401の発光強度は、上記のようにPWM制御する方式のほか、連続点灯を前提として駆動電流レベルにて調整することも可能であるし、これとPWM制御とを組み合わせた方式も可能である。
図17は、カーオーディオシステム515の構成例を示すもので、もてなし意思決定部2からもてなし実行制御部3を経て、曲特定情報やボリュームコントロール情報などの、もてなし用曲演奏制御情報が入力されるインターフェース部515aを有する。インターフェース部515aには、デジタルオーディオ制御部515e、多数の音楽ソースデータを格納した音楽ソースデータベース515b,515c(前者はMPEG3データベース、後者はMIDIデータベース)が接続されている。曲特定情報に基づいて選曲された音楽ソースデータはインターフェース部515aを経てオーディオ制御部に送られ、そこでデジタル音楽波形データにデコードされ、アナログ変換部515fでアナログ変換された後、プリアンプ515g及びパワーアンプ515hを経て、もてなし用曲演奏制御情報により指定されたボリュームにてスピーカ515jから出力される。
図40は、ドアアシスト機構541の概要を示すものである。自動車1100には、乗降用のスイング式ドア(以下、単に「ドア」ともいう)1101が、乗降口1102の一縁にドア旋回軸1103を介して取り付けられている。ドア1101は、手動操作により乗降口1102を閉塞する閉塞位置から任意の角度位置へ開放可能とされている。そして、この手動によるドア開操作が、モータ(アクチュエータ)1010によりパワーアシストされる。本実施形態では、ドア1101とともに回動するドア旋回軸1103に対し、モータ1010の回転出力を、減速ギア機構RGを介してトルクアップしつつ、旋回軸1103にドア開閉アシストの回転駆動力として直接伝達するようにしている。
図41は、ドアアシスト機構541の回路図の一例である。ドアアシスト機構541は、ドアの開操作時に、該ドアと干渉する車外の障害物を検出する障害物検出手段を有し、また、アクチュエータ制御手段は、障害物が検出されていない場合には、ドア開操作時において、アクチュエータによりドア開方向の正アシスト力が生ずる通常アシストモードとなり、障害物検出手段が障害物を検出した場合には、ドア開操作時において、ドアが乗降口を塞ぐ閉位置から障害物に衝突する衝突位置に至るドア旋回区間の少なくとも途中位置まではドアの開操作を可能としつつ、障害物とドアとの衝突は抑制される衝突抑制モードとなるように、アクチュエータによるドアアシストを制御するものとして構成される。
アクチュエータは正逆両方向に回転可能なモータ1010であり、本実施形態ではDCモータにより構成されている(もちろん、インダクションモータ、ブラシレスモータ、ステッピングモータなど、他の種類のモータを用いてもよい)。アクチュエータ制御手段は、正アシストモードではモータを正方向に回転させ、逆アシストモードではモータ1010を逆方向に回転させるものであり、本実施形態では、プッシュプルトランジスタ回路を用いた双方向リニア制御型のモータドライバ1007がアクチュエータ制御手段を構成している。
モータドライバ1007は、具体的には、正電源(電圧Vcc)に接続された正方向駆動用トランジスタ1073と、負電源(電圧−Vcc)に接続された逆方向駆動用トランジスタ1074とをその要部として構成され、両トランジスタ1073,1074の各ベース端子には、駆動指示電圧VDが抵抗1071により電圧調整されて入力される。抵抗1072は増幅用のフィードバック抵抗であり、両トランジスタ1073,1074のコレクタ/エミッタ間電流の一部を電圧変換して各トランジスタのベースに戻す。これにより、VDが正の時は正方向駆動用トランジスタ1073が、VDが負の時は逆方向駆動用トランジスタ1074が、それぞれVDに比例した電流をモータ10に流す。従って、VDが正の時にモータ1010が正方向に回転する正アシストモードとなり、VDが負の時にモータ1010が逆方向に回転する逆アシストモードとなる。また、アシスト力は、VDに応じたモータ電流によって定まることとなる。なお、駆動用トランジスタ1073,1074には、それぞれ過電流保護用のトランジスタ1073t,1074tが設けられている。また、符号1073R,1074Rは過電流の検出抵抗であり、符号1073D,1074Dはフライバックダイオードである。
ドアアシスト機構541には、ドア1101の操作力を検出する操作力検出手段1002が設けられ、図43に状態(A)及び状態(B)として示すように、アクチュエータ制御手段により、正アシストモードにおいて、操作力検出手段2が検出するドア操作力が小さくなるほど、正アシスト力が大きくなるようにアクチュエータ1010の動作を制御する。つまり、力の弱い人がドア1101を開こうとする場合は、モータ1010による正アシスト力が強く作用して楽にドア1101を開くことができる。他方、力の強い人が強くドアを開こうとする場合は、正アシスト力は比較的弱く働くことになる。例えば、外部からの操作力によるドア開トルクと正アシスト力によるドア開トルクとの合計がほぼ一定になるように制御すれば、誰が操作してもドア1101をほぼ一定の標準トルクで開くことができる。
図41の回路においては、上記の機能を次のようにして実現している。操作力検出手段1002は、図40に示すようにドア旋回軸1103に設けられたトルクセンサ1002であり、ドア開の操作力が強く作用するほどドア旋回軸1103に生ずるねじれトルクが大きく現れ、トルクセンサ1002の出力電圧が増加する。なお、トルクセンサ1002の出力電圧はドア開操作時に正となり、ドア閉操作時には負となるので、電圧の符号によりトルクの向きも検出可能である。本実施形態では、トルクセンサ1002の出力電圧を非反転増幅器1003により増幅し、電圧フォロワ1004を経てトルク検出電圧Vstとして出力している。
上記のトルク検出電圧Vstは差動増幅回路1005に入力される。差動増幅回路1005は、トルク検出電圧Vstを参照電圧Vref1と比較して、その差分ΔV(=Vref1−Vst)を一定のゲインにて増幅し、モータ1010に対する駆動指示電圧VDとして出力する。ドア1101の開操作を開始すると、トルク検出電圧Vstは最初小さいからΔVは大きくなり、モータ1010の出力電流も大きくなって、大きな正アシスト力が働く。この正アシスト力によるトルクは、外部操作力によるトルクとともにドア旋回軸1103に重畳するから、トルク検出電圧Vstは正アシスト力による寄与分だけ増加する。すると、ΔVは小さくなってΔVは減少する。つまり、正アシスト力によるトルクがドア旋回軸1103へ戻されることで、外部操作力と正アシスト力との合計トルクがトルク検出電圧Vstに反映され、これがVref1に近づくように、モータ1010によるドアアシスト駆動がフィードバック制御されることになるのである。その結果、力の弱い人の場合は、外部操作力による寄与が少なくなる分だけアシストモータ電流(つまり、アシストトルクAT)は大きく維持され、逆に力の強い人の場合は、アシストモータ電流は小さく維持されることとなる。
なお、ドア1101は、周知のごとく、車外側操作ノブ1104E及び車内側操作ノブ1104のいずれによっても開閉操作が可能であり、ロックボタン1104を倒すと、図41に示す周知のドアロック機構1320により、ノブ1104E,1104によるドア開閉操作が不能となる。このドアロック機構1320がロック状態になったときはドアロック信号DRSが出力され、これがモータ1010の停止制御に用いられるようになっている。本実施形態では、ドアロック信号DRSを受けたスイッチ21が、参照電圧Vref1を差動増幅回路1005から切り離すとともに、差動増幅回路1005の反転入力端子と非反転入力端子とを短絡させ、差動入力ΔVひいてはモータ1010への駆動指示電圧VDを強制的にゼロにして、モータ1010を駆動停止するようにしている。
また、図41の回路では、トルク検出電圧Vstの符号が負になった場合にアシスト制御信号SK1を出力するコンパレータ1020を設けている。スイッチ1021の制御端子には、ゲート1304を介してドアロック信号DRSとアシスト禁止信号SK1との論理和が入力され、アシスト制御信号SK1が検出された場合にもアシストシステムSYS1のモータ1010が停止制御されるようになっている。
また、ドア1101の開操作時に、該ドア1101と干渉する車外の障害物を検出する障害物検出手段が設けられている。障害物検出手段は、ドア1101の側面に対向して存在する障害物を検出するものを採用できる。このようにすると、ドア1101が開いていく方向に存在する障害物を適確に検出することができる。このような障害物検出手段として、例えば周知の近接スイッチ、反射式光学センサ(赤外線式を含む)あるいは超音波センサなどの障害物センサ1050を採用できる。
障害物センサ1050の検知出力はコンパレータ1051にて閾値と比較され、障害物の検知の有無を表す信号を二値的に出力する。ドア1101を内側から開けてゆき、障害物センサ1050にこれが検知されると、その障害物検知したときのドア1101の角度位置が限界角度位置となって、障害物ありを意味する検知信号SI’が出力され、これを受けたドアアシスト制御手段側で、それ以降のドア開操作が妨げられる制御が行われる。本実施形態では、ドア1101が限界角度位置に到達したとき、該ドアの以降の旋回を阻止する障害物用ドア旋回ロック機構1300が、ドアアシスト制御手段の一部をなすものとして設けられている。
図42は、そのロック機構1300のロック部の構成例を示すものである。ロック部の要部は、ドア1101の旋回軸1103に設けられたドア側係合部(本実施形態では雄スプライン)1312と、車体側に固定され、該ドア側係合部1312に対し旋回軸1103の旋回角度に応じた任意の角度位相にて着脱可能に係合し、係合状態の角度位相にて旋回軸1103の旋回をロックする車体側係合部(本実施形態では雌スプライン)1313とを有する。車体側係合部1313は、旋回軸1103の軸線方向においてドア側係合部1312に対し接近・離間可能に設けられ、接近時に車体側係合部1313とロック係合状態となり、離間時にロック解除となる。本実施形態においては、この接近・離間機構を周知のソレノイド機構(シリンダ機構等でもよい)にて構成している。車体側係合部1313は、ばね受け部1314Bを有した駆動軸1314の先端に取り付けられ、この駆動軸1314が、ケース1300C内に収容されたソレノイド1301により軸線方向に進退駆動されるソレノイド1301を付勢すると、駆動軸1314が飛び出し、車体側係合部1313がドア側係合部1312に係合する。他方、ソレノイドを付勢解除すると、ばね受け部1314Bと係合するバイアスばね1310が弾性復帰して、駆動軸1314が引っ込んで車体側係合部1313とドア側係合部1312とが係合解除される。
図41に示すように、障害物の検知信号SI’が出力されると、駆動スイッチ(トランジスタ:符号1302は保護用のフライバックダイオード)1303がオンとなり、ソレノイド1301が付勢されて、図42の車体側係合部1313とドア側係合部1312とが係合する。この時点でドア1101は、車外の不定位置にある障害物のそばまで近づいており、車体側係合部1313とドア側係合部1312とは、障害物検知されたときの角度位相でスプライン係合し、その角度でロックされることとなる。つまり、障害物検出手段が障害物を検出したときのドア角度位置に応じて(つまり、障害物の位置に応じて)、限界角度位置が可変に定まる。これにより、自動車に対する障害物の相対距離に関係なく、開操作によりドアが近づいてくれば、障害物に当たらないようにドア開操作が妨げられる。このとき、モータ1010による正アシスト力が生じていてもドア1101の開操作は妨げられるから、衝突抑制モードとなるように、アクチュエータによるドアアシストが制御されていることが明らかである。
なお、外部ドア操作信号EDSが、車外側からドアが操作された状態を示しているときは、障害物センサ1050の検出出力によらず、ドアアシスト抑制の制御機構(ここでは、障害物用ドア旋回ロック機構1300)の動作が制限されるようになっている。具体的には、コンパレータ1051により二値化された障害物センサ1050の検知信号SI’と、同じく二値の外部ドア操作信号EDS(ドアが外部から操作されたときは、検知信号SIと逆符号となる)との、ゲート1051aによる論理積出力SIを、前述の駆動スイッチ1303の駆動信号として用いることにより、この機能を実現している。
なお、上記のようなアシスト機構を有したスイング式ドアを採用する態様に代え、周知の電動自動開閉機構ないしアシスト機構を備えた電動スライド式ドアを採用することも可能である。
図44は、ノイズキャンセラ1001Bの一構成例を示す機能ブロック図である。該ノイズキャンセラ1001Bの要部は、騒音抑制手段をなす能動的騒音制御機構本体2010と、必要音強調部(手段)2050とを含む。能動的騒音制御機構2010は、車内に侵入する騒音を検出する車内騒音検出マイク(ノイズ検知マイク)2011と、車内騒音検出マイク2011が検出する騒音波形と逆位相の騒音制御用波形を合成する騒音制御用波形合成部(制御音発生部)2015とを有する。騒音制御用波形は騒音制御用スピーカ2018から出力される。また、騒音制御用音波が重畳後の車内音に含まれる消し残し騒音成分を検出するエラー検出マイク2012と、消し残し騒音のレベルが縮小する方向にフィルタ係数が調整される適応フィルタ2014も設けられている。
車両自身に音源を有する車内騒音としては、エンジン音、路面音、風切り音などがあり、車内騒音検出マイク2011は、複数個のものが、個別の車内騒音の検知に適した位置に分散配置されている。車内騒音検出マイク2011は、搭乗者Jから見てそれぞれ違う位置にあり、マイク2011が拾う位置での騒音波形と、搭乗者Jが実際に聞く騒音波形との間には少なからぬ位相差がある。そこで、この位相差を合せこむために、車内騒音検出マイク2011の検知波形は適宜、位相調整部2013を介して制御音発生部2015に与えられる。
次に、必要音強調部2050は、強調音検知マイク2051及び必要音抽出フィルタ2053を含んで構成され、その必要音の抽出波形が制御音発生部2015に与えられる。ここでも、車内騒音検出マイク2011と同様の事情により、位相調整部2052が適宜設けられる。強調音検知マイク2051は、車外の必要音を取り込むための車外用マイク2051と、車内の必要音を取り込むための車内用マイク2051とからなる。いずれも周知の指向性マイクにて構成でき、車外用は、音検知の指向性の強い角度域が車外方向を向き、指向性の弱い角度域が車内方向を向くように取り付けられている。本実施形態では、マイク2051の全体が車外に出るように取り付けられているが、指向性の弱い角度域が車内側に位置し、指向性の強い角度域のみが車外に出るように、車内と車外とにまたがって取り付けることも可能である。他方、車内用マイク2051は、各座席に対応して、搭乗者の会話音を選択的に検知できるよう、音検知の指向性の強い角度域が搭乗者の正面側を向き、指向性の弱い角度域が反対方向を向くように取り付けられる。これら強調音検知マイク2051は、いずれも、その入力波形(検出波形)のうち必要音成分を優先的に通過させる必要音抽出フィルタ2053に接続されている。なお、図1のカーオーディオシステム515のオーディオ入力が車内必要音音源2019として利用されるようになっている。このオーディオ機器のスピーカ出力音(スピーカは騒音制御用スピーカ2018と兼用してもよいし、別途設けてもよい)は、騒音制御用波形が重畳されても相殺されないように制御される。
図45は、図44の機能ブロック図に対応したハードウェアブロック図の一例を示すものである。第一DSP(Digital Signal Processor)2100は騒音制御用波形合成部(制御音発生部)2015及び適応フィルタ2014(さらには位相調整部2013)を構成するものであり、車内騒音検出マイク2011がマイクアンプ2101及びA/D変換器2102を介して、また、騒音制御用スピーカ2018がD/A変換器2103及びアンプ2104を介してそれぞれ接続されている。他方、第二DSP2200は、抑制すべき騒音成分の抽出部を構成するものであり、エラー検出マイク2012がマイクアンプ2101及びA/D変換器2102を介して、また、オーディオ入力など抑制対象外の音声信号源、すなわち必要音音源2019がA/D変換器2102を介してそれぞれ接続されている。
必要音強調部2050は、必要音抽出フィルタ2053として機能する第三DSP2300を有し、必要音検知マイク(強調音検知マイク)2051がマイクアンプ2101及びA/D変換器2102を介して接続されている。そして、第三DSP2300はデジタル適応フィルタとして機能する。以下、フィルタ係数の設定処理について説明する。
緊急車両(救急車、消防車、パトカーなど)のサイレン音、踏み切り警報器音、後続車のクラクション音、ホイッスル音、人間の叫び声(子供の泣き声や女性の叫び声など)を、注意ないし危険認識すべき必要車外音(強調音)として定め、それらのサンプル音をディスク等に記録して、読み取り再生可能な参照強調音データとしてライブラリー化しておく。また、会話音については、複数人の個別のモデル音声を、同様に参照強調音データとしてライブラリー化しておく。なお、自動車への搭乗候補者が固定的に定められている場合には、モデル音声を、そのモデル音声自身の発声による参照強調音データとして用意しておけば、その搭乗候補者が乗車した場合の会話音の強調精度を高めることができる。
そして、フィルタ係数に適当な初期値を与え、強調音検知マイク2051による強調音検出レベルを初期値に設定する。次いで、各参照強調音を読み出して出力し、強調音検知マイク2051により検出する。そして、適応フィルタの通過波形を読み取り、参照強調音として通過できた波形のレベルを測定する。この検知レベルが目標値に達するまで上記の処理を繰り返す。このようにして、車外音及び車内音(会話音)の双方について、参照強調音を次々と取り替えて、通過波形の検知レベルが最適化されるよう、フィルタ係数を学習処理させる。上記のようにフィルタ係数が調整された必要音抽出フィルタ2053により、強調音検知マイク2051からの入力波形から必要音を抽出し、その抽出強調音波形を第二DSP2200に転送する。第二DSP2200は、車内騒音検出マイク2011の検知波形から、必要音音源(ここではオーディオ出力)2019からの入力波形と、第三DSP2300からの抽出強調音波形を差分演算する。
第一DSP2100に組み込まれるデジタル適応フィルタのフィルタ係数は、システムの使用に先立って初期化が行われる。まず、抑制対象となる種々の騒音を定め、それらのサンプル音をディスク等に録音して、再生可能な参照騒音としてライブラリー化しておく。そして、フィルタ係数に適当な初期値を与え、エラー検出マイク2012による消し残し騒音レベルを初期値に設定する。次いで、参照騒音を順次読み出して出力し、車内騒音検出マイク2011により検出する。適応フィルタを通過した車内騒音検出マイク2011の検出波形を読み取り、これを高速フーリエ変換することにより、騒音検出波形を、各々波長の異なる正弦波素波に分解する。そして、各正弦波素波の位相を反転させた反転素波を生成し、これを再度合成することにより、騒音検出波形と逆位相の騒音制御用波形が得られる。これを騒音制御用スピーカ2018から出力する。
適応フィルタの係数が適性に定められていれば、車内騒音検出マイク2011の波形からは騒音成分だけが効率良く抽出されているはずなので、これに基づいて逆相合成された騒音制御用波形により車内騒音を過不足なく相殺することができる。しかし、フィルタ係数の設定が適性でなければ相殺されない波形成分が消し残し騒音成分となって生ずる。これは、エラー検出マイク2012により検出される。消し残し騒音成分のレベルは目標値と比較され、目標値以下になっていなければフィルタ係数を更新し、これが目標値以下になるまで同様の処理を繰り返す。このようにして、参照騒音を次々と取り替えて、消し残し騒音成分が最小化されるよう、フィルタ係数を学習処理させる。そして、実使用時には、消し残し騒音成分を定常的にモニタリングし、常時これが最小化されるようにフィルタ係数をリアルタイム更新しつつ、上記と同様の処理を行なうことで、必要な音波成分を残しつつ、車内の騒音レベルのみを効果的に低減することができる。
次に、ユーザー側端末装置1は、本実施形態では図14に示すような携帯電話として構成されている(以下、「携帯電話1」ともいう)。携帯電話1は、液晶ディスプレイ等で構成されたモニター308、キーボードからなる入力部305、送話器304及び受話器303等を備えている。また、その側面には脈拍センサ(心拍センサ)342も設けられている。
図15は、携帯電話1の電気的構成の一例を示すブロック図である。回路の要部は、入出力部1311と、これに接続されたCPU312、ROM314、RAM313等からなる制御部310を含む。入出力部1311には、入力部305、オンフック/オフフック切換スイッチ306が接続される。また、受話器303はアンプ315とD/A変換器316を介して、送話器304はアンプ317とA/D変換器318を介して、それぞれ入出力部1311に接続されている。さらに、入出力部1311には、携帯電話1の位置情報を取得するための周知のGPS554が接続されている。
本実施形態では、ユーザー側端末装置1と自動車との距離及び方位関係を把握するために、自動車側のGPS533(図1)に加えてユーザー側端末装置1にもGPS554を設けることで、ユーザー側端末装置1が自立的にその位置情報を取得できるようにしておき、その端末位置情報を、無線通信網を介して自動車側に送信する方式を採用している。これにより、自動車側では、自身に接続されたGPS533による正確な自動車位置と、ユーザー側端末装置1から受信したGPS554による正確な端末位置との双方を取得でき、ユーザー側端末装置1と自動車との距離及び方位関係を極めて正確に把握することができる。また、ユーザー側端末装置1と自動車との距離変化や接近方向変化も事実上リアルタイムに把握できる。
図15に戻り、携帯電話1の入出力部1311には通信装置323が接続されている。通信装置323は、制御部310と接続するための接続インターフェース331と、これに接続された変調器332、送信器333、周波数シンセサイザ334、受信器335、復調器336及び共用器337等により構成されている。制御部310からのデータ信号は変調器332により変調され、さらに送信器333により共用器337を介してアンテナ339から送信される。一方、受信電波はアンテナ339及び共用器337を介して受信器335により受信され、復調器336で復調された後、制御部310のI/Оポート1311に入力される。なお、通話を行なう場合は、例えば送話器304から入力された音声信号がアンプ317で増幅され、さらにA/D変換器318によりデジタル変換されて制御部310に入力される。該信号は、必要に応じて制御部310にて加工された後、D/A変換器316及びアンプ315を介して受話器303から出力される。
一方、接続インターフェース331には、制御用電波を発信する制御用電波発信器338がつながれている。制御用電波は共用器337を介してアンテナ339から発信される。そして、携帯電話1が別の通信ゾーンに移動した場合、網側の無線回線制御局が制御用電波の受信状況に基づいて、周知のハンドオーバ処理を行なう。
次に、携帯電話1には、着信音出力や音楽演奏のために、次のような機能が設けられている。すなわち、無線受信によりダウンロードした着信音データや音楽データ(MPEG3データあるいはMIDIデータ:着信音としても使用される)が、音データ用フラッシュROM316に格納される。MIDIデータの場合、MIDIコードに従い音色、音高、音長及びテンポ等が記述された楽音データが楽音合成部307に送られる。楽音合成部307では、その楽音データをバッファリングしつつ、音源として機能する波形ROM358から、指定された音色の波形データを読み出し、MIDIコードの規定する音高となるように周波数変換して、規定されたテンポに従い順次これをデジタル波形データとして出力する。出力されたデジタル波形データは、アナログ変換回路359及びアンプ350を経てスピーカ311から出力される。なお、MPEG3等の圧縮波形データからなる音データの場合は、デコード処理を経てアナログ変換回路359及びアンプ350を経てスピーカ311から出力される。なお、本実施形態では、楽音合成部357による音声出力のタイミング情報がシーケンサ352に入力され、PWMユニット353を経てバイブレータユニット354及びLEDユニット355を音楽と同期駆動し、携帯電話1での音出力によるもてなし効果を、振動及びLED発光と組み合わせてさらに高める工夫がなされている。
次に、もてなし意思決定部2には、次のようなセンサ・カメラ群が接続されている。これらの一部はシーン推定情報取得手段として機能し、また、ユーザー生体特性情報取得手段として機能するものである。
・車外用カメラ518:自動車に接近してくるユーザーの姿を撮影する。ユーザーの仕草や顔の表情などを静止画ないし動画として取得する。ユーザーを拡大して撮影するために、望遠レンズを用いた光学式ズーム方式や、撮影画像をデジタル的に拡大するデジタルズーム方式を併用することができる。
・赤外線センサ519:自動車に接近するユーザー、ないし乗車したユーザーの顔部分からの放射赤外線に基づき、サーモグラフィーを撮影する。生体状態検出部である体温測定部として機能し、その時間的変化波形を測定することにより、ユーザーの肉体状態ないし精神状態を推定することができる。
・着座センサ520:ユーザーが座席に着座したか否かを検出する。自動車のシートに埋設される近接スイッチ等で構成することができる。このほか、シートに着座したユーザーを撮影するカメラにより着座センサを構成することもできる。この方法であると、シートに荷物など、人以外の荷重源が載置された場合と、人が着座した場合とを相互に区別でき、例えば人が着座した場合にだけもてなし動作を行なう、といった選択制御も可能となる。また、カメラを用いれば、着座したユーザーの動作を検出することも可能であり、検出情報をより多様化することができる。なお、シート上でのユーザーの動作を検出するには、シートに装着した感圧センサを用いる方法もある。
さらに、本実施形態では、図58に示すように、シートの座部及び背もたれ部に複数分散埋設された着座センサ520A,520B,520Cの検知出力に基づいて、着座したユーザー(運転者)の姿勢変化を波形検出するようにしている。いずれも着座圧力を検出する圧力センサで構成され、具体的には、正面を向いて着座したユーザーの背中の中心に基準センサ520Aが配置される。残部のセンサは、それよりもシート左側に偏って配置された左側センサ520Bと、シート右側に偏って配置された右側センサ520Cとからなる。基準センサ520Aの出力は、差動アンプ603及び604にて、それぞれ右側センサ520Cの出力及び左側センサ520Bの出力との差分が演算され、さらにそれらの差分出力同士が、姿勢信号出力用の差動アンプ605に入力される。その、姿勢信号出力Vout(第二種生体状態パラメータ)は、ユーザーが正面を向いて着座しているときほぼ基準値(ここではゼロV)となり、姿勢が右に偏ると右側センサ520Cの出力が増加し、左側センサ520Cの出力が減少するので負側にシフトし、姿勢が左に偏るとその逆となって正側にシフトする。なお、右側センサ520C及び左側センサ520Bは、いずれも加算器601,602により、座部側のセンサ出力と背もたれ側のセンサ出力との加算値として出力されているが、残部センサ出力と背もたれセンサ出力の差分値を出力するようにしてもよい(このようにすると、運転者が前のめりになったとき背もたれセンサ側の出力が減少し、その差分値が増大するので、より大きな姿勢の崩れとして検出することができる。
・顔カメラ521:着座したユーザーの顔の表情を撮影する。図49に示すように、バックミラー331等に取り付けられ、フロントグラス337側から運転者337を斜め上方から、シートに着座したユーザー(運転者)の顔を含む上半身を撮影する。その画像から顔部分の画像を切り出し、ユーザーの種々の表情を予め撮影して用意されたマスター画像と比較することにより、図59に示す種々の表情を特定することができる。体調状態ないし肉体状態のいずれにおいても、状態が良好な順に表情の序列を決めておき、その序列に従って得点付与することにより(例えば、精神状態の場合、安定を「1」、注意散漫・不安を「2」、興奮・怒りを「3」とするなど)、表情を離散的な数値パラメータ(第二種生体状態パラメータ)として使用することができ、その時間変化を離散的な波形として測定できるので、当該波形に基づき、精神状態ないし肉体状態の推定を行なうことも可能である。なお、顔を含む上半身の画像形状と、その画像上での重心位置から、運転者の姿勢の変化を検出することもできる。すなわち、重心位置の変化波形は姿勢の変化波形として使用でき(第二種生体状態パラメータ)、当該波形に基づき、精神状態ないし肉体状態の推定を行なうことも可能である。なお、もてなし制御に使用するユーザー生体特性情報の取得源(生体状態検出部)としての機能以外に、バイオメトリックスによるユーザーの本人認証用にも使用される。また、目のアイリスの向きを拡大検出することで、顔や視線の方向を特定することもできる(例えば、やたらに時計の方向を見る場合は、「時間を気にして焦っている」と推定するなど)。また、視線方向の角度の時間的変化波形(真正面を向いているときを基準方向として、その基準方向に対する左右へのぶれ角度を波形変化として検出する)に基づき(第二種生体状態パラメータ)、運転者の肉体状態あるいは精神状態を推定するのにも使用される。
・マイクロフォン522:ユーザーの声を検出する。これも、生体状態検出部として機能させうる。
・感圧センサ523:自動車のハンドルやシフトレバーの、ユーザーによる把握位置に取り付けられ、ユーザーの握り力や、握ったり放したりの繰り返し頻度などを検出する(生体状態検出部)。
・血圧センサ524:図50に示すように、自動車のハンドルのユーザー把握位置に取り付けられる(生体状態検出部)。血圧センサ524の検出する血圧値はその時間的変化が波形として記録され(第一種生体状態パラメータ)、その波形に基づいて運転者の肉体状態ないし精神状態の推定に使用される。
・体温センサ525:図50に示すように、自動車のハンドルのユーザー把握位置に取り付けられた温度センサからなる(生体状態検出部)。体温センサ525の検出する体温値はその時間的変化が波形として記録され(第一種生体状態パラメータ)、その波形に基づいて運転者の肉体状態ないし精神状態の推定に使用される。
・皮膚抵抗センサ545:発汗等による体表面の抵抗値を測定する周知のセンサであり、図50に示すように、自動車のハンドルのユーザー把握位置に取り付けられる。皮膚抵抗センサ545の検出する皮膚抵抗値はその時間的変化が波形として記録され(第一種生体状態パラメータ)、その波形に基づいて運転者の肉体状態ないし精神状態の推定に使用される。
・網膜カメラ526:ユーザーの網膜パターンを撮影し、バイオメトリックスによるユーザーの本人認証用に使用される。
・アイリスカメラ527:図49に示すように、バックミラー331等に取り付けられ、ユーザーのアイリス(虹彩)の画像を撮影し、バイオメトリックスによるユーザーの本人認証用に使用される。アイリスの画像を用いる場合、その模様や色の個人性を利用して照合・認証を行なう。特にアイリス模様は後天的形成要素であり、遺伝的影響度も低いので一卵性双生児でも顕著な相違があり、確実に識別できる利点がある。アイリス模様を用いた認証方式は、認識・照合を迅速に行なうことができ、他人誤認率も低い特徴がある。また、アイリスカメラにより撮影された運転者の瞳孔寸法(第二種生体状態パラメータ)の時間的変化に基づいて、肉体状態あるいは精神状態の推定を行なうことができる。
・静脈カメラ528:ユーザーの静脈パターンを撮影し、バイオメトリックスによるユーザーの本人認証用に使用される。
・ドアカーテシスイッチ537:ドアの開閉を検知する。乗り込みシーン及び降車シーンへの移行を検出する、シーン推定情報取得手段として使用される。
また、もてなし意思決定部2には、エンジン始動を検知するためのイグニッションスイッチ538の出力も分岐入力されている。また、車内の明るさレベルを検出する照度センサ539、車内の音響レベルを測定する音圧センサ540も、もてなし意思決定部2に同様に接続されている。
また、もてなし意思決定部2には、タッチパネル(カーナビゲーションシステム534のモニターに重ねられたタッチパネルで兼用してもよい:この場合は、入力情報はもてなし実行制御部3からもてなし意思決定部2に転送される)等で構成された入力部529と、もてなし動作情報記憶部として機能するハードディスクドライブ等で構成された記憶装置535とが接続されている。
他方、もてなし実行制御部3には、車両位置情報を取得するためのGPS533(カーナビゲーションシステム534においても使用する)、ブレーキセンサ530、車速センサ531及び加速度センサ532も接続されている。
もてなし意思決定部2は、センサ・カメラ群518〜528の1又は2以上のものの検出情報から、ユーザーの性格、精神状態及び体調の少なくともいずれかを含むユーザー生体特性情報を取得し、その内容に応じてどのもてなし動作部にどのようなもてなし動作をさせるかを決定して、これをもてなし実行制御部3に指令する。もてなし実行制御部3は、これを受けて、対応するもてなし動作部502〜517,534,541,548,549,550,551,552,1001Bにもてなし動作を実行させる。すなわち、もてなし意思決定部2ともてなし実行制御部3とが互いに協働して、取得されたユーザー生体特性情報の内容に応じてもてなし動作部502〜517,534,541,548,549,550,551,552,1001Bの動作内容を変化させる機能を実現する。もてなし実行制御部3には、自動車側通信手段(ホスト側通信手段)をなす無線通信装置4が接続されている。該無線通信装置4は、自動車のユーザーが携帯するユーザー側端末装置(携帯電話)1と、無線通信網1170(図15)を介して通信する。
一方、カーオーディオシステム515には、ユーザーが手動で操作する操作部515d(図17)が設けられ、ここからの選曲データの入力により、所望の音楽ソースデータを読み出して演奏することもできる。また、操作部515dからのボリューム/トーンコントロール信号は、プリアンプ515gへ入力される。この選曲データは、インターフェース部515aから、図1のもてなし実行制御部3を経てもてなし意思決定部2へ転送され、これに接続された記憶装置535に選曲実績データとして蓄積される。その蓄積内容に基づいて、後述のユーザ−性格判定処理が行われる(つまり、カーオーディオシステム515の操作部515dは、ユーザー生体特性情報取得手段の機能を構成しているといえる)。
図18は、上記音楽ソースデータのデータベース構造の一例を示すもので、曲ID、曲名及びジャンルコードと対応付ける形で音楽ソースデータ(MPEG3又はMIDI)が記憶されている。また、各音楽ソースデータには、その音楽を選曲したユーザーについて推定される性格種別(「活動的」、「おとなしい」、「楽観的」、「悲観的」、「頽廃的」、「体育会系」、「知性派」、「ロマンチスト」など)を示す性格種別コード、同じく年齢コード(「幼児」、「子供」、「ジュニア」、「青年」、「壮年」、「中点」、「熟年」、「敬老」、「年齢無関係」など)、性別コード(「男性」、「女性」及び「性別無関係」)が個々に対応付けて記憶されている。性格種別コードはユーザー性格特定情報の一つであり、年齢コード及び性別コードは、性格とは無関係なサブ分類である。ユーザーの性格が特定できても、年齢層や性別に合わない音楽ソースを選択したのでは、ユーザーを楽しませる「もてなし」としての効果は半減する。従って、ユーザーに提供する音楽ソースの適性をより絞り込むために、上記のようなサブ分類付与は有効である。
一方、各音楽ソースデータには、曲モードコードも個々に対応付けて記憶されている。曲モードコードは、その曲を選曲したユーザーの精神状態や体調と、当該曲との連関を示すデータであり、本実施形態では、「盛り上げ系」、「爽快系」、「温和・癒し系」、「ヒーリング・α波系」等に分類されている。なお、性格種別コード、年齢コード、性別コード、ジャンルコード及び曲モードコードは、各ユーザーに固有のもてなし内容を選定する際に参照するデータなので、これらを総称してもてなし参照データと呼ぶことにする。
図1のもてなし意思決定部2のROMには、図2に示すように、シーン別のもてなし内容を記憶するもてなし意思決定テーブル360が記憶されている。シーンは、本実施形態では、接近シーンSCN1、乗り込みシーンSCN2、準備シーンSCN3、運転/滞在シーンSCN4、降車シーンSCN5及び離脱シーンSCN6が、時系列的にこの順序で設定されている。また、各シーンには、次の5つのもてなしジャンル(ST)が設定され、それぞれ1又は2以上のもてなしテーマ(OBJ)が設定されている。
接近シーンの特定は、後述するごとく、ユーザー側のGPS554と、自動車側のGPS533とにより、自動車と、当該自動車外に位置するユーザーとの相対距離及びその変化を特定し、ユーザーが自動車へ予め定められた距離以内に接近したことを検出することで行なう。乗り込みシーンと降車シーンとは、ドアカーテシスイッチ537のドア開検知出力に基づいて特定する。ただし、単にドア開の情報だけでは乗り込みシーンか降車シーンかを特定できないから、もてなし意思決定部2のRAM内に、現在シーン特定情報を記憶保持する現在シーン特定情報記憶手段として、図5に示すごとくシーンフラグ350を設けることで対応するようにしている。シーンフラグ350は各シーンに対応した個別シーンフラグを有し、時系列順に到来順序が定められた各シーンが到来する毎に、そのシーンに対応するフラグを「到来(フラグ値1)」に設定してゆく。シーンフラグ350にて、値が「1」になっているフラグの最新のもの(「1」フラグ列の末尾のもの)を特定することで、現在どのシーンまで進んできているかを特定できる。
また、準備シーンとシーン運転/滞在シーンとは、いずれも前述の着座センサがユーザーを検出しているか否かにより特定するが、自動車に乗り込んでイグニッションスイッチ538がONになるまでの間、あるいは、イグニッションスイッチ538がONにならず、かつ一定以上の着座継続が確認されるまでの間は、準備シーンとして認識される。また、離脱シーンへの移行は、降車シーンのあと、ドアカーテシスイッチ537がドア閉を検知することで識別される。
各テーマにおけるもてなし動作は、対応するもてなし動作部の動作制御アプリケーションにより制御され、図6に示すように、これらの動作制御アプリケーションはテーマ別アプリケーションライブラリ351の形でもてなし実行制御部3のROM内に記憶されている。もてなし意思決定部2側で決定されたテーマがもてなし実行制御部3に通知され、そこで対応するテーマの動作制御アプリケーションが読み出され、実行される。動作制御アプリケーションの実行に際しては、各もてなしテーマのもとで統括されている複数のもてなし動作に対し、ユーザーが当該もてなしを指向する度合いに応じて採用の優先順位が予め定められており、各もてなしテーマ(あるいはシーン)において、用意された前記複数のもてなし動作のうち、その優先順位の高いものから選択される。具体的には、図7〜図13に例示(後に詳述)するように、複数のもてなし動作部(もてなし機能)の動作優先順位(数字が大きいほど優先順位が高いものとして表示している)を、動作目的別に定めた機能選択テーブル371,372がもてなしテーマ毎に用意され、もてなし実行制御部3のROM内に記憶されている。
以下、自動車用ユーザーもてなしシステム(以下、単に「システム」ともいう)100の動作について説明する。図46〜図48は、システム100における、もてなし意思決定からもてなし動作実行に至る一連の処理の全体アルゴリズムを概念的に示すものである(これら3つの図は、対応する丸数字を接続子として、一つながりの図として読まれるべきものである)。もてなし主処理は、「目的推定(δ1)」、「個性適合(δ2)」、「状態適合(δ3)」、「演出対応(δ4)」、「機能選択(δ5)」及び「駆動(δ6)」の各ステップからなる。
まず、「目的推定(δ1)」では、ユーザー位置検出(β1)及びユーザー動作検出(β2)により、現在のシーンを推定する。ユーザー位置検出(β1)は、具体的には、ユーザーと自動車との相対的位置関係(α1)を把握・特定することにより行なう。また、本実施形態では、ユーザーの接近方向(α2)も合せて考慮する。他方、ユーザー動作検出(β2)は、基本的には、ドアの開閉操作やシートへの着座など、シーン決定用に固定的に定められた動作を検出するセンサ類(シーン推定情報取得手段)の出力を用いて行なう(α6)。また、着座継続時間により準備シーンから運転/滞在シーンへの移行検知を行なう場合のように、特定動作の継続時間(α7)も考慮される。
図3は、シーン決定の処理の流れを示すフローチャートである。この処理は、自動車の使用中に一定の周期で繰り返し実行されるものである。まず、S1で、図5のシーンフラグ350をリードする。S2,S5,S8,S12,S16及びS20は、現在どのシーンまで進んでいるかを、上記シーンフラグ350の状態から判別する処理である。シーンフラグ350は、時系列的に先に位置するシーンのフラグから順にセットされるようになっており、先行するシーンを差し置いて後続のシーンのフラグが単発的にセットされるようなことはない。
S2〜S4は接近シーンの特定処理であり、まずS2で接近シーンに対するフラグSCN1が「1」でない(つまり、接近シーンが未到来である)ことを確認して、S3で、自動車側のGPS533(図1)と、ユーザー側(携帯電話1:図5)のGPS554とがそれぞれ特定する位置情報から、ユーザーが自動車に対し一定距離以下(例えば50m以下)に近づいたか否かを判別する。そして、近づいていれば接近シーンに移行したと判断して、S4SCN1を「1」にセットする。
S5〜S7は乗車シーンの特定処理であり、S5で乗車シーンに対するフラグSCN2が「1」でないことを確認して、S6でドアカーテシスイッチ537からの入力情報からドアが開になったかどうかを判断する。そして、ドアが開になっていれば乗車シーンに移行したと判断して、S7でSCN2を「1」にセットする。現在のシーンがSCN=1、つまり、接近シーンであることを確認しているので、この状況での「ドア開」は乗車時のものであることを容易に判別できる。
S8〜S11は準備シーンの特定処理である。S8で準備シーンに対するフラグSCN3が「1」でないことを確認して、S9で着座センサ520からの入力情報から、ユーザーが着座したかどうかを判別する。そして、ユーザーの着座が検知されれば準備シーンに移行したと判断して、S10でSCN3を「1」にセットする。この段階では着座が完了したことを検知するのみであり、ユーザーが運転ないし車内滞在へ本格的に移行する準備段階にあることを特定するに留まる。S11では、運転/滞在シーンへの移行判定に使用する着座タイマーを起動する。
S12〜S15は運転/滞在シーンの特定処理である。S12で運転/滞在シーンに対するフラグSCN4が「1」でないことを確認して、S13でイグニッションスイッチ538からの入力情報から、ユーザーがエンジンを始動したかどうかを判別する。エンジン始動されていれば、直ちに運転/滞在シーンへ移行したと判断し、S15へジャンプしてSCN4を「1」にセットする。一方、エンジン始動されていなくとも、着座タイマーが一定時間(t1)経過していれば、ユーザーが(例えば運転以外の目的で)車内に滞在するために乗車したと判断し、S15へ進んでSCN4を「1」にセットする(t1が経過していなければ、準備シーン継続のためS15をスキップする。
S16〜S18は降車シーンの特定処理である。S16で降車シーンに対するフラグSCN5が「1」でないことを確認して、S17でイグニッションスイッチ538からの入力情報から、ユーザーがエンジンを停止したかどうかを判別する。エンジン停止されていれば、S18に進み、ドアカーテシスイッチ537の入力情報から、ユーザーがドアを開いたかどうかを判別する。ドアが開いていれば降車シーンへ移行したと判断し、S19でSCN5を「1」にセットする。
S20〜S23は離間シーンの特定処理である。S20で離間シーンに対するフラグSCN6が「1」でないことを確認して、S21でイグニッションスイッチ538及び着座センサ520からの入力情報とから、ユーザーが座席から離脱しつつドアを閉じたかどうかを判断する。YesであればS22に進み、SCN6を「1」にセットする。さらに、S23では降車タイマーを起動する。なお、S20においてSCN6が1だった場合(つまり、離間シーンが既に到来している場合)にはS24以下へ移行する。降車シーンでのもてなし処理に必要な時間t2を降車タイマーにより計測し、S24でt2が既に経過していれば、S25で次回のもてなし処理のためにシーンフラグをリセットし、また、S26で着座タイマーと降車タイマーをリセットする。
図46に戻り、γ1でシーンが決定されれば、そのシーンでのもてなし内容を決定する。この決定は、図2のもてなし意思決定テーブル360を参照して行われる。前述のごとく、各シーンに対し、複数のもてなしジャンルが設定されており、各ジャンルには、これをさらに細分化したもてなしテーマが設定されている。前述のごとく、ジャンル及びもてなしテーマは、ユーザーのもてなしに求める願望や指向の観点から種々設定されている。これは、より具体的にいえば、各シーンにてユーザーは、自動車の利用に際し、「安全」「容易」「快適」の要望が満たされることを欲しており、その要望が何らかの要因によって乱される場合、その要因を外乱として特定する。そして、それらの外乱に対して何らかの対応処理、つまりもてなし動作を行なうことで、上記個々の要望が充足されるように計らうことが、最終的なシステムの目的であるといえ、上記の外乱の種別に応じてもてなしのジャンル及びもてなしテーマが定められているのである。このうち、ジャンルについては、各シーンについて共通に見出すことのできる「外乱」に基づいて定められており、具体的には、
(ST1)ユーザーを期待させ盛り上げる;
(ST2)ユーザーをリラックスさせ安らぎを与える;
(ST3)ユーザーの不安や緊張を解消する;
(ST4)ユーザーの体力的負担を軽減する;
(ST5)ユーザーの体調に応じて、適性に補佐する;
の5ジャンルが設定されている。
なお、図2において、期待/盛り上げジャンルST1及びリラックス/安らぎジャンルST2に属するもてなしテーマについては、ユーザーの性格や精神状態に応じて、どちらかが択一的に選択される(つまり、これらのジャンルは、互いに排他的に選択される)。それ以外のジャンルのもてなしテーマは、いずれも各シーンにおいて同時に選択され、それらテーマに属するもてなし動作が、該当するシーンにおいて並列に実施される。
他方、各ジャンルに属するもてなしのテーマは、シーンによって異なるものが設定されている。各シーンのジャンル別のテーマは、図2中に記載した通りである。また、複数のシーンにまたがって設定されるテーマも存在する。例えば、不安・緊張解消ジャンルST3のテーマ「車内を快適にしてほしい」OBJ321は、乗り込み、準備及び運転滞在の3つのシーンにまたがっているものとして定められている。また、「目的地の様子が知りたい」OBJ331は、準備及び運転滞在の2つのシーンにまたがっている。
もてなし意思決定テーブル360は、図4に示す流れに従い使用する(これは、図46〜48のδ1〜δ6に示すもてなし主処理から、要部を抽出したものに相当する)。S101でシーンフラグをリードし、S102で現在のシーンが何であるかを特定する。S103では、特定されたシーンに対応するもてなしテーマをリードし、そのテーマに属するもてなし機能(もてなし動作部)を、図7〜図13に例示した機能選択テーブル371,372を参照して選択する。そして、S105で、抽出したもてなし機能を具体的な動作させるためのもてなしアプリケーションを、図6のテーマ別アプリケーションライブラリ351から選択し、起動する。
図46に戻り、シーン特定時の補正的項目として、ユーザーの身なり検知(α3:例えば、接近時において、車外カメラ518(図1)によるユーザーの姿の撮影画像から把握できる)、所有物検知(α4:手荷物など)、仕草検知(α5:シーン推定に直接関与する動作の予兆として検出する)等を合せて実行することも可能である。これらの検知は、シーン毎のもてなしテーマ決定に有効に寄与することとなる。
次に、δ2に進んで、もてなし内容をユーザーの個性に適合させる処理となる。これは、具体的には、後述するユーザーの性格判定処理と、判定された性格に応じて、個々のもてなし処理に適正な重み付けをすること、つまり、個々のユーザーの性格に適合するよう、複数のもてなし動作の組み合わせを適宜カスタマイズしたり、あるいは、もてなし動作の程度を変更したりすることを目的とするものである。個性の特定には性格判断処理β4あるいはε2が必要である。処理ε2は、アンケート処理など、ユーザー自身の入力により性格分類を取得するものであり、処理β4は、ユーザーの動作、行為や思考パターン、あるいは表情などから、より分析的に性格分類を決定するものである。後者については、後述の実施形態に音楽選曲の統計から性格分類を決定する具体例を示しているが、α10のごとく、ユーザーの動作から性格判定に直結した癖を抽出したり、あるいは、α11のように、人相から性格判定を行なうようなことも可能である。
図47に進み、δ3では、もてなし内容をユーザーの精神/体調状態に適合させる処理となる。この点についても、詳細な具体例は後述するが、生体状態検出部の検出情報に基づいて、ユーザーの精神状態及び体調を反映した精神/体調情報を取得し、その取得内容に応じてユーザーの精神状態ないし体調をモニタリングする。生体状態検出部は、赤外線センサ519(顔色:α20)、顔カメラ521(表情:α12、姿勢:α14、視線:α15、瞳孔径:α16)、脈拍センサ524(心拍:α17)などが採用可能であるが、この他にも、運転操作実績を検出するセンサ類(502w、530、531,532,532a;誤操作率:α13)、血圧センサ(α18)、呼気センサ(アルコール:α21、例えば呼気にアルコールが検出された場合は、エンジン始動を禁止する処理を行なうなど)、着座センサ520(感圧センサによりシートにかかる体重分布を測定し、運転中の小刻みな体重移動を検出して、運転中の落ち着きが損なわれた判定を行ったり、偏った体重のかかり方を検出して、運転者の疲労の程度を判定したりすることができる)。
ここでも、処理の要旨は、上記の生体状態検出部からの出力を精神状態や体調状態を示す数値パラメータに置き換え(β5)、その数値パラメータ及びその時間的変化からユーザーの精神状態や体調状態を特定して(γ3,γ4)、個々のもてなし処理に適正な重み付けをすること、つまり、ユーザーの精神状態や体調状態に適合するよう、複数のもてなし動作の組み合わせを適宜カスタマイズしたり、あるいは、もてなし動作の程度を変更したりすることを目的とするものである。同じシーン及びテーマのもてなしであっても、前述のごとく、ユーザーの性格が異なれば、その性格に適合したもてなし動作を行なうのがよいのであり、また、同じユーザーであっても精神状態や体調に応じてもてなしの種別や程度を調整することが当然望ましい。
この場合、照明光の場合を例に取れば、性格によってユーザーの指向する照明色が相違し(例えば、活発なタイプは赤系を、おとなしいタイプは緑や青系を指向)、体調の良し悪しによって照明強度に対する要望(例えば、体調が悪いときは照明による刺激を抑制するため光量を落とす)が相違することが多い。前者では照明光の周波数あるいは波長(赤系→緑系→青系の順に波長が短くなる)を調整するもてなし制御となり、後者は照明光の振幅を調整するもてなし制御となる。また、精神状態は、その両方に関係する因子であり、幾分陽気な精神状態において、さらに気分を盛り上げるために赤系の照明光を採用することもありえるし(周波数調整)、照明光の色を変えず、明るさを増したりすることもありえる(振幅調整)。また、過度に興奮した状態では、気持ちを沈めるために青系の照明光を採用したり(周波数調整)、照明光の色を変えず明るさを減らす(振幅調整)、といった処理が考えられる。音楽の場合は、種々の周波数成分が含まれているのでより複雑であるが、覚醒効果を高めるために、数100〜10kHz程度の高音域の音波を強調したり、逆に気持ちを沈めるために、リラックス時の脳波(α波)の周波数(7〜13Hz:シューマンレゾナンス)に、音波の揺らぎの中心周波数を合せこんだ、いわゆるα波系音楽を採用したりするなど、周波数/振幅により制御パターンを同様に把握することができる。
車内の明るさや音波レベルに関しては、性格、精神状態及び体調を勘案して、各シーンのもてなしテーマ毎に、適性レベルを数値設定することができる。図7、図8、図9及び図10は、各テーマの機能選択テーブル371に、求められる照明レベルや音波レベルの制御適性値設定テーブル371aを随伴させた例を示している。そして、図48のδ4に進み、もてなし演出対応処理となる。例えば、図1の照度センサ539(視覚刺激:α23)、音圧センサ(聴覚刺激:α24)などの出力から、現在ユーザーがどの程度の刺激を感じているかに関しての情報(外乱刺激)を得(環境推定:β6)、その外乱刺激を、上記の個性(性格)、精神状態及び体調から得られる上記の適性値と比較可能な数値に変換して、外乱の数値的な推定を行なう(γ6)。なお、特定すべき外乱刺激としては、触覚刺激(α25:例えば、ハンドルに取り付けられた感圧センサ523など)、及び嗅覚刺激(α26:嗅覚センサによる)なども併用することができる。また、外乱推定に関しては、ユーザーを取り囲む空間からの間接的刺激、具体的には、高さ(α27)、距離(α28)、奥行き(α29)及び自身ないし同乗者の体格(α30)等を考慮することも可能である。
次いで、δ5では機能選択処理となる。ここでは、外乱刺激と適性値との差が縮小されるよう、機能選択テーブル371,372に示された優先順位の高いもてなし機能(もてなし動作部)から順に採用し、δ6で個々のもてなし動作部の駆動処理となる。このとき、実際に選択されたもてなし機能の内容や程度がユーザーの気に召したかどうかに係る情報を、例えば前述の生体状態検出部の出力から推定するか、あるいはユーザー自身による入力情報(好き・嫌いの意思表示に係る直接的な入力であってもよいし、嫌いな音楽や照明を回避する操作入力等から推定する形でもよい)から取得し、これをフィードバックすることで、もてなし動作制御に一種の学習効果を付与することも可能である(ε5、ε6及びγ7)。
なお、これとは別系統の機能選択判定要素として、もてなし動作部の機能状態を判定し(α31)、自動車の劣化情報として整備し(β8)、その機能状態が正常/異常のどちらに寄与するかを判定して(γ8)、正常に寄与する機能は積極採用し、異常に寄与する機能を忌避する処理を行なう、といったことも可能である。
また、もてなし動作のコンセプトは、自動車の種別によっても、その自動車のイメージに合致した内容に定めることが、もてなし効果を高める上で肝要である。高級車に関しては、全般に落ち着いた、かつ高級感を強調できるスマートなもてなし演出が有効であるし、逆にスポーツ仕様車やレジャー仕様車では、明るくにぎやかな演出が相応しいといえる。
以下、個々のシーンでのもてなしの代表例について説明する。
図28は、接近シーンSCN1での、もてなし動作の処理の流れを示すものである。テーマは、図2の「車に乗ることに対する気持ち高揚」であり、ユーザーの性格分類に応じて、期待/盛り上げジャンルST1に属するもの(OBJ111;例えば性格分類が「活動的SKC1」(図18)の場合)、及びリラックス/安らぎジャンルST2に属するもの(OBJ211;例えば性格分類が「おとなしいSKC2」(図18)の場合)のどちらかが選択される。また、後述の方法により、ユーザーの体調状態あるいは精神状態の推定も行なわれ、その結果がもてなし動作の処理に反映される。本実施形態では、後に詳述するように、「体調不良(軽度/重度)」、「集中力散漫」及び「興奮(怒り)状態」が体調状態あるいは精神状態として推定されるようになっており、個々の状態に応じて図67に示すようなもてなし動作が行われるようになっている。
図28のS21では、ユーザー(つまり、端末装置1)の自動車に対する接近方向を特定する。自動車側では、GPS533による位置情報と、駐車に至る自動車の進行方向変化の履歴から、自動車の位置とともに自動車の向きを特定することができる。従って、携帯電話1から送られてくるユーザーの位置情報(GPS554による)を参照することによって、自動車に対しユーザーが、例えば前方側、後方側及び側方のいずれから接近してきているか、及び自動車に対しユーザーがどの程度の距離まで接近しているかを認識である。
S22に進み、その接近方向が前方からであればS23に進み、前方用ランプ群を選択する。図23に示すように、前方用ランプ群として、本実施形態では、ヘッドランプ504、フォグランプ505、コーナリングランプ508を使用する。また、接近方向が後方からであればS24からS25に進み、後方用ランプ群を選択する。図24に示すように、後方用ランプ群として、本実施形態では、テールランプ507、バックアップランプ509、ストップランプ510を使用する。それ以外の場合は側方からの接近と判断してS26に進み、側方用ランプ群を選択する。図25に示すように、側方用ランプ群として、本実施形態では、ハザードランプ506、テールランプ507、床下ランプ512を使用する。
S27では、自動車とユーザーとの距離を上記の方法により特定する。自動車とユーザーとの距離が特定できたら、その距離が第一上限値(例えば20m以上に設定される)を超えていればS29に進み、遠距離用照明モードとなる。また、第二上限値(例えば5m以上20m未満に設定される)を超えていればS31に進み、中距離用照明モードとなる。それ以外の場合(つまり、第二上限値以下の場合)はS32に進み、近距離用照明モードとなる。ユーザーが自動車から遠いほど(つまり、近距離用照明モード→中距離用照明モード→遠距離用照明モードの順に)、各ランプ(照明)による総光量が大きくなるように(ビーム角度が関与する場合、照明正面に立ったときにユーザーが視認する光量とする:例えば、ランプを上向きとすることでハイビーム化する場合は、ロービーム時と光源の強度が変わらなくとも、視認される光量は大きくなる)、個々のランプの発光動作が制御される。これにより、自動車へのアプローチをライトアップしてユーザーを安全に自動車まで誘導する効果が高められる。
図23は、ユーザーUの接近方向が前方側の場合の動作例を示すものである。遠距離用照明モードではヘッドランプ504をハイビームで点灯し、中距離用照明モードではロービームとして光量を落とす。つまり、光源強度(駆動電圧等で調整できる)及びビーム角度の少なくともいずれかを調整することで、同じランプの視認光量を変化させる方式を採用している。他方、近距離用照明モードでは、光量のより小さいフォグランプ505あるいはコーナリングランプ508に切り替える。ユーザーUが正面から接近してくる場合にはフォグランプ505を点灯させ、ユーザーUが車両側方に向けて移動した場合は、コーナリングランプ508の対応する側のものを点灯させる。
図24は、ユーザーUの接近方向が後方側の場合の動作例を示すものである。遠距離用照明モードではバックアップランプ509、テールランプ507及びストップランプ510の全てを点灯し、中距離用照明モードではテールランプ507及びストップランプ510のみの点灯として光量を落とす。つまり、複数個のランプのうち、点灯させる個数を変化させて総光量を変化させる方式を採用している。近距離用照明モードでは、バックアップランプ509、テールランプ507及びストップランプ510のいずれかのみの点灯に切り替える。後方中央からユーザーUが接近してくる場合はテールランプ507のみ(あるいはストップランプ510のみ)を点灯させ、ユーザーUが車両側方に向けて移動した場合は、バックアップランプ509の対応する側のものを点灯させる。
図25は、ユーザーUの接近方向が側方側の場合の動作例を示すものである。遠距離用照明モードではハザードランプ506、複数の床下ランプ512の全てを点灯し、中距離用照明モードでは、その状態からハザードランプ506のみ消灯して光量を落とす。近距離用照明モードでは、複数の床下ランプ512のうち、ユーザーUに近いもののみの点灯に切り替える。車側中央からユーザーUが接近してくる場合は中央の床下ランプ512のみを点灯させ、ユーザーUが車長方向に移動した場合は、対応する側の床下ランプ512の点灯に切り替える。なお、ユーザーUの接近に伴い、床下ランプ512の照明角度を変えて、ユーザーUを自動車に向けて導くように照明領域を変化させてもよい。いずれの場合も、近距離用照明モードでは室内照明511も点灯させ、自動車に乗り込もうとするユーザーをより丁重にもてなすようにしている。
また、これから向う目的地をイメージした照明点灯パターンにてイルミネーションを行なう方法もある。例えば、目的地が海であれば、青色系の照明光の照度を漸増させた後漸減させる、波を連想させるイルミネーションパターンで点灯を行なうと効果的である。
この場合、上記の照明駆動形態は、ユーザーの体調や精神状態に応じて図67に示すようなバリエーションを持たせるようにする。「軽度の体調不良」であれば、例えばイルミネーションに使用する照明光のうち、必要性の低い光を低減して、ユーザーが自動車に接近するときの視認性を向上させるようにする。また、「重度の体調不良」であれば、白色ないし暖色系の暗めの照明を採用し、心理的な負担を軽減するようにする。一方、「集中力散漫」と推定されている場合は、ユーザーを覚醒させるために、照明をフラッシングさせる動作を行なう(例えば、赤や青など原色系の刺激的な波長を採用するとより効果的である)。他方、「興奮(怒り)状態」と推定される場合は、青色系の照明光を用いれば、過剰に高ぶった精神状態を沈める上で効果的である。
なお、ユーザー端末1からの無線指令により制御可能なもてなし動作部として、例えば図26に示すような建物側照明1161を有する周辺設備が、自動車の駐車位置周辺に存在する場合は、その建物側照明1161により自動車をライトアップする動作をもてなし動作に追加してもよい。図27に示すように、遠距離用照明モードでは、夜間の駐車場にて自分の車を照らし出すことで駐車位置がよりわかりやすくなるし、ライトアップにより乗り込み前のユーザーの気持ちを高める効果も生ずる。他方、中距離用ないし近距離用照明モードでは、自動車周辺のエリアが広く照らし出されるので、乗り込みの誘導ないし補助の効果が高められ、自動車に乗り込むまでのユーザーの経路(足元)上に異物等が存在していても容易に発見することができる。
性格分類は、例えば以下のような方法により決定されるものである。
自動車のユーザーは、図36に示すようなユーザー登録部600(例えば、もてなし意思決定部2のROM(書換えが可能となるように、フラッシュROMで構成しておくことが望ましい)に予め登録しておくことができる。このユーザー登録部600には、各ユーザー名(あるいは、ユーザーID)と、その性格種別(図18参照)とが互いに対応付けられた形で登録されている。この性格種別は、後述のごとく、ユーザーによる自動車使用継続中に、特定の操作部における操作履歴情報として取得・蓄積し、その蓄積された操作履歴情報に基づいて推定されるものである。しかし、自動車の使用開始直後など、操作履歴情報の蓄積が不十分な場合、あるいは、操作履歴情報を敢えて収集せずに性格種別を推定したい場合は、次のように、性格種別情報又は該性格種別情報を特定するために必要な情報を、ユーザー自身により入力させ、その入力結果に基づいて性格種別を決定するようにしてもよい。
図37では、図1のモニター536(カーナビゲーションシステム534のモニターで代用してもよい)に性格種別を表示し、ユーザーは自分に適合する性格種別を選んで、入力部529からこれを入力する。ここでは、入力部はモニター536に重ねられたタッチパネルであり、表示形成された選択ボタン529Bに触れて選択入力を行なう。他方、図38では、性格種別を直接入力させる代わりに、性格種別判定のためのアンケート入力を行なう方式としている。モニター536にはアンケートの質問事項を表示し、ユーザーは回答選択肢から回答を選ぶ形で答える(ここでは、選択ボタン529Bで選択肢を構成し、この上に重ねられたタッチパネル529の該当位置に触れて選択入力を行なう)。全ての質問に回答することで、その回答の組み合わせに応じて予め定められた性格種別群から、1つのものが一義的に決定されるようになっている。
なお、ユーザー名を含めたユーザー登録入力も、上記の入力部529からなされ、決定された性格種別とともにユーザー登録部600に記憶される。また、これらの一連の入力は、携帯電話1から行なうことも可能であり、この場合は、その入力情報を無線により自動車側に転送する。また、ユーザーが自動車購入する際に、入力部529か専用の入力ツールを用いて、ディーラー側で事前にユーザー登録入力を済ませておく方法もある。
自動車の使用に先立っては、ユーザーの認証が必要である。特にユーザーが複数登録されている場合は、ユーザーによって性格種別が異なるものに設定され、もてなしの内容も異なるものとなるからである。最も簡単な認証方式は、携帯電話1からユーザーIDと暗証番号を自動車側に送信し、これを受けたもてなし意思決定部2が、登録されているユーザーIDと暗証番号との照合を行なう方法である。また、携帯電話1に設けたカメラにより顔写真の照合を行ったり、音声認証、指紋を用いた認証など、バイオメトリックス認証方式を採用することもできる。他方、自動車へのユーザーの接近時は、ユーザーIDと暗証番号とを用いた簡略な認証に留め、開錠後、自動車に乗り込んでから、前述の顔カメラ521、マイクロフォン522、網膜カメラ526、アイリスカメラ527あるいは静脈カメラ528などによるバイオメトリックス認証を行なうようにしてもよい。
上記のようにユーザーが認証・特定されたら、そのユーザーに対応する性格種別(ユーザー生体特性情報)がもてなし意思決定部2において取得され、対応するもてなし動作部の選定及び動作パターンが選択される。前述のごとく、例えば特定された性格種別が「活動的SKC1」であれば、期待/盛り上げジャンルST1に属するテーマOBJ111が選択され、特定された性格種別が「おとなしいSKC2」であれば、リラックス/安らぎジャンルST2に属するテーマOBJ211が選択される。この処理の流れは、他のシーンでも全く同じである
図7は、期待/盛り上げ系のテーマOBJ111に対応した機能選択テーブル371を示すものであり、車外照明、車内照明、窓遮蔽(パワーウィンドウ)、カーオーディオの機能優先順位が高くなっている。いずれも派手な盛り上げを行なうため、制御適性値設定テーブル371aにおける車外照明によるイルミネーション用の外的照明レベルの設定値、車内照明の設定値、カーオーディオシステム515及び携帯電話1からの音声出力レベル(ここでは、音楽出力に関する楽音レベル)はいずれも高く設定されている。図1の照度センサ539の照度検出レベル、及び音圧センサ540の音圧検出レベルが上記の設定値に近づくように、図1の照明504〜512及びカーオーディオシステム515の駆動出力レベルがもてなし実行制御部3により制御される。また、携帯電話1の音声出力レベルも無線指令により対応する値に設定される。また、推定される精神状態が集中力散漫に該当している場合も、期待/盛り上げ系の演出により、運転に臨む精神集中度を高める上で効果を発揮することがある。
他方、図8は、リラックス/安らぎ系のテーマOBJ211に対応した機能選択テーブル371を示すものであり、機能優先順位の設定は期待/盛り上げ系と同じであるが、制御適性値設定テーブル371aにおける外的照明レベルの設定値、車内照明の設定値及び楽音レベルは、期待/盛り上げ系のテーマOBJ111よりも低く設定され、照明色や選曲も含めて、より温和な演出が行われる。また、推定される精神状態ないし肉体状態が、体調不良ないし興奮状態に該当している場合も、同様の温和な演出が効果的である。
具体的な処理は以下のごとくである。すなわち、ユーザーが自動車へ乗り込むために接近する際には、取得された性格種別(ユーザー生体特性情報)に応じて異なる内容にて照明装置(図23〜図25:符号504,505,507,509,510,511,512:これらは、いずれも自動車の外観を照らし出す照明装置として機能する(室内灯511も、窓から漏れ出す光が自動車の外観を間接的に照らし出す))を動作させるものとすることができる。期待/盛り上げ系テーマOBJ111が選択された場合は、もてなしに関与する照明装置の発光量を増やす、あるいは点滅回数を増やす、ヘッドランプ504をハイビームにする、赤系のテールランプ507の点灯光量を増やすなど、ユーザーの自動車への接近を派手に盛り上げる演出をする。他方、リラックス/安らぎ系のテーマOBJ211が選択された場合は、もてなしに関与する照明装置の発光量をやや落とし、また、派手な照明の点滅は避け、フェードイン的にじわじわと光量を上げたり、あるいは、足元を照らすサイドランプ512→室内灯511→ヘッドランプ504(の順序で点灯を行って、自動車をゆっくりと浮かび上がらせるなど、ソフトな演出を行なうようにする。なお、赤系のテールランプ507を採用しなければ、「活動的」の性格種別に対する照明形態と比較して、全体の照明色調の上でも変化が得られる。なお、ヘッドランプやテールランプも含め、照明装置を白熱電球やハロゲンランプ等に代えて、発光ダイオードで構成することも可能である。
次に、ユーザーが自動車に接近する際には、上記のような照明装置以外に、携帯電話1(ユーザー側端末装置)に設けられたスピーカ(音声出力部)311をもてなし動作部として使用することもできる。この場合、自動車側の通信装置4は、携帯電話1すなわちユーザーの接近を検出し、そのユーザーに対応する性格種別(つまり、取得されたユーザー生体特性情報)に応じて異なる出力内容にてスピーカ311からもてなし用音声を出力させる。本実施形態において、もてなし用音声データは音楽ソースデータとするが、効果音や人間の声(いわゆる着声あるいは着ボイスと称されるもの)のデータであってもよい。このもてなし用音声データは、図1に示すように、自動車側の記憶装置535に記憶しておき、必要なものを携帯電話1に通信装置4を介して配信するようにしてもよいし、携帯電話1側の音データ用フラッシュROM316に記憶させても、いずれでもよい。ここでは、後者の場合を例に取り説明する。
まず、ユーザーが認証・特定されたら、そのユーザーに対応する性格種別を特定し、携帯電話1から、音データ用フラッシュROM316に記憶されている、もてなし用音声データのID一覧を無線により取得する。次に、その中から、特定された性格種別に対応する音楽ソースデータを選択する。ここでは、ユーザーが接近するほど盛り上げる処理を行なうために、曲モードコードの異なる複数の音楽ソースデータを選択している(ここでは、MIDIデータを用いた場合を例に取る)。
ここでも、前述の照明によるもてなし処理と同様、距離に応じて異なる演出を行なう(処理の流れは図28と同じ)。ユーザーの精神状態高揚度に対応して、曲モードコードについてもこれに対応付けた序列が設定され、距離が近づくほど、高揚する精神をより増長するように選曲を行なう。具体的には、自動車との距離が近づくほど、精神状態高揚度が上位となり、ユーザー接近時の曲モードコードは、「ヒーリング・α波系」又は「温和・癒し系」(遠距離用)→「爽快系」(中距離用)→「盛り上げ系」(近距離用)の順で序列が定められる。しかし、好みによっては、最初盛り上げておいて、車に接近するほど気持ちを落ち着かせるように、上記の逆の序列とすることももちろん可能である。
まず、図31に示すように、遠距離もてなしモードでは、「ヒーリング・α波系」又は「温和・癒し系」の曲モードコードを有する音楽ソースデータのID(曲ID)を携帯電話1に送信する(S201)。携帯電話1では、そのIDに対応する音楽ソースデータを選んで、演奏を開始する(S202)。次に、図32に示す中距離もてなしモードでは、「爽快系」の曲モードコードを有する音楽ソースデータのID(曲ID)を携帯電話1に送信する(S210)。そして、携帯電話1で、そのIDに対応する音楽ソースデータを選んで、演奏を開始するとともに、前述のごとく、バイブレータユニット354及びLEDユニット315を音楽と同期駆動し、音出力によるもてなしをより盛り上げる(S211)。また、自動車側の照明装置を、音楽に連動させて明滅させるようにしてもよい(S212)。
いよいよユーザーが自動車に乗り込む寸前にまで近づくと、図33の近距離もてなしモードとなり、最高潮の盛り上げ演出が行われる。すなわち、S220〜S222では、中距離もてなしモードとほぼ同様の処理であるが、音楽ソースデータは「盛り上げ系」のものを選ぶ。他方、自動車側でも同じIDの音楽ソースデータを選択し、カーオーディオシステム515での演奏を開始する。この場合、パワーウィンドウを作動させて窓を開き、携帯電話1の演奏と同期出力すれば、盛り上げ効果をさらに高めることができる(S223)。このとき、自動車側では、MIDIデータの主旋律部分の音程コードを、携帯電話1側の主旋律部分に対し、協和音程を形成する度数だけ低く(又は高く)なるように変更して出力させれば、携帯電話1の出力とカーオーディオシステム515の出力とをハモらせることができるし、MIDIデータの主旋律部分の出力タイミングを、携帯電話1側の主旋律部分に対し、一定拍数遅らせる(又は進ませる)ように変更して出力させれば、携帯電話1の出力とカーオーディオシステム515の出力との間で輪唱効果を達成することもできる。
そして、S224では、携帯電話1の心拍センサ342でユーザーの心拍数を読み取り、MIDIデータのテンポコードを、該心拍数に比例してテンポが速くなるように変更する。これにより、出力される音楽が、ユーザーの心拍に合せてアップテンポ化し、盛り上げ効果がより高められる。なお、リラックス/安らぎ系のテーマOBJ21では、近距離用の上記最後の派手な盛り上げ処理を行なわないようにすることも可能である。
また、推定される精神状態あるいは肉体状態との関係では、体調不良状態では刺激的な高音域を避けた低温域主体の音楽を流すか、あるいは体調不良状態が比較的重い場合は、音量も小さくし、テンポもゆったり系に設定する。また、興奮状態の場合も、音楽のテンポをゆったり系に設定すると効果的である。一方、集中力散漫状態の場合は、音量を逆にアップしたり、あるいはパーカッション強打や絶叫歌唱、あるいはピアノ不協和音など、気分覚醒に効果のある音楽を流すと効果的である。
なお、図2に示すように、接近シーンSCN1において、不安/緊張解消ジャンルST3では「車の位置を知りたい(OBJ311)」及び「忘れ物・戸締り確認(OBJ312)」、体力的負担軽減ジャンルST4では、「荷物をスムーズに積み込みたい(OBJ311)」の各テーマが定められている。またこれらテーマのもてなし処理は、気持ち高揚用のテーマOBJ111ないしOBJ211のもてなし処理と並列に実行される。図11は、テーマ「車の位置を知りたい(OBJ311)」に対応した機能選択テーブル372の内容を示すもので、自動車側GPS533、携帯電話1、携帯電話側GPS554、ホーン502及び車外照明(あるいは車内照明)がもてなし動作部として選択されている。具体的な動作は、例えば、自動車側GPS533の位置情報を携帯電話1側に知らせ、携帯電話側GPS554の位置情報とともにモニタ308(図14)上にマップ表示して、ユーザーと自動車との相対位置を把握できるようにする。また、ユーザーが自動車に所定距離以下に接近したら、ホーン502の吹鳴や及び車外照明(あるいは車内照明)の点灯により、自動車の位置をユーザーに直接知らせるようにする。
他方、「忘れ物・戸締り確認(OBJ312)」では、出発前の注意確認事項を促すメッセージ(音声データはもてなし実行制御部3のROMに記憶しておくことができ、カーオーディオシステムの音声出力ハードウェアを流用して出力処理が可能である)を音声出力させる。注意確認事項を促すメッセージの実例としては次のようなものがある
・「免許証と財布は大丈夫ですか?」
・(カーナビで設定された行き先が空港ならば)「パスポートは持ちましたか?」
・「玄関の鍵をかけましたか?」
・「裏の窓は開いてませんか?」
・「室内のエアコンは切りましたか?」
・「ガスの元栓は締めましたか?」
次に、ユーザーの精神状態あるいは肉体状態については、自動車に接近するユーザーの表情(車外用カメラ518にて撮影できる)や体温(赤外線センサ519で測定できる)の時間的変化を測定し、その変化波形から推定することができる。前述のごとく、推定された精神状態が正常であれば、期待/盛り上げジャンルST1のもてなし動作とし、推定された精神状態が不安定ないし怒り(あるいは興奮)になっていた場合(あるいは肉体状態が体調不良となっていた場合)は、リラックス/安らぎジャンルST2のもてなし動作とすることができる。
図56は、表情変化解析処理のフローチャートの一例を示すものであり、SS151で変化カウンタNをリセットし、SS152でサンプリングタイミングが到来すればSS153に進み、顔画像を撮影する。顔画像は表情特定が可能な正面画像が得られるまで繰り返す(SS154→SS153)。正面画像が得られたら、マスター画像(記憶装置535内)と順次比較することにより、表情種別を特定する(SS155)。特定された表情種別が「安定」なら、表情パラメータIに「1」をセットする(SS156→SS157)。特定された表情種別が「不安・不快」なら、表情パラメータIに「2」をセットする(SS158→SS159)。特定された表情種別が「興奮・怒り」なら、表情パラメータIに「3」をセットする(SS160→SS161)。
そして、SS162では、前回取得された表情パラメータの値I’を読み出してその変化値ΔNを演算し、SS163で、該値を変化カウンタNに加算する。以上の処理を、定められたサンプリング期間が満了するまで繰り返す(SS164→SS152)。サンプリング期間が満了すればSS165へ進み、表情パラメータIの平均値I(整数化する)を演算して、その表情値に対応する精神状態として判定を行なうことができる。また、変化カウンタNの値が大きいほど表情の変化が大きいと捕らえることができ、例えばNの値に閾値を設けて、表情変化をNの値から「変化小(−)」、「増」、「微増」及び「急増」として判定することができる。
一方、図54は、体温波形解析処理のフローチャートの一例を示すものであり、サンプリングルーチンでは、一定時間間隔で定められたサンプリングタイミングが到来する毎に、赤外線センサ519により検出される体温値をサンプリングし、波形記録する。そして、波形解析ルーチンでは、SS53にて直近の一定期間にサンプリングされた体温値を波形として取得し、SS54で該波形に周知の高速フーリエ変換処理を行なって周波数スペクトラムを求め、SS55で、そのスペクトラムの中心周波数(あるいはピーク周波数)fを演算する。また、SS56では、図53に示すように、波形を一定数の区間σ1,σ2‥に分割し、SS57で区間別の体温平均値を演算する。そして、区間毎に、平均体温値を波形中心線として、積分振幅A1,A2‥(中心線を基準とした波形変位の絶対値を積分し、その積分値を区間幅σ1,σ2‥で除した値である)を演算する。そして、SS59では、各区間の積分振幅Aを平均し、波形振幅の代表値として決定する。
なお、以下の処理も含め、波形取得のための情報サンプリングプログラムは、シーンが特定できた場合に、そのシーンに関係する生体状態検出部についてのみ、一定の時間間隔で起動されるようにスケジュール管理される。また、図面中には表れていないが、サンプリングの繰り返しについては、無制限に続くわけではなく、上記のごとく波形解析に必要なサンプリング数が得られるように定められた前述のサンプリング期間が満了すれば繰り返しが打ち切られる。
SS60では、周波数fが上限基準値fu0より大きくなっているかどうかを調べ、大きくなっていれば監視中の体温変化が「急」であると判定する。また、SS62では、周波数fが下限基準値fL0(>fu0)より小さくなっているかどうかを調べ、小さくなっていれば監視中の体温変化が「緩」であると判定する。また、fu0≧f≧fL0ならばSS64に進み、監視中の体温変化は「標準」であると判定する。次に、SS65に進み、積分振幅A(平均値)を基準値A0と比較する。A>A0であれば、監視中の平均体温レベルは「変動」状態にあると判定する。また、A≦A0であれば、監視中の平均体温レベルは「維持(安定)」状態にあると判定する。
このようにして得られた生体状態パラメータの時間的変化に係る判定結果を用いて、ユーザーの具体的な精神/肉体状態の判定(推定)が行なわれる。具体的には、記憶装置535内には、図51に示すように、ユーザーの判定すべき精神的状態又は肉体的状態である複数の被推定状態と、個々の被推定状態が成立していると判定するための、複数の生体状態変化検出部がそれぞれ検出しているべき生体状態パラメータの時間的変化状態の組み合わせとを対応付けて記憶した判定テーブル601が記憶されている。
本実施形態では、被推定状態として、「集中力散漫」、「体調不良」及び「興奮状態」が定められている。具体的には、「体調不良」が複数レベル、ここでは「軽度体調不良」と「重度体調不良」との2レベルに分割され、計4つの基本被推定状態が定められている。なお、「集中力散漫」及び「興奮状態」についても、よりきめ細かい精神/体調状態の推定を行なうために、これを複数レベルに分けて定めることが可能である。なお、本実施形態では、上記の基本被推定状態に対し、肉体状態系のものと精神状態系のもの(「集中力散漫」あるいは「興奮状態」)との複合状態についても、生体状態パラメータの時間的変化状態の組み合わせが独自に定められ、これらの複合状態の推定精度向上を図っている。
生体状態パラメータとしては、この後のシーンで使用するものも含め、「血圧」、「体温」、「皮膚抵抗」、「表情」、「姿勢」、「視線」、「瞳孔(寸法)」及び「操舵」の各パラメータが網羅されている。同じパラメータであっても、使用するセンサあるいはカメラはシーンに応じて、目的とする生体状態パラメータの取得に有利なものが適宜選択される。
前述のごとく、この接近シーンでは、車外用カメラ518によるユーザーの表情と、赤外線センサ519によるユーザーの体温が生体状態パラメータとして採用可能である。判定テーブル601によると、集中力散漫のときは表情の変化が急増し、体調不良や興奮状態の場合も表情の変化は増加する傾向にある。いずれも正常時とは異なる状態であることは識別できるが、個々の精神/体調状態を詳細に識別することは難しい。他方、体温の状態について見れば、集中力散漫のときは特に大きな変化がない(つまり、正常時とほぼおなじ)のに対し、体調不良時は緩やかな変化を示し、興奮状態の場合は非常に急激な変化を呈する。従って、この両者を組み合わせれば、「集中力散漫」、「体調不良」及び「興奮状態」を互いに識別することが可能となる。
この場合の処理を図66に示している。基本的には、複数(ここでは、表情と体温の2つ)の生体状態パラメータについて判定テーブル上のマスター情報と照合し、照合一致した組み合わせに対応する被推定状態を現在成立している被推定状態として特定する処理となる。すなわち、SS501〜SS508では、図54〜図57、図60〜図62あるいは図64、65の各フローチャートに示す解析処理による、各生体状態パラメータの時間的変化にかかる判定結果(例えば、「急減」や「増加」など)をリードする。SS509では、各被推定状態が成立していると判定するためには、判定テーブル601における個々の生体状態パラメータがどのような変化傾向を示していればよいかを表すマスター情報と、上記判定結果とを照合し、マスター情報と判定結果とが一致した被推定状態の照合カウンタをインクリメントする。この場合、例えば、全ての生体状態パラメータについて、マスター情報と判定結果とが一致した被推定状態のみを採用する処理としてもよいが、参照する生体状態パラメータが多い場合は、マスター情報と判定結果とが全ての生体状態パラメータについて一致するのが稀となり、ユーザーの肉体状態あるいは精神状態の推定を柔軟に行なうことができなくなる。従って、照合カウンタの得点を「一致度」とみなして、最も得点の高いもの、つまり一致度の最も高いものを、被推定状態として確定させる方法が有効である(SS510)。
なお、照合カウンタへの加算は、マスター情報と判定結果とが完全に一致した場合にのみ行なうようにしてもよいが、完全一致せずとも、定められた範囲内で近接した結果が得られた場合は、完全一致の場合よりも低い得点に制限しつつ、これを照合カウンタへ加算するようにしてもよい。例えば、マスター情報が「急増」となっている場合、判定結果も「急増」であれば3点を、「増」の場合は2点を、「微増」の場合は1点を加算する方式を例示できる。
次に、乗り込みシーンSCN2でのもてなし処理は、基本的に上記接近シーンSCN1での処理の延長として実施可能である(図2、OBJ121,OBJ221)。すなわち、ユーザーが自動車に乗り込み、着座センサ520がユーザーを検出すれば、もてなし実行制御部3は携帯電話1に演奏停止の指令を無線送信する。携帯電話1でのもてなし動作はこれで終了する。一方、不安/緊張解消ジャンルST3のもてなしのテーマについては、「車内を快適にして欲しい」(OBJ321:例えば事前のエアコン作動などにより車内を適温に保つなど)のほか、「自動車に乗り込む際の安全確保、トラブル回避」(OBJ322)がある。これは、図1の床下ランプ512による足元照明のほか、図41のドアアシスト機構541による障害物とドアとの衝突抑制モード機能によって達成できる。
また、体力的負担軽減ジャンルST4のもてなしテーマ「楽に乗り込みたい」(OBJ421)に関しては、ドアアシスト機構541の基本動作により、ドアの開閉操作の負担軽減を図ることができる。ドアアシスト機構541の動作の詳細は説明済なので、ここでは繰り返さない。なお、体調不良状態と推定される場合は、ドアアシスト機構541によるアシスト力を、通常時よりも増強する制御を行なうと、ユーザーへの負担をさらに軽減することができる。図41の構成では、外部操作力と正アシスト力との合計トルクがトルク検出電圧Vstに反映され、これがVref1に近づくように、モータ1010によるドアアシスト駆動がフィードバック制御されるので、体調不良に伴うユーザーのドア開力の減少に伴い、アシスト力も自動的に増大するようになっている。また、体調不良状態と推定される場合にVref1が大きくなるようにこれを変更して、アシスト力を増強させる方式も可能である。この場合、Vref1を決める分圧抵抗の一部を可変とし、体調不良状態と推定される場合に、該分圧抵抗値の変更によりVref1を増加させることが可能である。
また、テーマ「楽に荷物を積みたい」(OBJ422)では、例えば車外用カメラ518にて、ユーザーが大きな手荷物を抱えている場合やユーザーが体調不良と推定される場合に、ユーザーのドア開操作をアシストするのではなく、一定位置まで自動でドアを開き、ドアの操作そのものを不要にして、手荷物の積み込みを助ける。また、トランクルームの位置を知らせたり、そのカバーの開動作を自動で行って、積み込みを補助する動作も有効である。
次に、準備シーンSCN3及び運転/滞在シーンSCN4にうつる。期待/盛り上げジャンルST1及びリラックス/安らぎジャンルST2の各テーマ(OBJ131,OBJ141及びOBJ231、OBJ241)においては、接近シーンSCN1及び乗り込みシーンSCN2から実行されている車内照明511の作動、及び車内のカーオーディオシステム515の演奏を、引き続き継続する処理が中心となる(ただし、シーンに適合した照明色/パターンや選曲(あるいは音量)への変更は行なう)。準備シーンSCN3では気分を落ち着かせるために、光量を落とした照明と、図18の爽快系ST3あるいは温和・いやし系SFの選曲とする一方、運転開始時は、運転者を覚醒させてメリハリを付けるために照明光量を上げ、盛り上げ・活力アップ系AGの選曲に切り替えるなどの動作を例示できる。しかし、前述のごとく、精神状態や肉体状態の異常が推定される場合には、接近シーンと同様に、これを考慮した照明駆動パターンや音楽選曲が優先される。
図9は、期待/盛り上げジャンルST1のテーマOBJ141,OBJ142に係る機能選択テーブル371の設定例を示しており、車外照明(夜間のみ5、昼間は0(非動作))、車内照明、パワーウィンドウの閉動作、ノイズキャンセラ、カーオーディオシステム、及びDVDプレーヤーなどの映像出力装置などがもてなし動作部として選択されている。車内の騒音レベル低減に関しては、パワーウィンドウの閉動作のよる窓の締め切りのほか、図44及び図45に示したノイズキャンセラ1001Bの作動もこれに大きく寄与している。既に説明したごとく、このノイズキャンセラ1001Bは、適応フィルタの設定により、カーオーディオシステム515や、車内の会話、あるいは注意ないし危険認識すべき必要車外音(強調音)など、指定された必要音を残す形でそれ以外の騒音成分だけを打ち消すようにしてあるから、より静寂な環境で音楽を聞くことができ、また、必要車外音を聞き漏らしたりすることもない。また、図67に示すように、体調不良時には、指定された必要音(警告音/重要音)を残して、オーディオ出力に対し低音域を主体としたイコライジングを行なうことにより、効果を挙げることができる。
また、制御適性値設定テーブル371aにおいては、車内照明レベルと楽音レベルとを比較的高く設定してある。もともと騒々しい環境を好む若者等をターゲットにする場合、風切り音などの車内騒音も、車の雰囲気作りに貢献する場合があるし、適応フィルタによる必要車外音のピックアップに関しては多かれ少なかれ限界もあることから、車内の楽音レベルを高めに設定するのに合せ、騒音レベル(数値が高いほど静寂であることを示す)の低減程度は幾分抑制されている。なお、楽音レベルの設定値への制御は、図1の音圧センサ540の検出レベルが目標値に近づくよう、カーオーディオシステム515の出力ボリュームを調整することで実施できる。他方、騒音レベルの設定値への制御は、図44のエラー検出マイク2012が検出する消し残し騒音成分の目標値レベルをゼロではなく、残したい騒音レベルを示す有限値に設定することで実施できる。
図10は、リラックス/安らぎジャンルST2の各テーマOBJ241,OBJ242に係る機能選択テーブル371の設定例を示している。もてなし動作部の選択内容は期待/盛り上げジャンルST1と同じであるが、照明レベルと楽音レベルは期待/盛り上げジャンルST1よりも低く設定され、逆に騒音レベル低減程度は高められている。前述のごとく、体調不良時あるいは興奮状態時のクールダウン用の演出としても効果がある。
なお、接近シーンSCN1及び乗り込みシーンSCN2での音楽演奏がMIDIによるものであった場合、本格的に音楽を楽しむにはMIDIではいささか味気ないので、MPEG3曲データベース515c(図17)を用いた演奏に切り替える。この場合、もてなし意思決定部2(図1)は、ユーザーの性格種別に対応した音楽ソースデータを選ぶようにする。
ただし、もてなし意思決定部2が自動選択した曲が気に入らなければ、ユーザーは操作部515dからの入力により、いつでも好きな曲に演奏を切り替えることができる。ユーザーが自身で選曲した場合は、図20に示すように、そのユーザーの特定情報(ユーザー名あるいはユーザーID)と、選曲された音楽ソースデータのIDと、前述のもてなし参照データRD(性格種別コード、年齢コード、性別コード、ジャンルコード及び曲モードコード)とが互いに対応付けられた形で、選曲実績記憶部403(図1の記憶装置535内に形成されている)に記憶される。本実施形態では、選曲の日時、ユーザーの性別及び年齢も合せて記憶されている。
選曲実績記憶部403には、図21に示すように、ユーザー別に、その選曲実績の統計情報404が作成される。この統計情報404では、選曲データが、性格種別コード別(SKC)にカウントされ、どの性格種別の曲が最も多く選曲されたかが数値パラメータとして特定される。最も単純な処理としては、選曲頻度が最も高い性格種別を、そのユーザーの性格として特定することが可能である。例えば、統計情報404に蓄積されている選曲実績数が一定レベルに到達すれば、例えばユーザー入力により初期設定された性格種別を、統計情報404から上記のごとく導かれた性格種別と置き換えるようにすればよい。
ところで、ユーザーの性格の分類は実際にはもっと複雑なものであり、音楽の好みも、一律に同じ性格種別に押し込めてしまえるほど単純ではない。また、そのユーザーが置かれている生活環境(充実しているか、ストレスがたまっているか、など)によっても短期的には変動しやすいことがある。この場合は、音楽の嗜好も変動し、その統計から導かれる性格種別も変化することがあってもおかしくない。この場合、図21に示すように、無制限に遡って選曲実績の統計を取るのではなく、直近の一定期間(例えば1ヶ月〜6ヶ月)に限定して選曲実績の統計情報404を作成すれば、性格種別の短期的な変動を統計結果に反映することができ、音楽によるもてなし内容をユーザーの状態に合せて臨機応変に変更できる。
また、同じユーザーであっても、いつも同じ性格種別の音楽を選ぶとは限らず、他の性格種別の音楽にもまたがって選曲されることもありえる。この場合、選曲頻度が最も高い性格種別のみから選曲していたのでは、ユーザーの気分転換を図る上では、必ずしも望ましくない状況も生じえる。そこで、各性格種別に割り振る選曲確率期待値を、統計情報404が示す選曲頻度に応じて割り振り、その期待値に応じて重み付けされた形で、各性格種別からランダムに選曲する方式を採用することもできる。このようにすると、ユーザーが多かれ少なかれ興味を示す(つまり選曲された)音楽ソースについては、複数の性格種別にまたがる形で選曲頻度の高いものから優先的に選曲され、時折は自分の性格種別以外の音楽によるもてなしを受けることも可能となり、よい気分転換になる。具体的には、一定個数の乱数値からなる乱数表を記憶しておき、各性格種別に割り振る乱数値の個数を、上記選曲頻度に比例して配分する。次いで、周知の乱数発生アルゴリズムにより乱数を発生させ、得られた乱数値が、どの性格種別に割り振られた乱数値であるかを照合することで、選択すべき性格種別を特定することが可能となる。
なお、統計情報404では、音楽のジャンル別(JC)、年齢別(AC)及び性別(SC)による選曲頻度もカウントされており、性格種別の場合の上記方式と同様にして、選曲頻度の高いジャンル、年齢層あるいは性別に属する音楽ソースデータを、優先的に選曲するように構成できる。このようにすると、ユーザーの嗜好によりマッチしたもてなし選曲を行なうことが可能となる。なお、一つの音楽ソースデータに、複数の性格種別を割り振ることも可能である。
図30は、その処理の一例を示すフローチャートである。図21のように性格種別毎の選曲頻度統計が得られた場合、図30の下に示すように、乱数表上の乱数値を各性格種別に対し、個々の選曲頻度に比例して配分する。次いで、フローチャートのS108にて、任意の乱数値を1個発生させ、乱数表上にて、その取得された乱数値に対応する性格種別コードを選ぶ。次いで、S109では、図19の点灯制御データ群から、その性格コードに対応したものを選択する。そして、S110では、取得した性格種別コードに対応する音楽ソースデータのうち、図21にて最も選曲頻度の高いジャンル、年齢層及び性別に該当する音楽ソースデータを全て抽出する(もちろん、ここでも性格種別の決定時と同様、各ジャンル、年齢層及び性別毎の頻度に応じた乱数比例配分により、選曲に係るジャンル、年齢層及び性別を選択するようにしてもよい)。抽出された音楽ソースデータが複数ある場合は、S111のように、その中の1つの音楽ソースデータIDを乱数により1つ選択するようにしてもよいし、音楽ソースデータの一覧表をモニター536(図1)示して、操作部515d(図17)によりユーザーにマニュアル選択させるようにしてもよい。こうして、選択された点灯制御データに従い、ユーザーにより運転中(もしくはユーザーが滞在中)の自動車内の照明装置の点灯制御が実施され、また、選択された音楽ソースデータによる音楽演奏がカーオーディオシステムにてなされる。
以下、準備シーンSCN3及び運転/滞在シーンSCN4に割り振られている他のもてなしテーマについて説明する。テーマ「目的地/道中の様子が知りたい」は、上記両シーンにまたがって設定されているテーマであり、例えば準備シーンSCN3側(OBJ331)では、図12の機能選択テーブル372に示すように、自動車側GPS533とカーナビ534とがもてなし動作部として選択され、目的地の設定に伴い、現地や道中の様子を、無線通信ネットワークを介して取得し、カーナビ534のモニタ上に表示するもてなし動作が行われる。
運転/滞在シーンにおいては、ユーザーの性格種別を、音楽ソースの選曲実績以外の情報を用いる形でも推定することができる。例えば、ユーザー毎の運転実績データを蓄積し、その運転実績データの解析結果に基づいてユーザーの性格種別を特定することができる。以下、その具体例について説明する。図22に示すように、ユーザーが運転中にストレスを感じたときに行ないやすい操作をストレス反映操作として予め定めておき、そのストレス反映操作を対応する検出部で検出し、その検出結果をストレス反映操作統計記憶部405(図1:記憶部535内)に記憶・蓄積する。そして、その蓄積結果に基づいて、ユーザーの性格種別を推定する。以下に説明する実施形態は、自動車の運転上好ましくない性格要素による影響を、如何に抑制するかに主眼をおいたものである。
ストレス反映操作は、本実施形態では、ホーン操作(いらいらしてやたらにクラクションを鳴らす)、ブレーキ回数(車間等を詰めすぎて、やたらにブレーキを踏む)、車線変更回数(前の車を追い越そうと、頻繁に車線を変える:ウィンカーの操作+ウィンカーが操作された後のハンドル操作角度で検出できる(ハンドル操作角度が一定以下であれば、車線変更とみなす))が選定され、ホーンスイッチ502a、ブレーキセンサ530、ウィンカースイッチ502W、加速度センサ532がストレス反映操作検出部として機能する。各操作が発生する毎に、ストレス反映操作統計記憶部405内の対応するカウンターがカウントアップし、その回数が記録される。これらの操作は、「危険運転」への指向を反映したものであるともいえる。
また、走行中の車速が車速センサ531により検出され、加速度が加速度センサ532により検出され、平均速度VN及び平均加速度ANが算出されてストレス反映操作統計記憶部405内に記憶される。平均加速度ANは、増加方向の一定レベル以上の加速度が検出されている期間に限って平均値が取られ、加速度変動の少ない低速走行時期間は、平均値算出に組み入れられない。このようにすることで、該平均加速度ANの値は、追い越し等に伴いやたらにアクセルを踏み込んだり、あるいは急発進したりすることを好むか否かを反映した値となる。また、車速センサ531の出力積分値から走行距離が算出され、ストレス反映操作統計記憶部405内に記憶される。
さらに、上記ストレス反映操作統計は、一般道区間と高速道区間とで別々に作成される(その識別は、カーナビゲーションシステム534からの走行情報を参照することにより可能である)。つまり、高速道路走行時では、スムーズに流れている場合、普通の運転をするユーザーであれば、ホーンを吹鳴したり、ブレーキを踏んだり、車線変更したりする回数は少ないはずなので、これらのストレス反映操作の検出回数は、一般道区間よりも高い重み付けで加算されるべきだからである。また、平均速度や平均加速度は、一般道区間より必然的に高くなるので、上記のように一般道区間と高速道区間とで区別して統計を取ることで、この影響も緩和することができる。
以下に、上記ストレス反映操作統計を用いた性格判定のアルゴリズムの一例を示すが、これに限られるものではない。まず、ホーン回数Nh、ブレーキ回数NB、車線変更回数NLCについては、一般道区間(添え字「O」で示している)と高速道区間(添え字「E」で示している)での各値に、それぞれ重み係数αとβ(ただし、α<β:どちらかの係数を1に固定して、他方の係数を相対値表示してもよい)を乗じて加算し、それを走行距離Lで割った値を、換算回数(添え字「Q」で示している)として算出する。他方、平均速度と平均加速度も、同様に一般道区間での値と高速道区間での値を、重み係数を乗じて加算し、換算平均速度及び換算平均加速度として算出する。これらを全て加算した値を、性格推定パラメータΣChとして求め、該ΣChの値に応じて性格推定を行なう。
本実施形態では、ΣChの値の範囲を、予め定められた互いに異なる境界値A1,A2,A3,A4で複数の区間に区切り、そのそれぞれに性格種別を割り振っている。そして、算出されたΣChの値が属する区間に対応付けて、縮小係数δ1、δ2、δ3(いずれも0より大きく1より小)を定めている。これを用いた具体的な性格分析処理の流れの一例を図29に示す。前述のごとく、S101でユーザーを認証し、S202で図20の選曲実績データ403を取得する。そして、S103で、図21の選曲実績の統計情報404を作成する。次に、S104では、図22のストレス反映操作統計記憶部405内に蓄積されている情報(走行実績データ)を読み出し、S105で上記の方法によりΣChの値を算出して、対応する性格種別を特定し、縮小係数δを取得する。S106では、選曲実績の統計情報404で、最も頻度が高い性格種別を特定し、これに縮小係数δを乗じて見かけの頻度を低減する。これにより、例えば「活動的」なユーザーにおいてΣChが高くなるような結果が得られた場合、その「活動的」性格の故にΣChが高くなるような危険運転への指向が高められていることを意味するから、これをあおるような音楽の選曲頻度を、縮小係数δを乗ずることで抑制することができ、安全運転に導くことができる。また、「おとなしい」ユーザーにおいてΣChが低くなるような結果が得られた場合、「おとなしい」に対応する音楽の選曲頻度が縮小係数δを乗ずることで抑制され、活発な音楽の選曲頻度が相対的に増大するから、ユーザーに適度な刺激が与えられ、運転にメリハリを付けることで、安全性を高めることが可能となる。
次に、運転中においては、性格とは別に、精神状態や体調について考慮する必要がより高くなる。ユーザー(運転者)が運転席に着座している状態では、生体状態パラメータを取得するための生体状態検出部(センサやカメラ類)としてさらに多くのものを採用でき、具体的には、図1の赤外線センサ519、着座センサ520、顔カメラ521、マイクロフォン522、感圧センサ523、血圧センサ524、体温センサ525、アイリスカメラ527及び皮膚抵抗センンサ545を用いることができる。これらの生体状態検出部は、運転中のユーザーの生体反応を様々な角度から捉えることができ、もてなし意思決定部2は、接近シーンでの実施形態にて詳述したのと同様に、それらが検出する生体状態パラメータの時間的変化情報からユーザーの精神状態や体調を推定し、これに適合した形態でもてなし動作を行なう。
前述と同様、顔の表情の情報は、顔カメラ521により撮影した顔の静止画像から得られ、図34に示すように、その全体(又は部分:例えば目や口)の画像を、種々の心理状態あるいは体調状態におけるマスター画像と比較することで、ユーザーが怒っているのか、平静であるのか、機嫌がよい(例えば楽しくウキウキしている)のか、機嫌が悪い(例えば落胆ないし悲嘆している)のか、あるいは不安ないし緊張にさらされているのか、などを推定することができる。また、ユーザーに固有のマスター画像を使用するのではなく、顔の輪郭、目(あるいはアイリス)、口及び鼻の位置や形状を、全てのユーザーに共通の顔面特徴量として抽出し、その特徴量を、種々の心理状態あるいは体調状態において予め測定・記憶されている標準特徴量と比較して、同様の判定を行なうことができる。なお、上記の顔面特徴量から顔の類型を性格別に分類し、照合することで、ユーザーの性格種別の特定に使用することもできる。
体の動作は、顔カメラ521により撮影したユーザーの動画像(例えば、小刻みに動いたりする、顔をしかめたりするなど)、感圧センサ523の検知状態(例えば頻繁にハンドルから手を離したりする)などの情報に基づき、例えば運転中のユーザーがいらいらしているのか、そうでないのかを判断することができる。
体温は、ハンドルに取り付けた体温センサ525や、赤外線センサ519で取得した顔のサーモグラフィーなどの体温検出部により検出・特定できる。図54に示したのと同様のアルゴリズムにより、体温変化の緩急と平均体温レベルの変動/維持を判定できる。なお、ユーザーの平熱を予め登録しておき、その平熱からの温度シフト(特に高温側)を体温検出部により測定することで、より微妙な体温変化ひいてはそれによる細かい感情の動き等も検出することが可能となる。
図55は、皮膚抵抗変化波形解析処理のフローチャートの一例を示すものであり、サンプリングルーチンでは、一定時間間隔で定められたサンプリングタイミングが到来する毎に、皮膚抵抗センサ545により検出される皮膚抵抗値をサンプリングし、波形記録する。そして、波形解析ルーチンでは、SS103にて直近の一定期間にサンプリングされた皮膚抵抗値を波形として取得し、SS104で該波形に周知の高速フーリエ変換処理を行なって周波数スペクトラムを求め、SS105で、そのスペクトラムの中心周波数(あるいはピーク周波数)fを演算する。また、SS106では、図53に示すように、波形を一定数の区間σ1,σ2‥に分割し、SS107で区間別の皮膚抵抗平均値を演算する。そして、区間毎に、平均皮膚抵抗値を波形中心線として、積分振幅A1,A2‥を演算する。そして、SS109では、各区間の積分振幅Aを時間tに対してプロットし、最小二乗回帰して勾配αを求める。
SS110では、周波数fが上限基準値fu0より大きくなっているかどうかを調べ、大きくなっていれば監視中の皮膚抵抗変化が「急」であると判定する。また、SS112では、周波数fが下限基準値fL0(>fu0)より小さくなっているかどうかを調べ、小さくなっていれば監視中の皮膚抵抗変化が「緩」であると判定する。また、fu0≧f≧fL0ならばSS114に進み、監視中の皮膚抵抗変化は「標準」であると判定する。次に、SS115に進み、勾配αの絶対値を基準値α0と比較する。|α|≦α0であれば、監視中の平均皮膚抵抗レベルは「一定」状態にあると判定する。また、|α|>α0の場合、αの符号が正であれば監視中の平均皮膚抵抗レベルは「増」状態にあると判定し、負であれば「減」状態にあると判定する。
図51に示すように、皮膚抵抗検出値の変化が急で変化の方向が「増」である場合は、精神状態が「集中力散漫」と推定できる。体調不良に関しては、軽度のものは皮膚抵抗の時間的変化にそれ程反映されないが、体調不良が進行すると、皮膚抵抗値の変化が緩やかに増加に転ずるので、「重度体調不良」の推定には有効である。また、皮膚抵抗値は急激に減少する場合は、「興奮(怒り)状態」であることを、かなり高精度に推定することができる。
次に、図57は、姿勢信号波形解析処理のフローチャートの一例を示すものであり、サンプリングルーチンでは、一定時間間隔で定められたサンプリングタイミングが到来する毎に、図58を用いて説明した姿勢信号値(Vout)をサンプリングし、波形記録するSS201,SS202)。そして、波形解析ルーチンでは、SS203にて直近の一定期間にサンプリングされた姿勢信号値を波形として取得し、SS204で該波形に周知の高速フーリエ変換処理を行なって周波数スペクトラムを求め、SS205で、そのスペクトラムの中心周波数(あるいはピーク周波数)fを演算する。また、SS206では、図53に示すように、波形を一定数の区間σ1,σ2‥に分割し、SS207で区間別の姿勢信号平均値を演算する。そして、区間毎に、平均姿勢信号値を波形中心線として、積分振幅A1,A2‥を演算する。そして、SS209では、各区間の積分振幅Aを平均し、波形振幅の代表値として決定する。また、SS210では、積分振幅Aの分散Σ2を演算する。
SS211では、周波数fが上限基準値fu0より大きくなっているかどうかを調べ、大きくなっていれば監視中の姿勢変化速度が「増」であると判定する。また、SS213では、周波数fが下限基準値fL0(>fu0)より小さくなっているかどうかを調べ、小さくなっていれば監視中の姿勢変化速度が「減」であると判定する。また、fu0≧f≧fL0ならばSS215に進み、監視中の姿勢変化速度が「正常」であると判定する。次に、SS216に進み、積分振幅Aの平均値Anの値を予め定められた閾値と比較して、姿勢移動量を「変化小」、「微増」および「急増」のいずれかに判定する(平均値Anが大きいほど、姿勢移動量は増加傾向にある)。また、SS217では、Aの分散Σ2の値が閾値以上になっている場合は、姿勢移動が増減傾向にあると判定する。
姿勢の変化は、基本被推定状態(「体調不良」、「集中力散漫」及び「興奮状態」)の相違に応じて顕著に異なる傾向を示すので、それらを相互識別する上で特に有効なパラメータである。正常であれば、運転中のユーザーは適度に姿勢を保ちながら運転に必要な緊張感を持続される。他方、体調不良が生ずると、辛さを和らげようとして時折姿勢を変える仕草が目立つようになり、姿勢移動量は微増傾向となる。しかし、体調不良がさらに進行すると(あるいは、極度の眠気に襲われた場合)、姿勢が不安定になってぐらつくようになり、姿勢移動は増減傾向となる。このときの姿勢移動は、体のコントロールが利かない不安定なものなので、姿勢移動の速度は大幅に減少する。また、集中力が散漫になっている場合も、姿勢移動はだらしなく増減するが、体のコントロールは利く状態であるから、姿勢移動速度はそれほど減少しない点に違いがある。他方、興奮状態にある場合は、落ち着きがなくなったり、いらいらしたりして姿勢移動は急増し、移動速度も大きくなる。
図60は、視線角度波形解析処理のフローチャートの一例を示すものであり、サンプリングルーチンでは、一定時間間隔で定められたサンプリングタイミングが到来する毎に、SS252で顔画像を撮影し、その画像中にて瞳孔位置と、顔中心位置とを特定し、SS253で、該顔中心位置に対する瞳孔の正面方向からのぶれを演算して、視線角度θを求めることができる。そして、波形解析ルーチンでは、SS254にて直近の一定期間にサンプリングされた視線角度値を波形として取得し、SS255で該波形に周知の高速フーリエ変換処理を行なって周波数スペクトラムを求め、SS256で、そのスペクトラムの中心周波数(あるいはピーク周波数)fを演算する。また、SS257では、図53に示すように、波形を一定数の区間σ1,σ2‥に分割し、SS258で区間別の視線角度平均値を演算する。そして、SS259では、区間毎に、平均視線角度値を波形中心線として、積分振幅A1,A2‥を演算する。そして、SS260では、各区間の積分振幅Aを平均し、波形振幅の代表値Anとして決定する。また、SS261では、積分振幅Aの分散Σ2を演算する。
SS262では、周波数fが上限基準値fu0より大きくなっているかどうかを調べ、大きくなっていれば監視中の視線角度θの変化速度が「増」であると判定する。また、SS264では、周波数fが下限基準値fL0(>fu0)より小さくなっているかどうかを調べ、小さくなっていれば監視中の視線角度θの変化速度が「減」であると判定する。また、fu0≧f≧fL0ならばSS266に進み、監視中の視線角度θの変化速度が「正常」であると判定する。次に、SS267に進み、積分振幅Aの平均値Anの値を予め定められた閾値と比較して、視線角度θの変化量を「変化小」、「微増」および「急増」のいずれかに判定する(平均値Anが大きいほど、視線角度θの変化量は増加傾向にある)。また、SS268では、Aの分散Σ2の値が閾値以上になっている場合は、視線角度θの変化が増減傾向にある状態、つまり「変調」状態(いわゆる、目がきょろきょろした状態)にあると判定する。
まず、視線角度θは、集中力が散漫になった場合に移動量が急増し、また、きょろきょろと変調を来たすようになるので、該集中力散漫と推定する上での有力な決め手となる。また、体調不良が生ずると、その不良の程度に応じて視線移動量が減少するので、体調不良の推定にも有効である。また、興奮状態でも視線移動量は減少するが、体調不良時は、視界に変化が起きた場合に視線がついてゆきにくくなり、移動速度も減少するのに対し、興奮状態では、視界の変化等に鋭敏に反応してこれを睨みつけるなど、時折生ずる視線移動の速度は非常に大きいので、互いに識別することができる。
図61は、瞳孔径変化解析処理のフローチャートの一例を示すものであり、サンプリングルーチンでは、一定時間間隔で定められたサンプリングタイミングが到来する毎に、SS302でアイリスカメラ527(図1)によりユーザーのアイリスを撮影し、SS303では、その画像上にて瞳孔径dを決定する。そして、解析ルーチンでは、SS304にて直近の一定期間にサンプリングされた瞳孔径dを波形として取得する。また、SS305では、図53に示すように、波形を一定数の区間σ1,σ2‥に分割し、SS306で区間別の瞳孔径平均値dnを演算する。そして、SS307では、区間毎に、平均瞳孔径値を波形中心線として、積分振幅A1,A2‥を演算し、SS308では、各区間について計算された積分振幅の平均値Anを演算する。また、SS309では、積分振幅Aの分散Σ2を演算する。
SS310では瞳孔径平均値dnが基準値d0より大きくなっているかどうかを調べ、大きくなっていればSS311に進み、「瞳孔開」と判定する。また、大きくなっていなければSS312に進み、瞳孔径変化波形の積分振幅Aの分散Σ2が基準値Σ20よりも大きいかどうかを調べ、大きければ「瞳孔径変動」と判定する。また、大きくなければ「正常」と判定する。
図51に示すように、瞳孔径dは、ユーザーの精神状態に応じて顕著に変化し、特に、特有の瞳孔開状態があるか否かに基づいて、ユーザーが興奮状態にあるか否かを高精度に推定することができる。また、瞳孔径が変動する場合は、集中力散漫であると推定することができる。
また、本発明においては、運転者のステアリング操作状態も、その運転者の精神ないし肉体状態を推定するための生体状態パラメータとして使用する。ただし、ステアリングのサンプリング及び評価は直線走行時に限るようにし、右左折時やレーン変更時など、操舵角度が必然的に大きくなることが予め予測される期間は、ステアリング操作の監視・評価は行なわないことが望ましい(正常なのに、ステアリングが不安定と判定されてしまう惧れがある)。例えば、ウィンカー点灯操作があった場合は、そのウィンカー点灯期間と、操舵操作が予想される前後の一定期間(例えば、点灯前の約5秒、点灯後の約10秒))については、評価の対象外とするとよい。
図62は、操舵角度波形解析処理のフローチャートの一例を示すものであり、サンプリングルーチンでは、一定時間間隔で定められたサンプリングタイミングが到来する毎に、SS352で、操舵角センサ547の出力により現在の操舵角度φを読み取る(例えば、直進中立状態でφ=0°とし、左右いずれかへの触れ角として定義する(例えば右方向の角度を正、左方向の角度を負とする)。そして、操舵精度解析ルーチンでは、SS353にて直近の一定期間にサンプリングされた操舵角度値を波形として取得し、SS354で該波形に周知の高速フーリエ変換処理を行なって周波数スペクトラムを求め、SS355で、そのスペクトラムの中心周波数(あるいはピーク周波数)fを演算する。また、SS356では、図53に示すように、波形を一定数の区間σ1,σ2‥に分割し、SS357で区間別の操舵角度平均値を演算する。そして、SS358では、区間毎に、平均操舵角度値を波形中心線として、積分振幅A1,A2‥を演算する。そして、SS359では、積分振幅Aの分散Σ2を演算する。
SS360では、周波数fが上限基準値fu0より大きくなっているかどうかを調べ、大きくなっていればSS361に進み、監視中の操舵角度φの変化速度が「増」であると判定する。また、SS362では、周波数fが下限基準値fL0(>fu0)より小さくなっているかどうかを調べ、小さくなっていれば監視中の操舵角度φの変化速度が「減」であると判定する。また、fu0≧f≧fL0ならばSS364に進み、監視中の操舵角度φの変化速度が「正常」であると判定する。次に、SS365に進み、操舵角度φの変化波形の積分振幅Aの分散Σ2が基準値Σ20よりも大きいかどうかを調べ、大きければ操舵誤差が「増」と判定する(SS366)。また、大きくなければ「正常」と判定する(SS367)。
また、操舵誤差に関しては、上記のような操舵角度による検出だけでなく、図1の走行モニタカメラ546によるモニタリング画像から検出することもできる。走行モニタカメラ546は、例えば自動車の正面中央(例えば、フロントグリルの中央など)に取り付けることができ、図63に示すように、走行方向前方の視界を撮影するものである。自動車に対するカメラの取付位置が定まれば、撮影視野上での走行方向における車幅中心位置(自動車側基準位置)も定まり、例えば路肩線、中央線あるいはレーン分離線を画像上で識別することにより、自身が走行中のレーン中心位置を画像上で特定することができる。そして、上記の車幅中心位置のレーン中心位置からのずれを求めれば、自分の運転する自動車がレーンの中央をキープできているかどうかをモニタリングすることができる。図64は、その処理の流れの一例を示すフローチャートであり、SS401では走行モニタ画像のフレームを取得し、SS402では、上記のごとく路肩線、中央線あるいはレーン分離線を示す白線(あるいは追い越し禁止の橙線)のレーン側エッジ線を周知の画像処理により抽出し、それぞれレーン幅位置として特定する。そして、SS403では、そのエッジ線間距離を二分する位置をレーン中心位置として演算する。他方、SS404では、上記画像フレーム上に、車幅中心位置をプロットし、上記のレーン中心位置からの道路幅員方向におけるずれ量ηを演算する。この処理を、予め定められた時間間隔で取り込まれる画像フレームに対して繰り返し、ずれ量ηの時間変化波形として記録する(SS405→SS401)。
この場合の操舵精度の解析処理は、例えば図65に示すような流れにより行なうことができる。すなわち、SS451では、直近一定期間の波形の中心線に対する積分振幅Aを演算し、また、SS453では、レーン中心位置からのずれ量η自身の平均値ηnを演算する。SS454では、積分振幅Aを予め定められている基準値A0と比較し、この基準値を超えていればSS455に進んで操舵誤差「増」と判定する。Aが大きいということは、ずれ量ηが時間に対して大きく揺らいでいることを意味し、一種のふらつき走行の傾向を示すものである。一方、レーン中央をキープできず、端に寄っていく傾向が続く場合は、SS454で積分振幅Aが基準値A0より小さくなっていても、ずれ量η自体は大きくなり、異常と判定するべきである。従って、この場合はSS456に進み、ずれ量平均値ηnが基準値ηn0を超えていればSS455に進み、操舵誤差「増」と判定する。他方、ずれ量平均値ηnが基準値ηn0より小さければSS457へ進み、「正常」と判定する。
また、操舵速度(操舵に対する反応)については、波形に周知の高速フーリエ変換処理を行なって周波数スペクトラムを求め、そのスペクトラムの中心周波数(あるいはピーク周波数)fを演算して、そのfから傾向を判定することが可能である。この場合、周波数fが上限基準値fu0より大きくなっているかどうかを調べ、大きくなっていれば、操舵速度が「増」であると判定する。また、SS362では、周波数fが下限基準値fL0(>fu0)より小さくなっているかどうかを調べ、小さくなっていれば操舵速度がが「減」であると判定する。また、fu0≧f≧fL0ならば、操舵速度が「正常」であると判定する。
図51に示すように、操舵誤差の増大を検知することで、運転者が集中力散漫状態や興奮状態にあることを推定できる。他方、重度の体調不良(居眠り状態を含む)が発生した場合も、正常な操舵が妨げられるので、誤差の増大傾向からこれを推定することができる。他方、体調不良や集中力の散漫化は操舵への反応が遅れがちになり、操舵速度の減少からこれを推定することができる。また、興奮状態では、いらいらして急ハンドルを切りがちになるので、操舵速度の増加からこれを推定することができる。
さて、走行シーンにおいても、図66の流れに従って被推定状態を特定する処理が行なわれる。この場合、参照される生体状態パラメータの数も多くなるので、照合カウンタの得点を「一致度」とみなして、最も得点の高いもの、つまり一致度の最も高いものを、被推定状態として確定させる方法がより有効である。前述のごとく、照合カウンタへの加算は、マスター情報と判定結果とが完全一致せずとも、定められた範囲内で近接した結果が得られた場合は、完全一致の場合よりも低い得点に制限しつつ、これを照合カウンタへ加算するように実施できる。
被推定状態が特定できれば、これに対応するもてなし制御として、非常の多くの具体例を考えることができる。例えば、図2のテーマ「適正な運転環境設定」OBJ441では、図13の機能選択テーブル373に示すように、カーナビ534(映像出力用)、カーオーディオシステム515、エアコン514、車内照明511、ハンドル調整ユニット及びシート調整ユニットがもてなし動作部として選択され、上記のように、運転者(ユーザー)の精神状態や体調に応じて楽の選曲を変えたり、エアコンの設定温度や、車内の照明色あるいは照明強度を調整したりする。また、ハンドル調整ユニット及びシート調整ユニットは、モータ動作によりハンドルの位置やシートの前後位置あるいは背もたれの角度等を自動で調整するもので、例えば緊張感が薄らいできていると判定された場合は、背もたれを起こしてシートを前に出したり、ハンドル位置を高めたりして運転に集中できるようにする。また、疲れていると判定された場合は、不快感を示すユーザーの動きが静まる向きに、背もたれの角度を微調整したりすることが有効である。
また、上記以外にも、次のような態様がある。
・興奮状態(気分が高ぶりすぎていると判断されたとき、あるいは、怒りやストレスを感じていると判断されたとき):静かで心地よい音楽を演奏し、気持ちを落ち着かせるようにする。また、空調温度を下げ、シートバイブレータ550によりゆっくりした(後述の集中力散漫時よりも周期の長い)リズム振動を発生させ、リラックスさせる。また、後続車から追い越し、割り込み、パッシング、ホーン吹鳴などが関連して運転者の不快な精神状態に陥っていることが想定される場合は、「何よ、失礼ね。でも気にしないで。おとなのあなたが大好きよ。」などと、運転者を落ち着かせるメッセージを音声出力する。また、速度が超過したり(車速検知)、あるいは超過しそうになったとき:「ゆっくり行きましょ‥夜は長いのよ。安全運転のあなたが‥す・て・き。」などと、速度抑制を促すメッセージを音声出力する。
・集中力が散漫化したとき:ハンドルバイブレータ551やシートバイブレータ550にインパルス的な強い振動を発生させ、集中を促す。また、アンモニア発生部549から気付け用の強い臭いを発生させる。
・体調不良(疲労や病気症状(発熱など)が認められる場合):速度抑制などの安全運転や、停車・休憩を促す。踏み切りや赤信号に接近したときに注意情報を音声出力する。最悪の場合、運転の見合わせなどを音声出力やモニター表示により通知する。また、方向発生部からリラックスを促す芳香を発生させる。眠気に関しては、集中力が散漫化したときと同じもてなし動作も有効である。
・気持ちが落ち込んでいる(顔の表情、体温)と判断されたとき:景気のよい音楽を演奏したり、照明を赤系など、刺激的なものに変え、気分を盛り上げる。
より具体的な事例について、運転中に演奏するもてなし用音楽の選曲を例にとって説明する。前述の性格種別コードは、特定されたユーザーの性格に対し、適合する性格種別コードを有した音楽ソースを提供する、というように、ユーザーの性格と、選曲される音楽ソースの性格種別コードとが一致する形で利用される。他方、曲モードコードについては、その音楽ソースに付与された曲モードが、特定されたユーザーの精神状態や体調に必ずしも一致適合するように利用されるのではなく、例えば高ぶりすぎた精神状態に対しては、温和・癒し系やヒーリング・α波系の音楽ソースを選択して気持ちを鎮めるなど、ある精神状態を目標値として、ユーザーの精神状態をこれに近づけるように使用される。ユーザーの精神状態高揚度をパラメータ化できる場合、曲モードコードについてもこれに対応付けた序列を設定しておき、該精神状態高揚度パラメータに応じた曲モードコードを選択するように、選曲制御することができる。具体的には、精神状態高揚度パラメータの値が上位となるほどユーザーの精神状態が高揚していると定めたとき、「盛り上げ系」、「爽快系」、「温和・癒し系」、「ヒーリング・α波系」の順で序列を定め、精神状態高揚度パラメータの値が上位となるほど、当該序列の下位に位置する曲モードコードを選択すれば、気持ちが高ぶりすぎている場合はこれを静めるように選曲され、逆に落ち込んでいるときは気分が高揚するように選曲されるよう、曲モードコードを選ぶようにするのである。前者の場合は、気分激昂等に伴うスピードの出し過ぎなどを抑制する効果が得られ、後者の場合は、ユーザーの覚醒を促して運転中の注意力を高める効果が得られるので、いずれも安全運転に寄与する。他方、体調レベルが悪化している場合は、上記の精神状態とは無関係に、ユーザーに疲れを催させるような過激な選曲はなるべく行なわないようにすることが望ましいといえる。
例えば、図34に示すごとく、ユーザーの精神状態を、興奮(怒り)、集中力散漫(不安・緊張)、安定の3レベルに区分したとき、個々の精神状態レベルに対して、図18の曲モードコードを一義的に対応付けておく。本実施形態では、「怒り」には「温和・癒し系」(SF)、「不安・緊張」には「爽快系」(ST)、安定には「盛り上げ・活力アップ系」(AG)が対応付けられている(第一設定)。
なお、カーナビゲーションシステム534を用いて、一定距離以上遠方の目的地に向かうときは、帰りは運転者の疲れの要素が加わるから、行きよりもより運転を落ち着かせるよう、対応させる曲モードコードのレベルを下げるように設定することができる(第二設定)。図34では、帰りについては、「怒り」には「ヒーリング・α波系」(HL)、「不安・緊張」には「温和・癒し系」(SF)、安定には「爽快系」(ST)が対応付けられている。
図35は、処理のフローチャートを示すもので、S501で行きか帰りかを判別し、S502、S503で、曲モードコードを対応するレベル設定とする。S504で、生体状態検出部の検出状態を読み取り、S505,S506で精神状態を推定する。「安定状態」の場合はS507の処理、「緊張・不安」の場合はS508の処理、「怒り」の場合はS509の処理となる。各々の精神状態に対応する選曲で音楽演奏を行なう(性格種別は前述の方法で別に判定し、その性格種別に対応する音楽ソース群の中で、精神状態に対応する選曲を行なう)。なお、音楽演奏とともに、室内照明やエアコンの調整も、各精神状態に対応した形態で制御を行なう。例えば、「安定状態」の「行き」の場合は、盛り上げ系音楽(AG)の演奏に加え、赤系照明を使用し、室内温度も多少高めに設定する。「帰り」は、リラックスさせるために、爽快(あるいは安定)系音楽の演奏に加え、照明は落ち着いたアンバー系とし、室内温度が行きよりは少し低く設定する。
「行き」で「緊張・不安」の場合は、リラックスさせるために、爽快(あるいは安定)系音楽の演奏に加え、照明は落ち着いたアンバー系とし、室内温度が行きよりは少し低く設定する。「帰り」は、癒し系音楽(SF)の演奏に加え、白色系照明を使用し、室内温度はさらに若干下げた設定とする。そして、「行き」で「怒り」の場合は、早急にクールダウンさせる必要があるので、癒し系音楽(SF)の演奏に加え、白色系照明を使用し、エアコンを利かせて室内温度をさらに下げる。「帰り」は、音楽をヒーリング系(HL)とし、青色系の照明に切り替えるが、疲れをいやすために、温度が極端に下がらぬよう、「行き」で「怒り」の場合よりも温度は高めに設定する。
図2に戻り、降車シーンSCN5及び離脱シーンSCN6では、次のようなもてなし動作が可能である。例えば、テーマ「目的地到着の実感を高めて欲しい」(OBJ151、OBJ161、OBJ251、OBJ261)では、目的地に相応しい音楽や照明によりユーザーの到着をねぎらい、また、「さあ、○○ランドにつきました。思いっきり遊んで楽しみましょう」などのメッセージを出力することができる。また、テーマ「忘れ物・降車時確認」(OBJ351)では、車内への忘れ物や、乳幼児の車内への置き去り防止を促すためのメッセージを出力できる(この動作は、携帯電話1を利用して離脱シーンSCN6でも継続できる)。「降車時の安全確保・トラブル回避」(OBJ352)及び楽に降りたい(OBJ451,OBJ551)では、乗車時と同様、ドアアシスト機構541によるドアの開閉操作補助や、障害物とドアとの衝突抑制モード機能を作動させることができる。なお、離脱シーンにおいても、車外用カメラ518の作動により、自動車周辺の交通状態を監視し、ユーザーに対向車や後続車が迫ってきている場合には、携帯電話1を利用して注意を促すメッセージを出力することなどが可能である。