WO2022049636A1

WO2022049636A1 - 制御モード切替装置、および制御モード切替方法

Info

Publication number: WO2022049636A1
Application number: PCT/JP2020/033120
Authority: WO
Inventors: 剛岸川; 良浩氏家; 亮平野
Original assignee: パナソニックインテレクチュアルプロパティコーポレーションオブアメリカ
Priority date: 2020-09-01
Filing date: 2020-09-01
Publication date: 2022-03-10
Also published as: WO2022049894A1; EP4209851A1; JPWO2022049894A1; CN115989467A; US20230205181A1; EP4209851A4

Abstract

ロボットのセキュリティリスクは、物理的損害の可能性があり、攻撃検出時には直ちに安全状態へ移行する必要があるが、ロボットの制御状態によっては、単にロボットを停止させると被害が大きくなる。ロボットシステムは、外部ネットワーク通信部と制御ネットワークを備え、制御ネットワークは、アクチュエータ部とセンサ部と制御モード保持部と制御部と異常検知部を備え、異常検知部は、制御ネットワーク上の通信メッセージと、制御モードを基に、ユーザの制御に起因するユーザ異常と、制御ネットワークに起因するロボット異常と、ロボットシステムの動作環境に起因する動作環境異常を検知し、制御モード切替装置は、異常検知部の検知結果に基づいて、信用スコアを算出し、信用スコアが所定値以下となった時に、所定値以下となった信用スコアの種類と、制御モードとに応じて制御モード保持部の制御モードを変更する。

Description

制御モード切替装置、および制御モード切替方法

　本開示は、ロボットシステムにおいて検出されるセキュリティ異常と、現在のロボットの制御状態と、に応じてセキュリティ異常の原因を分析し、安全な制御を継続するための制御モード切替方法および制御モード切替装置に関する。

　多くのロボットシステムが、日常生活で利用されるようになり、ロボットの重要性が高まってきている。特に最近では労働力不足や、物流の増加の背景により、自動運転トラックや、自律配送ロボットの普及が期待されている。

　しかし、このようなモビリティロボットは、工場等の予め定められた環境で動作する従来型の産業用ロボットとは異なり、公道等の様々な環境で動作することを想定しており、完全自律制御の実現には課題が残る。

　そこでロボットが自律制御困難な場面への対応や、ロボットの効率的な運行を実現するため、遠隔オペレータによる遠隔監視や遠隔制御が可能なロボットや、多数のロボットの状態を管理するフリートマネジメントシステムが求められる。

　このような技術を活用することで、リモートワーク市場を拡大し、身体的な理由や、居住地、労働時間の問題により働けなかった人に対しても職場を提供することが可能になり、多くの課題の解消に寄与することができる。

　一方で、公共の場で動作するロボットに対するサイバーセキュリティの課題も存在する。例えば、自動車においては、遠隔から車載ネットワークに侵入し、自動車を不正に制御する事例が報告されている。また船舶システムのＧＰＳ（Ｇｒｏｂａｌ　Ｐｏｓｉｔｉｏｎｉｎｇ　Ｓｙｓｔｅｍ）に対して、偽装した信号を送信することで、船舶を誘導する攻撃事例も発生している。

　このように、公共の場で動作するロボットは、ロボット内の制御ネットワーク、制御アプリケーション、制御装置、センサのセキュリティを確保するだけでなく、ロボットが実際に動作する環境が信頼できないことや、悪意のある第三者が物理的にアクセスする可能性も考慮にいれる必要がある。

　またロボットにアクセスする外部装置、例えばサーバや、クライアントアプリケーションが動作する端末のセキュリティも考慮する必要がある。

　さらに、遠隔制御ロボットにおいては、不特定多数の遠隔オペレータが不特定多数のロボットの制御を行うことにより、遠隔オペレータの負荷分散および、必要な時に必要な労働力を得ることによる労働力の効率的なシェアリングが進むことも予想され、このような場合に不特定多数の遠隔オペレータによる不正な制御等も考慮にいれる必要がある。

　このように公共の場で動作するロボットは多様なセキュリティリスクが存在する。さらにロボットのセキュリティリスクは、従来のＩＴシステムにおける情報窃取や、サービス不全のリスクだけでなく、ロボット近辺の人、モノ、環境に影響が及ぶ。

　このような状況において、例えば自動車の制御ネットワークでは、セキュリティ異常が発生していないかを監視し、対応する方法が開示されている（例えば特許文献１）。

特許第６５０８６３１号公報

　しかしながら、特許文献１のような方法では、車載ネットワークに対する攻撃を発生したことを検出することが可能となるものの、制御中のロボットに対して即時に取るべき対応までを判断することはできない。

　公共の場で動作するロボットのセキュリティリスクは、人・モノ・環境への物理的な損害へつながる可能性があるため、攻撃検出時にはただちに安全な状態へ移行する必要があるものの、攻撃検出時のロボットの制御状態によっては、単純にロボットを停止させることで、反って被害が大きくなることも考えられる。

　そのため、攻撃検出時には、ロボットに発生した攻撃の原因を突き止め、適切な制御モードでロボットの制御を継続可能なシステムが求められる。

　そこで、本開示は、ロボットシステムにおいて検出されるセキュリティ異常と、現在のロボットの制御状態と、に応じてセキュリティ異常の原因を分析し、安全な制御を継続するための制御モード切替方法および制御モード切替装置を提供する。

　上記目的を達成するために、ロボットシステムにおける制御モード切替装置であって、前記ロボットシステムは、外部ネットワーク通信部と、ロボット制御ネットワークを備え、前記外部ネットワーク通信部は、ロボットシステムの外部ネットワークとの通信手段を備え、前記ロボット制御ネットワークは、１以上のアクチュエータ部と、１以上のセンサ部と、制御モード保持部と、制御部と、異常検知部と、を備え、前記アクチュエータ部は、前記ロボット制御ネットワークの通信メッセージに基づいて、ロボットの制御を行い、前記センサ部は、前記ロボットシステムの周辺環境または、前記ロボットシステムの制御状態に関わる情報を取得し、前記ロボット制御ネットワーク上にセンサ情報を送信し、前記制御モード保持部は、遠隔制御モード、手動制御モード、自律制御モードのいずれかを含む制御モードのうち、現在の前記ロボットシステムの制御モードを保持し、前記制御部は、遠隔制御部と、手動制御部と、自律制御部と、のうち少なくとも２つ以上を備え、前記遠隔制御部は、前記制御モードが、遠隔制御モード時に、前記外部ネットワークにアクセス可能な遠隔ユーザから前記外部ネットワーク経由で通知される前記ロボットシステムの制御信号を受信し、前記制御信号に基づき、前記アクチュエータ部を制御するための通信メッセージを送信し、前記手動制御部は、前記制御モードが、手動制御モード時に、前記外部ネットワークを介さずに、近接ユーザの操作を受け付け、前記ロボットシステムの制御内容を解釈するユーザインタフェース部を備え、前記ユーザインタフェース部の入力内容に基づいて、前記アクチュエータ部を制御するための通信メッセージを送信し、前記自律制御部は、前記制御モードが、自律制御モード時に、前記センサ情報をもとに、前記アクチュエータ部を制御するための通信メッセージを送信し、前記異常検知部は、前記ロボット制御ネットワーク上の通信メッセージと、前記制御モードを基に、前記遠隔ユーザまたは、前記近接ユーザの制御に起因するユーザ異常と、前記ロボット制御ネットワークに起因するロボット異常と、前記ロボットシステムの動作環境に起因する動作環境異常のいずれか１つ以上を検知し、前記制御モード切替装置は、前記異常検知部の検知結果に基づいて、異常の原因ごとに分類される２種類以上の信用スコアを算出し、前記信用スコアが所定値以下となった時に、所定値以下となった信用スコアの種類と、前記制御モードとに応じて、前記制御モード保持部の制御モードを変更する制御モード切替装置を提供することを目的とする。

　本開示によれば、ロボットシステムにおいて検出されるセキュリティ異常と、現在のロボットの制御状態と、に応じてセキュリティ異常の原因を分析し、安全な制御を継続することを可能とする。

図１は、実施の形態１における、ロボット監視システムの全体構成図である。図２は、実施の形態１における、ロボット１０のロボットネットワーク構成図である。図３は、実施の形態１における、ＴＣＵ（Ｔｅｌｅｍａｔｉｃ　ｃｏｎｔｒｏｌ　ｕｎｉｔ）の構成図である。図４は、実施の形態１における、セントラルＥＣＵ（Ｅｌｅｃｔｒｏｎｉｃ　Ｃｏｎｔｒｏｌ　Ｕｎｉｔ）の構成図である。図５は、実施の形態１における、ユーザインタフェースの構成図である。図６は、実施の形態１における、Ｅｔｈｅｒｎｅｔ（登録商標）スイッチの構成図である。図７は、実施の形態１における、自律運転ＥＣＵの構成図である。図８は、実施の形態１における、センサＥＣＵおよびアクチュエータＥＣＵの構成図である。図９は、実施の形態１における、フリート管理サーバの構成図である。図１０は、実施の形態１における、監視サーバの構成図である。図１１は、実施の形態１における、遠隔制御端末の一例を示す図である。図１２は、実施の形態１における、異常検知結果の一例を示す図である。図１３は、実施の形態１における、信用スコアの一例を示す図である。図１４は、実施の形態１における、ユーザ情報の一例を示す図である。図１５は、実施の形態１における、制御モードの一例を示す図である。図１６は、実施の形態１における、ロボット状態の一例を示す図である。図１７は、実施の形態１における、アカウント情報の一例を示す図である。図１８は、実施の形態１における、ロボット信用スコアの一例を示す図である。図１９は、実施の形態１における、ユーザ信用スコアの一例を示す図である。図２０は、実施の形態１における、ユーザの不正な遠隔制御に対する制御モード切替シーケンスを示す図である。図２１は、実施の形態１における、近接第三者による攻撃に対する制御モード切替シーケンスを示す図である。図２２は、実施の形態１における、セントラルＥＣＵの異常対応処理全体フローチャートである。図２３は、実施の形態１における、セントラルＥＣＵの信用スコア更新フローチャートである。図２４は、実施の形態１における、セントラルＥＣＵの異常対応フローチャートである。図２５は、実施の形態１における、セントラルＥＣＵの制御モード切替フローチャートである。

　本開示の一実施態様の制御モード切替装置は、ロボットシステムにおける制御モード切替装置であって、前記ロボットシステムは、外部ネットワーク通信部と、ロボット制御ネットワークを備え、前記外部ネットワーク通信部は、ロボットシステムの外部ネットワークとの通信手段を備え、前記ロボット制御ネットワークは、１以上のアクチュエータ部と、１以上のセンサ部と、制御モード保持部と、制御部と、異常検知部と、を備え、前記アクチュエータ部は、前記ロボット制御ネットワークの通信メッセージに基づいて、ロボットの制御を行い、前記センサ部は前記ロボットシステムの周辺環境または、前記ロボットシステムの制御状態に関わる情報を取得し、前記ロボット制御ネットワーク上にセンサ情報を送信し、前記制御モード保持部は、遠隔制御モード、手動制御モード、自律制御モードのいずれかを含む制御モードのうち、現在の前記ロボットシステムの制御モードを保持し、前記制御部は、遠隔制御部と、手動制御部と、自律制御部と、のうち少なくとも２つ以上を備え、前記遠隔制御部は、前記制御モードが、遠隔制御モード時に、前記外部ネットワークにアクセス可能な遠隔ユーザから前記外部ネットワーク経由で通知される前記ロボットシステムの制御信号を受信し、前記制御信号に基づき、前記アクチュエータ部を制御するための通信メッセージを送信し、前記手動制御部は、前記制御モードが、手動制御モード時に、前記外部ネットワークを介さずに、近接ユーザの操作を受け付け、前記ロボットシステムの制御内容を解釈するユーザインタフェース部を備え、前記ユーザインタフェース部の入力内容に基づいて、前記アクチュエータ部を制御するための通信メッセージを送信し、前記自律制御部は、前記制御モードが、自律制御モード時に、前記センサ情報をもとに、前記アクチュエータ部を制御するための通信メッセージを送信し、前記異常検知部は、前記ロボット制御ネットワーク上の通信メッセージと、前記制御モードを基に、前記遠隔ユーザまたは、前記近接ユーザの制御に起因するユーザ異常と、前記ロボット制御ネットワークに起因するロボット異常と、前記ロボットシステムの動作環境に起因する動作環境異常のいずれか１つ以上を検知し、前記制御モード切替装置は、前記異常検知部の検知結果に基づいて、異常の原因ごとに分類される２種類以上の信用スコアを算出し、前記信用スコアが所定値以下となった時に、所定値以下となった信用スコアの種類と、前記制御モードとに応じて、前記制御モード保持部の制御モードを変更する。

　これにより、ロボットシステムにおいて検出される異常検知結果をもとに、異常の発生原因を適切に推定し、異常原因に応じて制御モードを切り替えることが可能となり、ロボットシステムを安全に保つために効果的である。

　例えば、前記センサ部は、前記ロボットシステムの位置情報、加速度、走行速度、カメラ画像のうち少なくとも１つ以上の情報を取得し、前記ユーザ異常は、前記制御モードが、手動制御モードあるいは、遠隔制御モードであるときに、前記異常検知部により検知される、前記位置情報があらかじめ制御が想定されている範囲の逸脱、または所定の閾値を超える加速度の検出、予め想定されていない人やモノと接触あるいは接近を検出、のいずれかであり、前記ロボット異常は、前記異常検知部により検知される、前記ロボット制御ネットワークの通信情報に含まれる故障の通知、または、前記ロボット制御ネットワークの通信異常、のいずれかであり、前記動作環境異常は、前記異常検知部により検知される、前記位置情報の不連続な変化や無効な値、前記外部ネットワークの通信異常、前記ロボット制御ネットワークの電圧変化、前記ロボットシステムの分解、のいずれかであるとしてもよい。

　これにより、ユーザに起因する異常と、ロボットシステムに起因する異常と、動作環境に起因する異常を検出することが可能となり、異常に対して適切に制御モードを切り替えることができ効果的である。

　例えば、前記信用スコアの種類は、ユーザ、ロボット、動作環境のうち少なくとも２つ以上を含み、前記制御モード切替装置は、前記異常検知部が、前記ユーザ異常を検知した場合に、ユーザの信用スコアを減少させ、前記ロボット異常を検知した場合に、ロボットの信用スコアを減少させ、前記動作環境異常を検知した場合に、動作環境の信用スコアを減少させるとしてもよい。

　これにより、検出した異常の種類をもとに、異常の発生原因の候補に対して信用スコアを算出することが可能となり、信用スコアに基づいて適切な制御モードに切り替えることができ効果的である。

　例えば、前記制御モード切替装置は、さらに、前記遠隔ユーザごとに前記信用スコアを保持し、前記制御モードが遠隔制御モードであり、かつ前記信用スコアが所定値以下となった不正な遠隔ユーザが、前記ロボットシステムの制御を行っている場合に、前記不正な遠隔ユーザによる前記制御信号を受け付けない、前記遠隔ユーザの変更を要求する、または前記制御モードを遠隔制御モード以外の制御モードに変更し、前記ロボットの信用スコアが、所定値以下となった場合に、前記制御モードを、前記ロボットシステムの制御を限定して、安全な状態で停止させる縮退モードに変更し、前記動作環境の信用スコアが、所定値以下となった場合に、前記動作環境の確認を行うためのアラートを、外部へ要求するとしてもよい。

　これにより、信用スコアの値と、現在の制御モードに基づいて、ロボットシステムの制御の切り替え方法を決定することが可能となり、より安全なロボットシステムの実現に効果的である。

　例えば、前記制御モード切替装置は、複数種類の前記信用スコアが所定の値以下となった場合は、前記ロボットの信用スコア、前記動作環境の信用スコア、前記ユーザの信用スコアの優先順位で、各信用スコアに基づく対応を行うとしてもよい。

　これにより、制御モードの切り替えのみでは安全な対応が困難なロボットシステムに起因する異常に対して優先的に対応することで、安全性を重視したロボットシステムの実現に効果的である。

　例えば、前記制御部は、前記遠隔制御部と、前記手動制御部と、前記自律制御部と、を独立したアプリケーションとして動作させ、前記異常検知部は、アプリ異常として、前記遠隔制御アプリ異常、前記手動制御アプリ異常、前記自律制御アプリ異常を検知し、前記制御モード切替装置は、さらに前記信用スコアの種類は、遠隔制御アプリ、手動制御アプリ、自律制御アプリのうち１つ以上を含み、前記遠隔制御アプリ異常が検知された場合に、前記遠隔制御アプリの信用スコアを減少させ、前記手動制御アプリ異常が検知された場合に、前記手動制御アプリの信用スコアを減少させ、前記自律制御アプリ異常が検知された場合に、前記自律制御アプリの信用スコアを減少させ、前記遠隔制御アプリの信用スコアが、所定値以下となった場合に、前記制御モードが、遠隔制御モードとなることを禁じ、前記手動制御アプリの信用スコアが、所定値以下となった場合に、前記制御モードが、手動制御モードとなることを禁じ、前記自律制御アプリの信用スコアが、所定値以下となった場合に、前記制御モードが、自律制御モードとなることを禁じるとしてもよい。

　これにより、ロボットシステム内部の異常を詳細に分類することが可能となり、適切な制御モードの切り替え先を選択でき、安全性の向上に効果的である。

　例えば、前記制御モード切替装置は、前記ロボットシステムが、所定の制御状態であるときのみに制御モードの変更が行われるとしてもよい。

　これにより、ロボットシステムが、制御モードをただちに切り替えた場合に、安全性に問題がある制御を行っている間を避けて、制御モードを切り替えることが可能となる。

　これにより、前記制御モード切替装置は、前記ロボットシステムの位置情報が、所定の範囲に存在しているときのみに、制御モードの変更が行われるとしてもよい。

　これにより、ロボットシステムが、制御モードをただちに切り替えた場合に、安全性に問題があるエリアで制御を行っている間を避けて、制御モードを切り替えることが可能となる。

　また、本開示の一実施態様の制御モード切替方法は、ロボットシステムにおける制御モード切替方法であって、前記ロボットシステムは、外部ネットワーク通信部と、ロボット制御ネットワークを備え、前記外部ネットワーク通信部は、ロボットシステムの外部ネットワークとの通信手段を備え、前記ロボット制御ネットワークは、１以上のアクチュエータ部と、１以上のセンサ部と、制御モード保持部と、制御部と、異常検知部と、を備え、前記アクチュエータ部は、前記ロボット制御ネットワークの通信メッセージに基づいて、ロボットの制御を行い、前記センサ部は、前記ロボットシステムの周辺環境または、前記ロボットシステムの制御状態に関わる情報を取得し、前記ロボット制御ネットワーク上にセンサ情報を送信し、前記制御モード保持部は、遠隔制御モード、手動制御モード、自律制御モードのいずれかを含む制御モードのうち、現在の前記ロボットシステムの制御モードを保持し、前記制御部は、遠隔制御部と、手動制御部と、自律制御部と、のうち少なくとも２つ以上を備え、前記遠隔制御部は、前記制御モードが、遠隔制御モード時に、前記外部ネットワークにアクセス可能な遠隔ユーザから前記外部ネットワーク経由で通知される前記ロボットシステムの制御信号を受信し、前記制御信号に基づき、前記アクチュエータ部を制御するための通信メッセージを送信し、前記手動制御部は、前記制御モードが、手動制御モード時に、前記外部ネットワークを介さずに、近接ユーザの操作を受け付け、前記ロボットシステムの制御内容を解釈するユーザインタフェース部を備え、前記ユーザインタフェース部の入力内容に基づいて、前記アクチュエータ部を制御するための通信メッセージを送信し、前記自律制御部は、前記制御モードが、自律制御モード時に、前記センサ情報をもとに、前記アクチュエータ部を制御するための通信メッセージを送信し、前記異常検知部は、前記ロボット制御ネットワーク上の通信メッセージと、前記制御モードを基に、前記遠隔ユーザまたは、前記近接ユーザの制御に起因するユーザ異常と、前記ロボット制御ネットワークに起因するロボット異常と、前記ロボットシステムの動作環境に起因する動作環境異常のいずれか１つ以上を検知し、前記制御モード切替方法は、前記異常検知部の検知結果に基づいて、異常の原因ごとに分類される２種類以上の信用スコアを算出する信用スコア算出ステップと、前記信用スコアが所定値以下となった時に、所定値以下となった信用スコアの種類と、前記制御モードとに応じて、前記制御モード保持部の制御モードを変更する制御モード切替ステップとを備える。

　以下、図面を参照しながら、本開示の実施の形態に関わるロボット制御モード切替方法について説明する。なお、以下で説明する実施の形態は、いずれも本開示の好ましい一具体例を示す。つまり、以下の実施の形態で示される数値、形状、材料、構成要素、構成要素の配置および接続形態、ステップ、ステップの順序などは、本開示の一例であり、本開示を限定する主旨ではない。本開示は、請求の範囲の記載に基づいて特定される。したがって、以下の実施の形態における構成要素のうち、本開示の最上位概念を示す独立請求項に記載されていない構成要素は、本開示の課題を達成するために必ずしも必要ではないが、より好ましい形態を構成する構成要素として説明される。

　（実施の形態１）
　以下、遠隔／自律／手動の制御手段により制御可能なロボットにおける、ロボット制御モード切替方法について説明する。

　［１．１　ロボット監視システムの全体構成］
　図１は、ロボット監視システムの全体構成図である。図１においてロボット監視システムは、ロボット１０ａとロボット１０ｂと、ロボット１０ｃと、ネットワーク２０と、フリート管理サーバ３０と、監視サーバ４０と、遠隔制御端末５０と、から構成される。

　ロボット１０ａ、１０ｂ、１０ｃは、ロボットの制御状態や、位置情報、セキュリティアラートなどのロボット状態を、ネットワーク２０を介して、フリート管理サーバ３０および、監視サーバ４０へ通知する。ロボット１０ａ、１０ｂ、１０ｃは同じ構成であるため、これらをまとめてロボット１０として説明する場合がある。

　ネットワーク２０は、インターネットあるいは専用回線を含みうる。

　フリート管理サーバ３０は、ロボット１０からロボット１０のロボット状態を受信し、ロボット１０が適切に運行されているかを管理するためのインタフェースをロボット１０の管理者へ提供する。

　監視サーバ４０は、主にロボット１０にセキュリティインシデントが発生していないかを監視するサーバであり、ロボット１０からセキュリティアラートを受信し、分析・対応するためのインタフェースを、セキュリティオペレーションセンターあるいは、セキュリティインシデントレスポンスチームに提供する。

　なお、ロボット１０を遠隔制御するためのインタフェースは、フリート管理サーバ３０から提供されていてもよい。

　［１．２　ロボット１０のネットワーク構成］
　図２は、ロボット１０に搭載されるロボットネットワークシステムの構成図である。図２においてロボットネットワークシステムは、ＴＣＵ１００と、セントラルＥＣＵ２００と、ユーザインタフェースＥＣＵ３００と、Ｅｔｈｅｒｎｅｔスイッチ４００と、自律運転ＥＣＵ５００と、センサＥＣＵ６００と、アクチュエータＥＣＵ７００と、から構成される。図２では省略されているが、ロボットネットワークには、さらに多くのＥＣＵが含まれうる。

　各ＥＣＵは、例えば、プロセッサ（マイクロプロセッサ）、メモリ等のデジタル回路、アナログ回路、通信回路等を含む装置である。メモリは、ＲＯＭ、ＲＡＭであり、プロセッサにより実行される制御プログラム（コンピュータプログラム）を記憶することができる。例えばプロセッサが、制御プログラムにしたがって動作することにより、ＥＣＵは各種機能を実現する。コンピュータプログラムは、所定の機能を実現するために、プロセッサに対する命令コードが複数個組み合わされて構成されたものである。

　本実施の形態では、各装置がＥｔｈｅｒｎｅｔにより接続し、通信を行う例を示しているが、ロボットネットワークはＥｔｈｅｒｎｅｔに限らない。例えばＣｏｎｔｒｏｌｌｅｒ　Ａｒｅａ　Ｎｅｔｗｏｒｋ（ＣＡＮ）であってもよいし、ＦｌｅｘＲａｙ、専用通信線、無線通信であってもよい。

　ＴＣＵ１００は、ロボット１０の外のネットワークとの通信インタフェースを備えており、セントラルＥＣＵ２００から通知される分析レポートを、ネットワーク２０を介して、フリート管理サーバ３０と、監視サーバ４０へ通知する機能を有する。

　セントラルＥＣＵ２００は、ロボット１０の中心的な役割を担うＥＣＵであり、様々なアプリケーションが動作し、ロボット１０の機能を実現する。

　セントラルＥＣＵ２００は、ロボット１０の制御モードを遠隔制御とするか、自律制御とするか、手動制御とするかの判断を行う。

　セントラルＥＣＵ２００は、ロボット１０で発生した異常を検知し、発生した異常を分析することで、ロボット１０に発生した異常の原因を推定し、現在のロボット１０の制御状態に応じて、安全な制御モードに切り替える機能を持つ。

　また、セントラルＥＣＵ２００は、Ｅｔｈｅｒｎｅｔスイッチ４００から受信するＥｔｈｅｒｎｅｔフレームに含まれる制御ネットワークの情報をもとに、ロボット１０の制御状態を判定し、フリート管理サーバ３０へ通知するための情報をＴＣＵ１００に通知する。

　また、セントラルＥＣＵ２００は、ロボット１０内で発生した、異常について、監視サーバ４０へ通知するための情報をＴＣＵ１００に通知する。

　ユーザインタフェースＥＣＵ３００は、主に手動制御モード時に、ロボット１０を制御するためのユーザインタフェースからユーザによる操作を受け付け、ロボット１０を制御するための操作内容、例えば、ステアリングや加減速を制御する操作内容、をセントラルＥＣＵ２００へ通知する。ユーザインタフェースとしては、例えば、操作機器、タッチパネル、ＵＳＢポート、Ｗｉ－Ｆｉ（登録商標）モジュール等の機器がある。

　Ｅｔｈｅｒｎｅｔスイッチ４００は、セントラルＥＣＵ２００と、自律運転ＥＣＵ５００と、アクチュエータＥＣＵ７００と、Ｅｔｈｅｒｎｅｔにより接続され、各装置から送信されるＥｔｈｅｒｎｅｔフレームを適切な装置に届けるために転送する。

　自律運転ＥＣＵ５００は、主にロボット１０が自律制御モードの時に、センサＥＣＵ６００により取得されるＥｔｈｅｒｎｅｔフレームに含まれるセンサ情報を用いて、アクチュエータＥＣＵ７００に対してアクチュエータの制御指令を行うことでロボット１０の制御を実現する。

　センサＥＣＵ６００は、例えば、ロボット１０の周辺の映像を撮影するカメラや、ロボット１０の周辺の物体検知を行うミリ波レーダや、速度センサ、加速度センサや、ＧＰＳ（Ｇｌｏｂａｌ　Ｐｏｓｉｔｉｏｎｉｎｇ　Ｓｙｓｔｅｍ）と接続され、各種情報をＥｔｈｅｒｎｅｔフレームに含めてＥｔｈｅｒｎｅｔスイッチ４００を介して、他の装置に通知する。

　アクチュエータＥＣＵ７００は、ロボット１０の駆動・制御に関わるアクチュエータ、例えば、走行・飛翔するためのモータやエンジン、旋回、方向転換するためのステアリング、などの制御を行う。

　なお、本実施の形態では、センサＥＣＵ６００と、アクチュエータＥＣＵ７００がそれぞれ一つずつ存在する例を示しているが、ロボットネットワーク上には複数のセンサＥＣＵ、あるいは複数のアクチュエータＥＣＵが存在してもよい。

　［１．３　ＴＣＵ１００の構成］
　図３は、ＴＣＵ１００の構成図である。図３においてＴＣＵ１００は、外部通信部１０１と、アプリ部１０２と、内部通信部１０３と、侵入検知部１０４とから構成される。

　外部通信部１０１は、ネットワーク２０との通信インタフェースであり、フリート管理サーバ３０、あるいは監視サーバ４０との通信を行い、通信内容について、アプリ部１０２と情報のやりとりを行う。

　アプリ部１０２は、ロボット１０の状態に関する情報をフリート管理サーバ３０、あるいは監視サーバ４０へ通知するためのアプリケーションや、ネットワーク２０から受信したデータに基づいて、セントラルＥＣＵ２００へデータを送信するアプリケーションが動作する。

　内部通信部１０３は、セントラルＥＣＵ２００と接続し、アプリ部１０２と、Ｅｔｈｅｒｎｅｔフレームのやりとりを行う。

　侵入検知部１０４は、Ｉｎｔｒｕｓｉｏｎ　Ｄｅｔｅｃｔｉｏｎ　Ｓｙｓｔｅｍ（ＩＤＳ）であり、アプリ部１０２の挙動から、アプリケーションが不正な動作を行っていないかを監視する。例えば、侵入検知部１０４は、アプリケーションのＣＰＵやメモリのリソース使用率や、通信量、通信先、ファイルのアクセス権限、不正なプロセスの起動等、を監視し、基準値に収まっているかを監視する。また外部通信部１０１が不正なアクセス先と通信を行っていないか、通信フレーム内にマルウェアが含まれていないか、通信量が通常値よりも増大していないか等の監視を行う。異常な挙動が観測された場合は、侵入検知部１０４は、セキュリティアラートを通知するため、アプリ部１０２へセキュリティアラートの送信要求を行い、セントラルＥＣＵ２００へセキュリティ異常を通知する。

　［１．４　セントラルＥＣＵ２００の構成］
　図４は、セントラルＥＣＵ２００の構成図である。図４においてセントラルＥＣＵ２００は、通信ポート部２０１と、ホストＯＳ部２０２と、ゲストＯＳ部２０３と、対応判断部２０４と、異常検知部２０５と、信用スコア更新部２０６と、ユーザ管理部２０７と、異常検知結果保持部２０８と、信用スコア保持部２０９と、ユーザ情報保持部２１０と、制御モード保持部２１１と、から構成される。

　通信ポート部２０１は、ＴＣＵ１００と、ユーザインタフェースＥＣＵ３００と、Ｅｔｈｅｒｎｅｔスイッチ４００と、それぞれ接続されており、通信を行う。また、通信ポート部２０１は、通信内容に応じて適切なネットワークへ転送する機能を有する。また、通信ポート部２０１は、ホストＯＳ部２０２と、情報の送受信を行う。

　ホストＯＳ部２０２は、セントラルＥＣＵのメインのＯｐｅｒａｔｉｎｇ　Ｓｙｓｔｅｍ（ＯＳ）であり、通信ポート部２０１と情報の授受を行い、通信内容をゲストＯＳ部２０３に通知する。また、ホストＯＳ部２０２は、対応判断部２０４へも同様に通信内容の通知を行う。

　ホストＯＳ部２０２は、定期的にロボット１０の状態を、フリート管理サーバ３０と、監視サーバ４０に通知する。ロボット１０の状態は、位置情報や制御モード、ユーザ情報、異常検知結果等が含まれうる。

　ゲストＯＳ部２０３は、セントラルＥＣＵのアプリケーションが動作するＯＳである。セントラルＥＣＵのアプリケーションは、例えば、ユーザインタフェースＥＣＵ３００から受信したユーザの制御情報をもとに、ロボット１０を制御するための制御指示をＥｔｈｅｒｎｅｔスイッチ４００へ送信要求を行う手動制御アプリケーションや、ＴＣＵ１００から受信した遠隔ユーザの制御情報をもとにロボット１０を制御するための制御指示を、Ｅｔｈｅｒｎｅｔスイッチ４００へ送信要求を行う遠隔制御アプリケーション等が動作している。

　対応判断部２０４は、ロボットネットワークから受信したセキュリティアラートを異常検知結果保持部２０８へ格納する。

　また、ロボット１０に異常が発生したときに、対応判断部２０４は、信用スコア保持部２０９に格納されている信用スコアと、制御モード保持部２１１に格納されているロボット１０の制御モードに基づいて、安全な制御を継続可能な制御モードに切り替える判断を行う。

　異常検知部２０５は、ゲストＯＳ部２０３で動作するアプリケーションの監視と、通信ポート部２０１から受信したネットワーク上のフレームをもとに異常制御の監視を行う。

　ゲストＯＳのアプリケーションの監視において、異常検知部２０５は、アプリケーションが不正な動作を行っていないかを監視する。例えば、アプリケーションのＣＰＵやメモリのリソース使用率や、通信量、通信先、ファイルのアクセス権限、不正なプロセスの起動等、を監視し、基準値に収まっているかを監視する。

　異常制御の監視において、異常検知部２０５は、ロボット１０の危険な制御や、不審な制御に関わる異常挙動を検知する。

　異常挙動としては、例えば、閾値を超える加速度、緊急ブレーキ等の安全機構の発動、ロボット１０が想定していない人やモノとの接触あるいは、ロボット１０の人やモノとの閾値以下の距離までの接近、ロボット１０の予め設定されている運行ルートからの逸脱、ＧＰＳ信号の不整合、ロボット１０に対するタンパリング、ロボット１０の分解、ユーザインタフェースＥＣＵ３００への不正な装置の接続等である。ロボット１０に対するタンパリングとしては、例えば、内部ネットワークへのタッピングである。

　異常挙動としては、加えてユーザの認証失敗や、通信メッセージの認証失敗、ＥＣＵの故障情報の通知がある。

　異常検知部２０５は、検出した異常を異常検知結果保持部２０８に、異常検知時刻とともに記録し、異常を検出したことを、信用スコア更新部２０６と、対応判断部２０４に通知する。

　なお、本実施の形態では、異常検知部２０５は、セントラルＥＣＵ２００内部に存在するが、異常検知部２０５の機能は、ロボット１０の内部に分散して配置されていてもよいし、フリート管理サーバ３０、または監視サーバ４０にあってもよい。

　信用スコア更新部２０６は、異常検知結果保持部２０８に格納されている異常検知結果と、制御モード保持部２１１に格納されている制御モードをもとに、異常発生の要因と考えられる対象の信用スコアを算出する。異常発生の要因と考えられる対象としては、アプリ、ユーザ、ロボット、通信、動作環境がある。

　信用スコアはアプリケーションごと、ユーザごと、ロボット１０内の装置ごと、通信路ごと、動作環境ごとに算出される。例えば、ロボット１０が遠隔制御中に、ルートの逸脱の不正な制御のみが検出される場合には、ロボット１０の遠隔制御を行っているユーザが信用できないとして、ロボット１０を制御しているユーザの信用スコアを減少させる。また、ルートの逸脱の不正な制御に加えて、ＧＰＳ信号の不整合も検出される場合は、ロボット１０が動作している環境の信用スコアを減少させ、ロボット１０で異常が検出される要因となる対象の信用スコアを減少させる。

　このように信用スコアを算出し、算出した信用スコアが所定値よりも低くなった場合には、ロボット１０の制御を現在のモードで継続するリスクが高いことを、対応判断部２０４へ通知を行う。

　ユーザ管理部２０７は、ロボット１０にログインしているユーザを管理する。ロボット１０には複数のユーザがログイン可能であり、ログインしているユーザはロボット１０のアプリケーションを利用することができる。ユーザ毎に予めロボット１０の制御、監視、管理者の権限が与えられている。

　ロボット１０にログインし、制御権を与えられているユーザは、ロボット１０の遠隔制御が可能であり、ロボット１０にログインし、監視権を与えられているユーザは、ロボット１０のセンサ情報（例えばカメラ画像）にアクセスが可能になる。

　また、ロボット１０にログインし、管理者の権限を与えられているユーザは、制御権、監視権に加えて、ロボット１０の、異常検知結果保持部２０８に格納される異常検知結果や、信用スコア保持部２０９に格納される信用スコア、ユーザ情報保持部２１０に格納されるユーザ情報、制御モード保持部２１１に格納される制御モードの情報の読み取りが可能になる。

　ユーザ管理部２０７は、ロボット１０にログインするユーザの認証を行い、ユーザの権限とともにユーザ情報保持部２１０に格納されているユーザ情報の更新を行う。

　異常検知結果保持部２０８には、ロボット１０に関わる異常検知結果が格納されている。異常検知結果保持部２０８に格納される異常検知結果の詳細は、図１２を用いて後述する。

　信用スコア保持部２０９には、異常検知結果保持部２０８に格納されている異常検知結果と、制御モード保持部２１１に格納される制御モードに基づいて、異常の発生要因となりうる対象ごとに保持される、信用スコアすなわち、異常の発生要因となっている可能性の高さや、リスクの大きさを保持している。信用スコア保持部２０９に格納される信用スコアの詳細は、図１３を用いて後述する。

　ユーザ情報保持部２１０には、ロボット１０内にログインしているユーザの情報が格納されている。ユーザ情報保持部２１０に格納されるユーザ情報の詳細は、図１４を用いて後述する。

　制御モード保持部２１１には、ロボット１０の現在の制御モードが格納されている。制御モード保持部２１１に格納される制御モードの詳細は、図１５を用いて後述する。

　［１．５　ユーザインタフェースＥＣＵの構成図］
　図５は、ユーザインタフェースＥＣＵ３００の構成図である。図５においてユーザインタフェースＥＣＵ３００は、通信ポート部３０１と、外部機器接続部３０２と、から構成される。

　通信ポート部３０１は、セントラルＥＣＵ２００と接続されており、セントラルＥＣＵ２００とメッセージの授受を行う。通信ポート部３０１は、主に外部機器接続部３０２から受信した制御情報をセントラルＥＣＵ２００へ通知する役割を担う。

　外部機器接続部３０２は、ロボット１０の手動制御を行うユーザが操作する機器、あるいは機器のインタフェースに接続している。外部接続機器としては、ステアリング、コントローラ、スイッチ、タッチパネル等が接続されうる。また、外部接続機器のインタフェースとしては、ＵＳＢポート、Ｗｉ－Ｆｉモジュール、診断ポート、Ｂｌｕｅｔｏｏｔｈ（登録商標）等の通信インタフェースである。

　［１．６　Ｅｔｈｅｒｎｅｔスイッチの構成図］
　図６は、Ｅｔｈｅｒｎｅｔスイッチ４００の構成図である。図６において、Ｅｔｈｅｒｎｅｔスイッチ４００は、通信ポート部４０１と、侵入検知部４０２とから構成される。

　通信ポート部４０１は、４つの物理ポートを備え、４つの物理ポートはそれぞれ、セントラルＥＣＵ２００、自律運転ＥＣＵ５００、センサＥＣＵ６００、アクチュエータＥＣＵ７００と接続されており、受信したフレームの内容に応じて、フレームの転送を行う。

　また４つの物理ポートはそれぞれ、受信したフレームの監視を行うため、侵入検知部４０２に、フレームを通知する。

　侵入検知部４０２は、通信ポート部４０１から通知されたフレームを監視し、不正な通信が発生していないかどうかを確認するネットワークＩＤＳ（Ｉｎｔｒｕｓｉｏｎ　Ｄｅｔｅｃｔｉｏｎ　Ｓｙｓｔｅｍ）である。

　不正な通信が発生していると判断された場合は、侵入検知部４０２は、セキュリティアラートを生成し、通信ポート部４０１へセキュリティアラートの送信要求を行い、セントラルＥＣＵ２００に対してセキュリティアラートを通知する。

　不正な通信は、予め設定されているアドレス以外のアドレスの利用や、異常な通信量、通信パターンが、所定の攻撃パターンに一致する場合に検知されうる。

　［１．７　自律運転ＥＣＵの構成図］
　図７は、自律運転ＥＣＵ５００の構成図である。図７において自律運転ＥＣＵ５００は、通信ポート部５０１と、アプリ部５０２と、アプリ監視部５０３とから構成される。

　通信ポート部５０１は、Ｅｔｈｅｒｎｅｔスイッチ４００に接続され、フレームの送受信を行う通信インタフェースである。

　アプリ部５０２は、ロボット１０の制御モードが自律制御モードの時に動作する自律制御アプリケーションが動作する。自律制御アプリケーションは、センサＥＣＵ６００から受信したセンサ値に基づいて、アクチュエータＥＣＵ７００に対してアクチュエータの制御指示のフレームの送信を行う。

　アプリ監視部５０３は、アプリ部５０２の挙動を監視し、不正なプロセスの実行や、異常なリソース使用の検出、診断コマンドのアクセスエラーや、フレームに含まれるメッセージ認証コードの検証失敗等のセキュリティに関するイベントを検出する。

　不正なセキュリティのイベントが検出された場合は、アプリ監視部５０３は、セキュリティアラートを生成し、通信ポート部５０１へセキュリティアラートの送信要求を行い、セントラルＥＣＵ２００へセキュリティアラートを通知する。

　［１．８　センサＥＣＵおよびアクチュエータＥＣＵの構成図］
　次に、センサＥＣＵおよびアクチュエータＥＣＵの構成について説明する。アクチュエータＥＣＵの構成は、基本的にはセンサＥＣＵと同じ構成であるが、機能が異なる構成がある。

　図８は、センサＥＣＵ６００の構成図である。図８においてセンサＥＣＵ６００は、通信ポート部６０１と、アプリ部６０２と、外部機器接続部６０３とから構成される。

　通信ポート部６０１は、Ｅｔｈｅｒｎｅｔスイッチ４００との通信インタフェースである。

　アプリ部６０２は、外部機器接続部６０３から通知されるセンサ情報を、Ｅｔｈｅｒｎｅｔフレームとして構成し、通信ポート部６０１に対して送信要求を行う。アクチュエータＥＣＵ７００の場合、アプリ部６０２は、センサＥＣＵ６００から通知されるセンサ情報や、セントラルＥＣＵ２００、または自律運転ＥＣＵ５００から通知される制御指示に基づいて、外部機器接続部６０３に接続されるアクチュエータを制御する。

　外部機器接続部６０３は、ロボット１０に搭載される周辺環境及びロボット１０の状態を把握するセンサと接続され、センサ情報を受け取る。センサは例えば、走行速度、加速度センサ、ヨーレートセンサ、ＧＰＳ、カメラ、ＬｉＤＡＲ、ミリ波レーダ等である。アクチュエータＥＣＵ７００の場合、外部機器接続部６０３は、ロボット１０を制御するアクチュエータと接続される。アクチュエータは例えば、モータやエンジン、ハンドル等である。

　［１．９　フリート管理サーバの構成図］
　図９は、フリート管理サーバ３０の構成図である。図９においてフリート管理サーバ３０は、通信部３１と、フリート管理部３２と、ロボット状態保持部３３と、アカウント情報保持部３４と、から構成される。

　通信部３１は、ネットワーク２０と接続されており、ロボット１０および、監視サーバ４０と通信を行うインタフェースである。

　フリート管理部３２は、通信部３１から受信したロボット１０の情報を管理する。フリート管理部３２は、通信部３１から受信したロボット１０の制御状態に応じて、ロボット状態保持部３３に格納されているロボット１０の状態を更新する。

　またフリート管理部３２は、ロボット１０にログインしているユーザの情報を受け取り、アカウント情報保持部３４に保持されているアカウント情報を更新する。

　ロボット状態保持部３３は、ロボット１０の状態が格納されている。ロボット状態保持部３３に格納されるロボット状態の詳細は、図１６を用いて後述する。

　アカウント情報保持部３４は、ロボット１０にアクセス可能なユーザの情報を格納している。アカウント情報保持部３４に格納されているアカウント情報の詳細は、図１７を用いて後述する。

　［１．１０　監視サーバの構成図］
　図１０は、監視サーバ４０の構成図である。図１０において監視サーバ４０は、通信部４１と、監視部４２と、分析インタフェース部４３と、ロボット信用スコア保持部４４と、ユーザ信用スコア保持部４５と、から構成される。

　通信部４１は、ネットワーク２０と接続されており、ロボット１０および、フリート管理サーバ３０と通信を行うインタフェースである。

　監視部４２は、ロボット１０から通知される、ロボット１０の状態やセキュリティアラートに基づいて、ロボットにセキュリティインシデントが発生していないかを監視する。また監視部４２は、ロボットから通知される信用スコアに基づいて、ロボット信用スコア保持部４４に格納されロボットの信用スコアと、ユーザ信用スコア保持部４５に格納されるユーザの信用スコアを更新する。

　分析インタフェース部４３は、セキュリティインシデント発生時に、セキュリティオペレーションセンターあるいは、セキュリティインシデントレスポンスチームに対して、発生したセキュリティインシデントのレポートを通知したり、セキュリティアナリストが詳細な分析を行うための分析インタフェースである。

　ロボット信用スコア保持部４４は、ロボット１０から通知される信用スコアに基づいてロボット１０に関わる信用スコアを格納している。ロボット信用スコア保持部４４に格納されるロボットの信用スコアの詳細は、図１８を用いて後述する。

　ユーザ信用スコア保持部４５は、ロボット１０から通知される信用スコアに基づいて、ユーザに関わる信用スコアを格納している。ユーザ信用スコア保持部４５に格納されるユーザの信用スコアの詳細は、図１９を用いて後述する。

　［１．１１　遠隔制御端末の構成図］
　図１１は、遠隔制御端末５０の構成図である。図１１において遠隔制御端末５０は、通信部５１と、遠隔制御アプリ部５２と、ユーザインタフェース部５３と、から構成される。

　通信部５１は、ネットワーク２０と接続されており、ロボット１０および、フリート管理サーバ３０と通信を行うインタフェースである。

　遠隔制御アプリ部５２は、ロボット１０の遠隔制御を行うためのアプリケーションであり、ユーザインタフェース部５３から、ユーザの操作内容を受けて、通信部５１を介してロボット１０へ制御内容を通知する。

　ユーザインタフェース部５３は、ユーザがロボット１０を制御するためのインタフェースを提供する。例えばタッチパネルや、コントローラによるユーザのインタフェースである。

　［１．１２　異常検知結果の一例］
　図１２は、異常検知結果保持部２０８に格納される異常検知結果の一例を示す図である。異常検知結果は、セントラルＥＣＵ２００の異常検知部２０５により更新されるだけでなく、ロボット１０内のＴＣＵ１００の侵入検知部１０４と、Ｅｔｈｅｒｎｅｔスイッチ４００の侵入検知部４０２と、自律運転ＥＣＵ５００のアプリ監視部５０３と、から通知されるセキュリティアラートによっても更新される。またロボット１０内の故障を通知するメッセージなどによっても異常検知結果は更新されうる。

　図１２では、異常検知結果として、異常検知内容と、発生時刻と、異常を検知した装置と、を保持している。ここで時刻は、セントラルＥＣＵ２００で計測される内部のシステム時刻でもよいし、セキュリティアラートに含まれる時刻であってもよい。

　図１２では、１０時５０分２０秒に、セントラルＥＣＵ２００によって、ルート逸脱の異常が検知され、１０時４５分３０秒に、セントラルＥＣＵ２００によって、緊急ブレーキ発動が検知され、１０時４５分２９秒に、セントラルＥＣＵ２００によって、急な加減速を検知したことを示している。

　なお、本実施の形態では、異常検知結果は、ロボット１０内で検出された異常を保持している例を示したが、異常はロボット１０内で検出されていなくてもよい。例えば、フリート管理サーバ３０上において、ロボット１０の異常が検出された場合に、フリート管理サーバ３０からロボット１０にセキュリティアラートを通知することで、異常検知結果が更新されてもよい。同様に、監視サーバから通知されるセキュリティアラートに基づいて異常検知結果が更新されてもよい。

　［１．１３　信用スコアの一例］
　図１３は、信用スコア保持部２０９に格納される信用スコアの一例を示す図である。信用スコア更新部２０６により異常検知結果が更新されるタイミングで、信用スコアは更新される。

　図１３では、信用スコアとして、信用スコアを保持する対象がそれぞれ、アプリ、ユーザ、ロボット、通信、動作環境に分類されている。

　アプリは、セントラルＥＣＵ２００のゲストＯＳ部２０３で動作する遠隔制御アプリと、自律運転ＥＣＵ５００のアプリ部５０２で動作する自律制御アプリと、セントラルＥＣＵ２００のゲストＯＳ部２０３で動作する手動制御アプリと、にさらに分類される。

　ユーザは、ロボット１０にアクセスしログインしているユーザごとに信用スコアが保持される。

　ロボットは、主にロボット１０の制御プラットフォームに関わる装置等に分類され、図１３では、センサＥＣＵとアクチュエータＥＣＵに分類されている。

　通信は、ロボット内のネットワークと、ネットワーク２０などの外部通信にさらに分類される。

　動作環境は、ロボットが動作する環境に分類され、図１３では、ロボット１０に近接する人や通信インフラの環境である。

　図１３において信用スコアとして、遠隔制御アプリの信用スコアが１００で、自律制御アプリの信用スコアが１００で、手動制御アプリの信用スコアが１００で、ユーザＡの信用スコアが８０で、ユーザＢの信用スコアが８０で、センサＥＣＵの信用スコアが１００で、アクチュエータＥＣＵの信用スコアが１００で、ロボ内ネットワークの信用スコアが１００で、外部通信の信用スコアが１００で、人／通信環境の信用スコアが５０である。

　［１．１４　ユーザ情報の一例］
　図１４は、セントラルＥＣＵ２００のユーザ情報保持部２１０に格納されるユーザ情報の一例を示す図である。ユーザ情報は、ロボット１０にログインしているユーザのＩＤとユーザの権限を格納している。

　図１４では、ロボット１０にログインしているユーザは２人であることを示している。ユーザＡは制御権限を持ち、ユーザＢは監視権限を持つ。

　［１．１５　制御モードの一例］
　図１５は、セントラルＥＣＵ２００の制御モード保持部２１１に格納される制御モードの一例を示す図である。図１５では、ロボット１０の制御モードが遠隔制御されている状態であることを示している。

　なお、本実施の形態では、ロボット１０の制御モードとして、ロボット１０が遠隔制御されている遠隔制御モードと、ロボット１０が自律制御している自律制御モードと、ロボット１０が手動で制御されている手動制御モードとしたが、制御モードはこれに限らない。例えば、緊急制御モードなどを含んでもよい。

　また、本実施の形態では、ロボットの制御モードのみを含んでいるが、ロボット１０の制御に関わる状態を含んでもよい。例えば、ロボット１０の位置情報や、ロボット１０の制御状態（走行中、停止中等）を含んでもよい。

　［１．１６　ロボット状態の一例］
　図１６は、フリート管理サーバ３０のロボット状態保持部３３に格納されているロボット状態の一例を示す図である。ロボット状態保持部３３には、フリート管理サーバ３０が管理するすべてのロボットの状態が格納されている。

　図１６では、ロボット１０ａは、制御モードが遠隔制御モードであり、位置情報はＸＸＸ、動作状態は歩道走行中であり、ロボット１０ｂは、制御モードが自律制御モード、位置情報がＹＹＹで、動作状態が停車中であり、ロボット１０ｃは、制御モードが手動制御モード、位置情報がＺＺＺ、動作状態が停止中である。

　［１．１７　アカウント情報の一例］
　図１７は、フリート管理サーバ３０のアカウント情報保持部３４に格納されているアカウント情報の一例を示す図である。アカウント情報保持部３４には、フリート管理サーバ３０が管理するユーザのアカウント情報が格納されている。

　図１７では、ユーザＡがロボット１０ａを制御中であり、ユーザＢがロボット１０ａを監視中であり、ユーザＣがロボット１０ｂを監視中であり、ユーザＤがロボット１０ｃを監視中であることを示している。

　なお、アカウント情報には、ユーザの状態だけでなく、ロボット１０に対するユーザに許可される権限情報や、接続元情報等を含んでもよい。

　［１．１８　ロボット信用スコアの一例］
　図１８は、監視サーバ４０のロボット信用スコア保持部４４に格納されているロボット信用スコアの一例を示す図である。監視サーバ４０に保持される信用スコアは、ロボット１０より通知される信用スコアに基づいて更新される。例えば、図１３に示す信用スコアが、ロボット１０より通知された場合に、ロボット信用スコア保持部４４に格納される当該ロボットの信用スコアは、対象がユーザと動作環境を除いたもののうち最小のものを選択する。

　図１８では、ロボット１０ａの信用スコアは１００であり、ロボット１０ｂの信用スコアは１００であり、ロボっと１０ｃの信用スコアは５０である。

　なお、ロボット信用スコア保持部４４に格納される信用スコアはロボット単位ではなくのロボットの構成要素ごとに保持していてもよい。

　［１．１９　ユーザ信用スコアの一例］
　図１９は、監視サーバ４０のユーザ信用スコア保持部４５に格納されているユーザ信用スコアの一例を示す図である。監視サーバ４０に保持されるユーザの信用スコアは、ロボット１０により通知される信用スコアに基づいて更新される。例えば、図１３に示す信用スコアが、ロボット１０より通知された場合に、ユーザ信用スコア保持部４５に格納される当該のユーザの信用スコアは、通知されたユーザの信用スコアに更新される。

　図１９では、ユーザＡの信用スコアは８０であり、ユーザＢの信用スコアは８０であり、ユーザＣの信用スコアは５０であり、ユーザＤの信用スコアは２０であることを示している。

　［１．２０　ユーザの不正な遠隔制御に対する制御モード切替シーケンス］
　図２０は、遠隔制御端末５０を操作する正規のユーザがロボット１０ａを制御し、不正なルートを走行するように制御した場合に、ロボット１０ａの制御モードを切り替えるシーケンスを示した図である。

　（Ｓ１０１）ユーザは遠隔制御端末５０を操作し、ロボット１０ａにログインし、ロボット１０ａの遠隔制御を開始する。

　（Ｓ１０２）ロボット１０ａは、ユーザの認証を完了し、ログインを完了させる。ユーザに制御権が与えられ、ロボット１０ａは遠隔制御モードに移行する。

　（Ｓ１０３）ロボット１０ａは、ロボットの制御モードと、ユーザ情報のロボット状態（制御モード、ユーザ情報、位置情報等）をフリート管理サーバ３０と監視サーバ４０に通知する。

　（Ｓ１０４）フリート管理サーバ３０は、通知されたロボット状態に従って、ロボット状態保持部３３に格納されるロボット状態と、アカウント情報保持部３４に格納されるアカウント情報を更新する。

　（Ｓ１０５）監視サーバ４０は、ユーザ信用スコア保持部４５に格納されている、ロボット１０ａにログインしたユーザの信用スコアをロボット１０ａに通知する。

　（Ｓ１０６）ロボット１０ａは、監視サーバ４０より通知されたユーザの信用スコアに基づいて、セントラルＥＣＵ２００の信用スコア保持部２０９に格納される対応するユーザの信用スコアを更新する。

　（Ｓ１０７）ユーザは遠隔制御端末５０を通して、ロボット１０ａに対して不正な制御を行う。具体的には、ユーザは遠隔制御端末５０を通して、ロボット１０ａを予め制御が許されるエリアを超えて移動するように制御する。

　（Ｓ１０８）ロボット１０ａの異常検知部２０５は、現在の位置情報と、予め定められた制御エリアをもとに、制御ルートを逸脱していることを検知し、セキュリティアラートをフリート管理サーバ３０と監視サーバ４０に通知する。

　（Ｓ１０９）ロボット１０ａの信用スコア更新部２０６は、異常検知部２０５が検知したルートを逸脱している異常をもとに、ユーザの信用スコアを減少させる。ユーザの信用スコアが所定の値以下となると、ユーザのロボット１０ａに対する制御権が剥奪される。

　（Ｓ１１０）ロボット１０ａは、制御モードを自律制御モードへ移行し、信用スコアと制御モードのロボット１０ａの状態をフリート管理サーバ３０と、監視サーバ４０へ通知する。

　［１．２１　近接第三者による攻撃に対する制御モード切替シーケンス］
　図２１は、ロボット１０ａに近接する悪意のある第三者が、ロボット１０ａの位置情報を改ざんし、ロボット１０ａを不正に制御しようとした場合に対応する制御モード切替シーケンスである。ロボット１０ａに近接する悪意のある第三者は、ロボット１０ａにログインしていないものとする。

　（Ｓ２０１）ロボット１０ａは、自律制御モードで、自律制御を開始する。

　（Ｓ２０２）ロボット１０ａは、制御モードの状態をフリート管理サーバ３０と、監視サーバ４０に通知する。

　（Ｓ２０３）フリート管理サーバ３０は、通知されたロボット１０ａの状態をもとに、ロボット状態保持部３３に格納されるロボット状態を更新する。

　（Ｓ２０４）ロボット１０ａに近接する悪意のある第三者がロボット１０ａに対して、ＧＰＳ信号の改ざんを行い、ロボット１０ａを不正に制御する。

　（Ｓ２０５）ロボット１０ａは、ＧＰＳ信号の非連続な変化による異常と、改ざんされたＧＰＳ信号に基づく現在位置と、カメラ等で認識する現在位置の不整合を検出し、セキュリティアラートをフリート管理サーバ３０と、監視サーバ４０へ通知する。

　（Ｓ２０６）ロボット１０ａの信用スコア更新部２０６は、異常検知部２０５が検知した異常検知結果をもとに動作環境の信用スコアを減少させる。

　（Ｓ２０７）ロボット１０ａは、動作環境の信用スコアが減少したことにより、ロボット１０ａの安全な自律制御の継続が困難と判断し、縮退モードに移行し、フリート管理サーバ３０と、監視サーバ４０へセキュリティアラートとともにロボットの状態を通知する。縮退モードは、ロボット１０ａの機能を制限した自律運転モードであり、安全に停止可能なエリアまで必要最低限の自律走行を行い、停止するモードである。

　（Ｓ２０８）監視サーバ４０は、セキュリティアラートを受けて、動作環境に異常が発生していることを確認するために、ロボット１０ａにログインして、監視権を得て、ロボット１０ａの周辺環境を確認する。

　（Ｓ２０９）フリート管理サーバ３０は、ロボット状態の通知を受けて、ロボット状態保持部３３に格納されるロボット状態を更新する。

　［１．２２　セントラルＥＣＵの異常対応処理全体フローチャート］
　図２２は、セントラルＥＣＵ２００の異常検知から異常対応を行うまでの全体フローチャートである。

　（Ｓ３０１）セントラルＥＣＵ２００は、異常を検知または、異常を通知されたかを判断する。異常が検知されていない、かつ異常も通知されていない場合は、処理を終了する。セントラルＥＣＵ２００は、異常を検知、または異常を通知された場合は、Ｓ３０２を実行する。

　（Ｓ３０２）セントラルＥＣＵ２００は、異常検知結果保持部２０８に格納される異常検知結果を更新する。

　（Ｓ３０３）セントラルＥＣＵ２００は、異常検知結果保持部２０８に格納されている異常検知結果に基づいて、信用スコア保持部２０９に格納されている信用スコアを更新する。

　（Ｓ３０４）セントラルＥＣＵ２００は、信用スコア保持部２０９に格納されている、信用スコアが所定値以下（例えば５０）となっているものが存在するかを確認する。信用スコアが所定値以下となっているものが存在しない場合、セントラルＥＣＵ２００は、処理を終了する。信用スコアが所定値以下となっているものが存在する場合、セントラルＥＣＵ２００は、Ｓ３０５を実行する。

　（Ｓ３０５）セントラルＥＣＵ２００は、所定値以下となった信用スコアと、現在の制御モードに基づいて、異常対応処理を行って終了する。

　［１．２３　セントラルＥＣＵの信用スコア更新フローチャート］
　図２３は、セントラルＥＣＵ２００における図２２のＳ３０３の信用スコアを更新する処理の詳細フローチャートである。

　（Ｓ４０１）セントラルＥＣＵは、検知した異常の種類を判断する。検知した異常が、環境異常である場合、セントラルＥＣＵは、Ｓ４０２を実行する。検知した異常がアプリ異常である場合、セントラルＥＣＵは、Ｓ４０３を実行する。検知した異常がロボット異常である場合、セントラルＥＣＵは、Ｓ４０４を実行する。検知した異常が通信異常である場合、セントラルＥＣＵは、Ｓ４０５を実行する。検知した異常がユーザ異常である場合、セントラルＥＣＵは、Ｓ４０６を実行する。

　（Ｓ４０２）セントラルＥＣＵ２００は、検知した異常が環境異常、例えば、ＧＰＳ信号の異常や、タンパリングの検出、外部通信環境の遮断等が検知された場合は。動作環境の信用スコアを所定の値、例えば１減少させる。

　（Ｓ４０３）セントラルＥＣＵ２００は、検知した異常がアプリ異常、例えば、アプリ監視部による、アプリケーションのＣＰＵやメモリのリソース使用率や、通信量、通信先、ファイルのアクセス権限、不正なプロセスの起動等が所定のルールの範囲外である場合は、当該アプリの信用スコアを所定の値、例えば１減少させる。

　（Ｓ４０４）セントラルＥＣＵ２００は、検知した異常がロボット異常、例えば、ＥＣＵから故障コードが通知される等であった場合は、当該ＥＣＵの信用スコアを所定の値、例えば１減少させる。

　（Ｓ４０５）セントラルＥＣＵ２００は、検知した異常が通信異常、例えば、ネットワークの通信量や、通信メッセージの不整合等をネットワークＩＤＳによって通知された場合は、当該ネットワークの信用スコアを所定の値、例えば１減少させる。

　（Ｓ４０６）セントラルＥＣＵ２００は、検知した異常がユーザ異常、例えば、所定の値を超える加速度検知や、所定の速度を超えた走行制御、所定のエリアの逸脱、緊急ブレーキ等の安全機構の発動等、遠隔制御モード時にユーザの不正によって検出されたと考えられる異常を検出した場合は、ユーザの信用スコア以外に、所定の閾値以下の信用スコアとなっている対象があるかを確認する。

　所定の値以下の信用スコアが存在する場合、セントラルＥＣＵ２００は、信用スコアの低い対象に起因して、ユーザ異常が引き起こされたと判断して、処理を終了する。所定の値以下の信用スコアが存在しない場合、セントラルＥＣＵ２００は、Ｓ４０７を実行する。

　（Ｓ４０７）セントラルＥＣＵ２００は、対応するユーザの信用スコアを所定の値、例えば１減少させる。

　［１．２４　セントラルＥＣＵの異常対応フローチャート］
　図２４は、セントラルＥＣＵ２００における図２２のＳ３０５の異常対応する詳細フローチャートである。

　（Ｓ５０１）セントラルＥＣＵ２００は、閾値以下となった信用スコアの種類を確認する。閾値以下となった信用スコアの種類が環境であった場合、セントラルＥＣＵ２００は、Ｓ５０２を実行する。閾値以下となった信用スコアの種類がアプリであった場合、セントラルＥＣＵ２００は、Ｓ５０３を実行する。閾値以下となった信用スコアの種類がロボットであった場合、セントラルＥＣＵ２００は、Ｓ５０６を実行する。閾値以下となった信用スコアの種類が通信であった場合、セントラルＥＣＵ２００は、Ｓ５０７を実行する。閾値以下となった信用スコアの種類がユーザであった場合、セントラルＥＣＵ２００は、Ｓ５０８を実行する。

　（Ｓ５０２）セントラルＥＣＵ２００は、フリート管理サーバ３０および、監視サーバ４０に監視要求通知を行う。

　（Ｓ５０３）セントラルＥＣＵ２００は、対応するアプリを介した制御モードを禁止とする。つまり自律制御アプリの信用スコアが、所定の閾値以下であった場合、セントラルＥＣＵ２００は自律制御モードを禁止し、遠隔制御アプリの信用スコアが、所定の閾値以下であった場合、セントラルＥＣＵ２００は、遠隔制御モードを禁止し、手動制御アプリの信用スコアが、所定の閾値以下であった場合、セントラルＥＣＵ２００は、手動制御モードを禁止とする。

　（Ｓ５０４）セントラルＥＣＵ２００は、制御モード保持部２１１に保持される現在の制御モードが、禁止されているかを確認する。禁止されていた場合、セントラルＥＣＵ２００はＳ５０５を実行する。禁止されていない場合、セントラルＥＣＵ２００は、処理を終了する。

　（Ｓ５０５）セントラルＥＣＵ２００は、制御モードを切り替えて、終了する。

　（Ｓ５０６）セントラルＥＣＵ２００は、制御モードを切り替えて、終了する。

　（Ｓ５０７）セントラルＥＣＵ２００は、監視サーバ４０に対して、ネットワーク異常の分析を要求するセキュリティアラートを通知して終了する。

　（Ｓ５０８）セントラルＥＣＵ２００は、対応するユーザの制御権限を剥奪する。具体的には、セントラルＥＣＵ２００は、ユーザの権限を監視権にする、あるいはロボットへのログインを禁止する。

　（Ｓ５０９）セントラルＥＣＵ２００は、制御モードを切り替える、あるいは、代替のユーザによる遠隔制御へ切り替えて、終了する。

　［１．２５　セントラルＥＣＵの制御モード切替フローチャート］
　図２５は、セントラルＥＣＵ２００における図２４のＳ５０５、Ｓ５０６、Ｓ５０９の制御モード切替を行う詳細フローチャートである。

　（Ｓ６０１）セントラルＥＣＵ２００は、ロボット１０ａの現在位置が制御モード切替可能なエリアでかつ、制御モード切替可能な状態であるかを判断する。

　制御モード切替可能なエリアは予め定められており、ロボット１０ａが安全な状態で停止可能な場所が制御モード切替可能なエリアとして選択される。

　また制御モード切替可能状態とは、ロボット１０ａが所定の制御中であり、安全に制御主体の切り替えが困難な場合でない状態である。例えば走行動作中は、制御モード切替可能状態でなく、停車中は制御モード切替可能状態である。

　セントラルＥＣＵ２００は、制御モード切替可能であると判断した場合はＳ６０２を実行する。セントラルＥＣＵ２００は、制御モード切替可能でないと判断した場合はＳ６０６を実行する。

　（Ｓ６０２）セントラルＥＣＵ２００は、ロボット１０ａの制御継続が必要かつ、ロボット１０ａの信用スコアが所定の閾値以下でないかを確認する。ロボット１０ａの制御継続が必要でない、またはロボット１０ａの信用スコアが所定の値以下である場合、セントラルＥＣＵ２００は、Ｓ６０７を実行する。ロボット１０ａの制御継続が必要、かつロボット１０ａの信用スコアが所定の値より大きい場合、セントラルＥＣＵ２００はＳ６０３を実行する。

　ロボット１０ａの制御継続が必要な場合とは、ロボット１０ａが所定の作業中（例えば荷物の運搬等）であり、ロボット１０ａの制御中断により、サービスの可用性が低下する場合、あるいは、ロボット１０ａの制御中断により、周囲の人、モノ、環境に安全性の影響が及ぶ場合に、ロボット１０ａの制御継続が必要であると判断される。

　（Ｓ６０３）セントラルＥＣＵ２００は、現在制御権を持つユーザの信用スコアが所定の値以下であり、かつ制御モードが遠隔制御モードであるかを確認する。信用スコアが所定の値以下であり、遠隔制御モードであった場合、セントラルＥＣＵ２００は、Ｓ６０４を実行する。信用スコアが所定の値より大きい、または、遠隔制御モードでない場合セントラルＥＣＵ２００は、Ｓ６０８を実行する。

　（Ｓ６０４）セントラルＥＣＵ２００は、制御権を与えることができるユーザが存在するかを判断する。

　制御権を与えることができるユーザは、例えばロボット１０ａにすでにログイン済みであり、監視権を与えられているユーザであってもよいし、フリート管理サーバ３０により、新規に割り当てられたユーザであってもよい。

　制御権を与えるユーザが存在する場合、セントラルＥＣＵ２００は、Ｓ６０５を実行する。制御権を与えるユーザが存在しない場合、セントラルＥＣＵ２００は、Ｓ６０９を実行する。

　（Ｓ６０５）セントラルＥＣＵ２００は、制御権を与えることが可能なユーザへ制御権を与え、遠隔制御モードを継続し、終了する。

　（Ｓ６０６）セントラルＥＣＵ２００は、制御モードを縮退モードに移行させ、ロボットを制御モード切替可能エリアへ移動させ、かつ切替可能状態として、Ｓ６０２を実行する。

　（Ｓ６０７）セントラルＥＣＵ２００は、ロボット１０ａを安全なエリアで停止させ、終了する。ロボット１０ａが動作しなくても問題がない範囲が安全なエリアとして選択される。

　（Ｓ６０８）セントラルＥＣＵ２００は、現在の制御モードが遠隔制御モードであるかを確認する。遠隔制御モードであった場合、セントラルＥＣＵ２００は、Ｓ６０９を実行する。遠隔制御モードでない場合、セントラルＥＣＵ２００は、Ｓ６１０を実行する。

　（Ｓ６０９）セントラルＥＣＵ２００は、制御モードを自律制御モードまたは、手動制御モードのうち、禁止されていない制御モードに切り替えて、制御を継続し、終了する。

　いずれの制御モードも禁止されていない場合は、より信用スコアの高いアプリによる制御モードに切り替えてもよいし、制御切替までの時間が短く済む制御モードに切り替えてもよい。いずれの制御モードも禁止されている場合は、ロボット１０ａの制御を停止させる。

　（Ｓ６１０）セントラルＥＣＵは、現在の制御モードが自律制御モードであるかを確認する。現在の制御モードが自律制御モードであった場合、セントラルＥＣＵは、Ｓ６１１を実行する。現在の制御モードでない場合、セントラルＥＣＵは、Ｓ６１２を実行する。

　（Ｓ６１１）セントラルＥＣＵ２００は、制御モードを遠隔制御モードまたは、手動制御モードに切り替え、終了する。

　（Ｓ６１２）セントラルＥＣＵ２００は、制御モードを自律制御モードまたは、遠隔制御モードに切り替え、終了する。

　［１．２６　実施の形態１の効果］
　実施の形態１に係るロボット制御モード切替方法では、ロボットシステムにおいて検出されるセキュリティ異常と、現在のロボットの制御状態と、に応じてセキュリティ異常の原因を分析し、安全な制御モードを選択することを可能にする。これにより、安全なロボットシステムを実現することができる。

　［その他変形例］
　なお、本開示を上記各実施の形態に基づいて説明してきたが、本開示は、上記各実施の形態に限定されないのはもちろんである。以下のような場合も本開示に含まれる。

　（１）上記の実施の形態では、ロボットシステムについて特定のサービスやアプリケーションを規定していなかったが、対象となるロボットは何でもよい。例えばロボットは、自動運転車両であってもよいし、船舶システム、ドローンのようなモビリティロボットであってもよいし、産業用ロボット、ヒト型ロボットのように特定のタスクを実行するロボットであってもよい。

　（２）上記実施の形態では、ロボットは、自律制御、手動制御、遠隔制御の３つの制御方法が存在したが、必ずしも３つの制御手段を備える必要はない。例えば遠隔制御と自律制御のように、少なくとも２つの制御手段を備えていればよい。また制御手段も、これらの３つに限定するものではない。例えば、他のロボットと協調して動作する協調制御モードや、管制センターからの命令により動作する制御モードを備えていてもよい。

　（３）上記実施の形態では、遠隔制御端末がロボットと接続し、ユーザの認証を行うことでロボットが遠隔制御モードに移行する例を示したが、ユーザの認証はフリート管理サーバが行ってもよい。また遠隔制御端末は、フリート管理サーバを介して、ロボットの制御を行ってもよい。これによりフリート管理サーバはユーザの操作履歴を確認することが可能となり、安全性が高まる。

　（４）上記実施の形態では、フリート管理サーバと、監視サーバとに機能を分離したロボット監視システムについて説明したが、フリート管理サーバと監視サーバの機能を集約してもよい。

　（５）上記実施の形態では、セントラルＥＣＵ２００は、定期的に、フリート管理サーバと、監視サーバに、ロボットの状態を通知するとしたが、ロボットの状態通知は定期的でなくてもよい。例えば、フリート管理サーバあるいは、監視サーバの要求に応じて、ロボットの状態を通知してもよいし、ロボット内のイベントの発生タイミング、例えばユーザのログイン、制御モードの変化、異常の検知等のタイミングでロボットの状態を通知してもよい。これによりサーバとの通信量を削減することができる。

　（６）上記実施の形態では、対応判断部はロボット内にあるとしたが、監視サーバあるいはフリート管理サーバ上で制御モード切替の判断を行ってもよい。これによりさらに、サーバ上にあるエリア情報や、近隣ロボットの状態等を用いた対応の判断が可能になる。一方、ロボットで判断する場合は、即時の制御モード切替や、サーバとの通信が困難な状況においても制御モードの切替が可能になり安全性が高まる場合がある。

　（７）上記実施の形態では、セントラルＥＣＵ２００は、ハイパーバイザー等を利用した仮想マシン上にゲストＯＳが動作する例を示したが、セントラルＥＣＵ２００に、ハイパーバイザーや仮想化技術が搭載されていなくてもよい。

　（８）上記実施の形態では、セントラルＥＣＵ２００は、異常を検知したタイミングで信用スコアを更新していたが、信用スコアを更新するタイミングは、異常を検知したタイミングでなくてもよい。例えば、所定の間隔で異常検知結果保持部２０８を参照し、信用スコアを更新してもよい。この時、前回の信用スコア更新時から新規に検出された異常検知結果を総合的に判断して信用スコアを更新してもよい。例えば異常検知結果として、新規にユーザの危険運転と、動作環境異常が同時に検出されている場合には、動作環境異常の結果、ユーザの危険運転の異常が検出されたとして、ユーザの危険運転による、当該ユーザの信用スコア減少は行わなくてもよい。

　（９）上記実施の形態では、異常検知結果保持部に、異常検知内容と時刻、検知装置が格納されていたが、異常検知結果に他の情報を付与してもよい。例えば異常の深刻度を含めてもよい。深刻度は異常発生よるロボットの制御への影響により決定されてよい。例えば、重度、中度、軽度の３段階で深刻度を表してもよい。重度の場合は、ロボットの制御または周囲の安全性に重大な影響が発生しうる／発生している状態で、中度では、ロボットの制御または周囲の安全性に影響を与える可能性がある。軽度では、ロボットの制御または周囲の安全性に影響を与える可能性は低いとしてもよい。これにより、検知した異常の深刻度に応じて、即時対応や監視サーバへのアラート通知の対応を行うことが可能になる。

　（１０）上記実施の形態では、信用スコアの更新時に、検出した異常に対応する信用スコアを１ずつ減少させる例を示したが、信用スコアの更新方法はこれに限らない。例えば、その他の変形例（９）で、説明したように異常の深刻度に応じて減少値を変更してもよい。深刻度の高い異常の場合は、１０減少、中度の場合は５減少、軽度の場合は１減少のようにしてもよい。また信用スコアの最大値は１００でなくても構わないし、数値化されていなくてもよい。例えば、高、中、低のように段階的に示してもよい。

　（１１）上記実施の形態では、信用スコアが減少するように更新される例のみを示したが、信用スコアが上昇する処理が行われてもよい。例えば１日ごとに信用スコアが所定の値が上昇してもよいし、監視サーバにより、異常の発生原因が判明した場合に、発生原因でなかった対象の信用スコアを上昇させる処理を行ってもよいし、異常の原因のリカバリが行われた場合に（例えばロボットにインストールされた不正なアプリケーションが除去されたなど）、信用スコアを回復してもよい。また所定の時間、異常を検知しなかった場合に信用スコアを上昇させてもよい。

　（１２）上記実施の形態では、ユーザ情報保持部２１０に、遠隔制御端末５０からログインしたユーザの情報のみを保持していたが、手動制御を行うユーザの情報を保持してもよい。この時、ユーザはロボットに認証されログインする手続きを行う。例えばユーザが所有するＩＣカードや、スマートフォン等のユーザの所有物によりユーザを認証してもよいし、ＩＤとパスワードの入力等のユーザの記憶内容により、ユーザを認証してもよいし、顔認証や指紋認証等のユーザの生体情報によりユーザを認証してもよいし、上記を組み合わせた多要素認証によりユーザを認証してもよい。これにより、ロボットを近接から手動で制御するユーザの操作についてもフリート管理サーバで管理と、ロボットのアクセス制御をより強力に実現でき、安全性の向上に効果的である。

　（１３）上記実施の形態では、信用スコア保持する対象を、アプリ、ユーザ、ロボット、通信、動作環境に分類したうえで、それぞれさらに詳細化を行ったが、詳細化は行わなくてもよいし、分類方法はこれに限らない。遠隔制御を行うユーザに起因する異常であるか、ロボット内の構成要素に起因する異常であるか、ロボットの動作環境に起因する異常であるかのいずれか２つ以上を含んでいれば何でもよい。

　（１４）上記実施の形態では、制御モードが遠隔制御モードの時に、ロボットの危険な制御が検知された場合に、ユーザに起因する異常が検知されたとして、ユーザの信用スコアを減少させたが、さらに、ユーザの制御履歴の情報を加えて、ユーザの制御の結果、危険な制御が検知されたかを判断してもよい。例えば、ロボットの制御モードが、遠隔制御モードの時に、閾値を超える加速度が検知されたときに、直近のユーザの制御履歴を参照し、ユーザが移動に関わる制御を行っていない場合は、ユーザの制御によりロボットで異常が検知された可能性は低く、動作環境に起因して異常が発生した可能性が高いとして、動作環境の信用スコアを減少させてもよい。これにより、正確に異常の原因を判断することが可能になり、適切な対応により安全性を高めることに効果的である。

　（１５）上記実施の形態では、環境異常が発生した場合に、監視要求および通報の対応を行う例を示したが、対応方法はこれに限らない。例えば、動作環境が信用できない状況において、ロボットの自律制御は危険であるとして、自律制御モードを禁止としてもよい。

　（１６）上記実施の形態では、動作環境の異常検知の対応に監視要求を行う例を示したが、遠隔制御モード中に遠隔ユーザに動作環境を確認する要求を行ってもよいし、不正な近接する第三者の存在や動作環境の異常を遠隔オペレータが通知してもよい。

　（１７）上記実施の形態では、ユーザの信用スコアが所定の値以下となった場合に、ロボットの制御権が剥奪される例を示したが、ロボットの制御権をさらに詳細に分類して、制御権の一部を制限してもよい。例えば、移動に関わる制御権、ドアの開閉に関わる制御権等、ロボットの制御を機能ごとに分類することで、移動に関わる制御権のみを剥奪するなどしてもよい。

　（１８）上記実施の形態では、ユーザの信用スコアが監視サーバに格納されており、ユーザのログイン時にロボットが、ユーザの信用スコアを同期することで、ロボットでユーザの制御権に関する判断を行っていたが、信用スコアの低いユーザについては、監視サーバが失効リストを作成し、ロボットまたは、フリート管理サーバへ事前に配布していてもよい。これにより不正なユーザによるアクセスをただちに排除することが可能となり、安全性が高まる。

　（１９）上記実施の形態では、所定の閾値以下となった信用スコアの種類によって対応を定めていたが、閾値は、信用スコアの種類によって異なってもよいし、ロボットごとに各閾値が異なっていてもよい。これによりロボットの種類や動作環境ごとによって安全性と可用性のバランスを柔軟に設計することが可能となる。

　（２０）上記の実施の形態における各装置は、具体的には、マイクロプロセッサ、ＲＯＭ、ＲＡＭ、ハードディスクユニット、ディスプレイユニット、キーボード、マウスなどから構成されるコンピュータシステムである。前記ＲＡＭまたはハードディスクユニットには、コンピュータプログラムが記録されている。前記マイクロプロセッサが、前記コンピュータプログラムにしたがって動作することにより、各装置は、その機能を達成する。ここでコンピュータプログラムは、所定の機能を達成するために、コンピュータに対する指令を示す命令コードが複数個組み合わされて構成されたものである。

　（２１）上記の実施の形態における各装置は、構成する構成要素の一部または全部は、１個のシステムＬＳＩ（Ｌａｒｇｅ　Ｓｃａｌｅ　Ｉｎｔｅｇｒａｔｉｏｎ：大規模集積回路）から構成されているとしてもよい。システムＬＳＩは、複数の構成部を１個のチップ上に集積して製造された超多機能ＬＳＩであり、具体的には、マイクロプロセッサ、ＲＯＭ、ＲＡＭなどを含んで構成されるコンピュータシステムである。前記ＲＡＭには、コンピュータプログラムが記録されている。前記マイクロプロセッサが、前記コンピュータプログラムにしたがって動作することにより、システムＬＳＩは、その機能を達成する。

　また、上記の各装置を構成する構成要素の各部は、個別に１チップ化されていても良いし、一部又はすべてを含むように１チップ化されてもよい。

　また、ここでは、システムＬＳＩとしたが、集積度の違いにより、ＩＣ、ＬＳＩ、スーパーＬＳＩ、ウルトラＬＳＩと呼称されることもある。また、集積回路化の手法はＬＳＩに限るものではなく、専用回路又は汎用プロセッサで実現してもよい。ＬＳＩ製造後に、プログラムすることが可能なＦＰＧＡ（Ｆｉｅｌｄ　Ｐｒｏｇｒａｍｍａｂｌｅ　Ｇａｔｅ　Ａｒｒａｙ）や、ＬＳＩ内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサーを利用しても良い。

　さらには、半導体技術の進歩又は派生する別技術によりＬＳＩに置き換わる集積回路化の技術が登場すれば、当然、その技術を用いて機能ブロックの集積化を行ってもよい。バイオ技術の適用等が可能性としてありえる。

　（２２）上記の各装置を構成する構成要素の一部または全部は、各装置に脱着可能なＩＣカードまたは単体のモジュールから構成されているとしてもよい。前記ＩＣカードまたは前記モジュールは、マイクロプロセッサ、ＲＯＭ、ＲＡＭなどから構成されるコンピュータシステムである。前記ＩＣカードまたは前記モジュールは、上記の超多機能ＬＳＩを含むとしてもよい。マイクロプロセッサが、コンピュータプログラムにしたがって動作することにより、前記ＩＣカードまたは前記モジュールは、その機能を達成する。このＩＣカードまたはこのモジュールは、耐タンパ性を有するとしてもよい。

　（２３）本開示は、上記に示す方法であるとしてもよい。また、これらの方法をコンピュータにより実現するコンピュータプログラムであるとしてもよいし、前記コンピュータプログラムからなるデジタル信号であるとしてもよい。

　また、本開示は、前記コンピュータプログラムまたは前記デジタル信号をコンピュータ読み取り可能な記録媒体、例えば、フレキシブルディスク、ハードディスク、ＣＤ－ＲＯＭ、ＭＯ、ＤＶＤ、ＤＶＤ－ＲＯＭ、ＤＶＤ－ＲＡＭ、ＢＤ（Ｂｌｕ－ｒａｙ（登録商標）　Ｄｉｓｃ）、半導体メモリなどに記録したものとしてもよい。また、これらの記録媒体に記録されている前記デジタル信号であるとしてもよい。

　また、本開示は、前記コンピュータプログラムまたは前記デジタル信号を、電気通信回線、無線または有線通信回線、インターネットを代表とするネットワーク、データ放送等を経由して伝送するものとしてもよい。

　また、本開示は、マイクロプロセッサとメモリを備えたコンピュータシステムであって、前記メモリは、上記コンピュータプログラムを記録しており、前記マイクロプロセッサは、前記コンピュータプログラムにしたがって動作するとしてもよい。

　また、前記プログラムまたは前記デジタル信号を前記記録媒体に記録して移送することにより、または前記プログラムまたは前記デジタル信号を前記ネットワーク等を経由して移送することにより、独立した他のコンピュータシステムにより実施するとしてもよい。

　（２４）上記実施の形態及び上記変形例をそれぞれ組み合わせるとしてもよい。

　本開示は、ロボットシステムにおいて検出されるセキュリティ異常と、現在のロボットの制御状態と、に応じてセキュリティ異常の原因を分析し、安全な制御モードを選択することを可能にする。これにより、安全なロボットシステムを実現することに効果的である。

　１０、１０ａ、１０ｂ、１０ｃ　ロボット
　２０　ネットワーク
　３０　フリート管理サーバ
　３１、４１、５１　通信部
　３２　フリート管理部
　３３　ロボット状態保持部
　３４　アカウント情報保持部
　４０　監視サーバ
　４２　監視部
　４３　分析インタフェース部
　４４　ロボット信用スコア保持部
　４５　ユーザ信用スコア保持部
　５０　遠隔制御端末
　５２　遠隔制御アプリ部
　５３　ユーザインタフェース部
　１００　ＴＣＵ
　１０１　外部通信部
　１０２、５０２、６０２　アプリ部
　１０３　内部通信部
　１０４、４０２　侵入検知部
　２００　セントラルＥＣＵ
　２０１、３０１、４０１、５０１、６０１　通信ポート部
　２０２　ホストＯＳ部
　２０３　ゲストＯＳ部
　２０４　対応判断部
　２０５　異常検知部
　２０６　信用スコア更新部
　２０７　ユーザ管理部
　２０８　異常検知結果保持部
　２０９　信用スコア保持部
　２１０　ユーザ情報保持部
　２１１　制御モード保持部
　３００　ユーザインタフェースＥＣＵ
　３０２、６０３　外部機器接続部
　４００　Ｅｔｈｅｒｎｅｔスイッチ
　５００　自律運転ＥＣＵ
　５０３　アプリ監視部
　６００　センサＥＣＵ
　７００　アクチュエータＥＣＵ

Claims

　ロボットシステムにおける制御モード切替装置であって、
　前記ロボットシステムは、外部ネットワーク通信部と、ロボット制御ネットワークを備え、
　前記外部ネットワーク通信部は、ロボットシステムの外部ネットワークとの通信手段を備え、
　前記ロボット制御ネットワークは、１以上のアクチュエータ部と、１以上のセンサ部と、制御モード保持部と、制御部と、異常検知部と、を備え、
　前記アクチュエータ部は、前記ロボット制御ネットワークの通信メッセージに基づいて、ロボットの制御を行い、
　前記センサ部は、前記ロボットシステムの周辺環境または、前記ロボットシステムの制御状態に関わる情報を取得し、前記ロボット制御ネットワーク上にセンサ情報を送信し、
　前記制御モード保持部は、遠隔制御モード、手動制御モード、自律制御モードのいずれかを含む制御モードのうち、現在の前記ロボットシステムの制御モードを保持し、
　前記制御部は、遠隔制御部と、手動制御部と、自律制御部と、のうち少なくとも２つ以上を備え、
　前記遠隔制御部は、前記制御モードが、遠隔制御モード時に、前記外部ネットワークにアクセス可能な遠隔ユーザから前記外部ネットワークを経由して通知される前記ロボットシステムの制御信号を受信し、前記制御信号に基づき、前記アクチュエータ部を制御するための通信メッセージを送信し、
　前記手動制御部は、前記制御モードが、手動制御モード時に、前記外部ネットワークを介さずに、近接ユーザの操作を受け付け、前記ロボットシステムの制御内容を解釈するユーザインタフェース部を備え、前記ユーザインタフェース部の入力内容に基づいて、前記アクチュエータ部を制御するための通信メッセージを送信し、
　前記自律制御部は、前記制御モードが、自律制御モード時に、前記センサ情報をもとに、前記アクチュエータ部を制御するための通信メッセージを送信し、
　前記異常検知部は、前記ロボット制御ネットワーク上の通信メッセージと、前記制御モードを基に、前記遠隔ユーザまたは、前記近接ユーザの制御に起因するユーザ異常と、前記ロボット制御ネットワークに起因するロボット異常と、前記ロボットシステムの動作環境に起因する動作環境異常のいずれか１つ以上を検知し、
　前記制御モード切替装置は、前記異常検知部の検知結果に基づいて、異常の原因ごとに分類される２種類以上の信用スコアを算出し、前記信用スコアが所定値以下となった時に、所定値以下となった信用スコアの種類と、前記制御モードとに応じて、前記制御モード保持部の制御モードを変更する、
　制御モード切替装置。
　前記センサ部は、前記ロボットシステムの位置情報、加速度、走行速度、カメラ画像のうち少なくとも１つ以上の情報を取得し、
　前記ユーザ異常は、前記制御モードが、手動制御モードあるいは、遠隔制御モードであるときに、前記異常検知部により検知される、前記位置情報があらかじめ制御が想定されている範囲の逸脱、または所定の閾値を超える加速度の検出、予め想定されていない人やモノと接触あるいは接近を検出、のいずれかであり、
　前記ロボット異常は、前記異常検知部により検知される、前記ロボット制御ネットワークの通信情報に含まれる故障の通知、または、前記ロボット制御ネットワークの通信異常、のいずれかであり、
　前記動作環境異常は、前記異常検知部により検知される、前記位置情報の不連続な変化や無効な値、前記外部ネットワークの通信異常、前記ロボット制御ネットワークの電圧変化、前記ロボットシステムの分解、のいずれかである、
　請求項１記載の制御モード切替装置。
　前記信用スコアの種類は、ユーザ、ロボット、動作環境のうち少なくとも２つ以上を含み、
　前記制御モード切替装置は、前記異常検知部が、前記ユーザ異常を検知した場合に、ユーザの信用スコアを減少させ、前記ロボット異常を検知した場合に、ロボットの信用スコアを減少させ、前記動作環境異常を検知した場合に、動作環境の信用スコアを減少させる、
　請求項１または２記載の制御モード切替装置。
　前記制御モード切替装置は、さらに、前記遠隔ユーザごとに前記信用スコアを保持し、前記制御モードが遠隔制御モードであり、かつ前記信用スコアが所定値以下となった不正な遠隔ユーザが、前記ロボットシステムの制御を行っている場合に、前記不正な遠隔ユーザによる前記制御信号を受け付けない、前記遠隔ユーザの変更を要求する、または前記制御モードを遠隔制御モード以外の制御モードに変更し、
　前記ロボットの信用スコアが、所定値以下となった場合に、前記制御モードを、前記ロボットシステムの制御を限定して、安全な状態で停止させる縮退モードに変更し、
　前記動作環境の信用スコアが、所定値以下となった場合に、前記動作環境の確認を行うためのアラートを、外部へ要求する、
　請求項３記載の制御モード切替装置。
　前記制御モード切替装置は、複数種類の前記信用スコアが所定の値以下となった場合は、前記ロボットの信用スコア、前記動作環境の信用スコア、前記ユーザの信用スコアの優先順位で、各信用スコアに基づく対応を行う、
　請求項４記載の制御モード切替装置。
　前記制御部は、前記遠隔制御部と、前記手動制御部と、前記自律制御部と、を独立したアプリケーションとして動作させ、
　前記異常検知部は、アプリ異常として、遠隔制御アプリ異常、手動制御アプリ異常、自律制御アプリ異常を検知し、
　前記制御モード切替装置は、さらに前記信用スコアの種類は、遠隔制御アプリ、手動制御アプリ、自律制御アプリのうち１つ以上を含み、
　前記遠隔制御アプリ異常が検知された場合に、前記遠隔制御アプリの信用スコアを減少させ、前記手動制御アプリ異常が検知された場合に、前記手動制御アプリの信用スコアを減少させ、前記自律制御アプリ異常が検知された場合に、前記自律制御アプリの信用スコアを減少させ、
　前記遠隔制御アプリの信用スコアが、所定値以下となった場合に、前記制御モードが、遠隔制御モードとなることを禁じ、
　前記手動制御アプリの信用スコアが、所定値以下となった場合に、前記制御モードが、手動制御モードとなることを禁じ、
　前記自律制御アプリの信用スコアが、所定値以下となった場合に、前記制御モードが、自律制御モードとなることを禁じる、
　請求項５記載の制御モード切替装置。
　前記制御モード切替装置は、前記ロボットシステムが、所定の制御状態であるときのみに制御モードの変更が行われる、
　請求項４記載の制御モード切替装置。
　前記制御モード切替装置は、前記ロボットシステムの位置情報が、所定の範囲に存在しているときのみに、制御モードの変更が行われる、
　請求項４記載の制御モード切替装置。
　ロボットシステムにおける、制御モード切替方法であって、
　前記ロボットシステムは、外部ネットワーク通信部と、ロボット制御ネットワークを備え、
　前記外部ネットワーク通信部は、ロボットシステムの外部ネットワークとの通信手段を備え、
　前記ロボット制御ネットワークは、１以上のアクチュエータ部と、１以上のセンサ部と、制御モード保持部と、制御部と、異常検知部と、を備え、
　前記アクチュエータ部は、前記ロボット制御ネットワークの通信メッセージに基づいて、ロボットの制御を行い、
　前記センサ部は、前記ロボットシステムの周辺環境または、前記ロボットシステムの制御状態に関わる情報を取得し、前記ロボット制御ネットワーク上にセンサ情報を送信し、
　前記制御モード保持部は、遠隔制御モード、手動制御モード、自律制御モードのいずれかを含む制御モードのうち、現在の前記ロボットシステムの制御モードを保持し、
　前記制御部は、遠隔制御部と、手動制御部と、自律制御部と、のうち少なくとも２つ以上を備え、
　前記遠隔制御部は、前記制御モードが、遠隔制御モード時に、前記外部ネットワークにアクセス可能な遠隔ユーザから前記外部ネットワークを経由して通知される前記ロボットシステムの制御信号を受信し、前記制御信号に基づき、前記アクチュエータ部を制御するための通信メッセージを送信し、
　前記手動制御部は、前記制御モードが、手動制御モード時に、前記外部ネットワークを介さずに、近接ユーザの操作を受け付け、前記ロボットシステムの制御内容を解釈するユーザインタフェース部を備え、前記ユーザインタフェース部の入力内容に基づいて、前記アクチュエータ部を制御するための通信メッセージを送信し、
　前記自律制御部は、前記制御モードが、自律制御モード時に、前記センサ情報をもとに、前記アクチュエータ部を制御するための通信メッセージを送信し、
　前記異常検知部は、前記ロボット制御ネットワーク上の通信メッセージと、前記制御モードを基に、前記遠隔ユーザまたは、前記近接ユーザの制御に起因するユーザ異常と、前記ロボット制御ネットワークに起因するロボット異常と、前記ロボットシステムの動作環境に起因する動作環境異常のいずれか１つ以上を検知し、
　前記制御モード切替方法は、前記異常検知部の検知結果に基づいて、異常の原因ごとに分類される２種類以上の信用スコアを算出する信用スコア算出ステップと、前記信用スコアが所定値以下となった時に、所定値以下となった信用スコアの種類と、前記制御モードとに応じて、前記制御モード保持部の制御モードを変更する制御モード切替ステップとを備える、
　制御モード切替方法。