[go: up one dir, main page]

JP6971020B2 - 異常検出装置および異常検出方法 - Google Patents

異常検出装置および異常検出方法 Download PDF

Info

Publication number
JP6971020B2
JP6971020B2 JP2016221590A JP2016221590A JP6971020B2 JP 6971020 B2 JP6971020 B2 JP 6971020B2 JP 2016221590 A JP2016221590 A JP 2016221590A JP 2016221590 A JP2016221590 A JP 2016221590A JP 6971020 B2 JP6971020 B2 JP 6971020B2
Authority
JP
Japan
Prior art keywords
recognition
information
failure
space recognition
environment
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2016221590A
Other languages
English (en)
Other versions
JP2018079732A (ja
Inventor
武央 西田
真理子 奥出
昌義 石川
和夫 武藤
淳 加藤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hitachi Ltd
Original Assignee
Hitachi Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hitachi Ltd filed Critical Hitachi Ltd
Priority to JP2016221590A priority Critical patent/JP6971020B2/ja
Priority to US15/794,136 priority patent/US10423841B2/en
Priority to EP17199257.1A priority patent/EP3321914B1/en
Publication of JP2018079732A publication Critical patent/JP2018079732A/ja
Application granted granted Critical
Publication of JP6971020B2 publication Critical patent/JP6971020B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G08G1/0104—Measuring and analyzing of parameters relative to traffic conditions
    • G08G1/0108—Measuring and analyzing of parameters relative to traffic conditions based on the source of data
    • G08G1/0112—Measuring and analyzing of parameters relative to traffic conditions based on the source of data from the vehicle, e.g. floating car data [FCD]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/243—Classification techniques relating to the number of classes
    • G06F18/2433—Single-class perspective, e.g. one-against-all classification; Novelty detection; Outlier detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G06V20/582—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of traffic signs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
    • G—PHYSICS
    • G07—CHECKING-DEVICES
    • G07C—TIME OR ATTENDANCE REGISTERS; REGISTERING OR INDICATING THE WORKING OF MACHINES; GENERATING RANDOM NUMBERS; VOTING OR LOTTERY APPARATUS; ARRANGEMENTS, SYSTEMS OR APPARATUS FOR CHECKING NOT PROVIDED FOR ELSEWHERE
    • G07C5/00—Registering or indicating the working of vehicles
    • G07C5/08—Registering or indicating performance data other than driving, working, idle, or waiting time, with or without registering driving, working, idle or waiting time
    • G07C5/0808—Diagnosing performance data
    • G—PHYSICS
    • G07—CHECKING-DEVICES
    • G07C—TIME OR ATTENDANCE REGISTERS; REGISTERING OR INDICATING THE WORKING OF MACHINES; GENERATING RANDOM NUMBERS; VOTING OR LOTTERY APPARATUS; ARRANGEMENTS, SYSTEMS OR APPARATUS FOR CHECKING NOT PROVIDED FOR ELSEWHERE
    • G07C5/00—Registering or indicating the working of vehicles
    • G07C5/08—Registering or indicating performance data other than driving, working, idle, or waiting time, with or without registering driving, working, idle or waiting time
    • G07C5/0816—Indicating performance data, e.g. occurrence of a malfunction
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G08G1/0104—Measuring and analyzing of parameters relative to traffic conditions
    • G08G1/0125—Traffic data processing
    • G08G1/0129—Traffic data processing for creating historical data or processing based on historical data
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G08G1/048—Detecting movement of traffic to be counted or controlled with provision for compensation of environmental or other condition, e.g. snow, vehicle stopped at detector

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Medical Informatics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Software Systems (AREA)
  • Databases & Information Systems (AREA)
  • Computing Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Traffic Control Systems (AREA)
  • Control Of Driving Devices And Active Controlling Of Vehicle (AREA)
  • Testing Or Calibration Of Command Recording Devices (AREA)

Description

本発明は、車両に搭載された外界空間認識装置の異常を検出する異常検出装置および異常検出方法に関する。
近年、多くの車には、前方の車を検知して車間距離を制御したり、障害物を検知してプレーキをかけたりする安全装置が装備されるようになってきた。さらに、近い将来に自動運転の車が実用化されることも確実視されている。このような車の安全を確保するための装備や自動運転を実現するには、車の周囲の空間の状況を認識するレーダやカメラなどの外界空間認識装置が不可欠である。
そして、これから将来の車に外界空間認識装置が不可欠であるとすれば、外界空間認識装置の誤動作や故障（誤動作や故障の状態を、以下、本明細書では「異常」という）を速やかに検知する技術も不可欠な技術となる。なぜなら、外界認空間識装置の異常により外界の空間認識が正常にできなくなれば、自動運転は直ちに不可能となり、車間距離の制御なども、運転者の操舵に頼らざるを得なくなるからである。
また、外界空間認識装置の異常を検知する上では、その異常を誤りなく検知することが重要である。しかしながら、外界空間認識装置は、その環境によっては、外界空間認識装置が正常に動作しても空間認識に失敗することや、空間認識が不可能になることがある。例えば、濃霧や強雨の場合には、信号機の色の識別に失敗したり、信号機そのものの認識ができなかったりすることがある。従って、外界の環境に依存するような空間認識の失敗は、少なくとも外界空間認識装置そのものの異常を表したものではないといえる。
特許文献１には、「車両状態を表す車載装置の出力に基づいて車両又は該車載装置における異常の有無を判定する異常判定手段と、前記車載装置の出力に影響する走行環境に関する情報を取得する走行環境情報取得手段と、前記走行環境情報取得手段が取得した走行環境情報に基づいて前記異常判定手段が用いる判定条件を変更する判定条件変更手段と、を備えることを特徴とする異常検出装置（請求項１参照）」の発明が開示されている。
特許文献１に係る発明では、例えば、エンジン冷却水の温度センサの異常を検知するために、外気温に応じてエンジン始動後から冷却水の温度計測までの時間を変えることなどが行われている（図２参照）。そして、エンジン始動後から所定の時間経過後に冷却水の温度を温度センサで計測し、その温度が所定の温度を超えていない場合には、温度センサの異常と判断される。この「所定の時間」は、夏、冬などの外気温によって変えられるようにされている。
特開２００９−１６６５４１号公報
カメラなど外界の空間認識をする外界空間認識装置の異常を誤りなく検出するには、空間認識に失敗したときに得られた空間認識情報（撮影画像など）の中から、外界の環境が原因で空間認識に失敗したものを除外する必要がある。例えば、濃霧の中で取得された交通標識認識失敗の画像は、外界空間認識装置の異常による認識失敗ではなく、いわば環境の異常による認識失敗といえる。そのため、このような環境の異常があるときに得られた空間認識情報（撮影画像など）は、外界空間認識装置の異常検出やその原因解明には役に立たないばかりではなく、逆に、原因解明の工数を増加させる要因となる。
特許文献１に開示された発明では、外界環境の状況に応じて、車両に搭載されたセンサの正常／異常の判定条件を変えることについては記載されているが、環境に依存してセンサが環境情報の検出に失敗することについては何ら記載されていない。また、特許文献１でいうセンサは、主として車両の内部状態を検知するものであり、外界の空間認識をするセンサ（カメラなど）は想定されていない。カメラなど空間認識をする外界空間認識装置は、温度センサなどに比べ、外界環境そのものの影響をはるかに多様な形で受ける。従って、特許文献１に開示された発明を、空間認識をする外界空間認識装置に対して適用することは困難である。
以上のような従来技術の問題点に鑑み、本発明は、環境に依存する空間認識失敗を効率よく除外して、外界空間認識装置の異常検出およびその原因解明の工数を低減することが可能な異常検出装置および異常検出方法を提供することを目的とする。
本発明に係る異常検出装置は、外界の空間認識により空間認識情報を取得する外界空間認識装置と、位置情報を含んだ環境情報を取得する環境情報取得装置と、を搭載した車両に通信ネットワークを介して接続され、前記外界空間認識装置の異常を検出する異常検出装置であって、
前記車両から送信される前記外界空間認識装置により取得された空間認識情報と前記空間認識情報が取得されたときに前記環境情報取得装置により取得された環境情報とを含んだ情報を受信する対車両通信部と、前記対車両通信部を介して受信された前記空間認識情報と前記環境情報とを含んだ情報に基づき、前記空間認識情報が取得されたときの前記外界空間認識装置による空間認識の成否を判定する空間認識成否判定部と、前記空間認識成否判定部により空間認識に失敗したと判定された空間認識情報について、その空間認識の失敗が予め設定された環境依存空間認識失敗の類型条件のいずれの類型条件に該当するかを判定して、環境依存空間認識失敗の類型を分類する環境依存認識失敗分類部と、前記空間認識成否判定部により空間認識に失敗したと判定された空間認識情報のうち、前記環境依存認識失敗分類部により前記環境依存空間認識失敗の類型のいずれの類型条件にも該当しないと判定された空間認識情報を、前記外界空間認識装置の異常検出に利用する異常検出部と、を備え、前記類型条件は、トンネルの出口という環境の前提において、前記トンネルの出口の画像の周辺部の平均輝度が所定の閾値よりも小さいという条件を含むことを特徴とする。
本発明によれば、環境に依存する空間認識失敗を効率よく除外して、外界空間認識装置の異常検出およびその原因解明の工数を低減することが可能な異常検出装置および異常検出方法が提供される。
本発明の実施形態に係る異常検出装置の構成の例およびその異常検出装置が適用される全体システムの構成の例を示した図。 空間認識・環境情報記憶部に記憶される空間認識・環境情報の構成の例を示した図。 高精度地図記憶部に記憶されている高精度地図情報の一部であるオブジェクト位置情報の構成の例を示した図。 空間認識成否判定部による空間認識成否判定の処理フローの例を示した図。 車両に搭載された外界空間認識装置で撮影された前方撮影画像の例を示した図。 認識失敗情報蓄積部に蓄積される認識失敗情報の構成の例を示した図。 環境依存認識失敗類型記憶部に記憶される環境依存認識失敗類型情報の構成の例を示した図。 図７の「類型条件」として用いられる判定モデルの例を示した図。 環境依存認識失敗分類部による環境依存認識失敗分類の処理フローの例を示した図。 空間認識失敗位置表示部により地図表示された表示画面の例を示した図であり、（ａ）は、空間認識に失敗した空間認識センサおよび環境情報を特定した場合の空間認識失敗の発生位置を地図表示した例、（ｂ）は、特定の車両の走行経路に沿って発生した空間認識失敗の位置を地図表示した例、（ｃ）は、特定のエリアで発生したすべての空間認識失敗の位置を地図表示した例。
以下、本発明の実施形態について、図面を参照して詳細に説明する。なお、各図面において、共通する構成要素には同一の符号を付し、重複した説明を省略する。
図１は、本発明の実施形態に係る異常検出装置１の構成の例およびその異常検出装置１が適用される全体システムの構成の例を示した図である。図１に示すように、異常検出装置１は、インターネットなどの通信ネットワーク３および携帯電話通信網などの基地局４を介して、走行中の複数の車両５それぞれに搭載された通信装置５３に接続されている。なお、このように通信装置５３を備え、通信ネットワーク３を介して上位のいわゆるクラウドシステムに接続されている車両５は、しばしばコネクティッドカーと呼ばれる。
本実施形態では、コネクティッドカーである車両５は、通信装置５３の他に外界空間認識装置５１および環境情報取得装置５２を備えている。
外界空間認識装置５１は、車両５の外界の様子を認識すなわち空間認識をするカメラやレーザレーダなどの空間認識センサにより構成され、車両５の周囲に位置する他の車両や歩行者、障害物、道路標識、車線などを認識する。なお、外界空間認識装置５１は、１つの空間認識センサからなるものに限定されず、複数または複数種の空間認識センサからなるものであってもよい。
環境情報取得装置５２は、ＧＰＳ（Global Positioning System）受信器、方位センサ、振動センサ、降雨センサなど複数種のセンサによって構成される。そして、これらのセンサにより、車両５の位置情報（緯度、経度など）、走行方向の情報、路面状況、天気情報（降雨、降雪など）、走行位置に関する属性情報（トンネル走行中など）などの環境情報を取得する。なお、本明細書では、外界空間認識装置５１によって取得される情報を空間認識情報と総称し、環境情報取得装置５２によって取得される情報（位置情報を含む）を環境情報と総称する。
通信装置５３は、外界空間認識装置５１によって取得される空間認識情報、環境情報取得装置５２によって取得される環境情報、および、これらの統計情報などからなる情報を、車両５の空間認識・環境情報として通信ネットワーク３を介して異常検出装置１へ送信する。異常検出装置１は、車両５から送信された空間認識・環境情報に基づき、車両５に搭載された外界空間認識装置５１の異常を検出する。
異常検出装置１は、対車両通信部１１、空間認識成否判定部１２、環境依存認識失敗分類部１３、異常検出部１４、管理者端末ＩＦ部１５、環境依存認識失敗類型学習部１６、空間認識失敗位置表示部１７などの機能処理に係るブロックを備える。さらに、異常検出装置１は、空間認識・環境情報記憶部２１、高精度地図記憶部２２、認識失敗情報蓄積部２３、環境依存認識失敗類型記憶部２４などの記憶機能に係るブロックを備える。以下、これらのブロックの処理内容や構成について、図１に加え図２以下の図面も参照しつつ説明する。
なお、以上のような構成を有する異常検出装置１は、演算処理装置と記憶装置とを備えたコンピュータによって実現することができる。すなわち、異常検出装置１を構成する前記の機能処理に係るブロックの機能は、前記コンピュータの演算処理装置が記憶装置に記憶されたプログラムを実行することにより実現される。また、前記の記憶機能に係るブロックは、前記記憶装置上に実現される。
（１）対車両通信部１１および空間認識・環境情報記憶部２１
対車両通信部１１は、車両５の通信装置５３から送信される空間認識・環境情報を受信し、受信した空間認識・環境情報を空間認識・環境情報記憶部２１に一時記憶する。
図２は、空間認識・環境情報記憶部２１に記憶される空間認識・環境情報の構成の例を示した図である。図２に示すように、空間認識・環境情報は、例えば、「認識日時」、「車両ＩＤ」、「車種」、「センサ種別」、「空間認識情報」、「車両位置情報」、「道路環境情報」などの項目によって構成される。
ここで、「空間認識情報」は、車両５の外界空間認識装置５１による空間認識によって取得された、例えば、「前方６０ｍに先行車両あり」、前方１００ｍに道路標識あり」などの情報をいう。あるいは、「空間認識情報」は、カメラによる撮影画像そのものであってもよい。また、「センサ種別」は、前記「空間認識情報」を取得したステレオカメラ、単眼カメラ、ミリ波レーダ、レーザレーダなどの空間認識センサの種別をいう。従って、「センサ種別」と「空間認識情報」とは互いに対応付けられた組の情報といえるが、１つの空間認識・環境情報の中に「センサ種別」と「空間認識情報」との組が複数含まれていてもよい。
「車両位置情報」、「道路環境情報」は、車両５の環境情報取得装置５２により取得された環境情報である。環境情報としては、この他にも「走行方向情報」、「天気情報」、「路面情報」など様々な情報が含まれる。なお、これらの環境情報は、「空間認識情報」が取得されたタイミングとほぼ同じタイミング取得されるものとする。
「認識日時」は、当該空間認識・環境情報に含まれる「空間認識情報」が取得された日時を表した情報である。また、「車両ＩＤ」は、当該空間認識・環境情報を送信した通信装置５３を搭載した車両５をユニークに識別する情報である。また、「車種」は、「大型乗用車」、「小型乗用車」など車両５の大きさを表す情報や、「セダン」、「ワンボックス」など車両５の形状などを表す情報である。
（２）高精度地図記憶部２２
図３は、高精度地図記憶部２２に記憶されている高精度地図情報の一部であるオブジェクト位置情報の構成の例を示した図である。図３に示すように、高精度地図情報のオブジェクト位置情報は、車両５の外界空間認識装置５１が認識すべき対象（交通標識など：以下、オブジェクトという）を、そのオブジェクトが設置された位置情報に対応付けた情報である。例えば、オブジェクト位置情報は、「道路名称」、「リンクＩＤ」、「車線」、「オブジェクトＩＤ」、「オブジェクト種別」、「オブジェクト位置情報」などの項目によって構成される。
ここで、「オブジェクトＩＤ」は、車両５の外界空間認識装置５１が認識すべきオブジェクトを識別する情報、「オブジェクト種別」は、その種別を表す情報（例えば、交通標識の種別など）である。また、「オブジェクト位置情報」は、当該オブジェクトが設置された位置を表す情報、「リンクＩＤ」は、当該オブジェクトが設置されている道路の識別情報、「車線」は、当該オブジェクトが認識される車線の識別情報である。なお、リンクとは、交差点と交差点または交差点と分岐点をつなぐ道路部分をいい、「道路名称」は、そのリンクが属する国道、県道などの名称をいう。
本実施形態では、以上のような構成を有する高精度地図情報のオブジェクト位置情報は、予め、高精度地図記憶部２２に記憶されているものとする。
（３）空間認識成否判定部１２
空間認識成否判定部１２（図１参照）は、車両５から送信された空間認識・環境情報と、高精度地図記憶部２２に記憶されている高精度地図情報に基づき、車両５の外界空間認識装置５１により認識された空間認識情報が正しく認識されたものであるか否かを判定する。言い換えれば、外界空間認識装置５１が空間認識に成功しているかまたは失敗しているかを判定する。
図４は、空間認識成否判定部１２による空間認識成否判定の処理フローの例を示した図である。図４に示すように、空間認識成否判定部１２は、まず、車両５から送信される空間認識・環境情報を、対車両通信部１１を介して受信する（ステップＳ１１）。続いて、空間認識成否判定部１２は、前記受信した空間認識・環境情報（図２参照）の中から空間認識情報、車両位置情報、走行方向情報（ただし、図２では図示省略）を取得する（ステップＳ１２）。
次に、空間認識成否判定部１２は、車両５の車両位置情報、走行方向情報に基づき、高精度地図記憶部２２を参照して、前記車両位置情報が表す位置から認識可能な交通標識などのオブジェクトを抽出する（ステップＳ１３）。続いて、空間認識成否判定部１２は、前記取得した空間認識情報において前記抽出したオブジェクトが認識されているか否かを判定する（ステップＳ１４）。そして、前記抽出したオブジェクトが認識されていないと判定された場合には（ステップＳ１４でＮｏ）、空間認識成否判定部１２は、さらに、前記抽出したオブジェクトと車両５との間に他のオブジェクトが認識されているか否かを判定する（ステップＳ１５）。
そして、ステップＳ１５で前記抽出したオブジェクトと車両５との間に他のオブジェクトが認識されていないと判定された場合には（ステップＳ１５でＮｏ）、当該空間認識情報は、空間認識に失敗した空間認識情報であると判定される（ステップＳ１６）。なお、空間認識に失敗した空間認識情報およびそれに付随する環境情報は、認識失敗情報として認識失敗情報蓄積部２３（図１参照）に蓄積される。
一方、ステップＳ１４で前記抽出したオブジェクトが認識されていると判定された場合には（ステップＳ１４でＹｅｓ）、当該空間認識情報は、空間認識に成功した空間認識情報であると判定される（ステップＳ１７）。また、ステップＳ１５で前記抽出したオブジェクトと車両５との間に他のオブジェクトが認識されていると判定された場合にも（ステップＳ１５でＹｅｓ）、当該空間認識情報は、空間認識に成功した空間認識情報であると判定される（ステップＳ１７）。
ステップＳ１５でＹｅｓとなるケースは、例えば、先行車両が大型バスなどであって、その大型バスの前方にある交通標識が認識できないような場合に生じる。このようなケースで取得された空間認識情報は、空間認識に成功したものであると判断される。
図５は、車両５に搭載された外界空間認識装置５１で撮影された前方撮影画像６の例を示した図である。なお、この場合の外界空間認識装置５１はステレオカメラであり、この前方撮影画像６の中には、先行車両６１、道路標識６２、車線６３，６４、６５などが認識されている。この図５のケースでは、図４のステップＳ１３において、高精度地図から認識可能なオブジェクトとして道路標識６２が抽出される。従って、ステップＳ１４で前方撮影画像６の中に道路標識６２が認識されず、さらに、ステップＳ１５で車両５（自車）と道路標識６２との間に道路標識６２を遮るような他のオブジェクトが認識されていない場合には、ステップＳ１６で道路標識６２の空間認識に失敗したと判定される。
なお、空間認識成否判定部１２による空間認識成否判定は、図４に示した処理フローに限定されない。高精度地図情報に記憶されているオブジェクトを用いないで空間認識の成否を判定することもできる。例えば、交差点でない道路を所定の速度以上で走行中に、それまで認識されていた先行車両が突然認識されなくなったような場合、そのとき得られた空間認識情報は、空間認識に失敗した情報と判定することができる。
また、車両５で取得された空間認識情報を、前後を走行する他の車両５で取得された空間認識情報と比較することによっても、外界空間認識装置５１による空間認識の失敗を判定することができる。ただし、これは、前後を走行する他の車両５も図１に示した構成を有するコネクティドカーである場合に限定される。このような場合、本実施形態に係る異常検出装置１は、複数の車両５の外界空間認識装置５１により、時刻はわずかに相違するが、同じ道路位置の複数の空間認識情報、例えば前方撮影画像６を得ることができる。
そこで、ある車両５で得られた前方撮影画像６を、例えば前後を走行する他の車両５で得られた前方撮影画像６と比較する。そして、前後を走行する他の２台の車両５で得られた前方撮影画像６において、例えば路上駐車車両が認識されているのに、当該車両５で得られた前方撮影画像６では、その路上駐車車両が認識されていない場合を考える。このような場合、多数決の原理に従い、当該車両５の外界空間認識装置５１は、空間認識に失敗したと判定することができる。
（４）認識失敗情報蓄積部２３
図６は、認識失敗情報蓄積部２３に蓄積される認識失敗情報の構成の例を示した図である。図６に示すように、認識失敗情報は、例えば「認識日時」、「車両ＩＤ」、「車種」、「センサ種別」、「空間認識情報」、「車両位置情報」、「道路環境情報」、「・・・」、「失敗類型」などの項目によって構成される。この構成は、図２に示した空間認識・環境情報の構成に「失敗類型」を追加したものである。
ここで、「失敗類型」は、環境依存の空間認識失敗の類型を表した情報であり、この情報は、環境依存認識失敗分類部１３で記入される。「失敗類型」については、次の図７で説明する。
（５）環境依存認識失敗類型記憶部２４
図７は、環境依存認識失敗類型記憶部２４に記憶される環境依存認識失敗類型情報の構成の例を示した図である。環境依存認識失敗類型情報は、環境に依存して空間認識に失敗した空間認識情報をいくつかの類型に分類するための情報である。図７に示すように、環境依存認識失敗類型情報は、「失敗類型」、「失敗環境情報」、「センサ種別」、「類型条件」、「発生頻度」、「車種」などの項目によって構成される。
ここで、「失敗類型」は、環境依存認識失敗の類型を識別する情報であり、文字や数字の羅列であっても名称であってもよい。また、「失敗環境情報」は、環境依存認識失敗が生じたときの環境情報の特徴を表した情報であり、緯度、経度で特定される位置情報、特定のエリア、トンネルなどの走行環境を表す情報、晴れ、雨などの天候などの情報が格納される。また、「センサ種別」は、環境依存空間認識に失敗した空間認識センサの種別を表す情報であり、ステレオカメラ、単眼カメラ、ミリ波レーダなど空間認識センサの名称などが格納される。
「類型条件」は、空間認識成否判定部１２により空間認識に失敗したと判定された空間認識情報について、その空間認識の失敗がいずれの環境依存認識失敗の類型に属するのか否かを判定する条件を表した情報である。なお、この「類型条件」として用いられる判定モデルは、システム管理者が認識失敗情報蓄積部２３に蓄積された認識失敗情報を解析した結果に基づき予め設定する。そして、異常検出装置１を含む図１に示した全システムが稼働した後には、この「類型条件」で用いられる判定モデルは、適宜、環境依存認識失敗類型学習部１６によって更新される。
また、「発生頻度」は、当該環境依存認識「失敗類型」が発生した頻度を表す統計情報であり、適宜、環境依存認識失敗類型学習部１６によって算出される。また、「車種」は、当該環境依存認識失敗類型が発生した車種を特定する情報であり、これにより、当該環境依存認識失敗類型がどのような車種で多く発生していることなどが分かる。
さらに、環境依存認識失敗類型情報の項目として、外界空間認識装置５１を構成する空間認識装置のハードウエアのメーカ名、型式番号、バージョン番号、制御プログラムのバージョン番号などが設けられていてもよい。なお、その場合、これらの情報は、車両５から送信される空間認識・環境情報の中に含まれておく必要があることはいうまでもない。
図８は、図７の「類型条件」として用いられる判定モデルの例を示した図である。ここでは、長いトンネルを走行して出口にさしかかったときにステレオカメラなどで発生する環境依存認識失敗を判定する判定モデルを例に説明する。車両５が長いトンネルを走行しているときには、ステレオカメラから得られる撮影画像の輝度は全般的に小さくなる。その後、トンネルの出口が見えてきたときには、その出口に差し込む強い太陽光のため、撮影画像の中心部に露光が合わせられると、中心部が白とび、周辺部が黒つぶれとなり、視差が得られず空間認識に失敗することがある。
そこで、長いトンネル走行して出口にさしかかった車両５のステレオカメラにより過去に得られた撮影画像（空間認識情報）について、その画像周辺部の平均輝度と画像中心部の平均輝度との関係を求めると、図８のような散布図で表されることが分かった。なお、図８の散布図において、横軸は、画像周辺部の平均輝度、縦軸は、画像中心部の平均輝度であり、白丸印は、空間認識成功、黒丸印は、空間認識失敗を表している。
図８のグラフによれば、長いトンネルを走行して出口にさしかかったとき、ステレオカメラで発生する空間認識失敗は、画像中心部の平均輝度には依存せず、画像周辺部の平均輝度がある閾値Ｌｔｈより小さくなったときに生じていることが分かる。そこで、この場合には、この「失敗類型」の「類型条件」の判定モデルとして、例えば、画像周辺部の平均輝度が所定の閾値Ｌｔｈより小さいという条件を採用することができる。
以上の例のように、「類型条件」の判定モデルは、外界空間認識装置５１の検出値や環境情報取得装置５２の検出値などの相互の相関関係を表す不等式およびその不等式に含まれるパラメータによって表されるのが好ましい。なお、ここでいう外界空間認識装置５１の検出値は、ステレオカメラなど空間認識センサの出力値（画像の輝度）などであり、環境情報取得装置５２の検出値は、ＧＰＳ受信器が出力する位置情報などである。
（６）環境依存認識失敗分類部１３
環境依存認識失敗分類部１３は、空間認識成否判定部１２により空間認識に失敗したと判定された空間認識情報について、その空間認識の失敗が予め設定された環境依存認識失敗類型のいずれの類型条件に該当するかを判定して分類する。そして、その分類時には、環境依存認識失敗類型に関する情報は、前記した環境依存認識失敗類型記憶部２４に予め記憶されている。
図９は、環境依存認識失敗分類部１３による環境依存認識失敗分類の処理フローの例を示した図である。環境依存認識失敗分類部１３は、空間認識成否判定部１２で空間認識失敗と判定された認識失敗情報を取得する（ステップＳ２１）。なお、ここでいう認識失敗情報は、図６に示したように、車両５から送信された空間認識・環境情報と実質的には同じものである。図６では、空間認識・環境情報に失敗類型が追加されているが、その追加は、この環境依存認識失敗分類処理の最後に行われる。
次に、環境依存認識失敗分類部１３は、前記認識失敗情報により特定されるセンサ種別および環境情報を、各環境依存認識失敗類型と比較する（ステップＳ２２）。すなわち、認識失敗情報により特定されるセンサ種別および環境情報を、各環境依存認識失敗類型情報で特定される失敗環境、センサ種別および類型条件と比較する。なお、ここでいう認識失敗情報により特定される環境情報には、その認識失敗情報に含まれる空間認識情報、例えば、ステレオカメラなどで取得された前方撮影画像６（図５参照）などから導出される画像の所定の領域の平均輝度なども含まれるものとする。
次に、環境依存認識失敗分類部１３は、認識失敗情報により特定されるセンサ種別および環境情報がいずれかの環境依存認識失敗類型に該当しているか否かを判定する（ステップＳ２３）。その判定の結果、いずれかの環境依存認識失敗類型に該当していると判定された場合には（ステップＳ２３でＹｅｓ）、当該認識失敗情報に含まれる空間認識情報が取得されたときの空間認識は、環境に依存した空間認識失敗であったと判定される（ステップＳ２４）。そして、その認識失敗情報は、該当した環境依存認識失敗類型に分類され（ステップＳ２５）、その失敗類型の情報は、認識失敗情報（図６参照）の「失敗類型」の欄に記入される。
一方、いずれかの環境依存認識失敗類型にも該当していないと判定された場合には（ステップＳ２３でＮｏ）、当該認識失敗情報に含まれる空間認識情報が取得されたときの空間認識は、環境に依存しない空間認識失敗であったと判定される（ステップＳ２６）。そして、その認識失敗情報は、いずれの環境依存認識失敗類型にも分類されず、認識失敗情報（図６参照）の「失敗類型」の欄には、環境依存でない空間認識失敗であることを表す例えば「−」などの記号が記入される。
（７）異常検出部１４および管理者端末ＩＦ部１５
異常検出部１４は、空間認識成否判定部１２により空間認識失敗と判定された空間認識情報のうち、環境依存認識失敗分類部１３で環境依存認識失敗と判定されたものを除いた情報を、外界空間認識装置５１の異常検出情報としてシステム管理者に提供する。すなわち、認識失敗情報蓄積部２３に蓄積された認識失敗情報のうち、いずれの環境依存認識失敗類型にも分類されなかった認識失敗情報のみが、管理者端末ＩＦ部１５および管理者端末２を介してシステム管理者に提供される。
つまり、本実施形態では、外界空間認識装置５１（空間認識センサ）自体に異常はないが、特定の環境に依存して発生する空間認識失敗は異常とみなされないことを意味する。そのため、システム管理者は、外界空間認識装置５１そのものに起因する認識失敗情報だけを用いて、その異常の原因の解明を進めることが可能となる。その結果、本実施形態では、外界空間認識装置５１に発生した異常の原因の解明する工数やコストを低減することが可能になる。
（８）環境依存認識失敗類型学習部１６
環境依存認識失敗類型学習部１６は、所定の期間（例えば７日）ごとに、認識失敗情報蓄積部２３に蓄積された認識失敗情報を失敗類型別に集計して、各認識失敗情報に含まれる各種センサの検出値（撮影画像の輝度、ＧＰＳ受信器の出力値など）を統計処理する。そして、その結果に基づき、失敗類型別の環境依存認識失敗類型情報に含まれる類型条件を学習し、その類型条件を更新する。なお、この場合の学習の方法は、どのようなものであってもよいが、例えば、機械学習のアルゴリズムなどを用いることができる。
（９）空間認識失敗位置表示部１７
空間認識失敗位置表示部１７は、認識失敗情報蓄積部２３に蓄積された過去に空間認識失敗が発生した位置を管理者端末２の表示装置に地図表示する。
図１０は、空間認識失敗位置表示部１７により地図表示された表示画面の例を示した図であり、（ａ）は、空間認識に失敗した空間認識センサおよび環境情報を特定した場合の空間認識失敗の発生位置を地図表示した例、（ｂ）は、特定の車両の走行経路に沿って発生した空間認識失敗の位置を地図表示した例、（ｃ）は、特定のエリアで発生したすべての空間認識失敗の位置を地図表示した例である。なお、図１０において、太い実線は、道路、三角印および丸印は、空間認識失敗が発生した位置、細い矢印付き実線は、車両の走行経路を表している。
図１０（ａ）の表示画面には、空間認識センサが「ＡＡ」で、環境情報が「ＢＣＤ」であるときに発生した空間認識失敗の位置が三角印で示されている。なお、空間認識失敗は、環境に依存しないものであっても、環境に依存するものであっても、これらを区別しないものであってもよい。さらには、環境依存失敗の類型を特定するものであってもよい。
このような地図表示により、システム管理者は、空間認識失敗が、どのような空間認識センサで、どのような環境において、どのような場所で生じやすいかを、視覚的に容易に把握することが可能になる。
また、図１０（ｂ）の表示画面には、特定の車両の走行経路に沿って発生した空間認識失敗の位置が地図表示される。そのため、システム管理者は、特定の車両について、空間認識失敗がどこでどのような順序で発生したかを、視覚的に容易に把握することが可能になる。
また、図１０（ｃ）の表示画面には、このエリアで生じたすべての空間認識失敗の位置が地図表示される。ここでは、例えば、丸印は、環境依存しない認識失敗、△印は、環境依存した認識失敗を表すとする。このような表示画面からは、環境依存でない認識失敗と判定されたものでも、システム管理者は、その発生位置や環境の特徴などから、新たな環境依存失敗類型の判定モデルを見出すことができる可能性がある。
以上のように、空間認識失敗位置表示部１７は、過去に発生した空間認識失敗の位置を様々な形で地図表示するので、システム管理者は、とくに環境依存でない認識失敗について、その原因解明の工数が軽減される。さらに、新たな環境依存失敗の判定モデルを見出すことができれば、その分だけの空間認識失敗の原因解明が不要になるので、環境依存でない認識失敗についての原因解明の工数がさらに軽減される。
以上、本発明の実施形態によれば、車両５の外界空間認識装置５１で発生した空間認識失敗のうち、環境に依存する空間認識失敗は、予め設定した類型条件（判定モデル）に従って、外界空間認識装置５１の異常によるものではないとして除外される。つまり、環境に依存する空間認識失敗については、その原因解明をする必要がなくなる。従って、システム管理者は、環境依存の空間認識失敗情報を除いた空間認識失敗情報を用いて外界空間認識装置５１の異常の原因の解明をすればよい。よって、外界空間認識装置５１の異常の原因解明の工数は低減される。
なお、以上に説明した異常検出装置１は、いわばクラウド型の異常検出装置であるが、他の実施形態として、以下、車両５それぞれに搭載される車載型の異常検出装置について補足して説明する。この車載型の異常検出装置（図示省略）は、車両５に搭載され、その構成は、図１に示した異常検出器１の構成から対車車両通信部１１を除外したものに相当する。この車載型の異常検出装置は、同じ車両５に搭載されている外界空間認識装置５１および環境情報取得装置５２から直接に外界空間認識情報や環境情報を取得することができる。
また、異常検出部１４による異常検出結果などを表示するためには、図１でいう管理者端末２に相当する表示装置などが必要となるが、その表示装置としては、例えばカーナビ装置に付属する表示装置を兼用するものであってもよい。
また、車載型の異常検出装置の場合、認識失敗情報蓄積部２３に蓄積する認識失敗情報があまり集まらないことも懸念される。その場合に備えて、車両５に搭載された通信装置５３は、通信基地局４と通信するものではなく、自車の近傍を走行する他の車両５に搭載された他の通信装置５３と通信するものであるとする。そして、ある車両５に搭載された異常検出装置は、自車の近傍を走行する他の車両５に搭載された異常検出装置との間で通信することにより、それぞれの異常検出装置に蓄積された認識失敗情報や環境依存認識失敗類型情報を交換するものとする。
こうすることにより、車載型の異常検出装置に蓄積される認識失敗情報や環境依存認識失敗類型情報を増加させることができるので、その異常検出装置による異常検出の精度を高めることができる。また、車両５の運転者に異常があることを通知できるようになり、カーナビなどの表示装置に、例えば「修理工場での調整または修理をお勧めします」などの表示をすることができるようになる。
本発明は、以上に説明した実施形態および変形例に限定されるものではなく、さらに、様々な変形例が含まれる。例えば、前記した実施形態および変形例は、本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。また、ある実施形態や変形例の構成の一部を、他の実施形態や変形例の構成に置き換えることが可能であり、また、ある実施形態や変形例の構成に他の実施形態や変形例の構成を加えることも可能である。また、各実施形態や変形例の構成の一部について、他の実施形態や変形例に含まれる構成を追加・削除・置換することも可能である。
１ 異常検出装置
３ 通信ネットワーク
４ 通信基地局
５ 車両
６ 前方撮影画像
１１ 対車両通信部
１２ 空間認識成否判定部
１３ 環境依存認識失敗分類部
１４ 異常検出部
１５ 管理者端末ＩＦ部
１６ 環境依存認識失敗類型学習部
１７ 環境依存認識失敗位置表示部
２１ 空間認識・環境情報記憶部
２２ 高精度地図記憶部
２３ 環境依存認識失敗情報記憶部
２４ 環境依存認識失敗類型記憶部
５１ 外界空間認識装置
５２ 環境情報取得装置
５３ 通信装置
６１ 先行車両
６２ 道路標識
６３，６４，６５ 車線

Claims (9)

  1. 外界の空間認識により空間認識情報を取得する外界空間認識装置と、位置情報を含んだ環境情報を取得する環境情報取得装置と、を搭載した車両に通信ネットワークを介して接続され、前記外界空間認識装置の異常を検出する異常検出装置であって、
    前記車両から送信される前記外界空間認識装置により取得された空間認識情報と前記空間認識情報が取得されたときに前記環境情報取得装置により取得された環境情報とを含んだ情報を受信する対車両通信部と、
    前記対車両通信部を介して受信された前記空間認識情報と前記環境情報とを含んだ情報に基づき、前記空間認識情報が取得されたときの前記外界空間認識装置による空間認識の成否を判定する空間認識成否判定部と、
    前記空間認識成否判定部により空間認識に失敗したと判定された空間認識情報について、その空間認識の失敗が予め設定された環境依存空間認識失敗の類型条件のいずれの類型条件に該当するかを判定して、環境依存空間認識失敗の類型を分類する環境依存認識失敗分類部と、
    前記空間認識成否判定部により空間認識に失敗したと判定された空間認識情報のうち、前記環境依存認識失敗分類部により前記環境依存空間認識失敗の類型のいずれの類型条件にも該当しないと判定された空間認識情報を、前記外界空間認識装置の異常検出に利用する異常検出部と、
    を備え、
    前記類型条件は、
    トンネルの出口という環境の前提において、前記トンネルの出口の画像の周辺部の平均輝度が所定の閾値よりも小さいという条件を含むこと、
    を特徴とする異常検出装置。
  2. 前記空間認識成否判定部により空間認識に失敗したと判定された空間認識情報と、その空間認識情報が取得されたときに前記環境情報取得装置により取得された環境情報と、を対応づけた情報を認識失敗情報として蓄積する認識失敗情報蓄積部と、
    前記認識失敗情報蓄積部に蓄積された認識失敗情報を用いて、前記環境依存空間認識失敗の類型を判定するための類型条件を学習し、更新する環境依存認識失敗類型学習部と、
    をさらに備えること
    を特徴とする請求項１に記載の異常検出装置。
  3. 前記認識失敗情報蓄積部に蓄積された認識失敗情報に基づき、過去に空間認識失敗が発生した位置を地図表示する空間認識失敗位置表示部
    をさらに備えること
    を特徴とする請求項２に記載の異常検出装置。
  4. 前記外界空間認識装置によって認識されるべきオブジェクトの位置情報が記憶された高精度地図記憶部をさらに備え、
    前記空間認識成否判定部は、
    前記外界空間認識装置による空間認識の成否を、前記空間認識によって取得された空間認識情報と、前記空間認識情報が取得されたときに前記環境情報取得装置によって取得された環境情報に含まれる位置情報と、前記高精度地図記憶部に記憶されている前記オブジェクトの位置情報と、に基づき判定すること
    を特徴とする請求項１に記載の異常検出装置。
  5. 前記空間認識成否判定部は、
    前記外界空間認識装置による空間認識の成否を、前記空間認識によって取得された空間認識情報と、前記外界空間認識装置を搭載した車両の前または後を走行する複数の車両それぞれに搭載された外界空間認識装置によって得られた他の空間認識情報と、に基づき判定すること
    を特徴とする請求項１に記載の異常検出装置。
  6. 外界の空間認識により空間認識情報を取得する外界空間認識装置と、位置情報を含んだ環境情報を取得する環境情報取得装置と、を備えた車両に搭載され、前記外界空間認識装置の異常を検出する異常検出装置であって、
    前記外界空間認識装置により取得された空間認識情報と、前記空間認識情報が取得されたときに前記環境情報取得装置により取得された位置情報を含む環境情報とに基づき、前記外界空間認識装置による空間認識の成否を判定する空間認識成否判定部と、
    前記空間認識成否判定部により空間認識に失敗したと判定された空間認識情報について、その空間認識の失敗が予め設定された環境依存空間認識失敗の類型条件のいずれの類型条件に該当するかを判定して、環境依存空間認識失敗の類型を分類する環境依存認識失敗分類部と、
    前記空間認識成否判定部により空間認識に失敗したと判定された空間認識情報のうち、前記環境依存認識失敗分類部により前記環境依存空間認識失敗の類型のいずれの類型条件にも該当しないと判定された空間認識情報を、前記外界空間認識装置の異常検出に利用する異常検出部と、
    を備え、
    前記類型条件は、
    トンネルの出口という環境の前提において、前記トンネルの出口の画像の周辺部の平均輝度が所定の閾値よりも小さいという条件を含むこと、
    を特徴とする異常検出装置。
  7. 外界の空間認識により空間認識情報を取得する外界空間認識装置と、位置情報を含んだ環境情報を取得する環境情報取得装置と、を搭載した車両に通信ネットワークを介して接続されたコンピュータにより、前記外界空間認識装置の異常を検出する異常検出方法であって、
    前記コンピュータは、
    前記車両から送信される前記外界空間認識装置により取得された空間認識情報と前記空間認識情報が取得されたときに前記環境情報取得装置により取得された環境情報とを含んだ情報を受信する第１のステップと、
    前記第１のステップで受信された前記空間認識情報と前記環境情報とを含んだ情報に基づき、前記空間認識情報が取得されたときの前記外界空間認識装置による空間認識の成否を判定する第２のステップと、
    前記第２のステップで空間認識に失敗したと判定された空間認識情報について、その空間認識の失敗が予め設定された環境依存空間認識失敗の類型条件のいずれの類型条件に該当するかを判定して、環境依存空間認識失敗の類型を分類する第３のステップと、
    前記第２のステップで空間認識に失敗したと判定された空間認識情報のうち、前記第３のステップで前記環境依存空間認識失敗の類型のいずれの類型条件にも該当しないと判定された空間認識情報を、前記外界空間認識装置の異常検出に利用する第４のステップと、
    を実行し、
    前記類型条件は、
    トンネルの出口という環境の前提において、前記トンネルの出口の画像の周辺部の平均輝度が所定の閾値よりも小さいという条件を含むこと、
    を特徴とする異常検出方法。
  8. 前記コンピュータは、
    前記第２のステップで空間認識に失敗したと判定された空間認識情報と、その空間認識情報が取得されたときに前記環境情報取得装置により取得された環境情報と、を対応づけた情報を認識失敗情報として記憶装置に蓄積する第５のステップと、
    前記記憶装置に蓄積された認識失敗情報を用いて、前記環境依存空間認識失敗の類型を判定するための類型条件を学習し、更新する第６のステップと、
    をさらに実行すること
    を特徴とする請求項７に記載の異常検出方法。
  9. 前記記憶装置に蓄積された認識失敗情報に基づき、過去に空間認識失敗が発生した位置を地図表示する第７のステップを
    をさらに実行すること
    を特徴とする請求項８に記載の異常検出方法。
JP2016221590A 2016-11-14 2016-11-14 異常検出装置および異常検出方法 Active JP6971020B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2016221590A JP6971020B2 (ja) 2016-11-14 2016-11-14 異常検出装置および異常検出方法
US15/794,136 US10423841B2 (en) 2016-11-14 2017-10-26 Abnormality detection device and abnormality detection method
EP17199257.1A EP3321914B1 (en) 2016-11-14 2017-10-30 Abnormality detection device and abnormality detection method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2016221590A JP6971020B2 (ja) 2016-11-14 2016-11-14 異常検出装置および異常検出方法

Publications (2)

Publication Number Publication Date
JP2018079732A JP2018079732A (ja) 2018-05-24
JP6971020B2 true JP6971020B2 (ja) 2021-11-24

Family

ID=60409120

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016221590A Active JP6971020B2 (ja) 2016-11-14 2016-11-14 異常検出装置および異常検出方法

Country Status (3)

Country Link
US (1) US10423841B2 (ja)
EP (1) EP3321914B1 (ja)
JP (1) JP6971020B2 (ja)

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6392908B2 (ja) * 2017-01-12 2018-09-19 ファナック株式会社 視覚センサの異常原因推定システム
JP6691266B2 (ja) * 2017-03-27 2020-04-28 株式会社日立国際電気 列車映像監視システム
JP6649416B2 (ja) * 2018-02-02 2020-02-19 ファナック株式会社 障害分類装置、障害分類方法及び障害分類プログラム
JP6705845B2 (ja) 2018-02-08 2020-06-03 ファナック株式会社 障害部位特定装置、障害部位特定方法及び障害部位特定プログラム
CN109374310A (zh) * 2018-09-07 2019-02-22 百度在线网络技术（北京）有限公司 自动驾驶车辆测试方法、装置及存储介质
JP7234614B2 (ja) * 2018-12-10 2023-03-08 トヨタ自動車株式会社 異常検出装置、異常検出システム及び異常検出プログラム
JP7205695B2 (ja) * 2019-02-18 2023-01-17 トヨタ自動車株式会社 運転支援システム
CN109668742B (zh) * 2019-02-20 2020-04-28 苏州风图智能科技有限公司 基于激光雷达的无人车辆的测试方法及装置
JP7363118B2 (ja) * 2019-06-14 2023-10-18 マツダ株式会社 外部環境認識装置
CN113470215A (zh) * 2020-03-30 2021-10-01 上海擎感智能科技有限公司 车辆故障的记录方法、系统、介质及装置
JP7311461B2 (ja) * 2020-05-21 2023-07-19 Kddi株式会社 連携装置、方法及びプログラム
KR102288098B1 (ko) * 2020-07-20 2021-08-11 한국도로공사 차량 번호 인식 실패 원인 분석 및 통계 방법

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4534846B2 (ja) * 2005-04-13 2010-09-01 トヨタ自動車株式会社 物体検出装置
JP4984152B2 (ja) * 2007-08-31 2012-07-25 アイシン・エィ・ダブリュ株式会社 画像認識システム、サーバ装置、及び画像認識装置
JP4492702B2 (ja) * 2008-01-11 2010-06-30 トヨタ自動車株式会社 異常検出装置
JP5798332B2 (ja) * 2011-02-10 2015-10-21 トヨタ自動車株式会社 車両情報取得システム及び車両情報取得方法
JP5853995B2 (ja) * 2013-06-10 2016-02-09 トヨタ自動車株式会社 協調スペクトラムセンシング方法および車載無線通信装置
US9260059B2 (en) * 2014-04-25 2016-02-16 Robert Bosch Gmbh False warning reduction using location data
JP6290009B2 (ja) 2014-06-06 2018-03-07 日立オートモティブシステムズ株式会社 障害物情報管理装置
JP6304104B2 (ja) * 2015-04-01 2018-04-04 トヨタ自動車株式会社 走行環境評価システム
JP6553930B2 (ja) 2015-04-14 2019-07-31 日立オートモティブシステムズ株式会社 車両情報処理装置、及び車両情報処理プログラム
DE102015206605A1 (de) 2015-04-14 2016-10-20 Continental Teves Ag & Co. Ohg Kalibrierung und Überwachung von Umfeldsensoren mit Hilfe hochgenauer Karten

Also Published As

Publication number Publication date
JP2018079732A (ja) 2018-05-24
US10423841B2 (en) 2019-09-24
EP3321914B1 (en) 2023-04-19
US20180137377A1 (en) 2018-05-17
EP3321914A3 (en) 2018-05-30
EP3321914A2 (en) 2018-05-16

Similar Documents

Publication Publication Date Title
JP6971020B2 (ja) 異常検出装置および異常検出方法
JP6424761B2 (ja) 運転支援システム及びセンタ
EP2920040B1 (en) Augmenting adas features of a vehicle with image processing support in on-board vehicle platform
US11727799B2 (en) Automatically perceiving travel signals
US9335178B2 (en) Method for using street level images to enhance automated driving mode for vehicle
US10650256B2 (en) Automatically perceiving travel signals
US10369995B2 (en) Information processing device, information processing method, control device for vehicle, and control method for vehicle
CN111727437A (zh) 提供碰撞前预警的多光谱系统
US20180299893A1 (en) Automatically perceiving travel signals
CN116171464B (zh) 信号灯识别装置、信号灯识别方法、车辆控制装置
JP2019536184A (ja) 交通標識情報を用いた道路検出
CN108454631A (zh) 信息处理装置、信息处理方法以及程序
CN114945802A (zh) 用于识别和更新自动驾驶车辆的设计适用域的系统、设备和方法
CN102951149A (zh) 一种用于分析车辆将行驶的道路分段的方法及装置
US10351144B2 (en) Sightline estimation system and sightline estimation method
CN110175620B (zh) 基于多个传感器的融合的检测
EP3996063A1 (en) Safety performance evaluation device, safety performance evaluation method, information processing device, and information processing method
CN110386088B (zh) 用于执行车辆差异分析的系统和方法
EP3612424A1 (en) Automatically perceiving travel signals
US20180300566A1 (en) Automatically perceiving travel signals
JP6523907B2 (ja) 車間距離検出システム、車間距離検出方法、およびプログラム
JP2018136917A (ja) 情報処理装置、情報処理方法及びプログラム
KR102764189B1 (ko) Cctv, 음향 및 전광판을 활용한 도로 돌발상황 경보 송출 장치 및 시스템
JP2011090490A (ja) 障害物認識装置
WO2016072082A1 (ja) 運転支援システム及びセンタ

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20191024

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20200827

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20201006

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20201125

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210511

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210705

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210824

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20211005

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20211019

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20211101

R150 Certificate of patent or registration of utility model

Ref document number: 6971020

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150