[go: up one dir, main page]

JP6986685B2 - 情報処理装置 - Google Patents

情報処理装置 Download PDF

Info

Publication number
JP6986685B2
JP6986685B2 JP2018044229A JP2018044229A JP6986685B2 JP 6986685 B2 JP6986685 B2 JP 6986685B2 JP 2018044229 A JP2018044229 A JP 2018044229A JP 2018044229 A JP2018044229 A JP 2018044229A JP 6986685 B2 JP6986685 B2 JP 6986685B2
Authority
JP
Japan
Prior art keywords
recognizer
information
information processing
result
sensing information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2018044229A
Other languages
English (en)
Other versions
JP2019159659A (ja
Inventor
正樹 高橋
和史 石川
拓也 山口
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Intellectual Property Management Co Ltd
Original Assignee
Panasonic Intellectual Property Management Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Intellectual Property Management Co Ltd filed Critical Panasonic Intellectual Property Management Co Ltd
Priority to JP2018044229A priority Critical patent/JP6986685B2/ja
Priority to EP19159865.5A priority patent/EP3550469A3/en
Priority to CN201910171363.4A priority patent/CN110254438B/zh
Priority to US16/295,469 priority patent/US11166133B2/en
Publication of JP2019159659A publication Critical patent/JP2019159659A/ja
Application granted granted Critical
Publication of JP6986685B2 publication Critical patent/JP6986685B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/254—Fusion techniques of classification results, e.g. of results related to same input data
    • G06F18/256—Fusion techniques of classification results, e.g. of results related to same input data of results relating to different input data, e.g. multimodal recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/809—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of classification results, e.g. where the classifiers operate on the same input data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/809—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of classification results, e.g. where the classifiers operate on the same input data
    • G06V10/811—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of classification results, e.g. where the classifiers operate on the same input data the classifiers operating on different input data, e.g. multi-modal recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/94—Hardware or software architectures specially adapted for image or video understanding
    • G06V10/95—Hardware or software architectures specially adapted for image or video understanding structured as a network, e.g. client-server architectures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/24—Character recognition characterised by the processing or recognition method
    • G06V30/248—Character recognition characterised by the processing or recognition method involving plural approaches, e.g. verification by template match; Resolving confusion among similar patterns, e.g. "O" versus "Q"
    • G06V30/2504—Coarse or fine approaches, e.g. resolution of ambiguities or multiscale approaches
    • G—PHYSICS
    • G07—CHECKING-DEVICES
    • G07C—TIME OR ATTENDANCE REGISTERS; REGISTERING OR INDICATING THE WORKING OF MACHINES; GENERATING RANDOM NUMBERS; VOTING OR LOTTERY APPARATUS; ARRANGEMENTS, SYSTEMS OR APPARATUS FOR CHECKING NOT PROVIDED FOR ELSEWHERE
    • G07C5/00—Registering or indicating the working of vehicles
    • G07C5/008—Registering or indicating the working of vehicles communicating information to a remotely located station
    • G—PHYSICS
    • G07—CHECKING-DEVICES
    • G07C—TIME OR ATTENDANCE REGISTERS; REGISTERING OR INDICATING THE WORKING OF MACHINES; GENERATING RANDOM NUMBERS; VOTING OR LOTTERY APPARATUS; ARRANGEMENTS, SYSTEMS OR APPARATUS FOR CHECKING NOT PROVIDED FOR ELSEWHERE
    • G07C5/00—Registering or indicating the working of vehicles
    • G07C5/08—Registering or indicating performance data other than driving, working, idle, or waiting time, with or without registering driving, working, idle or waiting time
    • G07C5/0841—Registering performance data
    • G07C5/085—Registering performance data using electronic data carriers
    • G07C5/0866—Registering performance data using electronic data carriers the electronic data carrier being a digital video recorder in combination with video camera
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/30—Services specially adapted for particular environments, situations or purposes
    • H04W4/38—Services specially adapted for particular environments, situations or purposes for collecting sensor information
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/30—Services specially adapted for particular environments, situations or purposes
    • H04W4/40—Services specially adapted for particular environments, situations or purposes for vehicles, e.g. vehicle-to-pedestrians [V2P]
    • H04W4/44—Services specially adapted for particular environments, situations or purposes for vehicles, e.g. vehicle-to-pedestrians [V2P] for communication between vehicles and infrastructures, e.g. vehicle-to-cloud [V2C] or vehicle-to-home [V2H]
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W2050/0001—Details of the control system
    • B60W2050/0002—Automatic control, details of type of controller or control system architecture
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W2050/0001—Details of the control system
    • B60W2050/0002—Automatic control, details of type of controller or control system architecture
    • B60W2050/0004—In digital systems, e.g. discrete-time systems involving sampling
    • B60W2050/0005—Processor details or data handling, e.g. memory registers or chip architecture

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Software Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Medical Informatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Computing Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Automation & Control Theory (AREA)
  • Human Computer Interaction (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Traffic Control Systems (AREA)
  • Time Recorders, Dirve Recorders, Access Control (AREA)
  • Arrangements For Transmission Of Measured Signals (AREA)

Description

本発明は、自動運転車における制御機能更新のためのデータ送信に関する。より詳しくは、自動運転車が具備するセンサから取得した情報データを、ネットワークを介し、サーバ装置にアップロードするデータ送信に関する。
近年、運転手の代わりに機械が運転する自動運転車（ロボットカー等の他の呼称もある）の研究や商品化が多数行われている。自動運転車には、構成要素としてニューラルネットワークなどの人工知能（Ａｒｔｉｆｉｃｉａｌ Ｉｎｔｅｌｌｉｇｅｎｃｅ、以降、ＡＩと表記）を使用したリアルタイム物体検出器を備えるものがある。しかしながら、自動運転車の出荷当初のリアルタイム物体では、誤検出、検出漏れなどの不具合を生じる可能性がある。したがって、そのような不具合の発生を減らすために、追加で学習することが考えられる。この追加の学習のための学習用データは、車両に搭載されたカメラなどのセンサで取得され、ネットワークを介して、学習処理を行う装置（例えばサーバ装置）などに集められる。
これに対し、取得されたデータのうちの一部のみをサーバ装置へ送信する技術がある。例えば、特許文献１には、車両のドライブレコーダで録画して取得された走行映像のデータの全てをサーバ装置に送信するのではなく、取得された走行映像のデータに対して付与されたランク値に基づいて、送信することが決定された取得走行映像のデータだけをサーバ装置に送信する技術が提案されている。
特開２０１６−９１２６７号公報
しかし、特許文献１に提案される技術では、学習用データを効率よく集めることが困難である。
そこで本発明は、自動運転のための認識モデルを得るための学習用データの効率的な収集を可能にする情報処理装置を提供する。
本発明の一態様に係る情報処理装置は、自動運転車に搭載される情報処理装置であって、第１認識器によってセンシング情報を入力として、物体検出処理である第１認識処理を実行し、前記第１認識器と能力条件が異なる認識器である第２認識器によって、前記センシング情報を入力として、物体検出処理である第２認識処理を実行する制御部と、前記第１認識処理の結果である第１認識結果と前記第２認識処理の結果である第２認識結果との差異に応じて、前記センシング情報の送信要否又は送信の優先順位を決定する決定部と、前記決定された送信要否又は優先順位に基づいて前記センシング情報をサーバ装置へ送信する通信部を備える。
なお、これらの包括的または具体的な態様は、システム、方法、集積回路、コンピュータプログラムまたはコンピュータ読み取り可能なＣＤ−ＲＯＭなどの記録媒体で実現されてもよく、システム、方法、集積回路、コンピュータプログラム及び記録媒体の任意な組み合わせで実現されてもよい。
上記態様により、自動運転のための認識モデルを得るための学習用データを効率よく集めることができる。
図１は、実施の形態における、自動運転車とサーバ装置の構成の一例を示すブロック図である。 図２は、実施の形態における、自動運転車が備える情報処理装置の機能構成の一例を示すブロック図である。 図３Ａは、実施の形態における、検出結果データの構成の一例を示す図である。 図３Ｂは、実施の形態における、優先順位付き検出結果データの構成の一例を示す図である。 図４は、実施の形態における、情報処理装置による処理の動作手順例を示すフロー図である。 図５は、実施の形態の変形例における、選別用検出器の構成の一例を示すブロック図である。 図６は、実施の形態の変形例における、選別用検出器による処理の動作手順例を示すフロー図である。 図７は、実施の形態における、選別用検出器の構成の一例を示すブロック図である。 図８は、実施の形態の変形例における、選別用検出器による処理の動作手順例を示すフロー図である。 図９は、実施の形態における、選別用検出器の構成の一例を示すブロック図である。 図１０は、実施の形態の変形例における、選別用検出器による処理の動作手順例を示すフロー図である。 図１１は、実施の形態における、検出結果データの構成の他の例を示す図である。
（本発明の基礎となった知見）
自動運転車では、リアルタイム物体検出で使用されているＡＩ機能の更新のための以下の構成が想定され得る。
自動運転車から、例えばカメラの光学センサで取得された画像データなどが、通信網を介してサーバ装置にアップロードされる。サーバ装置が具備する学習システムでは、この画像データを学習データとして用いて再学習処理が実行されることによって再学習済みのＡＩデータ(認識モデル)が生成される。自動運転車は再学習済みのＡＩデータをダウンロードして取得し、リアルタイム物体検出のためのＡＩデータを入れ替えることでＡＩ機能を更新する。これにより、リアルタイム物体検出のための検出器がバージョンアップされる。
しかしながら、自動運転車からサーバ装置へのアップロード対象の画像データの量は膨大であるため、その全てを送信しようとすればネットワーク帯域を圧迫し、送信の完了までに長時間を要する。そのために、蓄積済みの画像データを、自動運転車が使用されていない時間帯などのデータが新たに蓄積されない時間内に送信しきれない状況が生じ得る。また、送信するデータ量の多さ、またはトラフィックの集中が原因で送信に時間がかかれば、より多くの電力を消費するため、車両が充電されない状況では車両のバッテリーを大きく消耗させてしまう。場合によっては、次にユーザが自動運転車を使用したいときに、自動運転車はバッテリーが消耗しきって走行不可になっているといった事態も招き得る。
このような場合には、自動運転車でせっかく取得された画像データのサーバ装置での再学習での利用が遅れる、または利用ができない、つまり学習用データが効率よく集められないという問題がある。
このような課題を解決するために、本発明の一態様に係る情報処理装置は、第１認識器によってセンシング情報を入力として第１認識処理を実行し、前記第１認識器と能力条件が異なる認識器である第２認識器によって、前記センシング情報を入力として第２認識処理を実行する制御部と、前記第１認識処理の結果である第１認識結果と前記第２認識処理の結果である第２認識結果との差異に応じて、前記センシング情報の送信要否又は送信の優先順位を決定する決定部と、前記決定された送信要否又は優先順位に基づいて前記センシング情報をサーバ装置へ送信する通信部を備える。
この構成により、蓄積された走行中の画像データのサイズが膨大であっても、ネットワーク帯域や消費電力の問題が原因で再学習に有効な画像データを、再学習処理を行うためのサーバ装置に送信できない事態の発生を抑制することができる。言い換えると、限られたネットワーク帯域及び送信時間の中で、ＡＩを進化させるために有用な画像データが優先的にサーバ装置に送信されることで、学習用データが学習システムに効率的に収集される。それにより、ＡＩの進化をより確実に実施でき、自動運転車におけるＡＩ更新サイクルは加速し、より安全で快適な自動運転車を早期にユーザに提供できる。
また、前記第２認識器は、前記第１認識器よりも使用計算リソースが多くてもよい。
例えば駐車中のように、自動運転中には自動運転に必要な他の処理に用いられている使用計算リソースを物体検出に転用することができる時間がある。このような時間に、第１認識器よりも認識の精度は高いが多くの使用計算リソースを要する第２認識器に処理を実行させることで、第１認識結果と差異のある可能性の高い第２認識結果を得ることができる。
また、前記決定部は、前記第１認識結果と前記第２認識結果との数値的な差異に応じて前記送信要否または送信の優先順位を決定してもよい。または、前記決定部は、前記第１認識結果と前記第２認識結果とのタイプの差異に応じて前記送信要否または送信の優先順位を決定してもよい。
このような差異に基づいて送信の要否又は優先順位を決定することで、再学習に有用である可能性の高い学習用データが優先的にサーバ装置に送信される。つまり、学習用データが効率的に収集される。
また、前記情報処理装置が搭載される車両において計算リソースに所定量以上の余裕があるかを判定する判定部をさらに備え、前記制御部は、前記車両において計算リソースに所定量以上の余裕があると前記判定部により判定されると、前記第２認識器に認識処理を実行させてもよい。
これにより、より精度の高い第２認識器による処理の実行が可能な時間に処理が行われ、その一方で、この処理のためにユーザによる自動運転車の使用が妨げられる状況の発生を抑えるができる。
また、前記情報処理装置が搭載される車両において使用可能な計算リソース、又は前記第１認識器のための学習目的に応じた前記第２認識器が前記第２認識処理に用いられてもよい。
つまり、多様な第２認識器を用い得ることで、例えば利用可能な計算リソースの多少に応じた第２認識処理が実行可能である。これにより、自動運転車上のリソースの有効な活用が図られる。また例えば、将来的に新機能を提供するための新たな対象の認識の実現に適した学習用データの収集のための第２認識処理が実行可能である。これにより、より安全で快適な自動運転車のユーザへの提供が促される。
また、前記第２認識器は、前記サーバ装置から通信を介して取得されてもよい。
これにより、自動運転車に実装される第２認識器の更新が可能になり、また、高い多様性が得られる。
また、前記制御部は、前記センシング情報のうち、所定の条件を満たすセンシング情報に対して他のセンシング情報よりも優先して前記第２認識器に前記第２認識処理を実行させてもよい。
このように、条件を用いてフィルタリングすることで、例えば学習用データが相対的に少ない走行状況の学習用データが効率的に収集される。このように収集された学習用データを用いて学習がされることで、物体認識の精度は、可能性に拘わらず起こり得る走行状況に対して万遍なく一定レベル以上に引き上げることができる。したがって、より安全で快適な自動運転車を早期にユーザに提供できる。
また、本発明の一態様に係る、サーバ装置と通信可能に接続される自動車に搭載される情報処理装置が備えるプロセッサによって実行されるプログラムは、前記プロセッサに、第１認識器によるセンシング情報を入力として第１認識処理と、前記第１認識器と能力条件が異なる認識器である第２認識器による、前記センシング情報を入力として第２認識処理と、前記第１認識処理の結果である第１認識結果と前記第２認識処理の結果である第２認識結果との差異に応じて、前記センシング情報の送信要否又は送信の優先順位の決定と、前記決定された送信要否又は優先順位に基づいての、前記センシング情報のサーバ装置への送信とを実行させる。
これにより、蓄積された走行中の画像データのサイズが膨大であっても、ネットワーク帯域や消費電力の問題が原因で再学習に有効な画像データを、再学習処理を行うためのサーバ装置に送信できない事態の発生を抑制することができる。言い換えると、限られたネットワーク帯域及び送信時間の中で、ＡＩを進化させるために有用な画像データが優先的にサーバ装置に送信されることで、学習用データが学習システムに効率的に収集される。それにより、ＡＩの進化をより確実に実施でき、自動運転車におけるＡＩ更新サイクルは加速し、より安全で快適な自動運転車を早期にユーザに提供できる。
なお、以下で説明する実施の形態は、いずれも本発明の一具体例を示すものである。以下の実施の形態で示される数値、形状、構成要素、ステップ、ステップの順序などは、一例であり、本発明を限定する趣旨ではない。また、以下の実施の形態における構成要素のうち、最上位概念を示す独立請求項に記載されていない構成要素については、任意の構成要素として説明される。また実施の形態及びその変形例の各々の内容を、矛盾の生じない限りにおいて組み合わせることもできる。
（実施の形態）
ここでは、本実施の形態に係る、自動運転車における情報処理装置について図１から図４を用いて説明する。
［構成］
図１は、本実施の形態における、自動運転車とサーバ装置の構成の一例を示すブロック図である。図１に示すように、自動運転車１０１は、通信網であるネットワーク１０２を介してサーバ装置１０３と通信可能に接続している。
本実施の形態におけるサーバ装置１０３は、画像データを含む情報データを用いてする、物体検出のためのＡＩの再学習機能を具備してもかまわないし、このような情報データを一時的に蓄積する機能だけを具備する構成でもかまわない。後者の場合は、情報データは再学習機能を具備する他の情報処理システムにさらに入力される。ただし、以下の説明では、サーバ装置１０３が上記の再学習機能を具備する場合を例に用いている。
この再学習に用いられる情報データは、自動運転車１０１からサーバ装置１０３へネットワーク１０２を介して提供される。
図２は、本実施の形態において、自動運転車１０１が備える情報処理装置２００の機能構成の一例を示すブロック図である。
自動運転の際、自動運転車１０１では、カメラやＬＩＤＡＲ（Ｌａｓｅｒ Ｉｍａｇｉｎｇ Ｄｅｔｅｃｔｉｏｎ ａｎｄ Ｒａｎｇｉｎｇ）などの光学センサ、超音波センサ、又はミリ波等の電波センサなどの、物体検出に利用可能なセンサ２０２から出力された画像データを含む情報データを用いて、自動運転に必要なリアルタイムの物体検出が情報処理装置２００において実行される。情報処理装置２００は、例えば車載のＥＣＵ（Ｅｌｅｃｔｒｏｎｉｃ Ｃｏｎｔｒｏｌ Ｕｎｉｔ）が備えるマイクロコントローラで実現される。
情報処理装置２００は、機能的構成要素として、物体検出器２０３、検出結果蓄積器２０４、検出結果送信可否確認器２０５、優先順位付き検出結果蓄積器２０６、優先順位付き検出結果選択器２０７及び検出結果送信器２０８を備える。各機能的構成要素は、情報処理装置２００に備えられるマイクロコントローラにおいて、所定のプログラムがプロセッサで実行され、又はこのプログラムの実行結果がメモリに保存若しくは出力ポートを通じて外部に出力されることで実現される。また、ここでのプロセッサは本実施の形態における制御部の例である。
物体検出器２０３は、センサ２０２が出力した情報データが示す情報（以下、センシング情報という）に基づいてリアルタイムに物体を検出する認識モデルである。検出結果蓄積器２０４には、その検出の結果のデータが蓄積される。図３Ａは、検出結果蓄積器２０４に蓄積される、物体検出器２０３による物体検出の結果を含むデータの構成の一例である検出結果データ３０１を示す。
この例における検出結果データ３０１は、検出結果データを一意に示すシーンＩＤ３０２、画像データのパス（又はファイル名）３０３、検出結果３０４、撮影時刻を示す時間情報３０５などを含む。また、検出結果データの構成要素には、さらに撮影時の車両の速度、加速度、ブレーキの有無などの走行のための制御の内容を示す走行制御情報の一例である制動状況３０６を含んでもかまわない。また、検出結果３０４は検出した物体のタイプ、撮影画像におけるその物体の画像の範囲、信頼度などで構成される。
なお、自動運転において結果が利用される物体の認識は、物体検出器２０３が実行する物体検出によるものである。
このような物体検出器２０３は、本実施の形態における第１認識器の例である。また、センシング情報を入力として物体検出器２０３が実行する上記の物体検出の処理は、本実施の形態における第１認識処理の例である。また、検出結果蓄積器２０４に蓄積される、検出結果データ３０１に含まれる検出結果３０４は、本実施の形態における第１認識結果の例である。
選別用検出器２０１は、センシング情報に基づいて物体を検出する認識モデルである検出器を備える。ただし、選別用検出器２０１による物体検出は物体検出器２０３による物体検出に比べて、例えばよりサイズの大きな、つまり解像度の高い入力画像を用いる、又はより大きなビット数での並列演算で実行される等、機能又は性能の条件（以下、能力条件という）が異なる。物体検出器２０３及び選別用検出器２０１のそれぞれで処理される解像度の異なる入力画像とは、例えば自動運転車１０１上の記憶装置（図示なし）にいったん記憶された画像データを異なる解像度でダウンコンバートしたものである。
このような選別用検出器２０１による物体検出はリアルタイムではなく、例えば、１時間分の画像データに基づく物体検出の処理を３０分かけて実行し、物体検出器２０３よりも正確な結果を出す。つまり、選別用検出器２０１と物体検出器２０３とでは、同じ場面を撮影した画像に基づく物体検出であっても結果が異なる場合がある。選別用検出器２０１は、実行した物体検出の結果と、検出結果蓄積器２０４に蓄積されている検出結果データ３０１が示す検出結果とを比較し、その差異に応じた優先順位を決定し、決定した優先順位の情報を、物体検出の結果を含むデータに付した優先順位付き検出結果データを生成して、優先順位付き検出結果蓄積器２０６に蓄積する。図３Ｂは、優先順位付き検出結果蓄積器２０６に蓄積される、優先順位付き検出結果データの構成の一例である優先順位付き検出結果データ３２１を示す。図３Ｂの例では、優先順位付き検出結果データ３２１における優先順位３２２が、選別用検出器２０１によって決定された上記の優先順位である。
上記の物体検出の結果の差異とは、例えば数値的な差異であり、具体的な例を挙げると、同一のシーンの画像で検出された物体若しくはこの物体の像を示す枠の個数、当該像若しくは枠内の領域の、シーン全体の画像における位置若しくはこの画像に占める割合の差異である。選別用検出器２０１は、このような差異が大きいほど、対応するセンシング情報がより優先的にサーバ装置１０３に送信されるよう優先順位を決定する。物体検出の結果の差異の他の例としては、検出された物体の種類（タイプ）、例えば検出されたのが歩行者、自転車、オートバイ、自動車、障害物、又は標識のいずれであるかの差異である。選別用検出器２０１は、物体検出の結果にこのような差異がある場合に、対応するセンシング情報がより優先的にサーバ装置１０３に送信されるよう優先順位を決定する。
なお、優先順位は、差異の大きさに応じた事前の設定値に基づいても決定されてもよいし、例えば物体検出の結果について算出されるｍｅａｎ Ａｖｅｒａｇｅ Ｐｒｅｃｉｓｉｏｎ（ｍＡＰ）のような指標値を用いて決定されてもよい。
このような選別用検出器２０１は、本実施の形態における第２認識器及び決定部の例である。また、センシング情報を入力として選別用検出器２０１が実行する上記の物体検出の処理は、本実施の形態における第２認識処理の例である。また、優先順位付き検出結果データ３２１に含まれる検出結果３２４は、本実施の形態における第２認識結果の例である。
また、前記第２認識器は、前記第１認識器よりも使用計算リソースが多くてもよい。
例えば駐車中のように、自動運転中には自動運転に必要な他の処理に用いられている使用計算リソースを物体検出に転用することができる時間がある。このような時間に、第１認識器よりも認識の精度は高いが多くの使用計算リソースを要する第２認識器に処理を実行させることで、第１認識結果と差異のある可能性の高い第２認識結果を得ることができる。
また、前記決定部は、前記第１認識結果と前記第２認識結果との数値的な差異に応じて前記送信要否または送信の優先順位を決定してもよい。または、前記決定部は、前記第１認識結果と前記第２認識結果とのタイプの差異に応じて前記送信要否または送信の優先順位を決定してもよい。
このような差異に基づいて送信の要否又は優先順位を決定することで、再学習に有用である可能性の高い学習用データが優先的にサーバ装置に送信される。つまり、学習用データが効率的に収集される。
また、前記情報処理装置が搭載される車両において計算リソースに所定量以上の余裕があるかを判定する判定部をさらに備え、前記制御部は、前記車両において計算リソースに所定量以上の余裕があると前記判定部により判定されると、前記第２認識器に認識処理を実行させてもよい。
これにより、より精度の高い第２認識器による処理の実行が可能な時間に処理が行われ、その一方で、この処理のためにユーザによる自動運転車の使用が妨げられる状況の発生を抑えるができる。
また、前記情報処理装置が搭載される車両において使用可能な計算リソース、又は前記第１認識器のための学習目的に応じた前記第２認識器が前記第２認識処理に用いられてもよい。
つまり、多様な第２認識器を用い得ることで、例えば利用可能な計算リソースの多少に応じた第２認識処理が実行可能である。これにより、自動運転車上のリソースの有効な活用が図られる。また例えば、将来的に新機能を提供するための新たな対象の認識の実現に適した学習用データの収集のための第２認識処理が実行可能である。これにより、より安全で快適な自動運転車のユーザへの提供が促される。
また、前記第２認識器は、前記サーバ装置から通信を介して取得されてもよい。
これにより、自動運転車に実装される第２認識器の更新が可能になり、また、高い多様性が得られる。
また、前記制御部は、前記センシング情報のうち、所定の条件を満たすセンシング情報に対して他のセンシング情報よりも優先して前記第２認識器に前記第２認識処理を実行させてもよい。
このように、条件を用いてフィルタリングすることで、例えば学習用データが相対的に少ない走行状況の学習用データが効率的に収集される。このように収集された学習用データを用いて学習がされることで、物体認識の精度は、可能性に拘わらず起こり得る走行状況に対して万遍なく一定レベル以上に引き上げることができる。したがって、より安全で快適な自動運転車を早期にユーザに提供できる。
また、本発明の一態様に係る、サーバ装置と通信可能に接続される自動車に搭載される情報処理装置が備えるプロセッサによって実行されるプログラムは、前記プロセッサに、第１認識器によるセンシング情報を入力として第１認識処理と、前記第１認識器と能力条件が異なる認識器である第２認識器による、前記センシング情報を入力として第２認識処理と、前記第１認識処理の結果である第１認識結果と前記第２認識処理の結果である第２認識結果との差異に応じて、前記センシング情報の送信要否又は送信の優先順位の決定と、前記決定された送信要否又は優先順位に基づいての、前記センシング情報のサーバ装置への送信とを実行させる。
これにより、蓄積された走行中の画像データのサイズが膨大であっても、ネットワーク帯域や消費電力の問題が原因で再学習に有効な画像データを、再学習処理を行うためのサーバ装置に送信できない事態の発生を抑制することができる。言い換えると、限られたネットワーク帯域及び送信時間の中で、ＡＩを進化させるために有用な画像データが優先的にサーバ装置に送信されることで、学習用データが学習システムに効率的に収集される。それにより、ＡＩの進化をより確実に実施でき、自動運転車におけるＡＩ更新サイクルは加速し、より安全で快適な自動運転車を早期にユーザに提供できる。
検出結果送信可否確認器２０５は、センシング情報のサーバ装置１０３への送信が可能な状況であるか否かを、所定の情報に基づいて判断する。この所定の情報とは、例えば当該自動運転車１０１が駐車状態にあるか否か、充電量が所定量以上であるか否か、又は充電が実行されているか否かに関する情報である。これらの情報は、選別用検出器２０１による、サーバ装置１０３に送信するセンシング情報の優先順位の決定までの処理が実行可能であるか否かに関する判断の要素である。つまり、検出結果送信可否確認器２０５は、選別用検出器２０１による処理に必要なプロセッサ、メモリ及びこれらで消費される電力などのリソース（以下、計算リソースという）の必要な量が利用可能な状態であるか否かに基づいて、センシング情報のサーバ装置１０３への送信が可能な状況であるか否かを判断する。このような検出結果送信可否確認器２０５は、本実施の形態における判定部の例である。
なお、選別用検出器２０１は上述のとおり物体検出器２０３よりも正確な結果を出すものであることから、そのための処理により多くの計算リソースを要する場合がある。また、そのような処理をできるだけ短時間で完了できるように、選別用検出器２０１を実現するときのプロセッサが物体検出器２０３を実現するときよりも高い駆動周波数で動作してもよいため、同様により多くの計算リソースを要する場合がある。
また例えば、上記の所定の情報には、所定の速度以上でデータ送信が可能な帯域幅のネットワークが利用可能であるか否かに関する情報が含まれてもよい。この情報は、決定された優先順位に基づいての、センシング情報のサーバ装置１０３への送信が実行可能であるか否かに関する判断の要素である。
検出結果送信可否確認器２０５は、これらの情報を、例えば情報処理装置２００上で実行されている何らかのプログラムによる処理の結果として出力されるデータ、又は情報処理装置２００が接続されている車載のネットワーク（図示なし）を経由して他のＥＣＵから取得するデータに基づいて取得する。送信が可能であると判断した場合、検出結果送信可否確認器２０５は、選別用検出器２０１及び優先順位付き検出結果選択器２０７を起動する。
優先順位付き検出結果選択器２０７は、優先順位付き検出結果蓄積器２０６に蓄積された優先順位付き検出結果データ３２１に含まれる優先順位３２２に基づいて最優先の検出結果のデータを選択する。
検出結果送信器２０８は、優先順位付き検出結果選択器２０７が選択した検出結果のデータに対応するセンシング情報、より具体的には、優先順位付き検出結果データ３２１に含まれる画像データの情報が示す画像データを、ネットワーク１０２を介してサーバ装置１０３に送信する。優先順位付き検出結果選択器２０７及び検出結果送信器２０８は、本実施の形態における通信部の例である。
なお、画像データがある程度の時間長にわたる映像である場合には、送信されるセンシング情報は、優先順位付き検出結果データ３２１に示される画像データ全体ではなく、同じ優先順位付き検出結果データ３２１に含まれる時刻の情報からさらに特定可能な、当該画像データの一部分であってもよい。
上記のように構成される情報処理装置２００では、能力条件が異なる検出器による物体検出の結果に数値的な差異が大きい、又はタイプの差異があるシーンの画像データが優先的にサーバ装置１０３へ送信される。サーバ装置１０３では、情報処理装置２００から提供された画像データを用いて、リアルタイムの物体検出の精度を向上させるための再学習が行われる。しかしながら、情報処理装置２００からは、データ量、計算リソース、又は通信速度等が原因で、すべての画像データがサーバ装置１０３に送信できるとは限らない。そのような場合でも、リアルタイムの物体検出処理とリアルタイムではないがより正確な物体検出処理とで結果に差がある、又は結果の差が大きいシーンの画像データが優先的にサーバ装置１０３に送信されることで、サーバ装置１０３での上記の再学習が、より効率的又は効果的に実行される。
［動作］
次に、上記のように構成される情報処理装置２００の動作について説明する。図４は、情報処理装置２００の動作手順を示すフロー図である。なお、この一連の手順より前に、物体検出器２０３によるリアルタイムの物体検出処理、つまり第１認識処理は実行され、その第１認識結果を含む検出結果データが検出結果蓄積器２０４に蓄積されている。また、センサ２０２が出力して物体検出器２０３による物体検出に用いられたセンシング情報が自動運転車１０１上の記憶装置に保存されている。
まずは、検出結果送信可否確認器２０５が、センシング情報のサーバ装置１０３への送信が可能な状況であるか否かを、駐車状態にあるか否か等の上述の所定の情報に基づいて判断する（ステップＳ４０１）。
送信が可能な状況ではない場合（ステップＳ４０１でＮＯ）、後ほどステップＳ４０１は再度実行される。
送信が可能な状況である場合（ステップＳ４０１でＹＥＳ）、検出結果送信可否確認器２０５は、制御部に選別用検出器２０１及び優先順位付き検出結果選択器２０７を起動させる（ステップＳ４０２）。
次に、起動された選別用検出器２０１が、センシング情報を入力として第２認識処理を実行する（ステップＳ４０３）。ここで入力されるセンシング情報は、検出結果データにおいて一のＩＤで識別される各シーンに対応するセンシング情報である。
次に選別用検出器２０１は、同一のＩＤで識別されるシーンのセンシング情報に対する第１認識処理の結果である第１認識結果と第２認識処理の結果である第２認識結果との差異を取得し、この差異に応じて、当該シーンのセンシング情報の送信の優先順位を決定する（ステップＳ４０４）。決定された優先順位は、第２認識結果とともに優先順位付き検出結果データの一部として、優先順位付き検出結果蓄積器２０６に蓄積される（ステップＳ４０５）。
その次は、優先順位付き検出結果選択器２０７が、優先順位付き検出結果蓄積器２０６の稼働を確認すると（ステップＳ４０６でＹＥＳ）、優先順位付き検出結果蓄積器２０６に蓄積される優先順位付き検出結果データのうち、最も高い優先順位を示すものを選択する（ステップＳ４０７）。
次に、その選択結果に基づいたセンシング情報が、具体的には、選択された優先順位付き検出結果データに示される画像データ又はその一部が、検出結果送信器２０８からネットワーク１０２を介してサーバ装置１０３に送信される（ステップＳ４０８）。
以降、送信対象のセンシング情報のうち、未送信のものが優先順位の高い方から送信される（ステップＳ４０９でＹＥＳでステップＳ４０７から繰り返し）。
優先順位付き検出結果蓄積器２０６が稼働していない場合（ステップＳ４０６でＮＯ）、または送信対象のセンシング情報が全てサーバ装置１０３に送信された場合（ステップＳ４０９でＮＯ）には、一連の手順は終了する。
このように動作することで、情報処理装置２００は、物体検出器２０３で実行されるリアルタイムでの物体検出の精度を向上させるためにサーバ装置１０３で行われる再学習が、より効率的になるようなセンシング情報から優先的にサーバ装置１０３に提供する。
（変形例）
上述の実施の形態に係る情報処理装置の変形例について、図５から図１０を用いて説明する。
実施の形態における選別用検出器２０１は、センシング情報に基づいて物体検出を実行し、物体検出器２０３とは能力条件が異なって、リアルタイムではないがより正確な結果を出すものとして記載されているが、これに限定されない。以下、選別用検出器２０１に関する変形例を説明する。
図５は上記の実施の形態に係る情報処理装置が備え得る選別用検出器の他の一例である選別用検出器２０１Ａの機能的構成を説明するためのブロック図である。図６は、この例における選別用検出器２０１Ａの動作手順を示すフロー図である。
選別用検出器２０１Ａは、検出器選択部５０１と、複数の検出器５０２、検出器５０３及び検出器５０４とを含む。
検出器５０２、５０３及び５０４は互いに異なる能力条件で物体検出を行う。より具体的には、例えば物体検出の処理を行う画像のサイズ又は解像度が異なる。または、各々が互いに異なるタイプに特化した物体検出を行うものであってもよい。また、能力条件が異なる結果、物体検出の動作に使用する計算リソースもさらに異なる場合もある。
検出器選択部５０１は、ステップＳ４０３で物体検出を行う選別用検出器２０１Ａとして機能する検出器を、検出器５０２〜５０４から選択する（ステップＳ６０１）。この選択は、例えばサーバ装置１０３からこの時点までに受けた要求に応じてなされる。サーバ装置１０３からの要求とは、例えば「歩行者」のように物体検出の対象のタイプを指定する要求である。
検出器選択部５０１によって選択された検出器が物体検出を実行（ステップＳ６０２）することで、選別用検出器２０１Ａによる物体検出が実行される（ステップＳ４０３）。
なお、選択されて物体検出を実行する検出器は複数であってもよく、複数選択された検出器による物体検出は、逐次に実行されても並列で実行されてもよい。
図７は上記の実施の形態に係る情報処理装置が備え得る選別用検出器の他の一例である選別用検出器２０１Ｂの機能的構成を説明するためのブロック図である。図８は、この例における選別用検出器２０１Ｂの動作手順を示すフロー図である。
選別用検出器２０１Ｂは、検出器生成部７０１と検出器７０２とを含む。
検出器生成部７０１は、物体検出器２０３を基に検出器５０２を生成する（ステップＳ８０１）。物体検出器２０３を基にする検出器５０２の生成とは、物体検出器２０３の能力条件の変更、例えば物体検出器２０３の動作時よりも大きな（高解像度）の入力画像を使用させたり、プロセッサの並列演算のビット数を増加させたり、又は駆動周波数を上昇させたりすることによって、物体検出器２０３よりも認識性能又は処理性能を向上させた検出器を実現させることである。また、自動運転中には使用できない計算リソース、例えば、制御系アプリケーションが自動運転中に使用する演算能力若しくはメモリなどのハードウェアリソース又は消費電力などを追加的に使用して認識性能又は処理性能を向上させた検出器を実現させることであってもよい。
検出器生成部７０１によって生成された検出器５０２が物体検出を実行（ステップＳ８０２）することで、選別用検出器２０１Ｂによる物体検出が実行される（ステップＳ４０３）。
図９は上記の実施の形態に係る情報処理装置で物体検出を実行する選別用検出器のさらに他の一例である選別用検出器２０１Ｃを説明するためのブロック図である。図１０は、この例における情報処理装置２００の動作手順を示すフロー図である。
選別用検出器２０１Ｃは、検出器取得部９０１を備える。
検出器取得部９０１は、検出器９０２として用いられる認識モデル（又はニューラルネットワークデータなどの部品データ）を、ネットワーク１０２を介して例えばサーバ装置１０３に要求して取得する（ステップＳ１００１）。情報処理装置２００では、取得されたこの認識モデルを、プロセッサが用いて物体検出を行う（ステップＳ１００２）ことによって、選別用検出器２０１Ｃによる物体検出が実行される（ステップＳ４０３）。または、ニューラルネットワークなどの部品データが取得される構成の場合は、そのニューラルネットワークなどの部品データを認識モデルのパラメタとして物体検出器２０３が読み込んで動作することで検出器９０２が実現されてもよい。
なお、上記の態様は組み合わせられてもよい。例えば、複数の検出器が生成されてもよいし、複数の検出器が定期不定期に入れ替えられるようにサーバ装置１０３から提供されてもよい。また、サーバ装置１０３から提供される検出器による物体検出と検出器生成部７０１による物体検出とが、逐次に又は並列に実行されてもよい。
変形例におけるこれらのいずれの態様によっても、使用する選別用検出器の能力条件を、情報処理装置２００を備える車両の状況、又は意図される再学習の目的に応じて柔軟に変えて第２認識処理を行うことができる。その結果、物体検出器２０３の精度向上のためのサーバ装置１０３での再学習がより効率的に実行できるようになる。
また、選別用検出器２０１Ｃのように、サーバ装置１０３から検出器が提供される態様では、例えば新たなタイプの物体を検出する検出器が提供されてもよい。これにより、将来的な機能拡張の学習に利用するセンシング情報をサーバ装置１０３へ効率的に送信することができる。
（その他）
以上、本発明に係る情報処理装置について、実施の形態及びその変形例に基づいて上述のとおり説明したが、本発明は、上述の説明に限定されるものではない。
例えば、本発明に係る情報処理装置の動作手順は、図４のフロー図の内容に限定されない。図４のフロー図にブロックで示される各ステップは、矛盾のない限りにおいて順序を入れ替えたり、複数を並行させたりして実行されてもよい。また、一部が省略されてもよいし、追加のステップがあってもよい。例えば、ステップＳ４０６でＹＥＳの直後又はステップＳ４０９の直前に、センシング情報の送信が可能であるか否かについて、車両の充電状況又は利用可能な通信帯域に基づいて検出結果送信可否確認器２０５によって再度判断されてもよい。送信が可能でない場合には、一連の手順が終了してもよいし、またはいったん保留して、一定時間をおいて送信が可能であるかについて再確認がされてもよい。
また、図４のフロー図の一連の処理の実行中にユーザが自動運転車の使用を開始する場合は、当該処理は中断若しくは終了し、すぐに自動運転可能な状態に戻る。しかしながら、ユーザにとって有益な場合（自宅の車庫入れのための処理など）は、インストルメントパネル上のダイアログメッセージ又は音声メッセージ等を通じてユーザに画像データ転送処理の継続の了解を求め、ユーザの明示の指示がある場合、この指示に従って当該処理が中断又は終了されてもよい。
また、送信対象となるのはセンシング情報の一部であってもよい。例えば第１認識結果と第２認識結果とが同一であるか又は数値的な差異が所定の大きさより小さいセンシング情報は、サーバ装置１０３への送信対象外としてもよい。または、第１認識結果と第２認識結果とのタイプの差異が特定のタイプ間の差異である場合のみ送信対象とされてもよい。つまり、ステップＳ４０４における優先順位の決定に代えて、又は加えてセンシング情報の送信の要否が決定されてもよい。
また、複数の検出結果データに対して同じ優先順位が決定されてもよい。この場合には、さらに事前に設定された他の基準、例えば時刻順、検出された物体のタイプ間の所定の順序、信頼度の降順又は昇順等、検出結果データに含まれる他の情報、又は送信するデータのサイズに基づいてセンシング情報の送信順序が決定されて送信されてもよい。上述のようにセンシング情報の送信の要否のみが決定された場合も、送信対象のセンシング情報の送信順はこのような手法で決定されてもよい。
また、所定の条件を満たすセンシング情報に対しては、他のセンシング情報よりも優先して選別用検出器による物体検出、又はサーバ装置１０３への送信の対象とされてもよい。この所定の条件の例としては、センシング情報が生成された時刻に関する条件が挙げられる。これにより、例えば特定の時間帯での走行時に生成されたセンシング情報が優先的に処理される。別の例としては、センシング情報が生成された時の、情報処理装置２００が搭載される車両の走行のための制御の内容に関する条件であってもよい。例えば急制動等の制御が運転者又は自動運転システムによって行われた時に生成されたセンシング情報が優先的に処理されてもよい。また別の例としては、その車両の外部環境に関する条件であってもよい。例えば雨天時、路面状況、又はトンネルの中など、車両が特定の天候下又は場所におかれている時に生成されたセンシング情報が優先的に処理されてもよい。
これにより、例えば学習用のデータが集まりにくい状況、認識精度を特に強化したい状況のセンシング情報をより確実に集めることができ、リアルタイムの物体検出の精度を向上させるための再学習を促進することができる。
このように所定の条件で優先順位を付けてセンシング情報の処理をするためには、検出結果データにより詳細な情報が含められてもよい。図１１は、検出結果データの他の例を示す図である。図１１に示される検出結果データ１３０１には、制動状況１３０６として、具体的な走行制御に関する情報１１０１及び外部環境に関する情報（以下、外部環境情報ともいう）１１０２が含まれている。走行制御情報１１０１及び外部環境情報１１０２は、例えば自動運転車１０１が備える各種のセンサで測定されて、情報処理装置２００は、接続される車載ネットワークに接続される他のＥＣＵ等からこれらの情報を受信して検出結果３０４とあわせて検出結果データ１３０１に含めてもよい。なお、図１１の例では、走行制御情報１１０１及び外部環境情報１１０２は制動状況１３０６のサブ項目であるが、検出結果データの構造はこれに限定されない。例えば制動状況１３０６の情報はフットブレーキの操作の有無、押圧、操作時間等を含み、走行制御情報１１０１及び外部環境情報１１０２は、制動状況１３０６と同レベルの項目であってもよい。
例えば選別用検出器２０１は、これらの情報を参照して対応するセンシング情報に対して優先的に物体検出を実行してもよい。またこのような検出結果データ１３０１に対応するセンシング情報の優先的な送信は、選別用検出器２０１が物体検出器２０３による検出の結果との差異の有無又は大きさに拘わらず高い優先順位を適用してもよいし、優先順位付き検出結果選択器２０７がこのような情報を参照して検出結果送信器２０８から優先的に送信させてもよい。
また、第１認識結果と第２認識結果との差異に応じて決定された送信要否又は優先順位に基づいてセンシング情報の送信をするために用いられるデータの構造は、検出結果データ３０１又は優先順位付き検出結果データ３２１の構造に限定されない。例えば優先順位は、優先順位付き検出結果データ３２１に代えて、シーンＩＤとともに他のテーブルで管理されてもよい。その他の情報のデータについても、関連付けて管理されていればよく、その構造は限定されない。
また、各実施の形態で説明した各構成要素は、ソフトウェアとして実現されてもよいし、典型的には、集積回路であるＬＳＩとして実現されてもよい。これらは、個別に１チップ化されてもよいし、一部又は全てを含むように１チップ化されてもよい。ここでは、ＬＳＩとしたが、集積度の違いにより、ＩＣ、システムＬＳＩ、スーパーＬＳＩ、ウルトラＬＳＩと呼称されることもある。また、集積回路化の手法はＬＳＩに限るものではなく、専用回路又は汎用プロセッサで実現しても良い。ＬＳＩ製造後に、プログラムすることが可能なＦＰＧＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）や、ＬＳＩ内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサを利用してもよい。更には、半導体技術の進歩又は派生する別技術によりＬＳＩに置き換わる集積回路化の技術が登場すれば、当然、その技術を用いて構成要素の集積化を行ってもよい。
また、本発明の一態様としては、コンピュータプログラム又はこのコンピュータプログラムを含むデータを示すデジタル信号をコンピュータで読み取り可能な記録媒体、例えば、フレキシブルディスク、ハードディスク、ＣＤ−ＲＯＭ、ＭＯ、ＤＶＤ、ＤＶＤ−ＲＯＭ、ＤＶＤ−ＲＡＭ、ＢＤ（Ｂｌｕ−ｒａｙ（登録商標） Ｄｉｓｃ）、半導体メモリ等に記録したものとしてもよい。また、これらの記録媒体に記録されている前記デジタル信号であるとしても良い。
また、本発明の一態様としては、コンピュータプログラム又はデジタル信号を、電気通信回線、無線又は有線通信回線、インターネットを代表とするネットワーク、データ放送等を経由して伝送するものとしても良い。
また、本発明の一態様としては、マイクロプロセッサとメモリを備えたコンピュータシステムであって、メモリは、上記コンピュータプログラムを記録しており、マイクロプロセッサは、コンピュータプログラムに従って動作するとしてもよい。上述の情報処理装置はこのようなコンピュータシステムの一例である。
また、プログラム若しくは前記デジタル信号を前記記録媒体に記録して移送することにより、又は、前記プログラム若しくは前記デジタル信号を、前記ネットワーク等を経由して移送することにより、独立した他のコンピュータシステムにより実施するとしても良い。
上記実施の形態及び上記変形例で示した各構成要素及び機能を任意に組み合わせることで実現される形態も本発明の範囲に含まれる。
本発明は、リアルタイム物体検出器を備える自動運転車で用いられる認識モデルを、自動運転車から遠隔で強化するための仕組みの効率的な運用に利用可能である。
１０１ 自動運転車
１０２ ネットワーク
１０３ サーバ装置
２００ 情報処理装置
２０１、２０１Ａ、２０１Ｂ、２０１Ｃ 選別用検出器（第２認識器、決定部）
２０２ センサ
２０３ 物体検出器（第１認識器）
２０４ 検出結果蓄積器
２０５ 検出結果送信可否確認器
２０６ 優先順位付き検出結果蓄積器
２０７ 優先順位付き検出結果選択器（通信部）
２０８ 検出結果送信器（通信部）
５０１ 検出器選択部
５０２、５０３、５０４、７０２、９０２ 検出器
７０１ 検出器生成部
９０１ 検出器取得部

Claims (10)

  1. 自動運転車に搭載される情報処理装置であって、
    第１認識器によってセンシング情報を入力として、物体検出処理である第１認識処理を実行し、
    前記第１認識器と能力条件が異なる認識器である第２認識器によって、前記センシング情報を入力として、物体検出処理である第２認識処理を実行する制御部と、
    前記第１認識処理の結果である第１認識結果と前記第２認識処理の結果である第２認識結果との差異に応じて、前記センシング情報の送信要否又は送信の優先順位を決定する決定部と、
    前記決定された送信要否又は優先順位に基づいて前記センシング情報をサーバ装置へ送信する通信部と、
    を備える情報処理装置。
  2. 前記第２認識器は、前記第１認識器よりも使用計算リソースが多い、
    請求項１に記載の情報処理装置。
  3. 前記決定部は、前記第１認識結果と前記第２認識結果との数値的な差異に応じて前記送信要否または送信の優先順位を決定する、
    請求項１又は２に記載の情報処理装置。
  4. 前記決定部は、前記第１認識結果と前記第２認識結果とのタイプの差異に応じて前記送信要否または送信の優先順位を決定する、
    請求項１又は２に記載の情報処理装置。
  5. 前記情報処理装置が搭載される車両において計算リソースに所定量以上の余裕があるかを判定する判定部をさらに備え、
    前記制御部は、前記車両において計算リソースに所定量以上の余裕があると前記判定部により判定されると、前記第２認識器に認識処理を実行させる、
    請求項１〜４のいずれか１項に記載の情報処理装置。
  6. 前記情報処理装置が搭載される車両において使用可能な計算リソース、又は前記第１認識器のための学習目的に応じた前記第２認識器が前記第２認識処理に用いられる、
    請求項１〜５のいずれか１項に記載の情報処理装置。
  7. 前記第２認識器は、前記サーバ装置から通信を介して取得される、
    請求項１〜６のいずれか１項に記載の情報処理装置。
  8. 前記制御部は、前記センシング情報のうち、所定の条件を満たすセンシング情報に対して他のセンシング情報よりも優先して前記第２認識器に前記第２認識処理を実行させる、
    請求項１〜７のいずれか１項に記載の情報処理装置。
  9. 前記制御部は、前記センシング情報のうち、生成された時刻を示す時間情報、前記情報処理装置が搭載される車両の走行のための制御の内容を示す走行制御情報、又は前記車両の外部環境を示す外部環境情報に関する条件を満たすセンシング情報を前記所定の条件を満たすセンシング情報と決定する、
    請求項８に記載の情報処理装置。
  10. サーバ装置と通信可能に接続される自動運転車に搭載される情報処理装置が備えるプロセッサによって実行されるプログラムであって、前記プロセッサに、
    第１認識器によるセンシング情報を入力として、物体検出処理である第１認識処理と、
    前記第１認識器と能力条件が異なる認識器である第２認識器による、前記センシング情報を入力として、物体検出処理である第２認識処理と、
    前記第１認識処理の結果である第１認識結果と前記第２認識処理の結果である第２認識結果との差異に応じて、前記センシング情報の送信要否又は送信の優先順位の決定と、
    前記決定された送信要否又は優先順位に基づいての、前記センシング情報のサーバ装置への送信と、
    を実行させるプログラム。
JP2018044229A 2018-03-12 2018-03-12 情報処理装置 Active JP6986685B2 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2018044229A JP6986685B2 (ja) 2018-03-12 2018-03-12 情報処理装置
EP19159865.5A EP3550469A3 (en) 2018-03-12 2019-02-28 Information processing apparatus
CN201910171363.4A CN110254438B (zh) 2018-03-12 2019-03-07 信息处理装置及程序记录介质
US16/295,469 US11166133B2 (en) 2018-03-12 2019-03-07 Information processing apparatus

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2018044229A JP6986685B2 (ja) 2018-03-12 2018-03-12 情報処理装置

Publications (2)

Publication Number Publication Date
JP2019159659A JP2019159659A (ja) 2019-09-19
JP6986685B2 true JP6986685B2 (ja) 2021-12-22

Family

ID=65635484

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018044229A Active JP6986685B2 (ja) 2018-03-12 2018-03-12 情報処理装置

Country Status (4)

Country Link
US (1) US11166133B2 (ja)
EP (1) EP3550469A3 (ja)
JP (1) JP6986685B2 (ja)
CN (1) CN110254438B (ja)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7383954B2 (ja) * 2019-09-25 2023-11-21 トヨタ自動車株式会社 学習用データ収集装置
EP4083910A4 (en) * 2019-12-24 2023-07-26 Sony Group Corporation Information processing device, information processing system, information processing method and information processing program
DE112020005665T5 (de) * 2020-01-24 2023-03-09 Mitsubishi Electric Corporation Steuervorrichtung, mobiles Objekt, Verwaltungsserver, Basisstation, Kommunikationssystem undKommunikationsverfahren
EP4100889A4 (en) * 2020-02-07 2023-05-03 Telefonaktiebolaget LM Ericsson (publ) DATA TRANSMISSION BY DATA PRIORITIZATION
CN118968797A (zh) * 2020-02-14 2024-11-15 松下知识产权经营株式会社 信息处理方法以及信息处理装置
JP2021135793A (ja) * 2020-02-27 2021-09-13 ソニーグループ株式会社 情報処理装置、情報処理方法、及びプログラム
US20240179096A1 (en) * 2021-03-29 2024-05-30 Nec Corporation Vehicle-mounted apparatus, control server, method for collecting measurement data and program recording medium
EP4152282A1 (en) * 2021-09-21 2023-03-22 Zenseact AB Method and system for evaluation and development of automated driving system features or functions
EP4152153A1 (en) * 2021-09-21 2023-03-22 Zenseact AB Method and system for evaluation and development of automated driving system features
JP2023106029A (ja) * 2022-01-20 2023-08-01 日立Astemo株式会社 車載カメラ装置、車載カメラシステム、および、画像保存方法

Family Cites Families (34)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000259378A (ja) * 1999-03-12 2000-09-22 Canon Inc データ処理装置および画像出力制御装置およびデータ転送方法および画像出力制御方法およびコンピュータが読み出し可能なプログラムを格納した記憶媒体
JP4664878B2 (ja) * 2006-08-11 2011-04-06 株式会社日立国際電気 画像処理装置
JP5640774B2 (ja) * 2011-01-28 2014-12-17 富士通株式会社 情報照合装置、情報照合方法および情報照合プログラム
EP3575159B1 (en) * 2013-05-24 2021-12-29 Panasonic Intellectual Property Corporation of America Image transmitting device
JP6345572B2 (ja) * 2014-11-04 2018-06-20 アルパイン株式会社 走行映像記録システムおよびこれに用いるドライブレコーダ、並びに記録走行映像のアップロード方法
CN104463208A (zh) * 2014-12-09 2015-03-25 北京工商大学 组合标记规则的多视图协同半监督分类算法
CN105893920B (zh) * 2015-01-26 2019-12-27 阿里巴巴集团控股有限公司 一种人脸活体检测方法和装置
EP3286693A1 (en) * 2015-04-20 2018-02-28 3M Innovative Properties Company Dual embedded optical character recognition (ocr) engines
US9494439B1 (en) * 2015-05-13 2016-11-15 Uber Technologies, Inc. Autonomous vehicle operated with guide assistance of human driven vehicles
JP6103265B2 (ja) * 2015-05-25 2017-03-29 マツダ株式会社 車両用歩行者画像取得装置
EP3350742B1 (en) * 2015-09-17 2024-03-06 Tower-Sec Ltd. Systems and methods for detection of malicious activity in vehicle data communication networks
US10139828B2 (en) * 2015-09-24 2018-11-27 Uber Technologies, Inc. Autonomous vehicle operated with safety augmentation
WO2017075089A1 (en) * 2015-10-28 2017-05-04 Loma Linda University System and method to analyze various retinal layers
JP6682833B2 (ja) * 2015-12-04 2020-04-15 トヨタ自動車株式会社 物体認識アルゴリズムの機械学習のためのデータベース構築システム
JP6380422B2 (ja) * 2016-02-05 2018-08-29 トヨタ自動車株式会社 自動運転システム
US10154048B2 (en) * 2016-03-18 2018-12-11 Qualcomm Incorporated Methods and systems for location-based authentication using neighboring sensors
US10189479B2 (en) * 2016-04-06 2019-01-29 At&T Intellectual Property I, L.P. Methods and apparatus for vehicle operation analysis
CN107298021B (zh) * 2016-04-15 2022-03-08 松下电器（美国）知识产权公司 信息提示控制装置、自动驾驶车及其驾驶辅助系统
US10019640B2 (en) * 2016-06-24 2018-07-10 Accenture Global Solutions Limited Intelligent automatic license plate recognition for electronic tolling environments
CN106250438B (zh) * 2016-07-26 2020-07-14 上海交通大学 基于随机游走模型的零引用文章推荐方法及系统
JP2018022220A (ja) * 2016-08-01 2018-02-08 株式会社リコー 挙動データ解析システム及び挙動データ解析装置及び挙動データ解析方法
CN107704456B (zh) * 2016-08-09 2023-08-29 松下知识产权经营株式会社 识别控制方法以及识别控制装置
DE112016002817T5 (de) * 2016-08-24 2018-04-26 Google Inc. Änderungserfassungbasiertes bildaufnahme-beauftragungssystem
JP6761708B2 (ja) * 2016-09-05 2020-09-30 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカＰａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ 駐車位置特定方法、駐車位置学習方法、駐車位置特定システム、駐車位置学習装置およびプログラム
WO2018098161A1 (en) * 2016-11-22 2018-05-31 Dispatch, Inc. Methods for autonomously navigating across uncontrolled and controlled intersections
CN106778867B (zh) * 2016-12-15 2020-07-07 北京旷视科技有限公司 目标检测方法和装置、神经网络训练方法和装置
CN107256561A (zh) * 2017-04-28 2017-10-17 纳恩博（北京）科技有限公司 目标跟踪方法和装置
CN113095124B (zh) * 2017-06-07 2024-02-06 创新先进技术有限公司 一种人脸活体检测方法、装置以及电子设备
US10796572B2 (en) * 2017-07-17 2020-10-06 Ford Global Technologies, Llc Automated map anomaly detection and update
DE102017219441A1 (de) * 2017-10-30 2019-05-02 Robert Bosch Gmbh Verfahren zum Trainieren eines zentralen Künstlichen-Intelligenz-Moduls
US20190205744A1 (en) * 2017-12-29 2019-07-04 Micron Technology, Inc. Distributed Architecture for Enhancing Artificial Neural Network
US11328210B2 (en) * 2017-12-29 2022-05-10 Micron Technology, Inc. Self-learning in distributed architecture for enhancing artificial neural network
US10963706B2 (en) * 2018-01-13 2021-03-30 Toyota Jidosha Kabushiki Kaisha Distributable representation learning for associating observations from multiple vehicles
US10726275B2 (en) * 2018-03-07 2020-07-28 Visteon Global Technologies, Inc. System and method for correlating vehicular sensor data

Also Published As

Publication number Publication date
CN110254438A (zh) 2019-09-20
CN110254438B (zh) 2024-08-13
US11166133B2 (en) 2021-11-02
US20190281430A1 (en) 2019-09-12
EP3550469A2 (en) 2019-10-09
EP3550469A3 (en) 2020-01-08
JP2019159659A (ja) 2019-09-19

Similar Documents

Publication Publication Date Title
JP6986685B2 (ja) 情報処理装置
US10759444B2 (en) Resource optimization in vehicles
JP6605642B2 (ja) 車両及び車両を管理制御するシステム
US11887409B2 (en) Device health code broadcasting on mixed vehicle communication networks
JP2018160087A (ja) 非搭乗型自動駐車システム、車両、及び非搭乗型自動駐車プログラム
JP2019160242A (ja) 通信装置およびスケジュール作成方法
US11130500B2 (en) In-vehicle electronic control apparatus
JP6620479B2 (ja) 交通情報提供システム、交通情報提供装置及び車載通信装置
CN113128929A (zh) 车辆载重状态的识别方法、装置、计算机设备和介质
CN105719359A (zh) 车辆信息的获取方法和装置
JP7496391B2 (ja) カスタマイズされたデータ要求システムおよび使用方法
CN116601065A (zh) 一种自动驾驶数据采集和闭环管理的方法及系统
CN117859116A (zh) 数据转换程序、数据提供系统、车辆控制系统以及车辆控制装置
JP2019161392A (ja) 車両情報処理システム、管理装置、車両情報処理方法および車両情報処理プログラム
US12024100B2 (en) Device-level fault detection
CN117376265A (zh) 数据的监控和发送方法、装置、电子设备及车辆
CN118269947A (zh) 一种泊车方法及相关装置
CN115923843A (zh) 一种自动驾驶决策规划模型的优化方法、装置及设备
CN113256845A (zh) 一种数据采集方法、装置、存储介质及系统
KR102570295B1 (ko) 차량 및 그 제어 방법
JP7215325B2 (ja) 情報収集システム、情報収集方法及び情報収集プログラム
CN107300905B (zh) 移动体控制设备和移动体控制方法
CN115826544B (zh) 一种汽车配件的生产调参系统
KR20250025132A (ko) 주행영상기록장치와 그 제어방법 및 그 제조방법
CN118369702A (zh) 车载装置、路侧装置、控制方法以及计算机程序

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200918

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20210823

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210831

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20211012

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20211102

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20211111

R151 Written notification of patent or utility model registration

Ref document number: 6986685

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151