[go: up one dir, main page]

JP7188844B2 - 車両のレーン割込みの自動予測及び利他的応答 - Google Patents

車両のレーン割込みの自動予測及び利他的応答 Download PDF

Info

Publication number
JP7188844B2
JP7188844B2 JP2018526138A JP2018526138A JP7188844B2 JP 7188844 B2 JP7188844 B2 JP 7188844B2 JP 2018526138 A JP2018526138 A JP 2018526138A JP 2018526138 A JP2018526138 A JP 2018526138A JP 7188844 B2 JP7188844 B2 JP 7188844B2
Authority
JP
Japan
Prior art keywords
vehicle
target vehicle
host vehicle
lane
image capture
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2018526138A
Other languages
English (en)
Other versions
JP2019505034A5 (ja
JP2019505034A (ja
Inventor
シュタイン，ギデオン
Original Assignee
モービルアイ ビジョン テクノロジーズ リミテッド
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by モービルアイ ビジョン テクノロジーズ リミテッド filed Critical モービルアイ ビジョン テクノロジーズ リミテッド
Publication of JP2019505034A publication Critical patent/JP2019505034A/ja
Publication of JP2019505034A5 publication Critical patent/JP2019505034A5/ja
Priority to JP2022129417A priority Critical patent/JP7582625B2/ja
Application granted granted Critical
Publication of JP7188844B2 publication Critical patent/JP7188844B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/09—Arrangements for giving variable traffic instructions
    • G08G1/0962—Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages
    • G08G1/0968—Systems involving transmission of navigation instructions to the vehicle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00—Drive control systems specially adapted for autonomous road vehicles
    • B60W60/001—Planning or execution of driving tasks
    • B60W60/0027—Planning or execution of driving tasks using trajectory prediction for other traffic participants
    • B60W60/00274—Planning or execution of driving tasks using trajectory prediction for other traffic participants considering possible movement changes
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/167—Driving aids for lane monitoring, lane changing, e.g. blind spot detection
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/18—Propelling the vehicle
    • B60W30/18009—Propelling the vehicle related to particular drive situations
    • B60W30/18163—Lane change; Overtaking manoeuvres
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00—Drive control systems specially adapted for autonomous road vehicles
    • B60W60/001—Planning or execution of driving tasks
    • B60W60/0015—Planning or execution of driving tasks specially adapted for safety
    • B60W60/0016—Planning or execution of driving tasks specially adapted for safety of the vehicle or its occupants
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0246—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0246—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
    • G05D1/0251—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means extracting 3D information from a plurality of images taken from different locations, e.g. stereo vision
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/20—Control system inputs
    • G05D1/24—Arrangements for determining position or orientation
    • G05D1/243—Means capturing signals occurring naturally from the environment, e.g. ambient optical, acoustic, gravitational or magnetic signals
    • G05D1/2435—Extracting 3D information
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/20—Control system inputs
    • G05D1/24—Arrangements for determining position or orientation
    • G05D1/247—Arrangements for determining position or orientation using signals provided by artificial sources external to the vehicle, e.g. navigation beacons
    • G05D1/249—Arrangements for determining position or orientation using signals provided by artificial sources external to the vehicle, e.g. navigation beacons from positioning sensors located off-board the vehicle, e.g. from cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/09—Arrangements for giving variable traffic instructions
    • G08G1/0962—Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages
    • G08G1/09623—Systems involving the acquisition of information from passive traffic signs by means mounted on the vehicle
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/09—Arrangements for giving variable traffic instructions
    • G08G1/0962—Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages
    • G08G1/09626—Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages where the origin of the information is within the own vehicle, e.g. a local storage device, digital map
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/403—Image sensing, e.g. optical camera
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2552/00—Input parameters relating to infrastructure
    • B60W2552/53—Road markings, e.g. lane marker or crosswalk
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2556/00—Input parameters relating to data
    • B60W2556/45—External transmission of data to or from the vehicle
    • B60W2556/50—External transmission of data to or from the vehicle of positioning data, e.g. GPS [Global Positioning System] data

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Automation & Control Theory (AREA)
  • Theoretical Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Electromagnetism (AREA)
  • Human Computer Interaction (AREA)
  • Traffic Control Systems (AREA)
  • Business, Economics & Management (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Game Theory and Decision Science (AREA)
  • Medical Informatics (AREA)
  • Control Of Driving Devices And Active Controlling Of Vehicle (AREA)
  • Navigation (AREA)

Description

関連出願の相互参照
本願は、２０１５年１１月２６日に出願された米国仮特許出願第６２／２６０，２８１号及び２０１６年７月１２日に出願された米国仮特許出願第６２／３６１，３４３号の優先権の利益を主張するものである。上記出願は全て、全体として参照により本明細書に援用される。
背景
技術分野
本開示は、概して、自律車両ナビゲーションに関する。更に、本開示は、割込み車両を検出し且つそれに応答し、及び利他的動作パラメータを考慮に入れながらナビゲートするためのシステム及び方法に関する。
背景情報
技術が進化し続けるにつれ、路上でナビゲート可能な完全自律車両という目標が現実味を帯びてきている。自律車両は、様々な要因を考慮する必要があり得、それらの要因に基づいて、意図される目的地に安全且つ正確に到達するのに適切な判断を下し得る。例えば、自律車両は、視覚情報（例えば、カメラから捕捉された情報）を処理して解釈する必要があり得ると共に、他のソースから（例えば、全地球測位システム（ＧＰＳ）デバイス、速度センサ、加速度計、サスペンションセンサ等から）得られる情報を使用することもある。同時に、目的地にナビゲートするために、自律車両は、特定の道路内のその位置（例えば、複数レーン道路内の特定のレーン）を識別し、他の車両と並んでナビゲートし、障害物及び歩行者を回避し、交通信号及び標識を観測し、適切な交差点又はインターチェンジで１つの道路から別の道路に走行する必要もあり得る。
ナビゲーション中、自律車両は、レーンシフトを試みている他の車両に遭遇し得る。例えば、自律車両が走行しているレーンの左又は右のレーンにある車両が、自律車両が走行しているレーンに変更、すなわち割り込もうとし得る。このような割込みが行われる場合、自律車両は、もう一方の車両による割込みを回避するために、例えばその速度又は加速度を変更し、及び／又は他のレーンに変更することによってナビゲーション応答を生じさせなければならない。
幾つかの例において、もう一方の車両は割り込もうとしているように見え得るが、最終的に割込みが行われないことがあり得る（例えば、もう一方の車両のドライバーの気が変わったか、もう一方の車両が単に滑っているに過ぎないという理由による）。もう一方の車両による割込みが行われる可能性が十分となるまで、ナビゲーション応答の実行を遅らせると、不必要なブレーキを防止し得るものの、このような遅延はまた、衝突のリスクを増大させ、及び／又は自律車両内の乗員の乗り心地が悪くなり得るようなブレーキをかける原因となり得る。したがって、車両による割込みの試みの予測を改善することが求められている。
更に、幾つかの場合、他の車両による割込みは、例えば道路及び／又は交通ルールにより必要となり得る。しかしながら、別の場合、割込みは、例えば他の車両が単に低速の車両を追い越したいとき等、任意選択により得る。自律車両は、目的地まで遅れずに安全に走行するようにプログラムされ得るため、自律車両は、他の車両による割込みを、その割込みが必要でないのであれば必ずしも許可しないことがあり得る。しかしながら、幾つかの場合、自律車両のオペレータにとって、及び／又は交通の全体的効率にとって、このような割込みを許可することが好ましいことがあり得る。したがって、利他的行動を含めた割込みプロセスが必要である。
概要
本開示による実施形態は、自律車両ナビゲーションのシステム及び方法を提供する。開示される実施形態は、カメラを使用して、自律車両ナビゲーション特徴を提供し得る。例えば、本開示の実施形態によれば、開示されるシステムは、車両の環境を監視する１つ、２つ、又は３つ以上のカメラを含み得る。開示されるシステムは、例えば、カメラの１つ又は複数により捕捉された画像の分析に基づいて、ナビゲーション応答を提供し得る。ナビゲーション応答は、例えば、全地球測位（ＧＰＳ）データ、センサデータ（例えば、加速度計、速度センサ、サスペンションセンサ等から）、及び／又は他の地図データを含む他のデータを考慮することもできる。
開示される実施形態によれば、ホスト車両のための車両割込み検出及び応答システムが提供される。本システムは、データインタフェースと、少なくとも１つの処理デバイスとを含み得る。少なくとも１つの処理デバイスは、データインタフェースを介して、ホスト車両に関連付けられる少なくとも１つの画像捕捉デバイスから複数の画像を受信することと、複数の画像において、ホスト車両が走行している第２のレーンと異なる第１のレーンを走行している標的車両の画像を識別することと、複数の画像の分析に基づいて、標的車両が第１のレーンから第２のレーンに変更するであろうという少なくとも１つのインジケータを識別することと、少なくとも１つの所定の割込み感度変更要素がホスト車両の環境中に存在するか否かを検出することと、所定の割込み感度変更要素が検出されない場合、少なくとも１つのインジケータの識別に基づいて、及び第１の割込み感度パラメータに関連付けられる値に基づいて、ホスト車両における第１のナビゲーション応答を生じさせることと、少なくとも１つの所定の割込み感度変更要素が検出される場合、少なくとも１つのインジケータの識別に基づいて、及び第２の割込み感度パラメータに関連付けられる値に基づいて、ホスト車両における第２のナビゲーション応答を生じさせることとを行うようにプログラムされ得、第２の割込み感度パラメータは、第１の割込み感度パラメータと異なる。
他の開示される実施形態によれば、ホスト車両は、車体と、少なくとも１つの画像捕捉デバイスと、少なくとも１つの処理デバイスとを含み得る。少なくとも１つの処理デバイスは、ホスト車両に関連付けられる少なくとも１つの画像捕捉デバイスから複数の画像を受信することと、複数の画像において、ホスト車両が走行している第２のレーンと異なる第１のレーンを走行している標的車両の画像を識別することと、複数の画像の分析に基づいて、標的車両が第１のレーンから第２のレーンに変更するであろうという少なくとも１つのインジケータを識別することと、少なくとも１つの所定の割込み感度変更要素がホスト車両の環境中に存在するか否かを検出することと、所定の割込み感度変更要素が検出されない場合、少なくとも１つのインジケータの識別に基づいて、及び第１の割込み感度パラメータに関連付けられる値に基づいて、ホスト車両における第１のナビゲーション応答を生じさせることと、少なくとも１つの所定の割込み感度変更要素が検出される場合、少なくとも１つのインジケータの識別に基づいて、及び第２の割込み感度パラメータに関連付けられる値に基づいて、ホスト車両における第２のナビゲーション応答を生じさせることとを行うようにプログラムされ得、第２の割込み感度パラメータは、第１の割込み感度パラメータと異なる。
また別の開示される実施形態によれば、標的車両による割込みを検出し、且つそれに応答する方法が提供される。本方法は、ホスト車両に関連付けられる少なくとも１つの画像捕捉デバイスから複数の画像を受信することと、複数の画像において、ホスト車両が走行している第２のレーンと異なる第１のレーンを走行している標的車両の画像を識別することと、複数の画像の分析に基づいて、標的車両が第１のレーンから第２のレーンに変更するであろうという少なくとも１つのインジケータを識別することと、少なくとも１つの所定の割込み感度変更要素がホスト車両の環境中に存在するか否かを検出することと、所定の割込み感度変更要素が検出されない場合、少なくとも１つのインジケータの識別に基づいて、及び第１の割込み感度パラメータに関連付けられる値に基づいて、ホスト車両における第１のナビゲーション応答を生じさせることと、少なくとも１つの所定の割込み感度変更要素が検出される場合、少なくとも１つのインジケータの識別に基づいて、及び第２の割込み感度パラメータに関連付けられる値に基づいて、ホスト車両における第２のナビゲーション応答を生じさせることとを含み、第２の割込み感度パラメータは、第１の割込み感度パラメータと異なる。
開示される実施形態によれば、ホスト車両のためのナビゲーションシステムが提供される。本システムは、データインタフェースと、少なくとも１つの処理デバイスとを含み得る。少なくとも１つの処理デバイスは、データインタフェースを介してホスト車両に関連付けられる少なくとも１つの画像捕捉デバイスから複数の画像を受信することと、複数の画像の分析に基づいて、ホスト車両の環境中の少なくとも１つの標的車両を識別することと、複数の画像の分析に基づいて、標的車両に関連付けられる１つ又は複数の状況的特徴を特定することと、利他的行動パラメータに関連付けられる現在の値を特定することと、標的車両に関連付けられる１つ又は複数の状況的特徴に基づいて、ホスト車両のナビゲーション状態の変更が必要ではないことを特定するが、利他的行動パラメータに関連付けられる現在の値に基づいて、及び標的車両に関連付けられる１つ又は複数の状況的特徴に基づいて、ホスト車両における少なくとも１つのナビゲーション変更を生じさせることとを行うようにプログラムされ得る。
開示される他の実施形態によれば、ホスト車両は、本体と、少なくとも１つの画像捕捉デバイスと、少なくとも１つの処理デバイスとを含み得る。少なくとも１つの処理デバイスは、少なくとも１つの画像捕捉デバイスから複数の画像を受信することと、複数の画像の分析に基づいて、ホスト車両の環境中の少なくとも１つの標的車両を識別することと、複数の画像の分析に基づいて、標的車両に関連付けられる１つ又は複数の状況的特徴を特定することと、利他的行動パラメータに関連付けられる現在の値を特定することと、標的車両に関連付けられる１つ又は複数の状況的特徴に基づいて、ホスト車両のナビゲーション状態の変更が必要ではないことを特定するが、利他的行動パラメータに関連付けられる現在の値に基づいて、及び標的車両に関連付けられる１つ又は複数の状況的特徴に基づいて、ホスト車両における少なくとも１つのナビゲーション変更を生じさせることとを行うように構成され得る。
また別の開示された実施形態によれば、ホスト車両をナビゲートする方法が提供される。本方法は、車両に関連付けられる少なくとも１つの画像捕捉デバイスから複数の画像を受信することと、複数の画像の分析に基づいて、ホスト車両の環境中の少なくとも１つの標的車両を識別することと、複数の画像の分析に基づいて、標的車両に関連付けられる１つ又は複数の状況的特徴を特定することと、利他的行動パラメータに関連付けられる現在の値を特定することと、標的車両に関連付けられる１つ又は複数の状況的特徴に基づいて、ホスト車両のナビゲーション状態の変更が必要ではないことを特定するが、利他的行動パラメータに関連付けられる現在の値に基づいて、及び標的車両に関連付けられる１つ又は複数の状況的特徴に基づいて、ホスト車両における少なくとも１つのナビゲーション変更を生じさせることとを含み得る。
開示される他の実施形態によれば、非一時的コンピュータ可読記憶媒体は、少なくとも１つの処理デバイスにより実行され且つ本明細書に記載される任意の方法を実行するプログラム命令を記憶し得る。
上述した概説及び以下に詳述する説明は、単に例示的及び説明的なものであり、特許請求の範囲の限定ではない。
図面の簡単な説明
本開示に組み込まれ、本明細書の一部をなす添付図面は、開示される様々な実施形態を示す。
開示される実施形態による例示的なシステムの図表現である。 開示される実施形態によるシステムを含む例示的な車両の側面図表現である。 開示される実施形態による図２Ａに示される車両及びシステムの上面図表現である。 開示される実施形態によるシステムを含む車両の別の実施形態の上面図表現である。 開示される実施形態によるシステムを含む車両の更に別の実施形態の上面図表現である。 開示される実施形態によるシステムを含む車両の更に別の実施形態の上面図表現である。 開示される実施形態による例示的な車両制御システムの図表現である。 バックミラーと、開示される実施形態による車両撮像システムのユーザインタフェースとを含む車両の内部の図表現である。 開示される実施形態による、バックミラーの背後に、車両フロントガラスと対向して位置決めされるように構成されるカメラマウントの例の図である。 開示される実施形態による、異なる視点からの図３Ｂに示されるカメラマウントの図である。 開示される実施形態による、バックミラーの背後に、車両フロントガラスと対向して位置決めされるように構成されるカメラマウントの例の図である。 開示される実施形態による１つ又は複数の動作を実行する命令を記憶するように構成されるメモリの例示的なブロック図である。 開示される実施形態による、単眼画像分析に基づいて１つ又は複数のナビゲーション応答を生じさせる例示的なプロセスを示すフローチャートである。 開示される実施形態による、画像の組内の１つ又は複数の車両及び／又は歩行者を検出する例示的なプロセスを示すフローチャートである。 開示される実施形態による、画像の組内の道路マーク及び／又はレーンジオメトリ情報を検出する例示的なプロセスを示すフローチャートである。 開示される実施形態による、画像の組内の信号機を検出する例示的なプロセスを示すフローチャートである。 開示される実施形態による、車両経路に基づいて１つ又は複数のナビゲーション応答を生じさせる例示的なプロセスのフローチャートである。 開示される実施形態による、先行車両がレーンを変更中であるか否かを特定する例示的なプロセスを示すフローチャートである。 開示される実施形態による、立体画像分析に基づいて１つ又は複数のナビゲーション応答を生じさせる例示的なプロセスを示すフローチャートである。 開示される実施形態による、３組の画像の分析に基づいて１つ又は複数のナビゲーション応答を生じさせる例示的なプロセスを示すフローチャートである。 開示される実施形態による、１つ又は複数の動作を実行する命令を記憶するように構成されるメモリの例示的なブロック図である。 開示される実施形態による、車両が割込みを検出し且つそれに応答し得る例示的な状況の図である。 開示される実施形態による例示的な所定の割込み感度変更要素を示す。 開示される実施形態による例示的な所定の割込み感度変更要素を示す。 開示される実施形態による例示的な所定の割込み感度変更要素を示す。 開示される実施形態による例示的な所定の割込み感度変更要素を示す。 開示される実施形態による、車両が利他的行動に従事し得る例示的な状況の図である。 開示される実施形態による、車両割込み検出及び応答のための例示的なプロセスを示すフローチャートである。 開示された実施形態による、利他的行動を考慮に入れながらナビゲートする例示的なプロセス１２００を示すフローチャートである。
詳細な説明
以下の詳細な説明は、添付図面を参照する。可能な場合には常に、図面及び以下の説明において、同じ又は同様の部分を指すのに同じ参照番号が使用される。幾つかの例示的な実施形態は本明細書で説明されるが、変更形態、適応形態、及び他の実装形態が可能である。例えば、図面に示される構成要素に対する置換形態、追加形態、又は変更形態がなされ得、本明細書に記載される例示的な方法は、開示される方法のステップの置換、順序替え、削除、又は追加により変更することができる。したがって、以下の詳細な説明は、開示される実施形態及び例に限定されない。その代わり、適切な範囲は、添付の特許請求の範囲により規定される。
自律車両概説
本開示を通して使用される場合、「自律車両」という用語は、ドライバーの入力なしで少なくとも１つのナビゲーション変更を実施することが可能な車両を指す。「ナビゲーション変更」は、車両の操舵、ブレーキ、又は加速の１つ又は複数の変更を指す。自律的であるために、車両は完全に自動である（例えば、ドライバーなし又はドライバー入力なしでの完全動作）必要はない。むしろ、自律車両は、特定の時間期間中にはドライバーの制御下で動作し、他の時間期間中にはドライバーの制御なしで動作することができる車両を含む。自律車両は、操舵等の車両ナビゲーションの幾つかの側面のみを制御する（例えば、車両レーン制約間に車両コースを維持するために）が、他の側面（例えば、ブレーキ）をドライバーに任せ得る車両を含むこともできる。幾つかの場合、自律車両は、車両のブレーキ、速度制御、及び／又は操舵の幾つか又は全ての側面を扱い得る。
人間のドライバーは、通常、車両を制御するために視覚的手掛かり及び観測に依存することから、交通基盤はそれに従って構築されており、レーンマーク、交通標識、及び信号機は全て、視覚的情報をドライバーに提供するように設計されている。交通基盤のこれらの設計特徴に鑑みて、自律車両は、カメラと、車両の環境から捕捉される視覚的情報を分析する処理ユニットとを含み得る。視覚的情報は、例えば、ドライバーにより観測可能な交通基盤の構成要素（例えば、レーンマーク、交通標識、信号機等）及び他の障害物（例えば、他の車両、歩行者、瓦礫等）を含み得る。更に、自動車両は、ナビゲート時、車両の環境のモデルを提供する情報等の記憶された情報を使用することもできる。例えば、車両は、ＧＰＳデータ、センサデータ（例えば、加速度計、速度センサ、サスペンションセンサ等からの）、及び／又は他の地図データを使用して、車両が走行している間、車両の環境に関連する情報を提供し得、車両（及び他の車両）は情報を使用して、モデルでのそれ自体の位置を特定し得る。
システム概説
図１は、開示される例示的な実施形態によるシステム１００のブロック図表現である。システム１００は、特定の実施要件に応じて様々な構成要素を含み得る。幾つかの実施形態では、システム１００は、処理ユニット１１０、画像取得ユニット１２０、位置センサ１３０、１つ又は複数のメモリユニット１４０、１５０、地図データベース１６０、ユーザインタフェース１７０、及び無線送受信機１７２を含み得る。処理ユニット１１０は、１つ又は複数の処理デバイスを含み得る。幾つかの実施形態では、処理ユニット１１０は、アプリケーションプロセッサ１８０、画像プロセッサ１９０、又は任意の他の適する処理デバイスを含み得る。同様に、画像取得ユニット１２０は、特定用途の要件に応じて、任意の数の画像取得デバイス及び構成要素を含み得る。幾つかの実施形態では、画像取得ユニット１２０は、画像捕捉デバイス１２２、画像捕捉デバイス１２４、及び画像捕捉デバイス１２６等の１つ又は複数の画像捕捉デバイス（例えば、カメラ）を含み得る。システム１００は、処理ユニット１１０を画像取得ユニット１２０に通信可能に接続するデータインタフェース１２８を含むこともできる。例えば、データインタフェース１２８は、画像取得ユニット１２０により取得された画像データを処理ユニット１１０に送信する任意の１つ又は複数の有線及び／又は無線リンクを含み得る。
無線送受信機１７２は、無線周波数、赤外線周波数、磁場、又は電場の使用により無線インタフェースを介して伝送信号を１つ又は複数のネットワーク（例えば、セルラ、インターネット等）と交換するように構成される１つ又は複数のデバイスを含み得る。無線送受信機１７２は、任意の既知の標準を使用して、データを送信及び／又は受信し得る（例えば、Ｗｉ－Ｆｉ（登録商標）、Bluetooth（登録商標）、Bluetooth Smart、８０２．１５．４、ZigBee（登録商標）等）。
アプリケーションプロセッサ１８０及び画像プロセッサ１９０は両方とも、様々なタイプの処理デバイスを含み得る。例えば、アプリケーションプロセッサ１８０及び画像プロセッサ１９０の何れか一方又は両方は、マイクロプロセッサ、プリプロセッサ（画像プリプロセッサ等）、グラフィックスプロセッサ、中央演算処理装置（ＣＰＵ）、サポート回路、デジタル信号プロセッサ、集積回路、メモリ、又はアプリケーションを実行し、画像を処理して分析するのに適する任意の他のタイプのデバイスを含み得る。幾つかの実施形態では、アプリケーションプロセッサ１８０及び／又は画像プロセッサ１９０は、任意のタイプのシングルコア又はマルチコアプロセッサ、モバイルデバイスマイクロコントローラ、中央演算処理装置等を含み得る。例えば、Intel（登録商標）、ＡＭＤ（登録商標）等の製造業者から入手可能なプロセッサを含め、様々な処理デバイスが使用可能であり、様々なアーキテクチャ（例えば、ｘ８６プロセッサ、ARM（登録商標）等）を含み得る。
幾つかの実施形態では、アプリケーションプロセッサ１８０及び／又は画像プロセッサ１９０は、Mobileye（登録商標）から入手可能な任意のEyeQシリーズのプロセッサを含み得る。これらのプロセッサ設計は、それぞれローカルメモリ及び命令セットを有する複数の処理ユニットを含む。そのようなプロセッサは、複数の画像センサから画像データを受信するビデオ入力を含み得ると共に、ビデオ出力機能を含むこともできる。一例では、EyeQ2（登録商標）は、３３２ＭＨｚで動作する９０ｎｍ－ミクロン技術を使用する。EyeQ2（登録商標）アーキテクチャは、２つの浮動小数点ハイパースレッド３２ビットＲＩＳＣ ＣＰＵ（MIPS32（登録商標）34K（登録商標）コア）、５つのビジョン計算エンジン（ＶＣＥ）、３つのベクトルマイクロコードプロセッサ（ＶＭＰ（登録商標））、Denali６４ビットモバイルＤＤＲコントローラ、１２８ビット内部音響相互接続、デュアル１６ビットビデオ入力及び１８ビットビデオ出力コントローラ、１６チャネルＤＭＡ、及び幾つかの周辺機器からなる。ＭＩＰＳ３４Ｋ ＣＰＵは、５つのＶＣＥ、３つのＶＭＰ（商標）及びＤＭＡ、第２のＭＩＰＳ３４Ｋ ＣＰＵ及びマルチチャネルＤＭＡ、並びに他の周辺機器を管理する。５つのＶＣＥ、３つのＶＭＰ（登録商標）、及びＭＩＰＳ３４Ｋ ＣＰＵは、多機能バンドルアプリケーションにより要求される集中的なビジョン計算を実行することができる。別の例では、開示される実施形態において、第三世代プロセッサであり、EyeQ2（登録商標）よりも６倍強力なEyeQ3（登録商標）を使用し得る。
本明細書に開示される任意の処理デバイスは、特定の機能を実行するように構成し得る。特定の機能を実行するように、記載されたEyeQプロセッサ又は他のコントローラ若しくはマイクロプロセッサの何れか等の処理デバイスを構成することは、コンピュータ実行可能命令をプログラムし、処理デバイスの動作中に実行するために、それらの命令を処理デバイスに提供することを含み得る。幾つかの実施形態では、処理デバイスを構成することは、処理デバイスに直接、アーキテクチャ的命令をプログラムすることを含み得る。他の実施形態では、処理デバイスを構成することは、動作中、処理デバイスがアクセス可能なメモリに実行可能命令を記憶することを含み得る。例えば、処理デバイスは、動作中、メモリにアクセスして、記憶された命令を取得し実行し得る。
図１は、処理ユニット１１０に含まれる２つの別個の処理デバイスを示すが、より多数又はより少数の処理デバイスを使用することもできる。例えば、幾つかの実施形態では、単一の処理デバイスを使用して、アプリケーションプロセッサ１８０及び画像プロセッサ１９０のタスクを達成し得る。他の実施形態では、これらのタスクは、３つ以上の処理デバイスにより実行し得る。更に、幾つかの実施形態では、システム１００は、画像取得ユニット１２０等の他の構成要素を含まず、１つ又は複数の処理ユニット１１０を含み得る。
処理ユニット１１０は、様々なタイプのデバイスを含み得る。例えば、処理ユニット１１０は、コントローラ、画像プリプロセッサ、中央演算処理装置（ＣＰＵ）、サポート回路、デジタル信号プロセッサ、集積回路、メモリ、又は画像を処理し分析する任意の他のタイプのデバイス等の様々なデバイスを含み得る。画像プリプロセッサは、画像センサから画像を捕捉し、デジタル化し、処理するビデオプロセッサを含み得る。ＣＰＵは、任意の数のマイクロコントローラ又はマイクロプロセッサを含み得る。サポート回路は、キャッシュ、電源、クロック、及び入出力回路を含め、当技術分野で一般に周知の任意の数の回路であり得る。メモリは、プロセッサにより実行されると、システムの動作を制御するソフトウェアを記憶し得る。メモリは、データベース及び画像処理ソフトウェアを含み得る。メモリは、任意の数のランダムアクセスメモリ、読み取り専用メモリ、フラッシュメモリ、ディスクドライブ、光学記憶装置、テープ記憶装置、リムーバブル記憶装置、及び他のタイプの記憶装置を含み得る。一例では、メモリは、処理ユニット１１０とは別個であり得る。別の例では、メモリは、処理ユニット１１０に統合し得る。
各メモリ１４０、１５０は、プロセッサ（例えば、アプリケーションプロセッサ１８０及び／又は画像プロセッサ１９０）により実行されると、システム１００の様々な態様の動作を制御し得るソフトウェア命令を含み得る。これらのメモリユニットは、様々なデータベース及び画像処理ソフトウェアを含み得る。メモリユニットは、ランダムアクセスメモリ、読み取り専用メモリ、フラッシュメモリ、ディスクドライブ、光学記憶装置、テープ記憶装置、リムーバブル記憶装置、及び／又は任意の他のタイプの記憶装置を含み得る。幾つかの実施形態では、メモリユニット１４０、１５０は、アプリケーションプロセッサ１８０及び／又は画像プロセッサ１９０とは別個であり得る。他の実施形態では、これらのメモリユニットは、アプリケーションプロセッサ１８０及び／又は画像プロセッサ１９０に統合し得る。
位置センサ１３０は、システム１００の少なくとも１つの構成要素に関連付けられた位置を特定するのに適する任意のタイプのデバイスを含み得る。幾つかの実施形態では、位置センサ１３０はＧＰＳ受信機を含み得る。そのような受信機は、全地球測位システム衛星によりブロードキャストされる信号を処理することにより、ユーザの位置及び速度を特定することができる。位置センサ１３０からの位置情報は、アプリケーションプロセッサ１８０及び／又は画像プロセッサ１９０に提供し得る。
幾つかの実施形態では、システム１００は、車両２００の速度を測定する速度センサ（例えば、タコメータ）及び／又は車両２００の加速度を測定する加速度計等の構成要素を含み得る。
ユーザインタフェース１７０は、情報を提供するか、又はシステム１００の１人若しくは複数のユーザから入力を受信するのに適する任意のデバイスを含み得る。幾つかの実施形態では、ユーザインタフェース１７０は、例えば、タッチスクリーン、マイクロフォン、キーボード、ポインタデバイス、トラックホィール、カメラ、つまみ、ボタン等を含め、ユーザ入力デバイスを含み得る。そのような入力デバイスを用いて、ユーザは、命令若しくは情報をタイプし、音声コマンドを提供し、ボタン、ポインタ、若しくは目追跡機能を使用して、又は情報をシステム１００に通信する任意の他の適する技法を通して画面上のメニュー選択肢を選択することにより、システム１００に情報入力又はコマンドを提供可能であり得る。
ユーザインタフェース１７０は、ユーザに情報を提供するか、又はユーザから情報を受信し、例えば、アプリケーションプロセッサ１８０による使用のためにその情報を処理するように構成される１つ又は複数の処理デバイスを備え得る。幾つかの実施形態では、そのような処理デバイスは、目の動きを認識して追跡する命令、音声コマンドを受信して解釈する命令、タッチスクリーンで行われたタッチ及び／又はジェスチャを認識して解釈する命令、キーボード入力又はメニュー選択に応答する命令等を実行し得る。幾つかの実施形態では、ユーザインタフェース１７０は、ディスプレイ、スピーカ、触覚デバイス、及び／又は出力情報をユーザに提供する任意の他のデバイスを含み得る。
地図データベース１６０は、システム１００にとって有用な地図データを記憶する任意のタイプのデータベースを含み得る。幾つかの実施形態では、地図データベース１６０は、道路、水特徴、地理的特徴、ビジネス、関心点、レストラン、ガソリンスタンド等を含め、様々な項目の、基準座標系での位置に関連するデータを含み得る。地図データベース１６０は、そのような項目の位置のみならず、例えば、記憶された特徴の何れかに関連付けられた名称を含め、それらの項目に関連する記述子も記憶し得る。幾つかの実施形態では、地図データベース１６０は、システム１００の他の構成要素と共に物理的に配置し得る。代替又は追加として、地図データベース１６０又はその一部は、システム１００の他の構成要素（例えば、処理ユニット１１０）に関してリモートに配置し得る。そのような実施形態では、地図データベース１６０からの情報は、有線又は無線データ接続を介してネットワークにダウンロードし得る（例えば、セルラネットワーク及び／又はインターネット等を介して）。
画像捕捉デバイス１２２、１２４、及び１２６は、それぞれ環境から少なくとも１つの画像を捕捉するのに適する任意のタイプのデバイスを含み得る。更に、任意の数の画像捕捉デバイスを使用して、画像プロセッサに入力する画像を取得し得る。幾つかの実施形態は、単一の画像捕捉デバイスのみを含み得、一方、他の実施形態は、２つ、３つ、更に４つ以上の画像捕捉デバイスを含み得る。画像捕捉デバイス１２２、１２４、及び１２６については、図２Ｂ～図２Ｅを参照して更に以下に説明する。
システム１００又はシステム１００の様々な構成要素は、様々な異なるプラットフォームに組み込み得る。幾つかの実施形態では、システム１００は、図２Ａに示されるように、車両２００に含め得る。例えば、車両２００は、図１に関して上述したように、処理ユニット１１０及びシステム１００の任意の他の構成要素を備え得る。幾つかの実施形態では、車両２００は単一の画像捕捉デバイス（例えば、カメラ）のみを備え得、一方、図２Ｂ～図２Ｅに関連して考察した実施形態等の他の実施形態では、複数の画像捕捉デバイスが使用可能である。例えば、図２Ａに示されるように、車両２００の画像捕捉デバイス１２２及び１２４の何れかは、ＡＤＡＳ（最新運転者支援システム）撮像セットの一部であり得る。
画像取得ユニット１２０の一部として車両２００に含まれる画像捕捉デバイスは、任意の適する位置に位置し得る。幾つかの実施形態では、図２Ａ～図２Ｅ及び図３Ａ～図３Ｃに示されるように、画像捕捉デバイス１２２は、バックミラーの近傍に配置し得る。この位置は、車両２００のドライバーと同様の視線を提供し得、ドライバーにとって何が見え、何が見えないのかの判断を支援し得る。画像捕捉デバイス１２２は、バックミラーの近傍の任意の位置に位置し得るが、画像捕捉デバイス１２２をミラーのドライバー側に配置することは、ドライバーの視野及び／又は視線を表す画像の取得を更に支援し得る。
画像取得ユニット１２０の画像捕捉デバイスのために他の位置を使用することもできる。例えば、画像捕捉デバイス１２４は、車両２００のバンパー上又はバンパー内に配置し得る。そのような位置は、広視野を有する画像捕捉デバイスに特に適し得る。バンパーに配置される画像捕捉デバイスの視線は、ドライバーの視線と異なることができ、したがって、バンパー画像捕捉デバイス及びドライバーは、同じ物体を常に見ているわけではない。画像捕捉デバイス（例えば、画像捕捉デバイス１２２、１２４、及び１２６）は、他の位置に配置することもできる。例えば、画像捕捉デバイスは、車両２００のサイドミラーの一方又は両方、車両２００のルーフ、車両２００のフード、車両２００のトランク、車両２００の側部に配置し得、車両２００の任意のウィンドウに搭載、背後に位置決め、又は前に位置決めし得、車両２００の前部及び／又は後部のライト又はその近傍等に搭載し得る。
画像捕捉デバイスに加えて、車両２００は、システム１００の様々な他の構成要素を含み得る。例えば、処理ユニット１１０は、車両のエンジン制御ユニット（ＥＣＵ）に統合されるか、又はＥＣＵとは別個に車両２００に含まれ得る。車両２００には、ＧＰＳ受信機等の位置センサ１３０を備えることもでき、車両２００は、地図データベース１６０並びにメモリユニット１４０及び１５０を含むこともできる。
上述したように、無線送受信機１７２は、１つ又は複数のネットワーク（例えば、セルラネットワーク、インターネット等）を介してデータを及び／又は受信し得る。例えば、無線送受信機１７２は、システム１００により収集されたデータを１つ又は複数のサーバにアップロードし、データを１つ又は複数のサーバからダウンロードし得る。無線送受信機１７２を介して、システム１００は、例えば、定期的に又は需要時に地図データベース１６０、メモリ１４０、及び／又はメモリ１５０に記憶されたデータへの更新を受信し得る。同様に、無線送受信機１７２は、システム１００からの任意のデータ（例えば、画像取得ユニット１２０により捕捉された画像、位置センサ１３０、他のセンサ、又は車両制御システムにより受信されたデータ等）及び／又は処理ユニット１１０により処理された任意のデータを１つ又は複数のサーバにアップロードし得る。
システム１００は、プライバシーレベル設定に基づいてデータをサーバ（例えば、クラウド）にアップロードし得る。例えば、システム１００は、サーバに送信される、車両及び／又は車両のドライバー／所有者を一意に識別し得るタイプのデータ（メタデータを含む）を規制又は制限するプライバシーレベル設定を実施し得る。そのような設定は、例えば、無線送受信機１７２を介してユーザにより設定されてもよく、工場デフォルト設定により初期化されてもよく、又は無線送受信機１７２により受信されるデータにより設定されてもよい。
幾つかの実施形態では、システム１００は、「高」プライバシーレベルに従ってデータをアップロードし得、ある設定下において、システム１００は、特定の車両及び／又はドライバー／所有者についてのいかなる詳細もないデータ（例えば、ルートに関連する位置情報、捕捉画像等）を送信し得る。例えば、「高」プライバシーレベルに従ってデータをアップロードする場合、システム１００は、車両識別番号（ＶＩＮ）又は車両のドライバー若しくは所有者の氏名を含まず、代わりに、捕捉画像及び／又はルートに関連する限られた位置情報等のデータを送信し得る。
他のプライバシーレベルも意図される。例えば、システム１００は、「中」プライバシーレベルに従ってデータをサーバに送信し得、車両及び／又は車両タイプのメーカー及び／又はモデル（例えば、乗用車、スポーツユーティリティ車、トラック等）等の「高」プライバシーレベル下では含まれない追加情報を含み得る。幾つかの実施形態では、システム１００は、「低」プライバシーレベルに従ってデータをアップロードし得る。「低」プライバシーレベル設定下では、システム１００は、特定の車両、所有者／ドライバー、及び／又は車両が走行したルートの一部又は全体を一意に識別するのに十分なデータをアップロードし、そのような情報を含み得る。そのような「低」プライバシーレベルデータは、例えば、ＶＩＮ、ドライバー／所有者氏名、出発前の車両の出発点、車両の意図される目的地、車両のメーカー及び／又はモデル、車両のタイプ等の１つ又は複数を含み得る。
図２Ａは、開示される実施形態による例示的な車両撮像システムの側面図表現である。図２Ｂは、図２Ａに示される実施形態の上面図表現である。図２Ｂに示されるように、開示される実施形態は、バックミラーの近傍及び／又は車両２００のドライバー近傍に位置決めされた第１の画像捕捉デバイス１２２と、車両２００のバンパー領域（例えば、バンパー領域２１０の１つ）上又はバンパー領域内に位置決めされる第２の画像捕捉デバイス１２４と、処理ユニット１１０とを有するシステム１００を本体内に含む車両２００を示し得る。
図２Ｃに示されるように、画像捕捉デバイス１２２及び１２４は両方とも、車両２００のバックミラーの近傍及び／又はドライバーの近傍に位置決めし得る。更に、２つの画像捕捉デバイス１２２及び１２４が図２Ｂ及び図２Ｃに示されているが、他の実施形態が３つ以上の画像捕捉デバイスを含み得ることを理解されたい。例えば、図２Ｄ及び図２Ｅに示される実施形態では、第１の画像捕捉デバイス１２２、第２の画像捕捉デバイス１２４、及び第３の画像捕捉デバイス１２６が車両２００のシステム１００に含まれる。
図２Ｄに示されるように、画像捕捉デバイス１２２は、車両２００のバックミラーの近傍及び／又はドライバーの近傍に位置決めし得、画像捕捉デバイス１２４及び１２６は、車両２００のバンパー領域（例えば、バンパー領域２１０の１つ）上に位置決めし得る。また、図２Ｅに示されるように、画像捕捉デバイス１２２、１２４、及び１２６は、車両２００のバックミラーの近傍及び／又はドライバーシートの近傍に位置決めし得る。開示される実施形態は、いかなる特定の数及び構成の画像捕捉デバイスにも限定されず、画像捕捉デバイスは、車両２００内及び／又は車両２００上の任意の適する位置に位置決めし得る。
開示される実施形態が車両に限定されず、他の状況でも適用可能なことを理解されたい。開示される実施形態が特定のタイプの車両２００に限定されず、自動車、トラック、トレーラー、及び他のタイプの車両を含む全てのタイプの車両に適用可能であり得ることも理解されたい。
第１の画像捕捉デバイス１２２は、任意の適するタイプの画像捕捉デバイスを含み得る。画像捕捉デバイス１２２は光軸を含み得る。一例では、画像捕捉デバイス１２２は、グローバルシャッタを有するAptina M9V024 WVGAセンサを含み得る。他の実施形態では、画像捕捉デバイス１２２は、１２８０×９６０ピクセルの解像度を提供し得、ローリングシャッタを含み得る。画像捕捉デバイス１２２は、様々な光学要素を含み得る。幾つかの実施形態では、１枚又は複数枚のレンズが含まれて、例えば、画像捕捉デバイスの所望の焦点距離及び視野を提供し得る。幾つかの実施形態では、画像捕捉デバイス１２２に６ｍｍレンズ又は１２ｍｍレンズを関連付け得る。幾つかの実施形態では、画像捕捉デバイス１２２は、図２Ｄに示されるように、所望の視野（ＦＯＶ）２０２を有する画像を捕捉するように構成し得る。例えば、画像捕捉デバイス１２２は、４６度ＦＯＶ、５０度ＦＯＶ、５２度ＦＯＶ、又は５２度ＦＯＶを超える度数を含め、４０度～５６度の範囲内等の通常のＦＯＶを有するように構成し得る。代替的には、画像捕捉デバイス１２２は、２８度ＦＯＶ又は３６度ＦＯＶ等の２３～４０度の範囲の狭いＦＯＶを有するように構成し得る。加えて、画像捕捉デバイス１２２は、１００～１８０度の範囲の広いＦＯＶを有するように構成し得る。幾つかの実施形態では、画像捕捉デバイス１２２は、広角バンパーカメラ又は最高で１８０度ＦＯＶを有するバンパーカメラを含み得る。幾つかの実施形態では、画像捕捉デバイス１２２は、約１００度の水平ＦＯＶを有するアスペクト比約２：１（例えば、Ｈ×Ｖ＝３８００×１９００ピクセル）の７．２Ｍピクセル画像捕捉デバイスであり得る。そのような画像捕捉デバイスは、三次元画像捕捉デバイス構成の代わりに使用し得る。大きいレンズ歪みに起因して、そのような画像捕捉デバイスの垂直ＦＯＶは、画像捕捉デバイスが半径方向に対称なレンズを使用する実装形態では、５０度よりはるかに低くなり得る。例えば、そのようなレンズは、半径方向で対称ではなく、それにより、水平ＦＯＶ１００度で、５０度よりも大きい垂直ＦＯＶが可能である。
第１の画像捕捉デバイス１２２は、車両２００に関連付けられたシーンに対して複数の第１の画像を取得し得る。複数の第１の画像は、それぞれ一連の画像走査線として取得し得、これらはローリングシャッタを使用して捕捉し得る。各走査線は複数のピクセルを含み得る。
第１の画像捕捉デバイス１２２は、第１の一連の画像走査線のそれぞれの取得に関連付けられた走査レートを有し得る。走査レートとは、画像センサが、特定の走査線に含まれる各ピクセルに関連付けられた画像データを取得することができるレートを指し得る。
画像捕捉デバイス１２２、１２４、及び１２６は、例えば、ＣＣＤセンサ又はＣＭＯＳセンサを含め、任意の適するタイプ及び数の画像センサを含み得る。一実施形態では、ＣＭＯＳ画像センサはローリングシャッタと共に利用し得、それにより、行内の各ピクセルは一度に１つずつ読み取られ、行の走査は、画像フレーム全体が捕捉されるまで行毎に進められる。幾つかの実施形態では、行は、フレームに対して上から下に順次捕捉し得る。
幾つかの実施形態では、本明細書に開示される画像捕捉デバイス（例えば、画像捕捉デバイス１２２、１２４、及び１２６）の１つ又は複数は、高解像度イメージャを構成し得、５Ｍピクセル超、７Ｍピクセル超、１０Ｍピクセル超、又はそれを超える解像度を有し得る。
ローリングシャッタの使用により、異なる行内のピクセルは異なるときに露出され捕捉されることになり得、それにより、スキュー及び他の画像アーチファクトが捕捉画像フレームで生じ得る。他方、画像捕捉デバイス１２２がグローバル又は同期シャッタを用いて動作するように構成される場合、全ピクセルは、同量の時間にわたり、共通の露出期間中に露出し得る。その結果、グローバルシャッタを利用するシステムから収集されるフレーム内の画像データは、特定のときのＦＯＶ全体（ＦＯＶ２０２等）のスナップショットを表す。それとは逆に、ローリングシャッタを適用する場合、異なる時間にフレーム内の各行が露出され、データが捕捉される。したがって、移動中の物体は、ローリングシャッタを有する画像捕捉デバイスでは歪んで見えることがある。この現象について以下により詳細に説明する。
第２の画像捕捉デバイス１２４及び第３の画像捕捉デバイス１２６は、任意のタイプの画像捕捉デバイスであり得る。第１の画像捕捉デバイス１２２のように、画像捕捉デバイス１２４及び１２６のそれぞれは、光軸を含み得る。一実施形態では、画像捕捉デバイス１２４及び１２６のそれぞれは、グローバルシャッタを有するAptina M9V024 WVGAセンサを含み得る。代替的には、画像捕捉デバイス１２４及び１２６のそれぞれは、ローリングシャッタを含み得る。画像捕捉デバイス１２２のように、画像捕捉デバイス１２４及び１２６は、様々なレンズ及び光学要素を含むように構成し得る。幾つかの実施形態では、画像捕捉デバイス１２４及び１２６に関連付けられたレンズは、画像捕捉デバイス１２２に関連付けられたＦＯＶ（ＦＯＶ２０２等）と同じであるか、又は狭いＦＯＶ（ＦＯＶ２０４及び２０６等）を提供し得る。例えば、画像捕捉デバイス１２４及び１２６は、４０度、３０度、２６度、２３度、２０度、又は２０度未満のＦＯＶを有し得る。
画像捕捉デバイス１２４及び１２６は、車両２００に関連付けられたシーンに対して複数の第２及び第３の画像を取得し得る。複数の第２及び第３の画像のそれぞれは、第２及び第３の一連の画像走査線として取得し得、これらはローリングシャッタを使用して捕捉し得る。各走査線又は行は、複数のピクセルを有し得る。画像捕捉デバイス１２４及び１２６は、第２の一連の、及び第３の一連の各画像走査線の取得に関連付けられた第２及び第３の走査レートを有し得る。
各画像捕捉デバイス１２２、１２４、及び１２６は、任意の適する位置に、車両２００に対して任意の適する向きで位置決めし得る。画像捕捉デバイス１２２、１２４、及び１２６の相対位置は、画像捕捉デバイスから取得される情報を一緒に融合させることを支援するように選択し得る。例えば、幾つかの実施形態では、画像捕捉デバイス１２４に関連付けられたＦＯＶ（ＦＯＶ２０４）は、画像捕捉デバイス１２２に関連付けられたＦＯＶ（ＦＯＶ２０２等）及び画像捕捉デバイス１２６に関連付けられたＦＯＶ（ＦＯＶ２０６等）と部分的又は完全に重複し得る。
画像捕捉デバイス１２２、１２４、及び１２６は、任意の適する相対高さで車両２００に配置し得る。一例では、画像捕捉デバイス１２２、１２４、及び１２６間に高さ差があり得、高さ差は、立体分析を可能にするのに十分な視差情報を提供し得る。例えば、図２Ａに示されるように、２つの画像捕捉デバイス１２２及び１２４は異なる高さにある。画像捕捉デバイス１２２、１２４、及び１２６間には横方向変位差もあり得、例えば、処理ユニット１１０による立体分析に追加の視差情報を与える。横方向変位差は、図２Ｃ及び図２Ｄに示されるように、ｄｘで示し得る。幾つかの実施形態では、前部変位又は後部変位（例えば、範囲変位）が、画像捕捉デバイス１２２、１２４、１２６間に存在し得る。例えば、画像捕捉デバイス１２２は、画像捕捉デバイス１２４及び／又は画像捕捉デバイス１２６の０．５～２メートル以上背後に配置し得る。このタイプの変位では、画像捕捉デバイスの１つが、他の画像捕捉デバイスの潜在的なブラインドスポットをカバー可能であり得る。
画像捕捉デバイス１２２は、任意の適する解像度能力（例えば、画像センサに関連付けられたピクセル数）を有し得、画像捕捉デバイス１２２に関連付けられた画像センサの解像度は、画像捕捉デバイス１２４及び１２６に関連付けられた画像センサの解像度よりも高くてもよく、低くてもよく、又は同じであってもよい。幾つかの実施形態では、画像捕捉デバイス１２２及び／又は画像捕捉デバイス１２４及び１２６に関連付けられた画像センサは、解像度６４０×４８０、１０２４×７６８、１２８０×９６０、又は任意の他の適する解像度を有し得る。
フレームレート（例えば、画像捕捉デバイスが、次の画像フレームに関連付けられたピクセルデータの捕捉に移る前、１つの画像フレームのピクセルデータの組を取得する速度）は、制御可能であり得る。画像捕捉デバイス１２２に関連付けられたフレームレートは、画像捕捉デバイス１２４及び１２６に関連付けられたフレームレートよりも高くてもよく、低くてもよく、又は同じであってもよい。画像捕捉デバイス１２２、１２４、及び１２６に関連付けられたフレームレートは、フレームレートのタイミングに影響を及ぼし得る様々なファクタに依存し得る。例えば、画像捕捉デバイス１２２、１２４、及び１２６の１つ又は複数は、画像捕捉デバイス１２２、１２４、及び／又は１２６内の画像センサの１つ又は複数のピクセルに関連付けられた画像データの取得前又は取得後に課される選択可能なピクセル遅延期間を含み得る。一般に、各ピクセルに対応する画像データは、デバイスのクロックレート（例えば、１クロックサイクル当たり１ピクセル）に従って取得し得る。更に、ローリングシャッタを含む実施形態では、画像捕捉デバイス１２２、１２４、及び１２６の１つ又は複数は、画像捕捉デバイス１２２、１２４、及び／又は１２６内の画像センサのピクセル行に関連付けられた画像データの取得前又は取得後に課される選択可能な水平ブランク期間を含み得る。更に、画像捕捉デバイス１２２、１２４、及び／又は１２６の１つ又は複数は、画像捕捉デバイス１２２、１２４、及び１２６の画像フレームに関連付けられた画像データの取得前又は取得後に課される選択可能な垂直ブランク期間を含み得る。
これらのタイミング制御により、各画像捕捉デバイスの線走査レートが異なる場合であっても、画像捕捉デバイス１２２、１２４、及び１２６に関連付けられたフレームレートを同期させることができ得る。更に、以下に更に詳細に考察するように、ファクタ（例えば、画像センサ解像度、最高線走査率等）の中でも特に、これらの選択可能なタイミング制御により、画像捕捉デバイス１２２の視野が画像捕捉デバイス１２４及び１２６のＦＯＶと異なる場合であっても、画像捕捉デバイス１２２のＦＯＶが画像捕捉デバイス１２４及び１２６の１つ又は複数のＦＯＶと重複するエリアからの画像捕捉を同期させることが可能になり得る。
画像捕捉デバイス１２２、１２４、及び１２６でのフレームレートタイミングは、関連付けられた画像センサの解像度に依存し得る。例えば、両デバイスの線走査レートが同様であると仮定し、一方のデバイスが解像度６４０×４８０を有する画像センサを含み、他方のデバイスが解像度１２８０×９６０を有する画像センサを含む場合、高い解像度を有するセンサからの画像データのフレーム取得ほど、長い時間が必要になる。
画像捕捉デバイス１２２、１２４、及び１２６での画像データ取得のタイミングに影響を及ぼし得る他のファクタは、最高線走査レートである。例えば、画像捕捉デバイス１２２、１２４、及び１２６に含まれる画像センサからの画像データ行の取得は、何らかの最小時間量を必要とする。ピクセル遅延期間が追加されないと仮定すると、画像データ行を取得するこの最小時間量は、特定のデバイスの最高線走査レートに関連することになる。高い最高線走査レートを提供するデバイスほど、より低い最高線走査レートを有するデバイスよりも高いフレームレートを提供する潜在性を有する。幾つかの実施形態では、画像捕捉デバイス１２４及び１２６の一方又は両方は、画像捕捉デバイス１２２に関連付けられた最高線走査レートよりも高い最高線走査レートを有し得る。幾つかの実施形態では、画像捕捉デバイス１２４及び／又は１２６の最高線走査レートは、画像捕捉デバイス１２２の最高線走査レートの１．２５倍、１．５倍、１．７５倍、又は２倍以上であり得る。
別の実施形態では、画像捕捉デバイス１２２、１２４、及び１２６は、同じ最高線走査レートを有し得るが、画像捕捉デバイス１２２は、その最高走査レート以下の走査レートで動作し得る。システムは、画像捕捉デバイス１２４及び１２６の一方又は両方が画像捕捉デバイス１２２の線走査レートと等しい線走査レートで動作するように構成し得る。他の例では、システムは、画像捕捉デバイス１２４及び／又は１２６の線走査レートが、画像捕捉デバイス１２２の線走査レートの１．２５倍、１．５倍、１．７５倍、又は２倍以上であり得るように構成し得る。
幾つかの実施形態では、画像捕捉デバイス１２２、１２４、及び１２６は非対称であり得る。すなわち、これら画像捕捉デバイスは、異なる視野（ＦＯＶ）及び焦点距離を有するカメラを含み得る。画像捕捉デバイス１２２、１２４、及び１２６の視野は、例えば、車両２００の環境に対する任意の所望のエリアを含み得る。幾つかの実施形態では、画像捕捉デバイス１２２、１２４、及び１２６の１つ又は複数は、車両２００の前の環境、車両２００の背後の環境、車両２００の両側の環境、又はそれらの組合せから画像データを取得するように構成し得る。
更に、各画像捕捉デバイス１２２、１２４、及び／又は１２６に関連付けられた焦点距離は、各デバイスが車両２００から所望の距離範囲にある物体の画像を取得するように選択可能であり得る（例えば、適切なレンズの包含等により）。例えば、幾つかの実施形態では、画像捕捉デバイス１２２、１２４、及び１２６は、車両から数メートル以内の近接物体の画像を取得し得る。画像捕捉デバイス１２２、１２４、１２６は、車両からより離れた範囲（例えば、２５ｍ、５０ｍ、１００ｍ、１５０ｍ、又はそれを超える）における物体の画像を取得するように構成することもできる。更に、画像捕捉デバイス１２２、１２４、及び１２６の焦点距離は、ある画像捕捉デバイス（例えば、画像捕捉デバイス１２２）が車両に比較的近い（例えば、１０ｍ以内又は２０ｍ以内）物体の画像を取得することができ、一方、その他の画像捕捉デバイス（例えば、画像捕捉デバイス１２４及び１２６）が、車両２００からより離れた物体（例えば、２０ｍ超、５０ｍ超、１００ｍ超、１５０ｍ超等）の画像を取得することができるように選択し得る。
幾つかの実施形態によれば、１つ又は複数の画像捕捉デバイス１２２、１２４、及び１２６のＦＯＶは、広角を有し得る。例えば、特に車両２００の近傍エリアの画像取得に使用し得る画像捕捉デバイス１２２、１２４、及び１２６には１４０度のＦＯＶを有することが有利であり得る。例えば、画像捕捉デバイス１２２は、車両２００の右又は左のエリアの画像の捕捉に使用し得、そのような実施形態では、画像捕捉デバイス１２２が広いＦＯＶ（例えば、少なくとも１４０度）を有することが望ましいことがある。
画像捕捉デバイス１２２、１２４、及び１２６のそれぞれに関連付けられた視野は、各焦点距離に依存し得る。例えば、焦点距離が増大するにつれて、対応する視野は低減する。
画像捕捉デバイス１２２、１２４、及び１２６は、任意の適する視野を有するように構成し得る。特定の一例では、画像捕捉デバイス１２２は、水平ＦＯＶ４６度を有し得、画像捕捉デバイス１２４は水平ＦＯＶ２３度を有し得、画像捕捉デバイス１２６は水平ＦＯＶ２３～４６度を有し得る。別の例では、画像捕捉デバイス１２２は水平ＦＯＶ５２度を有し得、画像捕捉デバイス１２４は水平ＦＯＶ２６度を有し得、画像捕捉デバイス１２６は、水平ＦＯＶ２６～５２度を有し得る。幾つかの実施形態では、画像捕捉デバイス１２２のＦＯＶと画像捕捉デバイス１２４及び／又は画像捕捉デバイス１２６のＦＯＶとの比率は、１．５～２．０で変化し得る。他の実施形態では、この比率は１．２５～２．２５で変化し得る。
システム１００は、画像捕捉デバイス１２２の視野が、画像捕捉デバイス１２４及び／又は画像捕捉デバイス１２６の視野と少なくとも部分的に又は完全に重複するように構成し得る。幾つかの実施形態では、システム１００は、画像捕捉デバイス１２４及び１２６の視野が、例えば、画像捕捉デバイス１２２の視野内に入り（例えば、画像捕捉デバイス１２２の視野よりも小さく）、画像捕捉デバイス１２２の視野と共通の中心を共有するように構成し得る。他の実施形態では、画像捕捉デバイス１２２、１２４、及び１２６は、隣接するＦＯＶを捕捉してもよく、又は部分的に重複するＦＯＶを有してもよい。幾つかの実施形態では、画像捕捉デバイス１２２、１２４、及び１２６の視野は、ＦＯＶのより狭い画像捕捉デバイス１２４及び／又は１２６の中心が、ＦＯＶがより広いデバイス１２２の視野の下半分に配置され得るように位置合わせし得る。
図２Ｆは、開示される実施形態による例示的な車両制御システムの図表現である。図２Ｆに示されるように、車両２００は、スロットルシステム２２０、ブレーキシステム２３０、及び操舵システム２４０を含み得る。システム１００は、１つ又は複数のデータリンク（例えば、任意の有線及び／又は無線リンク又はデータを伝送するリンク）を介して、スロットルシステム２２０、ブレーキシステム２３０、及び操舵システム２４０の１つ又は複数に入力（例えば、制御信号）を提供し得る。例えば、画像捕捉デバイス１２２、１２４、及び／又は１２６により取得された画像の分析に基づいて、システム１００は、車両２００をナビゲートする制御信号をスロットルシステム２２０、ブレーキシステム２３０、及び操舵システム２４０の１つ又は複数に提供し得る（例えば、加速、ターン、レーンシフト等を行わせることにより）。更に、システム１００は、車両２００の動作状況を示す入力（例えば、速度、車両２００がブレーキ中及び／又はターン中であるか否か等）をスロットルシステム２２０、ブレーキシステム２３０、及び操舵システム２４の１つ又は複数から受信し得る。以下、更なる詳細を図４～図７に関連して提供する。
図３Ａに示されるように、車両２００は、車両２００のドライバー又は乗員と相互作用するユーザインタフェース１７０を含むこともできる。例えば、車両アプリケーション内のユーザインタフェース１７０は、タッチスクリーン３２０、つまみ３３０、ボタン３４０、及びマイクロフォン３５０を含み得る。車両２００のドライバー又は乗員は、ハンドル（例えば、例えば、ウィンカーハンドルを含め、車両２００のステアリングコラム上又はその近傍に配置される）及びボタン（例えば、車両２００のハンドルに配置される）等を使用して、システム１００と相互作用することもできる。幾つかの実施形態では、マイクロフォン３５０はバックミラー３１０に隣接して位置決めし得る。同様に、幾つかの実施形態では、画像捕捉デバイス１２２は、バックミラー３１０の近傍に配置し得る。幾つかの実施形態では、ユーザインタフェース１７０は、１つ又は複数のスピーカ３６０（例えば、車両オーディオシステムのスピーカ）を含むこともできる。例えば、システム１００は、スピーカ３６０を介して様々な通知（例えば、アラート）を提供し得る。
図３Ｂ～図３Ｄは、開示される実施形態による、バックミラー（例えば、バックミラー３１０）の背後に、車両フロントガラスと対向して位置決めされるように構成される例示的なカメラマウント３７０の図である。図３Ｂに示されるように、カメラマウント３７０は、画像捕捉デバイス１２２、１２４、及び１２６を含み得る。画像捕捉デバイス１２４及び１２６は、グレアシールド３８０の背後に位置決めし得、グレアシールド３８０は、フロントガラスに直接接触し得、フィルム及び／又は反射防止材料の組成物を含み得る。例えば、グレアシールド３８０は、一致する傾斜を有するフロントガラスと対向して位置合わせされるように位置決めし得る。幾つかの実施形態では、画像捕捉デバイス１２２、１２４、及び１２６のそれぞれは、例えば、図３Ｄに示されるように、グレアシールド３８０の背後に位置決めし得る。開示される実施形態は、画像捕捉デバイス１２２、１２４及び１２６、カメラマウント３７０、並びにグレアシールド３８０のいかなる特定の構成にも限定されない。図３Ｃは、前から見た図３Ｂに示されるカメラマウント３７０の図である。
本開示の恩恵を受ける当業者により理解されるように、上記開示された実施形態に対する多くの変形形態及び／又は変更形態がなされ得る。例えば、全ての構成要素がシステム１００の動作にとって必須であるわけではない。更に、任意の構成要素がシステム１００の任意の適切な部分に配置し得、構成要素は、開示される実施形態の機能を提供しながら、様々な構成に再配置し得る。したがって、上述した構成は例であり、上述した構成に関係なく、システム１００は、車両２００の周囲を分析し、分析に応答して車両２００をナビゲートする広範囲の機能を提供することができる。
以下に更に詳細に考察するように、様々な開示される実施形態により、システム１００は、自律運転及び／又はドライバー支援技術に関連する様々な特徴を提供し得る。例えば、システム１００は、画像データ、位置データ（例えば、ＧＰＳ位置情報）、地図データ、速度データ、及び／又は車両２００に含まれるセンサからのデータを分析し得る。システム１００は、例えば、画像取得ユニット１２０、位置センサ１３０、及び他のセンサから、分析のためにデータを収集し得る。更に、システム１００は、収集されたデータを分析して、車両２００が特定の行動をとるべきか否かを特定し、次に、人間の介入なしで、判断された動作を自動的にとり得る。例えば、車両２００が人間の加入なしでナビゲートする場合、システム１００は、車両２００のブレーキ、加速度、及び／又は操舵を自動的に制御し得る（例えば、制御信号をスロットルシステム２２０、ブレーキシステム２３０、及び操舵システム２４０の１つ又は複数に送信することにより）。更に、システム１００は、収集されたデータを分析し、収集されたデータの分析に基づいて警告及び／又はアラートを車両の搭乗者に発行し得る。システム１００により提供される様々な実施形態に関する更なる詳細を以下に提供する。
前向きマルチ撮像システム
上述したように、システム１００は、マルチカメラシステムを使用する運転支援機能を提供し得る。マルチカメラシステムは、車両の前方方向を向いた１つ又は複数のカメラを使用し得る。他の実施形態では、マルチカメラシステムは、車両の側部又は車両の後方を向いた１つ又は複数のカメラを含み得る。一実施形態では、例えば、システム１００は２カメラ撮像システムを使用し得、その場合、第１のカメラ及び第２のカメラ（例えば、画像捕捉デバイス１２２及び１２４）は、車両（例えば、車両２００）の前部及び／又は側部に位置決めし得る。第１のカメラは、第２のカメラの視野よりも大きい、小さい、又は部分的に重複する視野を有し得る。更に、第１のカメラは、第１の画像プロセッサに接続されて、第１のカメラにより提供される画像の単眼画像分析を実行し得、第２のカメラは第２の画像プロセッサに接続されて、第２のカメラにより提供される画像の単眼画像分析を実行し得る。第１及び第２の画像プロセッサの出力（例えば、処理された情報）は結合し得る。幾つかの実施形態では、第２の画像プロセッサは、第１のカメラ及び第２のカメラの両方からの画像を受信して、立体分析を実行し得る。別の実施形態では、システム１００は３カメラ撮像システムを使用し得、この場合、各カメラは異なる視野を有する。したがって、そのようなシステムは、車両の前方及び側部の両方の様々な距離にある物体から導出される情報に基づいて判断を下し得る。単眼画像分析との言及は、画像分析が単一視点から（例えば、単一のカメラ）から捕捉される画像に基づいて画像分析が実行される場合を指し得る。立体画像分析は、画像捕捉パラメータの１つ又は複数を変更した状態で捕捉された２つ以上の画像に基づいて画像分析が実行される場合を指し得る。例えば、立体画像分析の実行に適した捕捉画像は、２つ以上の異なる位置から捕捉される画像、異なる視野から捕捉される画像、異なる焦点距離を使用して捕捉される画像、視差情報付きで捕捉される画像等を含み得る。
例えば、一実施形態では、システム１００は、画像捕捉デバイス１２２～１２６を使用する３カメラ構成を実施し得る。そのような構成では、画像捕捉デバイス１２２は、狭視野（例えば、３４度又は約２０～４５度の範囲から選択される他の値等）を提供し得、画像捕捉デバイス１２４は、広視野（例えば、１５０度又は約１００～約１８０度の範囲から選択される他の値）を提供し得、画像捕捉デバイス１２６は、中視野（例えば、４６度又は約３５～約６０度の範囲から選択される他の値）を提供し得る。幾つかの実施形態では、画像捕捉デバイス１２６は、主又は一次カメラとして動作し得る。画像捕捉デバイス１２２～１２６は、バックミラー３１０の背後に、実質的に並んで（例えば、６ｃｍ離間）位置決めし得る。更に、幾つかの実施形態では、上述したように、画像捕捉デバイス１２２～１２６の１つ又は複数は、車両２００のフロントガラスと同一平面のグレアシールド３８０の背後に搭載し得る。そのようなシールドは、車内部からのいかなる反射の画像捕捉デバイス１２２～１２６への影響も最小にするように動作し得る。
別の実施形態では、図３Ｂ及び図３Ｃに関連して上述したように、広視野カメラ（例えば、上記例では画像捕捉デバイス１２４）は、狭い主視野カメラ（例えば、上記例では画像捕捉デバイス１２２及び１２６）よりも低く搭載し得る。この構成は、広視野カメラからの自由な視線を提供し得る。反射を低減するために、カメラは、車両２００のフロントガラス近くに搭載し得、反射光を弱める偏光器をカメラに含み得る。
３カメラシステムは、特定の性能特徴を提供し得る。例えば、幾つかの実施形態は、あるカメラによる物体の検出を別のカメラからの検出結果に基づいて検証する機能を含み得る。上述した３カメラ構成では、処理ユニット１１０は、例えば、３つの処理デバイス（例えば、上述したように３つのEyeQシリーズのプロセッサチップ）を含み得、各処理デバイスは、画像捕捉デバイス１２２～１２６の１つ又は複数により捕捉される画像の処理に向けられる。
３カメラシステムでは、第１の処理デバイスは、主カメラ及び狭視野カメラの両方から画像を受信し得、狭ＦＯＶカメラのビジョン処理を実行して、例えば、他の車両、歩行者、レーンマーク、交通標識、信号機、及び他の道路物体を検出し得る。更に、第１の処理デバイスは、主カメラからの画像と狭カメラからの画像との間でのピクセルの不一致を計算し、車両２００の環境の３Ｄ再構築を作成し得る。次に、第１の処理デバイスは、３Ｄ再構築を３Ｄマップデータ又は別のカメラからの情報に基づいて計算される３Ｄ情報と結合し得る。
第２の処理デバイスは、主カメラから画像を受信し得、ビジョン処理を実行して、他の車両、歩行者、レーンマーク、交通標識、信号機、及び他の道路物体を検出し得る。更に、第２の処理デバイスは、カメラ変位を計算し、変位に基づいて、連続画像間のピクセルの不一致を計算し、シーンの３Ｄ再構築（例えば、ストラクチャーフロムモーション）を作成し得る。第２の処理デバイスは、３Ｄ再構築に基づくストラクチャーフロムモーションを第１の処理デバイスに送信し、ストラクチャーフロムモーションを立体３Ｄ画像と結合し得る。
第３の処理デバイスは、画像を広ＦＯＶカメラから受信し、画像を処理して、車両、歩行者、レーンマーク、交通標識、信号機、及び他の道路物体を検出し得る。第３の処理デバイスは、追加の処理命令を更に実行して、画像を分析し、レーン変更中の車両、歩行者等の画像内の移動中の物体を識別し得る。
幾つかの実施形態では、画像に基づく情報ストリームを独立して捕捉させ、処理させることは、システムで冗長性を提供する機会を提供し得る。そのような冗長性は、例えば、第１の画像捕捉デバイス及びそのデバイスから処理された画像を使用して、少なくとも第２の画像捕捉デバイスから画像情報を捕捉し処理することにより得られる情報を検証及び／又は捕捉し得る。
幾つかの実施形態では、システム１００は、車両２００にナビゲーション支援を提供するに当たり２つの画像捕捉デバイス（例えば、画像捕捉デバイス１２２及び１２４）を使用し得、第３の画像捕捉デバイス（例えば、画像捕捉デバイス１２６）を使用して、冗長性を提供し、他の２つの画像捕捉デバイスから受信されるデータの分析を検証し得る。例えば、そのような構成では、画像捕捉デバイス１２２及び１２４は、車両２００をナビゲートするためのシステム１００による立体分析の画像を提供し得、一方、画像捕捉デバイス１２６は、システム１００による単眼分析に画像を提供して、画像捕捉デバイス１２３及び／又は画像捕捉デバイス１２４から捕捉された画像に基づいて得られる情報の冗長性及び検証を提供し得る。すなわち、画像捕捉デバイス１２６（及び対応する処理デバイス）は、画像捕捉デバイス１２２及び１２４から導出された分析へのチェックを提供する冗長サブシステムを提供する（例えば、自動緊急ブレーキ（ＡＥＢ）システムを提供する）と見なし得る。
上記カメラ構成、カメラ配置、カメラ数、カメラ位置等が単なる例示であることを当業者は認識するであろう。全体システムに対して説明されるこれらの構成要素等は、開示される実施形態の範囲から逸脱せずに、様々な異なる構成で組み立て且つ使用し得る。ドライバー支援及び／又は自律車両機能を提供するためのマルチカメラシステムの使用に関する更なる詳細が以下に続く。
図４は、開示される実施形態による１つ又は複数の動作を実行する命令を記憶／プログラムされ得るメモリ１４０及び／又は１５０の例示的な機能ブロック図である。以下ではメモリ１４０を参照するが、当業者は、命令がメモリ１４０及び／又は１５０に記憶可能なことを認識するであろう。
図４に示されるように、メモリ１４０は、単眼画像分析モジュール４０２、立体画像分析モジュール４０４、速度及び加速度モジュール４０６、並びにナビゲーション応答モジュール４０８を記憶し得る。開示される実施形態は、いかなる特定の構成のメモリ１４０にも限定されない。更に、アプリケーションプロセッサ１８０及び／又は画像プロセッサ１９０は、メモリ１４０に含まれる任意のモジュール４０２～４０８に記憶された命令を実行し得る。以下の考察での処理ユニット１１０の参照が、アプリケーションプロセッサ１８０及び画像プロセッサ１９０を個々に又はまとめて指し得ることを当業者は理解するであろう。したがって、以下のプロセスの何れかのステップは、１つ又は複数の処理デバイスにより実行し得る。
一実施形態では、単眼画像分析モジュール４０２は命令（コンピュータビジョンソフトウェア等）を記憶し得、命令は、処理ユニット１１０により実行されると、画像捕捉デバイス１２２、１２４、及び１２６の１つにより取得された画像の組の単眼画像分析を実行する。幾つかの実施形態では、処理ユニット１１０は、画像の組からの情報を追加のセンサ情報（例えば、レーダからの情報）と結合して、単眼画像分析を実行し得る。以下の図５Ａ～図５Ｄに関連して説明するように、単眼画像分析モジュール４０２は、レーンマーク、車両、歩行者、道路標識、高速道路出口ランプ、信号機、危険物、及び車両の環境に関連付けられた任意の他の特徴等、画像の組内の特徴の組を検出する命令を含み得る。分析に基づいて、システム１００は、ナビゲーション応答モジュール４０８に関連して以下で考察するように、ターン、レーンシフト、及び加速度変更等の１つ又は複数のナビゲーション応答を車両２００において生じさせ得る（例えば、処理ユニット１１０を介して）。
一実施形態では、立体画像分析モジュール４０４は命令（コンピュータビジョンソフトウェア等）を記憶し得、命令は、処理ユニット１１０により実行されると、画像捕捉デバイス１２２、１２４、及び１２６から選択された画像捕捉デバイスの組合せにより取得される第１及び第２の組の画像の立体画像分析を実行する。幾つかの実施形態では、処理ユニット１１０は、第１及び第２の組の画像からの情報を追加のセンサ情報（例えば、レーダからの情報）と結合して、立体画像分析を実行し得る。例えば、立体画像分析モジュール４０４は、画像捕捉デバイス１２４により取得される第１の組の画像及び画像捕捉デバイス１２６により取得される第２の組の画像に基づいて、立体画像分析を実行する命令を含み得る。以下で図６に関連して説明するように、立体画像分析モジュール４０４は、レーンマーク、車両、歩行者、道路標識、高速道路出口ランプ、信号機、及び危険物等の第１及び第２の組の画像内の特徴の組を検出する命令を含み得る。分析に基づいて、処理ユニット１１０は、ナビゲーション応答モジュール４０８に関連して後述するように、ターン、レーンシフト、及び加速度変更等の１つ又は複数のナビゲーション応答を車両２００において生じさせ得る。
一実施形態では、速度及び加速度モジュール４０６は、車両２００の速度及び／又は加速度を変更させるように構成される車両２００内の１つ又は複数の計算及び電気機械デバイスから受信されるデータを分析するように構成されるソフトウェアを記憶し得る。例えば、処理ユニット１１０は、速度及び加速度モジュール４０６に関連付けられた命令を実行して、単眼画像分析モジュール４０２及び／又は立体画像分析モジュール４０４の実行から導出されるデータに基づいて、車両２００の目標速度を計算し得る。そのようなデータとしては、例えば、目標位置、速度、及び／又は加速度、付近の車両、歩行者、又は道路物体に対する車両２００の位置及び／又は速度、及び道路のレーンマークに対する車両２００の位置情報等を挙げ得る。加えて、処理ユニット１１０は、センサ入力（例えば、レーダからの情報）と、車両２００のスロットルシステム２２０、ブレーキシステム２３０、及び／又は操舵システム２４０等の車両２００の他のシステムからの入力とに基づいて、車両２００の目標速度を計算し得る。計算された目標速度に基づいて、処理ユニット１１０は、電子信号を車両２００のスロットルシステム２２０、ブレーキシステム２３０、及び／又は操舵システム２４０に送信して、例えば、車両２００のブレーキを物理的に弱めるか、又はアクセルを弱めることにより速度及び／又は加速度の変更をトリガーし得る。
一実施形態では、ナビゲーション応答モジュール４０８は、処理ユニット１１０により実行可能であり、単眼画像分析モジュール４０２及び／又は立体画像分析モジュール４０４の実行から導出されるデータに基づいて、所望のナビゲーション応答を決定するソフトウェアを記憶し得る。そのようなデータは、付近の車両、歩行者、及び道路物体に関連付けられた位置及び速度情報並びに車両２００の目標位置情報等を含み得る。更に、幾つかの実施形態では、ナビゲーション応答は、地図データ、車両２００の所定の位置、及び／又は車両２００と、単眼画像分析モジュール４０２及び／又は立体画像分析モジュール４０４の実行から検出される１つ又は複数の物体との間の相対速度又は相対加速度に基づき得る（部分的又は完全に）。ナビゲーション応答モジュール４０８は、センサ入力（例えば、レーダからの情報）と、車両２００のスロットルシステム２２０、ブレーキシステム２３０、及び操舵システム２４０等の車両２００の他のシステムからの入力とに基づいて、所望のナビゲーション応答を決定することもできる。所望のナビゲーション応答に基づいて、処理ユニット１１０は、電子信号を車両２００のスロットルシステム２２０、ブレーキシステム２３０、及び操舵システム２４０に送信して、例えば、車両２００のハンドルをターンさせ、所定の角度の回転を達成することにより、所望のナビゲーション応答をトリガーし得る。幾つかの実施形態では、処理ユニット１１０は、車両２００の速度変更を計算するための速度及び加速度モジュール４０６の実行への入力として、ナビゲーション応答モジュール４０８の出力（例えば、所望のナビゲーション応答）を使用し得る。
図５Ａは、開示される実施形態による、単眼画像分析に基づいて１つ又は複数のナビゲーション応答を生じさせる例示的なプロセス５００Ａを示すフローチャートである。ステップ５１０において、処理ユニット１１０は、処理ユニット１１０と画像取得ユニット１２０との間のデータインタフェース１２８を介して、複数の画像を受信し得る。例えば、画像取得ユニット１２０に含まれるカメラ（視野２０２を有する画像捕捉デバイス１２２等）は、車両２００の前方（又は例えば、車両の側部若しくは後方）のエリアの複数の画像を捕捉し、データ接続（例えば、デジタル、有線、ＵＳＢ、無線、Bluetooth等）を介して処理ユニット１１０に送信し得る。処理ユニット１１０は、単眼画像分析モジュール４０２を実行して、ステップ５２０において、以下で図５Ｂ～図５Ｄに関連して更に詳細に説明するように、複数の画像を分析し得る。分析を実行することにより、処理ユニット１１０は、レーンマーク、車両、歩行者、道路標識、高速道路出口ランプ、及び信号機等の画像の組内の特徴の組を検出し得る。
処理ユニット１１０は、ステップ５２０において、単眼画像分析モジュール４０２を実行して、例えば、トラックタイヤの部品、落ちた道路標識、緩んだ貨物、及び小動物等の様々な道路危険物を検出することもできる。道路危険物の構造、形状、サイズ、及び色は様々であり得、そのような危険物の検出をより難しくする。幾つかの実施形態では、処理ユニット１１０は、単眼画像分析モジュール４０２を実行して、マルチフレーム分析を複数の画像に対して実行して、道路危険物を検出し得る。例えば、処理ユニット１１０は、連続画像フレーム間でのカメラ移動を推定し、フレーム間のピクセルの不一致を計算して、道路の３Ｄマップを構築し得る。次に、処理ユニット１１０は、３Ｄマップを使用して、路面及び路面の上に存在する危険物を検出し得る。
ステップ５３０において、処理ユニット１１０は、ナビゲーション応答モジュール４０８を実行して、ステップ５２０において実行された分析及び図４に関連して上述した技法に基づいて、車両２００に１つ又は複数のナビゲーション応答を生じさせ得る。ナビゲーション応答は、例えば、ターン、レーンシフト、及び加速度変更等を含み得る。幾つかの実施形態では、処理ユニット１１０は、速度及び加速度モジュール４０６の実行から導出されるデータを使用して、１つ又は複数のナビゲーション応答を生じさせ得る。更に、複数のナビゲーション応答は同時に生じてもよく、順次生じてもよく、又はそれらの任意の組合せで生じてもよい。例えば、処理ユニット１１０は、例えば、制御信号を車両２００の操舵システム２４０及びスロットルシステム２２０に順次送信することにより、車両２００に１レーン超えさせ、それから、例えば、加速させ得る。代替的には、処理ユニット１１０は、例えば、制御信号を車両２００のブレーキシステム２３０及び操舵システム２４０に同時に送信することにより、車両２００に、ブレーキを掛けさせ、それと同時にレーンをシフトさせ得る。
図５Ｂは、開示される実施形態による、画像の組内の１つ又は複数の車両及び／又は歩行者を検出する例示的なプロセス５００Ｂを示すフローチャートである。処理ユニット１１０は、単眼画像分析モジュール４０２を実行して、プロセス５００Ｂを実施し得る。ステップ５４０において、処理ユニット１１０は、存在する可能性がある車両及び／又は歩行者を表す候補物体の組を特定し得る。例えば、処理ユニット１１０は、１つ又は複数の画像を走査し、画像を１つ又は複数の所定のパターンと比較し、各画像内で、対象物体（例えば、車両、歩行者、又はそれらの部分）を含み得る可能性がある位置を識別し得る。所定のパターンは、高率の「偽性ヒット」及び低率の「見逃し」を達成するように指定し得る。例えば、処理ユニット１１０は、所定のパターンへの低い類似性閾値を使用して、可能性のある車両又は歩行者として候補物体を識別し得る。そうすることにより、処理ユニット１１０は、車両又は歩行者を表す候補物体を見逃す（例えば、識別しない）確率を低減することができ得る。
ステップ５４２において、処理ユニット１１０は、候補物体の組をフィルタリングして、分類基準に基づいて特定の候補（例えば、無関係又は関係性の低い物体）を除外し得る。そのような基準は、データベース（例えば、メモリ１４０に記憶されるデータベース）に記憶された物体タイプに関連付けられた様々な特性から導出し得る。特性は、物体の形状、寸法、テクスチャ、及び位置（例えば、車両２００に対する）等を含み得る。したがって、処理ユニット１１０は、１つ又は複数の組の基準を使用して、候補物体の組から偽性候補を拒絶し得る。
ステップ５４４において、処理ユニット１１０は、複数の画像フレームを分析して、候補画像の組内の物体が車両及び／又は歩行者を表しているか否かを特定し得る。例えば、処理ユニット１１０は、連続フレームにわたり検出された候補物体を追跡し、検出された物体に関連付けられたフレーム毎データ（例えば、サイズ、車両２００に対する位置等）を蓄積し得る。更に、処理ユニット１１０は、検出された物体のパラメータを推定し、物体のフレーム毎位置データを予測位置と比較し得る。
ステップ５４６において、処理ユニット１１０は、検出された物体の測定値の組を構築し得る。そのような測定値は、例えば、検出された物体に関連付けられた位置、速度、及び加速度値（車両２００に対する）を含み得る。幾つかの実施形態では、処理ユニット１１０は、カルマンフィルタ又は線形二次推定（ＬＱＥ）等の一連の時間ベースの観測を使用する推定技法及び／又は異なる物体タイプ（例えば、車、トラック、歩行者、自転車、道路標識等）で利用可能なモデリングデータに基づいて、測定値を構築し得る。カルマンフィルタは、物体のスケールの測定値に基づき得、ここで、スケール測定は衝突までの時間（例えば、車両２００が物体に達するまでの時間量）に比例する。したがって、ステップ５４０～５４６を実行することにより、処理ユニット１１０は、捕捉画像の組内に現れる車両及び歩行者を識別し、車両及び歩行者に関連付けられた情報（例えば、位置、速度、サイズ）を導出し得る。識別及び導出される情報に基づいて、処理ユニット１１０は、図５Ａに関連して上述したように、車両２００で１つ又は複数のナビゲーション応答を生じさせ得る。
ステップ５４８において、処理ユニット１１０は、１つ又は複数の画像のオプティカルフロー分析を実行して、「偽性ヒット」を検出する確率及び車両又は歩行者を表す候補物体を見逃す確率を低減し得る。オプティカルフロー分析は、例えば、他の車両及び歩行者に関連付けられた１つ又は複数の画像内の車両２００に対する、路面の動きとは別個の移動パターンを分析することを指し得る。処理ユニット１１０は、異なる時刻に捕捉された複数の画像フレームにわたる物体の異なる位置を観測することにより、候補物体の移動を計算し得る。処理ユニット１１０は、位置及び時間値を数学モデルへの入力として使用して、候補物体の移動を計算し得る。したがって、オプティカルフロー分析は、車両２００の付近にある車両及び歩行者を検出する別の方法を提供し得る。処理ユニット１１０は、ステップ５４０～５４６と組み合わせてオプティカルフロー分析を実行して、車両及び歩行者を検出する冗長性を提供すると共に、システム１００の信頼度を上げ得る。
図５Ｃは、開示される実施形態による、画像の組内の道路マーク及び／又はレーンジオメトリ情報を検出する例示的なプロセス５００Ｃを示すフローチャートである。処理ユニット１１０は、単眼画像分析モジュール４０２を実行して、プロセス５００Ｃを実施し得る。ステップ５５０において、処理ユニット１１０は、１つ又は複数の画像を走査することにより物体の組を検出し得る。レーンマークの区分、レーンジオメトリ情報、及び他の関連道路マークを検出するために、処理ユニット１１０は、物体の組をフィルタリングして、無関連（例えば、小さい穴、小さい岩等）であると判断されるものを除外し得る。ステップ５５２において、処理ユニット１１０は、同じ道路マーク又はレーンマークに属する、ステップ５５０において検出されたセグメントを一緒にグループ化し得る。グループ化に基づいて、処理ユニット１１０は、数学モデル等のモデルを開発して、検出されたセグメントを表し得る。
ステップ５５４において、処理ユニット１１０は、検出されたセグメントに関連付けられた測定値の組を構築し得る。幾つかの実施形態では、処理ユニット１１０は、画像平面から実世界平面への検出セグメントの射影を作成し得る。射影は、検出された道路の位置、傾斜、曲率、及び曲率微分等の物理特性に対応する係数を有する三次多項式を使用して特徴付け得る。射影を生成するに当たり、処理ユニット１１０は、路面変化並びに車両２００に関連付けられたピッチ及びロール率を考慮に入れ得る。加えて、処理ユニット１１０は、位置及び路面に存在するモーションキューを分析することにより道路高をモデリングし得る。更に、処理ユニット１１０は、１つ又は複数の画像での特徴点の組を追跡することにより、車両２００に関連付けられたピッチ率及びロール率を推定し得る。
ステップ５５６において、処理ユニット１１０は、例えば、連続した画像フレームにわたり検出セグメントを追跡し、検出セグメントに関連付けられたフレーム毎データを蓄積することにより、マルチフレーム分析を実行し得る。処理ユニット１１０はマルチフレーム分析を実行する場合、ステップ５５４において構築された測定値の組はより信頼性の高いものになり得、ますます高い信頼度を関連付け得る。したがって、ステップ５５０～５５６を実行することにより、処理ユニット１１０は、捕捉画像の組内に現れる道路マークを識別し、レーンジオメトリ情報を導出し得る。識別及び導出される情報に基づいて、処理ユニット１１０は、図５Ａに関連して上述したように、車両２００で１つ又は複数のナビゲーション応答を生じさせ得る。
ステップ５５８において、処理ユニット１１０は、追加の情報ソースを考慮して、車両の周囲の状況での車両２００の安全モデルを更に開発し得る。処理ユニット１１０は、安全モデルを使用して、システム１００が車両２００の自律制御を安全に実行し得る状況を定義し得る。安全モデルを開発するために、幾つかの実施形態では、処理ユニット１１０は、他の車両の位置及び動き、検出された道路縁部及び障壁、及び／又は地図データ（地図データベース１６０からのデータ等）から抽出された一般道路形状記述を考慮し得る。追加の情報ソースを考慮することにより、処理ユニット１１０は、道路マーク及びレーンジオメトリを検出するための冗長性を提供し、システム１００の信頼性を上げ得る。
図５Ｄは、開示される実施形態による、画像の組内の信号機を検出する例示的なプロセス５００Ｄを示すフローチャートである。処理ユニット１１０は、単眼画像分析モジュール４０２を実行して、プロセス５００Ｄを実施し得る。ステップ５６０において、処理ユニット１１０は、画像の組を走査し、信号機を含む可能性が高い画像内の位置に現れる物体を識別し得る。例えば、処理ユニット１１０は、識別された物体をフィルタリングして、信号機に対応する可能性が低い物体を除外した候補物体の組を構築し得る。フィルタリングは、形状、寸法、テクスチャ、及び位置（例えば、車両２００に対する）等の信号機に関連付けられた様々な特性に基づいて行い得る。そのような特性は、信号機及び交通制御信号の多くの例に基づき得、データベースに記憶し得る。幾つかの実施形態では、処理ユニット１１０は、信号機の可能性がある候補物体の組に対してマルチフレーム分析を実行し得る。例えば、処理ユニット１１０は、連続した画像フレームにわたり候補物体を追跡し、候補物体の現実世界位置を推定し、移動している（信号機である可能性が低い）物体をフィルタリングして除去し得る。幾つかの実施形態では、処理ユニット１１０は、カラー分析を候補物体に対して実行し、信号機の可能性がある候補物体内部に表される検出色の相対位置を識別し得る。
ステップ５６２において、処理ユニット１１０は、交差点のジオメトリを分析し得る。分析は、（ｉ）車両２００の両側で検出されるレーン数、（ｉｉ）道路で検出されたマーク（矢印マーク等）、及び（ｉｉｉ）地図データ（地図データベース１６０からのデータ等）から抽出された交差点の記述の任意の組合せに基づき得る。処理ユニット１１０は、単眼分析モジュール４０２の実行から導出される情報を使用して、分析を行い得る。加えて、処理ユニット１１０は、ステップ５６０において検出された信号機と、車両２００近傍に現れるレーンとの対応性を特定し得る。
車両２００が交差点に近づくにつれて、ステップ５６４において、処理ユニット１１０は、分析された交差点ジオメトリ及び検出された信号機に関連付けられた信頼度を更新し得る。例えば、交差点に実際に現れる数と比較した、交差点に現れると推定された信号機の数は、信頼度に影響を及ぼし得る。したがって、信頼度に基づいて、処理ユニット１１０は、車両２００のドライバーに制御を委任して、安全状況を改善し得る。ステップ５６０～５６４を実行することにより、処理ユニット１１０は、捕捉画像の組内に現れる信号機を識別し、交差点ジオメトリ情報を分析し得る。識別及び分析に基づいて、処理ユニット１１０は、図５Ａに関連して上述したように、車両２００で１つ又は複数のナビゲーション応答を生じさせ得る。
図５Ｅは、開示される実施形態による、車両経路に基づいて車両２００で１つ又は複数のナビゲーション応答を生じさせる例示的なプロセス５００Ｅのフローチャートである。ステップ５７０において、処理ユニット１１０は、車両２００に関連付けられた初期車両経路を構築し得る。車両経路は、座標（ｘ，ｙ）で表される点の組を使用して表し得、点の組内の２点間距離ｄｉは、１～５メートルの範囲内にあり得る。一実施形態では、処理ユニット１１０は、左右の道路多項式等の２つの多項式を使用して初期車両経路を構築し得る。処理ユニット１１０は、２つの多項式間の幾何学的中間点を計算し、所定のオフセットがある場合（オフセット０は、レーンの中央での走行に対応し得る）、所定のオフセット（例えば、スマートレーンオフセット）だけ、結果として生成される車両経路に含まれる各点をオフセットさせ得る。オフセットは、車両経路内の任意の２点間の区分に垂直の方向であり得る。別の実施形態では、処理ユニット１１０は、１つの多項式及び推定レーン幅を使用して、推定レーン幅の半分に所定のオフセット（例えば、スマートレーンオフセット）を加えたものだけ車両経路の各点をオフセットさせ得る。
ステップ５７２において、処理ユニット１１０は、ステップ５７０において構築された車両経路を更新し得る。処理ユニット１１０は、車両経路を表す点の組内の２点間距離ｄｋが、上述した距離ｄｉよりも短くなるように、より高い解像度を使用して、５７０において構築された車両経路を再構築し得る。例えば、距離ｄｋは０．１～０．３メートルの範囲であり得る。処理ユニット１１０は、放物線スプラインアルゴリズムを使用して車両経路を再構築し得、これは、車両経路の全長（すなわち、車両経路を表す点の組に基づく）に対応する累積距離ベクトルＳをもたらし得る。
ステップ５７４において、処理ユニット１１０は、ステップ５７２において行われた更新車両経路に基づいて、先読み点（（ｘｌ，ｚｌ）として座標で表される）を特定し得る。処理ユニット１１０は、累積距離ベクトルＳから先読み点を抽出し得、先読み点には、先読み距離及び先読み時間を関連付け得る。先読み距離は、下限範囲１０～２０メートルを有し得、車両２００の速度と先読み時間との積として計算し得る。例えば、車両２００の速度が下がるにつれて、先読み距離も短くなり得る（例えば、下限に達するまで）。０．５～１．５秒の範囲であり得る先読み時間は、進行エラー追跡制御ループ等の車両２００でナビゲーション応答を生じさせることに関連付けられた１つ又は複数の制御ループの利得に反比例し得る。例えば、進行エラー追跡制御ループの利得は、ヨー率ループ、操舵アクチュエータループ、及び車横方向ダイナミクス等の帯域幅に依存し得る。したがって、進行エラー追跡制御ループの利得が高いほど、先読み時間は短くなる。
ステップ５７６において、処理ユニット１１０は、ステップ５７４において特定される先読み点に基づいて、進行エラー及びヨー率コマンドを決定し得る。処理ユニット１１０は、先読み点の逆正接、例えば、ａｒｃｔａｎ（ｘｌ／ｚｌ）を計算することにより、進行エラーを特定し得る。処理ユニット１１０は、進行エラーと高レベル制御利得との積として、ヨー率コマンドを決定し得る。高レベル制御利得は、先読み距離が下限にない場合、（２／先読み時間）に等しい値であり得る。先読み距離が下限である場合、高レベル制御利得は（２＊車両２００の速度／先読み距離）に等しい値であり得る。
図５Ｆは、開示される実施形態による、先行車両がレーンを変更中であるか否かを特定する例示的なプロセス５００Ｆを示すフローチャートである。ステップ５８０において、処理ユニット１１０は、先行車両（例えば、車両２００の前を移動中の車両）に関連付けられたナビゲーション情報を特定し得る。例えば、処理ユニット１１０は、図５Ａ及び図５Ｂに関連して上述した技法を使用して、先行車両の位置、速度（例えば、方向及び速度）、及び／又は加速度を特定し得る。処理ユニット１１０は、図５Ｅに関連して上述した技法を使用して、１つ又は複数の道路多項式、先読み点（車両２００に関連付けられる）、及び／又はスネイルトレイル（例えば、先行車両がとった経路を記述する点の組）を特定することもできる。
ステップ５８２において、処理ユニット１１０は、ステップ５８０において特定されたナビゲーション情報を分析し得る。一実施形態では、処理ユニット１１０は、スネイルトレイルと道路多項式との間の距離（例えば、トレイルに沿った）を計算し得る。トレイルに沿ったこの距離の相違が所定の閾値（例えば、直線道路では０．１～０．２メートル、緩くカーブした道路では０．３～０．４メートル、急カーブの道路では０．５～０．６メートル）を超える場合、処理ユニット１１０は、先行車両がレーン変更中である可能性が高いと判断し得る。複数の車両が、車両２００の前を走行中であることが検出される場合、処理ユニット１１０は、各車両に関連付けられたスネイルトレイルを比較し得る。比較に基づいて、処理ユニット１１０は、スネイルトレイルが他の車両のスネイルトレイルに一致しない車両が、レーン変更中である可能性が高いと判断し得る。処理ユニット１１０は、更に、スネイルトレイル（先行車両に関連付けられた）の曲率を、先行車両が移動中の道路区分の予期される曲率と比較し得る。予期される曲率は、地図データ（例えば、地図データベース１６０からのデータ）、道路多項式、他の車両のスネイルトレイル、及び道路についての事前知識等から抽出し得る。スネイルトレイルの曲率と道路区分の予期される曲率との差が、所定の閾値を超える場合、処理ユニット１１０は、先行車両がレーン変更中である可能性が高いと判断し得る。
別の実施形態では、処理ユニット１１０は、特定の時間期間（例えば、０．５～１．５秒）にわたり、先行車両の瞬間的な位置を先読み点（車両２００に関連付けられた）と比較し得る。特定の時間期間中の先行車両の瞬間的な位置と先読み点との間の距離の差及び相違の累積和が、所定の閾値（例えば、直線道路では０．３～０．４メートル、緩くカーブした道路では０．７～０．８メートル、急カーブの道路では１．３～１．７メートル）を超える場合、処理ユニット１１０は、先行車両がレーン変更中である可能性が高いと判断し得る。別の実施形態では、処理ユニット１１０は、トレイルに沿って移動した横方向距離をスネイルトレイルの予期される曲率と比較することにより、スネイルトレイルの幾何学的形状を分析し得る。予期される曲率半径は、計算：
（δｚ ２＋δｘ ２）／２／（δｘ）
に従って特定し得、式中、σｘは横方向移動距離を表し、σｚは縦方向移動距離を表す。横方向移動距離と予期される曲率との差が所定の閾値（例えば、５００～７００メートル）を超える場合、処理ユニット１１０は、先行車両がレーン変更中である可能性が高いと判断し得る。別の実施形態では、処理ユニット１１０は、先行車両の位置を分析し得る。先行車両の位置が道路多項式を見えなくする（例えば、先行車両が道路多項式の上に重なる）場合、処理ユニット１１０は、先行車両がレーン変更中である可能性が高いと判断し得る。先行車両の位置が、別の車両が先行車両の前方で検出され、２台の車両のスネイルトレイルが平行ではないようなものである場合、処理ユニット１１０は、（より近い）先行車両がレーン変更中である可能性が高いと判断し得る。
ステップ５８４において、処理ユニット１１０は、ステップ５８２において実行された分析に基づいて、先行車両２００がレーン変更中であるか否かを特定し得る。例えば、処理ユニット１１０は、ステップ５８２において実行された個々の分析の加重平均に基づいてその判断を下し得る。そのような方式下では、例えば、特定のタイプの分析に基づいた、先行車両がレーン変更中である可能性が高いという処理ユニット１１０による判断には、値「１」を割り当て得る（「０」は、先行車両がレーン変更中である可能性が低いとの判断を表す）。ステップ５８２において実行される異なる分析には異なる重みを割り当て得、開示される実施形態は、分析及び重みのいかなる特定の組合せにも限定されない。
図６は、開示される実施形態による、立体画像分析に基づいて１つ又は複数のナビゲーション応答を生じさせる例示的なプロセス６００を示すフローチャートである。ステップ６１０において、処理ユニット１１０は、データインタフェース１２８を介して第１及び第２の複数の画像を受信し得る。例えば、画像取得ユニット１２０に含まれるカメラ（視野２０２及び２０４を有する画像捕捉デバイス１２２及び１２４等）は、車両２００の前方のエリアの第１及び第２の複数の画像を捕捉し、デジタル接続（例えば、ＵＳＢ、無線、Bluetooth等）を介して処理ユニット１１０に送信し得る。幾つかの実施形態では、処理ユニット１１０は、２つ以上のデータインタフェースを介して第１及び第２の複数の画像を受信し得る。開示される実施形態は、いかなる特定のデータインタフェース構成又はプロトコルにも限定されない。
ステップ６２０において、処理ユニット１１０は、立体画像分析モジュール４０４を実行して、第１及び第２の複数の画像の立体画像分析を実行して、車両の前の道路の３Ｄマップを作成し、レーンマーク、車両、歩行者、道路標識、高速道路出口ランプ、信号機、及び道路危険物等の画像内の特徴を検出し得る。立体画像分析は、図５Ａ～図５Ｄに関連して上述したステップと同様に実行し得る。例えば、処理ユニット１１０は、立体画像分析モジュール４０４を実行して、第１及び第２の複数の画像内の候補物体（例えば、車両、歩行者、道路マーク、信号機、道路危険物等）を検出し、様々な基準に基づいて候補物体のサブセットをフィルタリングして除外し、マルチフレーム分析を実行し、測定値を構築し、残りの候補物体の信頼度を特定し得る。上記ステップを実行するに当たり、処理ユニット１１０は、画像の１つの組のみからの情報ではなく、第１及び第２の複数の画像の両方からの情報を考慮し得る。例えば、処理ユニット１１０は、第１及び第２の複数の画像の両方に現れる候補物体のピクセルレベルデータ（又は捕捉画像の２つのストリームの中からの他のデータサブセット）の差を分析し得る。別の例として、処理ユニット１１０は、物体が複数の画像の１枚に現れるが、残りの他の画像では現れないことを観測することにより、又は２つの画像ストリームに現れる物体に対して存在し得る他の差に対して、候補物体の位置及び／又は速度（例えば、車両２００に対する）を推定し得る。例えば、車両２００に対する位置、速度、及び／又は加速度は、画像ストリームの一方又は両方に現れる物体に関連付けられた特徴の軌道、位置、移動特性等に基づいて特定し得る。
ステップ６３０において、処理ユニット１１０は、ナビゲーション応答モジュール４０８を実行して、ステップ６２０において実行された分析及び図４に関連して上述した技法に基づいて、車両２００で１つ又は複数のナビゲーション動作を生じさせ得る。ナビゲーション応答は、例えば、ターン、レーンシフト、加速度変更、速度変更、及びブレーキ等を含み得る。幾つかの実施形態では、処理ユニット１１０は、速度及び加速度モジュール４０６の実行から導出されるデータを使用して、１つ又は複数のナビゲーション応答を生じさせ得る。更に、複数のナビゲーション応答は、同時に行ってもよく、順次行ってもよく、又はそれらの任意の組合せで行ってもよい。
図７は、開示される実施形態による、３組の画像の分析に基づいて１つ又は複数のナビゲーション応答を生じさせる例示的なプロセス７００を示すフローチャートである。ステップ７１０において、処理ユニット１１０は、データインタフェース１２８を介して第１、第２、及び第３の複数の画像を受信し得る。例えば、画像取得ユニット１２０に含まれるカメラ（視野２０２、２０４、及び２０６を有する画像捕捉デバイス１２２、１２４、及び１２６等）は、車両２００の前方及び／又は側部のエリアの第１、第２、及び第３の複数の画像を捕捉し、デジタル接続（例えば、ＵＳＢ、無線、Bluetooth等）を介して処理ユニット１１０に送信し得る。幾つかの実施形態では、処理ユニット１１０は、３つ以上のデータインタフェースを介して第１、第２、及び第３の複数の画像を受信し得る。例えば、画像捕捉デバイス１２２、１２４、及び１２６のそれぞれは、処理ユニット１１０にデータを通信する関連付けられたデータインタフェースを有し得る。開示される実施形態は、いかなる特定のデータインタフェース構成又はプロトコルにも限定されない。
ステップ７２０において、処理ユニット１１０は、第１、第２、及び第３の複数の画像を分析して、レーンマーク、車両、歩行者、道路標識、高速道路出口ランプ、信号機、及び道路危険物等の画像内の特徴を検出し得る。分析は、図５Ａ～図５Ｄ及び図６に関連して上述したステップと同様に実行し得る。例えば、処理ユニット１１０は、単眼画像分析を第１、第２、及び第３の複数のそれぞれの画像に対して実行し得る（例えば、単眼画像分析モジュール４０２の実行及び図５Ａ～図５Ｄに関連して上述したステップに基づいて）。代替的には、処理ユニット１１０は、立体画像分析を第１及び第２の複数の画像、第２及び第３の複数の画像、及び／又は第１及び第３の複数の画像に対して実行し得る（例えば、立体画像分析モジュール４０４の実行を介して及び図６に関連して上述したステップに基づいて）。第１、第２、及び／又は第３の複数の画像の分析に対応する処理済み情報は、結合し得る。幾つかの実施形態では、処理ユニット１１０は、単眼画像分析と立体画像分析との組合せを実行し得る。例えば、処理ユニット１１０は、単眼画像分析を第１の複数の画像に対して実行し（例えば、単眼画像分析モジュール４０２の実行を介して）、立体画像分析を第２及び第３の複数の画像に対して実行し得る（例えば、立体画像分析モジュール４０４の実行を介して）。画像捕捉デバイス１２２、１２４、及び１２６の構成（各位置及び視野２０２、２０４、及び２０６を含む）は、第１、第２、及び第３の複数の画像に対して行われる分析のタイプに影響を及ぼし得る。開示される実施形態は、画像捕捉デバイス１２２、１２４、及び１２６の特定の構成又は第１、第２、及び第３の複数の画像に対して行われる分析のタイプに限定されない。
幾つかの実施形態では、処理ユニット１１０は、ステップ７１０及び７２０において取得され分析された画像に基づいて、システム１００にテストを実行し得る。そのようなテストは、画像捕捉デバイス１２２、１２４、及び１２６の特定の構成でのシステム１００の全体性能のインジケータを提供し得る。例えば、処理ユニット１１０は、「偽性ヒット」（例えば、システム１００が、車両又は歩行者が存在していると誤って判断する場合）及び「見落とし」の割合を特定し得る。
ステップ７３０において、処理ユニット１１０は、第１、第２、及び第３の複数の画像の２つから導出される情報に基づいて、車両２００での１つ又は複数のナビゲーション応答を生じさせ得る。第１、第２、及び第３の複数の画像のうちの２つを選択することは、例えば、複数の画像のそれぞれで検出される物体の数、タイプ、及びサイズ等の様々なファクタに依存し得る。処理ユニット１１０は、画像の品質及び解像度、画像に反映される有効視野、捕捉フレーム数、及び対象となる１つ又は複数の物体が実際にフレームに現れる程度（例えば、物体が現れるフレームのパーセンテージ、物体がそのような各フレームで現れる割合等）等に基づいて選択を行うことができる。
幾つかの実施形態では、処理ユニット１１０は、ある画像ソースから導出された情報が、他の画像ソースから導出される情報と一貫する程度を特定することにより、第１、第２、及び第３の複数の画像のうちの２つから導出される情報を選択し得る。例えば、処理ユニット１１０は、画像捕捉デバイス１２２、１２４、及び１２６のそれぞれから導出される処理済み情報（単眼分析であれ、立体分析であれ、又はそれら２つの任意の組合せであれ関係なく）を結合して、画像捕捉デバイス１２２、１２４、及び１２６のそれぞれから捕捉される画像にわたり一貫する視覚的インジケータ（例えば、レーンマーク、検出された車両及び／又はその位置及び／又は経路、検出された信号機等）を特定し得る。処理ユニット１１０は、捕捉画像にわたり一貫しない情報（例えば、レーンを変更中の車両、車両２００に近過ぎる車両を示すレーンモデル等）を除外することもできる。したがって、処理ユニット１１０は、一貫情報及び非一貫情報の特定に基づいて、第１、第２、及び第３の複数の画像のうちの２つからの導出される情報を選択し得る。
ナビゲーション応答は、例えば、ターン、レーンシフト、及び加速度変更を含み得る。処理ユニット１１０は、ステップ７２０において実行される分析及び図４に関連して上述した技法に基づいて、１つ又は複数のナビゲーション応答を生じさせ得る。処理ユニット１１０は、速度及び加速度モジュール４０６の実行から導出されるデータを使用して、１つ又は複数のナビゲーション応答を生じさせることもできる。幾つかの実施形態では、処理ユニット１１０は、車両２００と第１、第２、及び第３の複数の画像の何れかで検出される物体との間の相対位置、相対速度、及び／又は相対加速度に基づいて、１つ又は複数のナビゲーション応答を生じさせ得る。複数のナビゲーション応答は、同時に行ってもよく、順次行ってもよく、又はそれらの任意の組合せで行ってもよい。
割込み車両の予測と利他的行動応答
ナビゲーション中、車両２００等の自律車両は、レーンシフトを試みている他の車両に遭遇し得る。例えば、車両２００が走行しているレーンの左又は右にあるレーン（例えば、道路上のマークにより指定されるレーン、又は道路上にマークのない、車両２００の経路に整列するレーン）にある車両が、車両２００の走行中のレーンへの変更又は割込みを試み得る。このような車両を標的車両とし得る。このような割込みが行われるとき、車両２００はナビゲーション応答を行う必要があり得る。例えば、車両２００は、その速度又は加速度を変更し、及び／又は他のレーンに変更することにより、標的車両による割込みを回避することができる。
幾つかの例では、標的車両は割込みしようとしているよう見え得るが、最終的に割込みは行われないことがあり得る。標的車両のドライバー（又は更に標的車両に関連付けられる完全又は一部自律ナビゲーションシステム）が、例えば心変わりをしたか、それ以外にナビゲーションプランをレーン変更以外に変えることがあり得、又は標的車両が単に滑ったに過ぎないことがあり得る。したがって、不必要なブレーキ及び／又は加速を頻繁に行うことを回避するために、車両２００は、標的車両による割込みが行われる可能性が十分となったと判断されるまで、ナビゲーション応答の実行を遅らせることが望ましいことがあり得る。他方、幾つかの状況では（特に標的車両によるホスト車両の経路へのコース変更が予期される場合）、車両２００がナビゲーション応答をより早期に実行することが望ましいことがあり得る。少なくとも一部に予期される行動に基づくこのようなナビゲーションは、急ブレーキを回避するのに役立ち得、安全マージンを格段に広げ得る。標的車両による割込みの試みの予測を改善することは、不必要なブレーキと急ブレーキとの両方を最小限にするのに役立ち得る。このような改善された予測を割込み検出と呼ぶことができ、割込みが検出されたときにとられるナビゲーション応答を割込み応答と呼ぶことができる。
幾つかの実施形態では、このような改善された予測は、例えば、静的道路特徴（例えば、レーン終了、道路分割）、動的道路特徴（例えば、割込みを試みる可能性のある車両の前方の他の車両の存在）、及び／又は地理的地域内の交通ルールと運転習慣を検出するために、単眼及び／又は立体画像分析、及び／又は他のソースから（例えば、ＧＰＳデバイス、速度センサ、加速度計、サスペンションセンサ等から）得られる情報に依存することができる。これらの静的道路特徴、動的道路特徴、及び／又は交通ルールと運転習慣は、所定の割込み感度変更要素と呼ぶことができ、１つ又は複数の所定の割込み感度変更要因の存在は、車両２００に標的車両による割込みの試みに対するその感度を変化させ得る。例えば、所定の割込み感度変更要因が環境内に存在する場合（例えば、標的車両が、より低速で移動中の他の車両に近距離で追従している）、車両２００は第１の割込み感度パラメータに依存し得、環境中に所定の割込み感度変更要素が存在しない場合（例えば、そのレーンに標的車両のみがある）、車両２００は第２の割込み感度パラメータに依存し得る。第２の割込み感度パラメータは、第１の割込み感度パラメータと異なり得る（例えば、より高感度である）。
幾つかの場合、標的車両による割込みが必要であり得る。例えば、標的車両が走行しているレーンが終了することがあり得、道路が分割されることがあり得、又は標的車両が走行しているレーンに障害物（例えば、停止中の車両、物体、又はその他の種類の障害）があり得る。しかし、他の場合、標的車両による割込みは任意選択により得る。例えば、標的車両は、単に、より低速で移動中の車両を追い越すために割込みを試み得る。割込みが任意選択による場合、標的車両が割込みを試みるか否かは、車両２００（例えば、ホスト車両）がどのように行動するかに依存し得る。例えば、車両２００は、減速することによって標的車両が割り込んでもよいことを知らせ得るか、又は加速することによって標的車両が割り込んではならないことを知らせ得る。加速は、それによって車両２００がより早く目的地に到着できる限り、多くの場合、車両２００にとって望ましいことがあり得るが、車両２００のオペレータ（又は車両２００を完全又は部分的に制御するナビゲーションシステム）は、幾つか又は全ての場合において、割込みを許可する傾向があり得る。これを利他的行動と呼ぶことができる。したがって、車両２００が、標的車両による割込みを許可するか否かを判断する際、利他的行動に関する検討事項を考慮に入れることが望ましいことがあり得る。
図８は、開示される実施形態による１つ又は複数の動作を実行する命令と共に記憶／プログラムされ得るメモリ１４０及び／又は１５０の例示的な機能ブロックである。以下はメモリ１４０に関するものであるが、当業者であれば、命令がメモリ１４０及び／又は１５０に記憶され得、命令はシステム１００の処理ユニット１１０により実行され得ることがわかるであろう。
図８に示されているように、メモリ１４０は、単眼画像分析モジュール４０２と、立体画像分析モジュール４０４と、速度及び加速度モジュール４０６と、ナビゲーション応答モジュール４０８とを含み得、これらは図４に関連して上で説明したモジュールの形態の何れも取り得る。メモリ１４０は、割込み検出モジュール８０２と、割込み応答モジュール８０４と、利他的行動モジュール８０６とを更に含み得る。開示される実施形態は、メモリ１４０の何れの特定の構成にも限定されない。更に、アプリケーションプロセッサ１８０及び／又は画像プロセッサ１９０は、メモリ１４０に含まれるモジュール４０２～４０８及び８０２～８０６の何れに記憶された命令も実行し得る。当業者であれば、以下の考察での処理ユニット１１０への言及は、アプリケーションプロセッサ１８０と画像プロセッサ１９０とを個別又は集合的に指し得ることを理解するであろう。したがって、以下のプロセスの何れのステップも、１つ又は複数の処理デバイスにより実行され得る。更に、モジュール４０２～４０８及び８０２～８０６の何れも、車両２００からリモートに記憶され得る（例えば、ネットワークに接続され、ネットワーク上で車両２００の無線送受信機１７２を介してアクセス可能な１つ又は複数のサーバに分散される）。
幾つかの実施形態では、割込み検出モジュール８０２は、処理ユニット１１０により実行されると、標的車両の検出を可能にする命令を記憶し得る。標的車両は、車両２００が走行しているレーンに隣接するレーンを走行している車両であり得、幾つかの場合、先行車両であり得る。幾つかの実施形態では、割込み検出モジュール８０２は、単眼画像分析モジュール４０２に関連して上で説明したように、画像捕捉デバイス１２２、１２４、及び１２６のうちの１つにより取得された画像の組の単眼画像分析を実行することによって標的車両を検出し得る。幾つかの実施形態では、処理ユニット１１０は、画像の組からの情報を追加のセンサ情報（例えば、レーダ又はライダからの情報）と結合して、単眼画像分析を実行し得る。図５Ａ～５Ｄに関連して上で説明したように、このような単眼画像分析は、画像の組内の特徴の組、例えば車両の縁部の特徴、車両のライト（又は車両に関連付けられるその他の要素）、レーンマーク、車両、又は道路標識を検出することを含み得る。例えば、標的車両を検出することは、図５Ｂに関連して説明したように実行され得、これには標的車両を含む候補物体の組を特定することと、候補物体の組をフィルタにかけることと、候補物体の組のマルチフレーム分析を実行することと、検出された物体（標的車両を含む）の測定値の組を構成することと、オプティカルフロー分析を実行することとを含む。測定値としては、例えば、標的座標に関連付けられる位置、速度、加速度の値（車両２００に関する）を含み得る。
代替的又は追加的に、幾つかの実施形態では、割込み検出モジュール８０２は、立体画像分析モジュール４０４に関連して上で説明したように、画像捕捉デバイス１２２、１２４、及び１２６の何れかから選択された画像捕捉デバイスの組合せにより取得された第１及び第２の組の画像の立体画像分析を実行することにより、標的車両を検出し得る。幾つかの実施形態では、処理ユニット１１０は、第１及び第２の組の画像からの情報を、追加のセンサ情報（例えば、レーダ又はライダからの情報）と結合して、立体画像分析を実行し得る。例えば、立体画像分析モジュール４０４は、画像捕捉デバイス１２４により取得された第１の組の画像と画像捕捉デバイス１２６により取得された第２の組の画像とに基づいて立体画像分析を実行する命令を含み得る。図６に関連して説明したように、立体画像分析は、第１及び第２の組の画像中の特徴の組、例えば車両の縁部の特徴、車両のライト（又は車両に関連付けられるその他の要素）、レーンマーク、車又は道路標識を検出することを含み得る。
他の実施形態では、画像捕捉デバイス１２２、１２４、及び１２６のうちの１つにより取得された画像を分析することによって１つ又は複数の車両（例えば、標的車両）を検出することの代替案として、割込み検出モジュール８０２は、その代わりに、システム１００に含まれるレーダデバイス又はライダデバイスを介して取得された情報等のセンサ情報の分析を通じて車両を検出し得る。
幾つかの実施形態では、割込み検出モジュール８０２は、更に、処理ユニット１１０により実行されると、標的車両が割込みを試みるであろう（すなわち、標的車両が、車両２００が走行しているレーンへのレーン変更又はそれ以外のホスト車両の走行経路中への移動を試みるであろう）というインジケータの識別を可能にする命令を記憶し得る。幾つかの実施形態では、インジケータを識別することは、図５Ｂに関連して上で説明したように、単眼及び／又は立体画像分析を使用して標的車両の位置及び／又は速度を検出することを含み得る。幾つかの実施形態では、インジケータを識別することは、図５Ｃに関連して上で説明したように、１つ又は複数の道路マークを検出することを更に含み得る。また、幾つかの実施形態では、インジケータを識別することは、図５Ｆに関連して上で説明したように、標的車両がレーンを変更していることを検出することを更に含み得る。特に、処理ユニット１１０は、図５Ａ及び５Ｂに関連して上で説明した技術を用いて、先行車両の位置、速度（例えば、方向及び速度）、及び／又は加速度等、標的車両に関連付けられるナビゲーション情報を特定し得る。処理ユニット１１０はまた、図５Ｅに関連して上で説明した技術を用いて、１つ又は複数の道路多項式、先読み点（車両２００に関連付けられる）、及び／又はスネイルトレイル（例えば、先行車両がたどった経路を記述する点の組）も特定し得る。更に、処理ユニット１１０は、図５Ｆに関連して上で説明したように、例えば、スネイルトレイルと道路多項式との間の距離（例えば、トレイルに沿った）を計算すること、又は特定の時間期間（例えば、０．５～１．５秒）にわたり先行車両の瞬間的な位置を先読み点（車両２００に関連付けられる）と比較することにより、ナビゲーション情報を分析し得る。分析に基づき、処理ユニット１１０は、先行車両が割込みを試みているというインジケータが存在するか否かを識別し得る。
割込み検出モジュール８０２は、更に、処理ユニット１１０により実行されると、所定の割込み感度変更要素が車両２００の環境中に存在することを検出可能にする命令を記憶し得る。所定の割込み感度変更要素は、標的車両が現在の経路にとどまるのか、ホスト車両の経路へとコース変更するのかという傾向を示唆する任意のインジケータを含み得る。このような感度変更要素は、静的道路特徴（例えば、レーン終了、道路分割、障壁、物体）、動的道路特徴（例えば、割込みを試みる可能性のある車両の前方の他の車両の存在）、及び／又は地理的地域内の交通ルールと運転習慣を含み得る。幾つかの実施形態では、所定の割込み感度変更要素を検出することは、単眼及び／又は立体画像分析を使用して、画像の組内の特徴の組、例えばレーンマーク、車両、歩行者、道路標識、高速道路の出口ランプ、信号機、危険物、並びに図５Ａ～５Ｄ及び６に関連して上で説明したような、車両の環境に関連付けられる任意の他の特徴を検出することを含み得る。代替的又は追加的に、幾つかの実施形態では、所定の割込み感度変更要素を検出することは、他のセンサ情報、例えばＧＰＳデータを使用することを含み得る。例えば、レーン終了、高速道路分割等は地図データに基づいて特定され得る。他の例として、交通ルールは、ＧＰＳ位置データに基づいて特定され得る。
割込み応答モジュール８０４は、処理ユニット１１０により実行されると、割込み応答が実行されることを可能にする命令を記憶し得る。割込み応答は、ターン、レーンシフト、加速度変更等、ナビゲーション応答に関して上で説明した形態の何れも取り得、これはナビゲーション応答モジュール４０８に関連して後に考察する。
幾つかの実施形態において、割込み応答が実行されるか否かは、環境中に所定の割込み感度変更要素の有無に依存し得る。例えば、所定の割込み感度変更要素が環境中に存在しない場合（例えば、そのレーン内に割込みを試みている車両のみがある、画像分析又はＧＰＳ／地図／交通データの精査の何れを通じてもレーンシフトや障害物が検出されない等）、車両２００は第１の割込み感度パラメータに依存し得る。幾つかの実施形態では、所定の割込み感度変更要素が環境中にない場合、車両２００は第１の割込み感度パラメータに関連付けられる値に依存し得る。値は、第１の割込み感度パラメータに直接結び付けられた、及び／又は測定された任意の値を含み得、又は第１の割込み感度パラメータに間接的に関係する１つ又は複数の値であり得る。
他方、１つ又は複数の所定の割込み感度変更要素が環境中に存在する場合（例えば、標的車両が高速で移動していて、そのレーン内のより低速の車両に接近しつつある、レーンシフト又はレーン終了状態が画像分析を通じて視覚的に又はＧＰＳ／地図／交通情報の参照を通じて検出された、その局所的地域が左レーンの運転を奨励しない地域である等）、車両２００は第２の割込み感度パラメータに依存し得る。第２の割込み感度パラメータは第１の割込み感度パラメータと異なり得る（例えば、より高感度である）。幾つかの実施形態では、１つ又は複数の所定の割込み感度変更要素が環境中に存在する場合、車両２００は第２の割込み感度パラメータに関連付けられる値に依存し得る。第１の割込み感度パラメータに関連付けられる値に関する上述の考察と同様に、第２の割込み感度パラメータに関連付けられる値は、第２の割込み感度パラメータに関して直接結び付けられた、及び／又は測定された任意の値を含み得、又は第２の割込み感度パラメータに間接的に関係する１つ又は複数の値であり得る。
第１及び第２の割込み感度パラメータは２つの動作状態を確立し得、すなわち、ホスト車両が標的車両による移動又はコース変更に対してより低感度でもよい第１のものと、ホスト車両が標的車両による移動又はコース変更により高感度であり得る第２の状態とを確立し得る。このような状態による方式は、標的車両によるコース変更が任意の環境状態に基づいて予期されない場合、第１の状態において減速、加速、又はコース変更の回数又は程度を減らすことができる。しかしながら、第２の状態では、標的車両の環境中において、標的車両のコース変更（又はその他のナビゲーション応答）の原因となると予期されるような少なくとも１つの状態が検出又は特定される場合、ホスト車両は、標的車両のコース変更又はナビゲーション変更に対してより高感度となることができ、標的車両のナビケーションにおいて認識されるわずかな変化にも基づいて、コース変更、加速、減速等を行い得る。第２の状態におけるこのような小さい変化は、予期される標的車両によるナビゲーション変更と一致すると解釈され得、したがって、第１の状態でのナビゲーションと比較して、より迅速な応答を保証し得る。
更に、第２の状態では、ホスト車両のコース変更は、感度変更要素の検出のみに基づいて、標的車両のナビゲーション応答又は変化を検出せずに実行され得る。例えば、ホスト車両システムの画像分析が感度変更要素の存在を示す場合（例えば、捕捉された画像中にレーン終了状態を示す道路標識を認識すること、画像中に標的車両の前方にレーン終了を認識すること、標的車両の前方に障害物又はより低速で移動する車両、又は他の任意の感度変更要素を認識することによる）、ホスト車両は、標的車両によるナビゲーション変化を検出しなくても、１つ又は複数の先制行動（減速、加速、コース変更等）を取り得る。このような変更は、標的車両が将来ナビゲーション変更を行う必要があるという予期に基づいて保証され得る。このような変更は、ホスト車両のナビゲーション変更と予期される標的車両のナビゲーション変更との間の時間の長さを増大又は最大化し得る。
割込み感度パラメータは、図５Ｆに関して上で説明したように、閾値の形態を取り得る（例えば、スネイルトレイルと道路多項式（例えば、トレイルに沿った）との間の距離閾値、又は特定の時間期間中（例えば、０．５～１．５秒）の標的車両の瞬間的な位置と先読み点（車両２００に関連付けられる）との間の距離閾値）、このような閾値の組合せ（例えば、標的車両の横方向移動速度閾値と、車両２００を基準とした車両の横方向位置閾値との組合せ）、及び／又はこのような閾値の加重平均）。前述のように、幾つかの実施形態では、割込み感度パラメータはまた、任意に割り当てられた任意の変数であり得、その値がパラメータに関連付けられるか、又はパラメータの値に間接的に関係する任意の値が前述の２つの（又は３つ以上の）感度状態を設定するために使用され得る。例えば、このような変数は、感度変更要素が検出されない場合の低感度状態を示す第１の値に関連付けられ得、感度変更要素が標的車両の環境中で発見されたときに、より高感度状態を示す第２の値に関連付けられ得る。
幾つかの実施形態では、割込み応答モジュール８０４は、車両２００から車両２００の後続車両までの距離を評価し、その距離を割込み感度パラメータに含め得る。例えば、車両２００は１つ又は複数の背面センサ（例えば、レーダセンサ）を含み、車両２００から車両２００の後続車両までの距離を特定し得る。更にまた、幾つかの実施形態では、車両２００は１つ又は複数の背面カメラを含み得、これは車両２００から車両２００の後続車両までの距離を特定するための分析用の画像をシステム１００に供給する。また別の実施形態では、システム１００は１つ又は複数のセンサからの、及び１つ又は複数の背面カメラからのデータを用いて、車両２００から車両２００の後続車両までの距離を特定し得る。車両２００からの距離に基づき、割込み応答モジュール８０４は、車両２００と車両２００の後続車両との間の距離に基づいて、車両２００が減速することが安全か否かを評価し得る。
代替的又は追加的に、割込み感度パラメータは、ニューラルネットワーク等の機械学習技術を用いて事例から導き出し得る。例えば、ニューラルネットワークを、シナリオに基づいて割込み感度パラメータを特定するように訓練し得る。一例として、ニューラルネットワークは、道路が３つの走行レーンを含み、車両２００が中央レーンを走行していて、中央レーンには先行車両があり、２台の車両が左レーンにあり、１台の車両が右レーンにあるシナリオについて訓練できる。シナリオは、ニューラルネットワークに対して、車両の各々の縦方向位置、縦方向速度、横方向位置、及び横方向速度を明示できる。シナリオに基づいて、ニューラルネットワークは、例えば、バイナリ出力（例えば、標的車両が次のＮ個のフレーム内で割込みを試みるか否か）、又は値出力（例えば、標的車両が中央レーンへの割込みを試みるまでの時間）を特定し得る。これらの出力から導き出されるバイナリ若しくは値出力、又はその他の値は、割込み感度パラメータとして使用され得る。ニューラルネットワークは、同様に、道路に２つの走行レーンのみがある、中央レーンに先行する車両がない、又は右レーンに車両がないシナリオ等、他のシナリオについても同様に訓練し得る。幾つかの実施形態では、ニューラルネットワークは、メモリ１４０及び／又は１５０に記憶された１つ又は複数のプログラミングモジュールを介して提供され得る。別の実施形態では、メモリ１４０及び／又は１５０への追加として又は代替として、ニューラルネットワーク（又はニューラルネットワークの局面）は、車両２００からリモートに位置付けられてかつネットワーク上で無線送受信機１７２を介してアクセス可能な１つ又は複数のサーバを介して提供され得る。
幾つかの実施形態では、シナリオの数を最小限にするために、シナリオは道路のレーンの数及び車両２００の位置に応じて分類され得る。例えば、シナリオは、２つのレーンがあり、車両２００が左レーンにあるシナリオ、２つのレーンがあり、車両２００が右レーンにあるシナリオ、３つのレーンがあり、車両２００が左レーンにあるシナリオ、３つのレーンがあり、車両２００が中央レーンにあるシナリオ、３つのレーンがあり、車両が右レーンにあるシナリオ、４つのレーンがあり、車両２００が一番左のレーンにあるシナリオ、４つのレーンがあり、車両２００が中央の左レーンにあるシリオ等が含まれ得る。各シナリオで、先行車両は車両２００と同じレーンを走行中であり得、また２台の車両が他のレーンの各々を走行中であり得る。これら他の車両の１台又は複数がない（例えば、先行車両がない、右レーンに１台のみの車両がある等）のシナリオを考慮するために、存在しない車両の縦方向距離は無限に設定し得る。
上述のように、車両２００が標的車両を検出し（例えば、標的車両が割込みを試みているというインジケータを識別し）、何れかの感度変更要素が環境中に存在するか否かが検出されると、割込み応答モジュール８０４は標的車両、インジケータ、及び／又は（存在する場合には）感度変更要素をニューラルネットワークに提供し得、ニューラルネットワークは、車両２００の状況に最も近いシナリオを選択し得る。選択されたシナリオに基づいて、ニューラルネットワークは前述のようにバイナリ出力（例えば、標的車両が次のＮ個のフレーム中に割込みを試みるか否か）又は値出力（例えば、標的車両が中央レーンへの割込みを試みるまでの時間）を示し得、そこから割込み感度パラメータが導き出され得る。割込み感度パラメータに基づいて、割込み応答モジュール８０４は割込み応答が実行されるようにする。
前述のように、割込み応答は、ナビゲーション応答に関連して上で説明した形態の何れも取り得、例えば、ナビゲーション応答モジュール４０８に関して上で考察したターン、レーンシフト、及び／又は加速度の変更等である。幾つかの実施形態では、処理ユニット１１０は前述の速度及び加速度モジュール４０６の実行から導き出されるデータを用いて、１つ又は複数の割込み応答を生じさせ得る。追加的に、複数の割込み応答が同時に、連続的に、又はその任意の組合せで行われ得る。例えば、処理ユニット１１０は、例えば制御信号を車両２００の操舵システム２４０及びスロットルシステム２２０に順次送信することにより、車両２００に１レーンシフトさせ、次に加速させ得る。代替的には、処理ユニット１１０は、例えば、制御信号を車両２００のブレーキシステム２３０及び操舵システム２４０に同時に送信することにより、車両２００に、レーンをシフトする間に同時にブレーキを掛けさせ得る。幾つかの実施形態では、割込み応答モジュール８０４は、画像捕捉デバイス１２２、１２４、及び１２６の１つにより取得された画像を分析して何れかの割込み感度変更要素が車両２００の環境中に存在するか否かを検出し得る。他の実施形態では、画像を分析することに加えて又はその代替案として、割込み応答モジュール８０４は、何れかの割込み感度変更要素が車両２００の環境中に存在するか否かを、システム１００に含まれるレーダデバイス又はライダデバイスを通じて取得された情報等のセンサ情報の分析を通じて検出し得る。
幾つかの実施形態では、前述のニューラルネットワークは、更に、割込み応答も特定するように構成され得る。例えば、ニューラルネットワークは、検出された標的車両、インジケータ、及び／又は（存在する場合には）感度変更要素に基づいて、どのナビゲーション応答を実行すべきかを示すことを特定し、出力し得る。幾つかの実施形態では、このような出力は、前に検出されたドライバーの行動に基づいて特定され得る。幾つかの実施形態では、前に検出されたドライバーの行動は、スムーズな運転行動を優先させるコスト関数分析を用いてフィルタにかけられ得る（例えば、スムーズな運転行動は、ある期間にわたる減速度又は加速度の積分の二乗を最小化するものとしと測定できる）。
割込み検出モジュール８０２と割込み応答モジュール８０４について、図９Ａ～９Ｅ及び１１に関連して以下に更に説明する。
利他的行動モジュール８０６は、処理ユニット１１０により実行されると、車両２００が標的車両による車両２００の走行中のレーンへの割込みを許可すべきか否を判断するために、利他的行動に関する検討事項を考慮に入れるような命令を記憶し得る。このために、処理ユニット１１０は、割込み検出モジュール８０２に関連して上で説明した方法の何れによっても標的車両を検出し得る。
更に、処理ユニット１１０は、標的車両に関連付けられる１つ又は複数の状況的特徴を特定し得る。状況的特徴は、例えば、標的車両が、車両２００が走行しているレーンへとレーン変更することから利益を得られるであろうことを示す任意の特徴であり得る。例えば、状況的特徴は、標的車両が、車両２００の走行中のレーンに隣接するレーンを走行していること、及び標的車両が標的車両より低速で走行している別の車両の後方にあることを示し得る。一般に、状況的特徴は、標的車両による割込み又は他のナビゲーション応答が必要ではないかもしれないが、割込みが標的車両にとって有利であろうことを示し得る。他のこのような状況は、例えば交通渋滞中、混雑した迂回路、レーン終了の状況、又は標的車両がホスト車両の経路へと移動することを望み得るその他の任意の状況を含み得る。
幾つかの実施形態では、状況的特徴を検出することは、図５Ａ～５Ｄ及び６に関連して上で説明したように、単眼及び／又は立体画像分析を用いて、画像の組内の特徴の組、例えば、レーンマーク、車両、歩行者、道路標識、高速道路の出口ランプ、信号機、危険物、及び車両の環境に関連付けられる他の任意の特徴を検出することを含んでよい。例えば、状況的特徴を特定することは、図５Ｂに関連して上で説明したように、単眼及び／又は立体画像分析を使用して、標的車両及び／又は１つ又は複数の他の車両の位置及び／又は速度を検出することを含み得る。幾つかの実施形態では、状況的特徴を識別することは、更に、図５Ｃに関連して上で説明したように、１つ又は複数の道路マークを検出することを含み得る。代替的又は追加的に、幾つかの実施形態では、状況的特徴を検出することは、ＧＰＳデータ等の他のセンサ情報を使用することを含み得る。例えば、道路の入口ランプは地図データに基づいて特定され得る。幾つかの状況では、状況的特徴を検出することは、捕捉された画像から、他の車両を基準とした標的車両の位置、及び／又は標的車両の付近にある車両の台数等を特定することを含み得る。また別の実施形態では、状況的特徴を検出することは、システム１００に含まれるレーダデバイス又はライダデバイスを介して取得される情報等、他のセンサ情報を使用することを含み得る。
利他的行動モジュール８０６は、更に、処理ユニット１１０によって実行されると、標的車両による車両２００の走行中のレーンへの割込みを許可するようなナビゲーション変更（例えば、前述のナビゲーション応答の何れか）を生じさせるべきか否かを判断する命令を記憶し得る。このような判断は、利他的行動パラメータに基づいて行われ得る。
利他的行動パラメータは、例えば、車両２００のオペレータからの入力に基づいて設定され得る。例えば、オペレータは利他的行動を、全ての標的車両による車両２００の走行中のレーンへの割込みを許可するため、ｎ台の標的車両ごとに１台のみに、車両２００の走行中のレーンへの割込みを許可するため、標的車両による車両２００の走行中のレーンへの割込みを、標的車両の前方の他の車両が特定の速度未満で走行している場合にのみ許可するため等に設定し得る。代替的又は追加的に、幾つかの実施形態では、利他的行動パラメータは、ナビゲーションの前又はナビゲーション中にユーザにより選択可能であり得る（例えば、ユーザにより選択可能な値又は状態）。例えば、ユーザは車両２００に乗り込む時に、ナビゲーション中に利他的とすべきか否かを選択し得る（例えば、ユーザインタフェース１７０を通じて）。他の例として、ユーザは１つ又は複数の状況的特徴が検出されたときに、その場合において利他的とすべきか否かを選択し得る（例えば、ユーザインタフェース１７０を通じて）。
幾つかの実施形態では、利他的行動パラメータは、車両２００のオペレータ又は乗員のためのカレンダ登録情報を解析することによって特定された少なくとも１つの情報要素に基づいて設定され得る。例えば、幾つかの実施形態では、利他的行動パラメータは、車両２００が車両２００のオペレータにとって受け入れられる時間枠内に目的地に到着する限り、標的車両による車両２００の走行中のレーンへの割込みが許可されることを示し得る。例えば、オペレータ又は乗員が急いでいない場合、基準はより多くの標的車両による割込みを許可し得るが、オペレータ又は乗員が急いでいれば、基準はより少ない標的車両による割込みを許可し得るか、又は何れの標的車両の割込みも全く許可しないようにし得る。オペレータ又は乗客が急いでいるか否かは、処理ユニット１１０により、例えばオペレータ又は乗客に関連付けられるカレンダ登録情報（例えば、ユーザが特定の場所に特定の時間までに到着したいことを示すカレンダイベント）及び車両２００のためのナビゲーションデータ（例えば、その場所の到着時間を予測するＧＰＳ及び／又は地図データ）に基づいて特定され得る。
幾つかの実施形態では、利他的行動パラメータは、乱数生成機能の出力に基づいて設定され得る。例えば、乱数生成機能の特定の出力が、車両２００に標的車両１００２による第１のレーン１００４への割込みを許可させ得る一方で、乱数生成関数の他の出力は、車両２００に標的車両１００２による第１のレーン１００４への割込みを許可させないものであり得る。更に代替的又は追加的に、利他的行動パラメータは、１つ又は複数の状況的特徴が第１のレーン１００４へのコース変更から利益を得るであろうことを示す標的車両に遭遇する所定の数に基づいて設定され得る。
幾つかの実施形態では、利他的行動パラメータは一定であり得る。代替的に、利他的行動パラメータは、車両２００がいる経路へのコース変更から利益を得るであうことを１つ又は複数の状況的特徴が示す標的車両との遭遇について少なくとも所定のパーセンテージで車両２００のナビゲーション変更が行われるように更新され得る。例えば、所定のパーセンテージは少なくとも１０％、少なくとも２０％、少なくとも３０％等であり得る。
幾つかの実施形態では、利他的行動パラメータは、特定の基準が満たされた場合にナビゲーション変更が実行されるようにルールを特定し得る。例えば、所定の利他的行動パラメータは、車両２００が隣接レーン内の標的車両に接近していて、標的車両が標的車両より低速で移動している別の車両の後方を走行している場合、標的車両が割り込みたいとの意思を示し（例えば、方向指示器の使用を通じて、又は車両２００か走行中のレーンに向かう横方向の移動を通じて）、車両２００の減速が特定の閾値未満であり（例えば、過剰な急ブレーキを回避するため）、車両２００の後方に安全に減速できないような車両がない限り、車両２００は減速して標的車両による割込みを許可すべきであることを示し得る。
幾つかの実施形態では、利他的行動パラメータは一貫していないように設計され得、それによって同じ状況的特徴及び基準でも異なるナビゲーション変更が行われるか、ナビゲーション変更が全く行われないようにし得る。例えば、利他的行動パラメータの結果として、ランダム及び／又は周期的な各種の利他的行為がとられ得る。一例として、利他的行動パラメータは、ｎ台の標的車両ごとに１台のみ割込みを許可し得る。幾つかの実施形態では、ｎはランダムに選択され得、ランダムに変化し得、状況的特徴が検出されるたびに増加し得、及び／又は割込みが許可されると、小さい値にリセットされ得る。他の例として、利他的行動パラメータは、標的車両による割込みを許可するか否かを、ランダムに生成された数と所定の閾値との比較に基づいて判断し得る。
幾つかの実施形態では、利他的行動モジュール８０４は、何台の車両が車両２００の後方を走行しているかを考慮し、この情報を利他的行動パラメータに追加し得る。例えば、車両２００は、後続車両を検出するための１つ又は複数の背面センサ（例えば、レーダセンサ）、及び／又は、分析のためにシステム１００に画像を提供し、及び／又は交通情報を無線接続で提供する１つ又は複数の背面カメラを含み得る。この場合、車両２００の後続車両の台数に基づいて、利他的行動モジュール８０４は、車両２００が標的車両による割込みを許可するか否かの潜在的影響を評価し得る。例えば、車両の長い列（例えば、５、１０台、又はそれを超える車両）が車両２００の後方を走行していると判断された場合、車両２００が標的車両による割込みを許可しなければ、標的車両はおそらく、後方の車両が通過するまで（これにはかなりの時間がかかり得る）割込みの機会を持つ可能性が低い。しかしながら、少ない台数の車両（例えば、１又は２台）のみが車両２００の後方を走行している場合、車両２００が標的車両による割込みを許可しないとしても、標的車両は短時間で（例えば、その少ない台数の車両が通過した後に）割り込む機会を有する。
幾つかの実施形態では、利他的行動パラメータは、ニューラルネットワーク等の機械学習技術を用いた事例から導き出され得る。例えば、ニューラルネットワークは、前述のように、シナリオに基づいて利他的行動パラメータを特定するように訓練できる。幾つかの実施形態では、利他的行動パラメータは、前に検出されたドライバーの行動に基づいて特定され得る。例えば、ドライバーによる利他的行動はプラスに重み付けでき、それによってニューラルネットワークは利他的行動を優先させる。前述のように、非一貫性を前述のようなランダム又は周期的変化を通じて追加できる。
利他的行動モジュール８０６は、図１０及び１２に関して以下に更に説明される。
図９Ａは、車両２００が割込みを検出し、それに応答し得る例示的な状況の図である。図のように、車両２００は、道路９００上で標的車両９０２と並走し得る。標的車両９０２は第１のレーン９０４を走行中であり得、車両２００は第２のレーン９０６を走行中であり得る。第１のレーン９０４は左レーンであるように示され、第２のレーン９０６は右レーンであるように示されているが、第１及び第２のレーン９０４及び９０６は道路９００上の任意の隣接レーンであり得る。更に、２つのレーン９０４、９０６のみが道路９００上に示されているが、それより多くのレーンも存在可能であると理解されたい。また、「レーン」という用語はより一般的に、それに沿って車両２００と標的車両９０２が走行している経路を指すと理解され得る。例えば、幾つかの実施形態では、「レーン」への言及は、車両２００の走行方向又は経路と整列する経路を指し得る。
車両２００は、道路９００の周囲の環境の画像を、例えば、画像捕捉デバイス１２２、１２４、及び／又は１２６等、車両２００に関連付けられる１つ又は複数の画像捕捉デバイスから受信するように構成され得る。車両２００は、ＧＰＳデータ、地図データ、レーダデータ、又はライダデータ等、その他のセンサ情報も受信し得る。画像及び／又はその他のセンサ情報に基づいて、車両２００は標的車両９０２を検出し得る。例えば、車両２００は複数の画像中の標的車両９０２の画像を識別し得る。車両２００は、割込み検出モジュール８０２に関連して上で説明した方法の何れかを含む他の方法でも標的車両９０２を検出し得る。
更に画像及び／又はその他のセンサ情報に基づいて、車両２００は、標的車両９０２が第１のレーン９０４から第２のレーン９０６に変更するであろうという少なくとも１つのインジケータを識別し得る。例えば、車両２００は、画像の単眼及び／又は立体画像分析に基づいて（又はレーダ若しくはライダデータ等のその他のセンサデータに基づいて）、図５Ｂに関連して説明したような標的車両９０２の位置及び／又は速度、及び／又は図５Ｃに関連して説明したような道路９００上の１つ又は複数の道路マークの位置を検出し得る。別の例として、車両２００は、図５Ｆに関連して上で説明したように、標的車両９０２がレーン変更を開始したことを検出し得る。また別の例として、車両２００は、地図データに基づいて、第１のレーン９０４が終了しつつあることを検出し得る。車両２００は、割込み検出モジュール８０２に関連して上で説明した方法の何れかを含む他の方法でも、少なくとも１つのインジケータを識別し得る。
前述のように、インジケータが検出されると、車両２００は、ナビゲーション応答をとるか否かを判断し得る。不要なブレーキ及び急ブレーキの両方を最小化するために、車両２００は、この判断を下す際、標的車両９０２が第２のレーン９０６に割り込む可能性に影響を与える所定の割込み感度変更要素の有無を考慮し得る。所定の割込み感度変更要素が検出されない場合、ナビゲーション応答は、車両２００において、インジケータの識別に基づいて、また第１の割込み感度パラメータに基づいて生じさせることができる。他方、所定の感度要因が検出される場合、ナビゲーション応答は、車両２００において、インジケータの識別に基づいて、また第２の割込み感度パラメータに基づいて生じさせることができる。第２の割込み感度パラメータは、第１の割込み感度パラメータと異なり得る（例えば、より高感度である）。
所定の割込み感度変更要素を含む追加の例示的な状況は、図９Ｂ～９Ｅに示されている。
図９Ｂは、例示的な所定の割込み感度変更要素を示し、これは第１のレーン９０４内の障害物という形態をとる。図のように、標的車両９０２は第１のレーン９０４を走行中であり、車両２００は第２のレーン９０６を走行中である。障害物は、その障害物によって標的車両２００が割込みを試みる可能性が、障害物のない場合より高くなる場合、所定の割込み感度変更要素としての役割を果たし得る。
図のように、障害物は第１のレーン９０４において標的車両９０２の前方を走行する他の車両９０８の検出を通じて検出され得る。障害物は他の車両９０８として示されているが、幾つかの実施形態では、障害物は停止中の車両、事故、危険物、歩行者等の形態を取り得る。障害物が他の車両９０８である一実施形態では、車両２００は、他の車両９０８が標的車両９０２より低速で走行していることを検出することによって障害物を検出し得る。これは、他の車両９０８が標的車両９０２より低速で走行している場合、他の車両９０８が低速であることにより、標的車両９０２が第２のレーン９０６への割込みを試みる可能性がより高くなるからである。このような障害物は、所定の割込み感度変更要素を構成し得る。
車両２００は、図８に関連して感度変更要素を検出するために上に記載された方法の何れでも、障害物を検出し得る。例えば、車両２００は画像の単眼及び／又は立体画像分析に基づいて、他の車両９０８の位置及び／又は速度を標的車両９０２のそれらに加えて検出し得る。他の車両９０８の位置及び／又は速度は、他のセンサ情報に基づいても検出され得る。別の例として、車両２００は、ＧＰＳデータ、地図データ、及び／又は例えばWaze等の交通アプリケーションからの交通データに基づいて障害物（例えば、他の車両９０８）を検出し得る。また別の例として、車両２００はレーダ又はライダデータの分析を通じて障害物を検出し得る。
所定の割込み感度変更要素が検出されると（すなわち、車両２００が第１のレーン９０４上に障害物があると検出すると）、車両２００は、インジケータの識別に基づいて、及び第２の割込み感度パラメータに基づいて、ナビゲーション応答を生じさせ得る。ナビゲーション応答は、例えば車両２００の加速、車両２００の減速、又は（可能であれば）車両２００のレーン変更が含まれ得る。第２の割込み感度パラメータは、所定の割込み感度変更要素が検出されなかった場合の第１の割込み感度パラメータより高感度であり得、それは、所定の割込み感度変更要素が存在すると、標的車両９０２が第２のレーン９０６への割込みを試みる可能性が高くなるからである。
幾つかの実施形態では、第２の割込み感度パラメータは、車両２００の周囲の車両の存在と行動に依存し得る。例えば、第２の割込み感度パラメータは、標的車両９０２の横方向速度と横方向位置を考慮し得、第２の割込み感度パラメータの感度は、標的車両９０２の横方向速度と横方向位置の各々の閾値と相関させ得る。例えば、横方向速度閾値が高い、及び／又は横方向位置閾値が低いと、感度はより低くなり得、より高い感度とより迅速にナビゲーション応答をもたらし得る低い横方向速度閾値及び／又は高い横方向位置閾値と比較して、ナビゲーション応答が遅くなる。
より高い感度（すなわち、より高感度の割込み感度パラメータ）は、特定の状況において望ましいことがあり得る。例えば、標的車両９０２が車両２００より速く移動していて、他の車両９０８が第１のレーン９０４内で標的車両９０２よりかなり低速で移動している場合、標的車両９０２は減速して第１のレーン９０４にとどまること、減速して車両２００の後ろで第２のレーン９０６に変更すること、第１のレーン９０４の左の別のレーンに変更すること（そのようなレーンが存在する場合）、又は第２のレーン９０６に割り込むことの何れかにより、その行動を修正せざるを得ない可能性があるように見える。標的車両９０２が他の車両９０８との衝突を避けるために急減速しなければならない場合、第２のレーン９０６への割込みの可能性がより高くなる。同様に、標的車両９０２が車両２００の後ろで第２のレーン９０６に変更するために急減速しなければならない場合にも、第２のレーン９０６への割込の可能性がより高くなる。
第２の割込み感度パラメータの感度は、車両２００の周囲の他の車両の存在と行動に更に依存し得る。例えば、第１のレーン９０４に他の車両９０８がなく、第２のレーン９０６内で車両２００と車両２００に先行する最も近い車両との間の距離が短い場合、感度はより低くなり得る。他の例として、第１のレーン９０４内の他の車両９０８が標的車両９０２とほぼ同じ速度及び／又はそれより高速で移動していて、第２のレーン９０６内の車両２００と車両２００に先行する最も近い車両との間の距離が短い場合、感度はより低くなり得る。また別の例として、標的車両９０２が追い越しレーンにいて（例えば、車両が道路９００の右側通行である国において、第１のレーン９０４が第２のレーン９０６の左にある場合）、第１のレーン９０４内の別の車両９０８が標的車両９０２とほぼ同じ速度及び／又はそれより高速で移動していて、第２のレーン９０６内の第２の車両２００と車両２００に先行する最も近い車両との間の距離が長い場合、感度は若干高くなり得る（例えば、低乃至中程度の感度）。同じ状況で、標的車両９０２が追い越しレーンにない場合（例えば、車両が道路９００の右側通行である国において、第１のレーン９０４が第２のレーン９０６の左側にある場合）、感度はより低くなり得る。
第２の割込み感度パラメータの感度は、更に、標的車両９０２によるいかなる加速又は減速も考慮し得る。例えば、標的車両９０２が第１のレーン９０４内で他の車両９０８より高速で移動していて、標的車両９０２が加速する場合、感度は高くなり得る。他の例として、標的車両９０２が第１のレーン９０４内で他の車両９０８より高速で移動している場合、他の車両９０８との衝突を避けるために必要な標的車両９０２の減速度が例えば０．１ｇより大きく、標的車両９０２が減速していない場合、感度は上昇し得るが、最高レベルではない。また別の例として、標的車両９０２が第１のレーン９０４内で他の車両９０８より高速で移動していて、他の車両９０８との衝突を避けるために必要な標的車両９０２の減速度が例えば０．５ｇより大きく、標的車両９０２が減速していない場合、感度はその最高であり得る。しかし、同じ状況で、第２のレーン９０６内で車両２００に先行する最も近い車両が標的車両９０２より低速で移動しており、第２のレーン９０６内で車両２００に先行する最も近い車両との衝突を避けるために必要な標的車両９０２の減速度が他の車両９０８にぶつかるのを避けるのに必要なものより大きい場合、感度は高くなり得るが、最高ではない。しかしながら、同じ状況で、第２のレーン９０６のもう一方の側のレーンが、標的車両９０２によるより漸進的な減速を可能にするのに十分に空いている場合、感度はその最高であり得、これは、標的車両９０２が第２のレーン９０６のもう一方の側のレーンに入ろうとして第２のレーン９０６に割込む可能性が高いからである。上及び開示全体を通じて記載されている感度レベルは、ある分布上に存在し得、当該分布は、例えばその分布に沿って任意の所望の相対配置で配置された任意の数の感度レベルを含む。
他の例として、標的車両９０２が第１のレーン９０４内で他の車両９０８より高速で移動していて、他の車両９０８との衝突を避けるために必要な標的車両９０２の減速度が例えば０．２ｇより大きく、標的車両９０２が第２のレーン９０６内の車両２００及び／又は車両２００に先行する最も近い車両の速度まで減速する場合、感度は最高となり得る。また別の例として、標的車両９０２が第１のレーン９０４内で他の車両９０８より高速で移動していて、標的車両９０２が第２のレーン９０６内の車両２００の及び／又は車両２００に先行する最も近い車両の速度より低速となるまで減速する場合、感度は低くなり得る。他の例として、標的車両９０２が第１のレーン９０４で他の車両９０８より高速で移動していて、他の車両９０８との衝突を避けるために必要な標的車両９０２の減速度が例えば０．２ｇより小さく、標的車両９０２が減速している場合、感度は低くなり得る。
幾つかの実施形態では、車両２００は、第２の割込み感度パラメータを決定する際、標的車両９０２の他の行動を考慮し得る。例えば、標的車両９０２が追い越しレーンにいて（例えば、車両が道路９００の右側通行である国において、第１のレーン９０４が第２のレーン９０６の左にある場合）、第１のレーン９０４内の別の車両９０８が標的車両９０２より低速で走行していて、標的車両９０２が他の車両９０８に対してそのヘッドライトでパッシングしている場合、より低い感度が使用され得、これは、標的車両９０２が第１のレーン９０４にとどまる意思を表示したからである。他の例では、標的車両９０２が方向指示器を作動させ、それが第２のレーン９０６への割込みを試みる意図を表示する場合、感度は高くなり得るが、最高ではなく、これは、標的車両９０２が第２のレーン９０６に割り込む意思を表示しているだけでなく、それが注意深く走行している、又は運転されているからである。例えば、方向指示器の作動後に、割込みは、標的車両９０２が有意な横方向移動（例えば、レーンマーカに向かって０．５ｍ）を見せたときに検出され得る。
車両２００によりとられたナビゲーション応答も同様に、車両２００の周囲の車両の存在と行動に依存し得る。例えば、幾つかの場合、車両２００が減速して標的車両９０２による第２のレーン９０６への割込みを許可するが、他の状況では、車両２００は加速して、標的車両９０２が車両２００の後方で第２のレーン９０６に変更できるようにし得る。車両２００は、例えば車両２００が法定速度以下で走行していて、車両２００と標的車両９０２がほぼ同じ速度で並走しているか、第２のレーン９０６に車両２００に先行する車両がないか、第２のレーン９０６内で車両２００に先行する最も近い車両が安全な距離にあるか、標的車両９０２の前方に他の車両９０８がない（又は他の車両９０８が標的車両９０２より低速では移動していない）か、標的車両９０２が変更できるような他の空いたレーンがない場合、加速し得る。幾つかの場合、車両２００は必要に応じて（例えば、標的車両９０２が車両２００の後方で第２のレーン９０６に変更するために必要な減速度が例えば０．５ｇより大きい場合）、より迅速に加速し得る。
図９Ｃは、地理的地域の形態をとる所定の割込み感度変更要素の例を示す。図のように、標的車両９０２は第１のレーン９０４内を走行中であり、車両２００は第２のレーン９０６を走行中である。地理的地域は、地理的地域（例えば、その地理的地域内の交通ルール及び／又は運転習慣）によって標的車両９０２が割込みを試みる可能性が、標的車両９０２がその地理的地域にない場合に試みる可能性より高くなるような場合、所定の割込み感度変更要素としての役割を果たし得る。幾つかの実施形態では、地理的地域には、運転に適用される特定の法的ルール及び／又は運転習慣を有する国又はその他の地域が含まれ得る。
図のように、地理的地域はそこから地理的地域が確認され得るような道路標識９１０の検出（例えば、道路標識９１０の単眼及び／又は立体画像分析を使用して）を通じて検出され得る。代替的又は追加的に、幾つかの実施形態では、地理的地域は、他の方法で、例えば１つ又は複数の地理的インジケータ若しくは陸標を通じて、ＧＰＳ又は地図データ（又は車両２００に関連付けられるその他の位置特定のシステム）を用いて、その他により確認されてもよい。地理的地域を検出することにより、車両２００は地理的地域内の交通ルール及び／又は運転習慣によって標的車両９０２が割込みを試みる可能性が、標的車両９０２がその地理的地域にない場合に試みる可能性より高くなるか否かを特定し得る。高くなる場合、その地理的地域は所定の割込み感度変更要素を構成し得る。
所定の割込み感度変更要素が検出されると（すなわち、車両２００が、標的車両９０２がその地理的地域内を走行していることを検出すると）、車両２００は、インジケータの識別に基づいて、また第２の割込み感度パラメータに基づいてナビゲーション応答を生じさせ得る。ナビゲーション応答は、例えば、車両２００の加速、車両２００の減速、又は（可能であれば）車両２００によるレーン変更が含まれ得る。第２の割込み感度パラメータは、所定の割込み感度変更要素が検出されなかった場合の第１の割込み感度パラメータより高感度であり得、それは、割込み感度変更要素の存在により、標的車両９０２が第２のレーン９０６への割込みを試みる可能性がより高くなるからである。
図９Ｄは、レーン終了状態の形態をとる所定の割込み感度変更要素の例を示す。図のように、標的車両９０２は第１のレーン９０４内を走行中であり、車両２００は第２のレーン９０６を走行中である。レーン終了は、レーン終了状態によって標的車両９０２が割込みを試みる可能性が、第１のレーン９０４が終了しない場合に標的車両９０２が試みる可能性より高くなるときに、所定の割込み感度変更要素としての役割を果たし得る。
図のように、レーン終了状態は、そこからレーン終了状態が確認され得るような道路標識９１２の検出（例えば、道路標識９１２の単眼及び／又は立体加増分析を使用して）及び／又は道路マーク９１４の検出（例えば、道路標識９１２の単眼及び／又は立体画像分析を使用して）を通じて検出され得る。代替的又は追加的に、幾つかの実施形態では、レーン終了状態は、他の方法で、例えばＧＰＳ又は地図データ（又は車両２００に関連付けられるその他の位置特定システム）を通じて等により確認され得る。レーン終了状態を検出することにより、車両２００は、標的車両９０２が割込みを試みる可能性が、第１のレーン９０４が終了しない場合に標的車両９０２が試みる可能性より高くなると判断し得る。したがって、レーン終了状態は所定の割込み感度変更要素を構成し得る。
所定の割込み感度変更要素が検出されると（すなわち、車両２００が第１のレーン９０４が終了することを検出すると）、車両２００は、インジケータの識別に基づいて、また第２の割込み感度パラメータに基づいてナビゲーション応答を生じさせ得る。ナビゲーション応答は、例えば、車両２００の加速、車両２００の減速、又は（可能であれば）車両２００によるレーン変更が含まれ得る。第２の割込み感度パラメータは、所定の割込み感度変更要素が検出されなかった場合の第１の割込み感度パラメータより高感度であり得、それは、割込み感度変更要素の存在により、標的車両９０２が第２のレーン９０６への割込みを試みる可能性がより高くなるからである。
図９Ｅは、道路分割状態の形態をとる所定の割込み感度変更要素の例を示す。図のように、標的車両９０２は第１のレーン９０４内を走行中であり、車両２００は第２のレーン９０６を走行中である。道路９００は分割されつつある。道路分割状態は、道路分割状態によって標的車両９０２が割込みを試みる可能性が、第１のレーン９０４が終了しない場合に標的車両９０２が試みる可能性より高くなる場合、所定の割込み感度変更要素としての役割を果たし得る。
図のように、道路分割状態は、そこから道路分割状態が確認され得る道路標識９１６の検出（例えば、道路標識９１２の単眼及び／又は立体画像分析を用いて）及び／又は道路マーク９１８ａ、９１８ｂの検出（例えば、道路標識９１２の単眼及び／又は立体画像分析を用いて）を通じて検出され得る。代替的又は追加的に、幾つかの実施形態では、道路分割状態は、他の方法で、例えばＧＰＳ又は地図データ（又は車両２００に関連付けられるその他の位置特定システム）を通じて等により確認され得る。道路分割状態を検出することにより、車両２００は、標的車両９０２が割込みを試みる可能性が、道路９００が分割されない場合に標的車両９０２が試みる可能性より高くなると判断し得る。したがって、道路分割状態は所定の割込み感度変更要素を構成し得る。
所定の割込み感度変更要素が検出されると（すなわち、車両２００が、道路９００が分割されつつあることを検出すると）、車両２００は、インジケータの識別に基づいて、また第２の割込み感度パラメータに基づいてナビゲーション応答を生じさせ得る。ナビゲーション応答は、例えば、車両２００の加速、車両２００の減速、又は（可能であれば）車両２００によるレーン変更が含まれ得る。第２の割込み感度パラメータは、所定の割込み感度変更要素が検出されなかった場合の第１の割込み感度パラメータより高感度であり得、それは、割込み感度変更要素の存在により、標的車両９０２が第２のレーン９０６への割込みを試みる可能性がより高くなるからである。
特定の所定の割込み感度変更要素について説明したが、標的車両９０２による割込みがそうでない場合より高く又は低くなるような状態を生じさせ得、及び／又はそれに寄与し得る任意の環境要素を含め、他の所定の割込み感度変更要素も可能であると理解されたい。
図１０は、開示される実施形態による、車両２００が利他的行動に従事し得る例示的な状況の図である。図のように、車両２００は道路１０００上で標的車両１００２と並走し得る。車両２００は第１のレーン１００４を走行中であり得、標的車両１００２は第２のレーン１００６を走行中であり得る。第１のレーン１００４は左レーンであるように示され、第２のレーン１００６は右レーンであるように示されているが、第１及び第２のレーン１００４及び１００６は道路１０００上の任意の隣接レーンであり得ると理解されたい。更に、２つのレーン１００４、１００６のみが道路１０００上に示されているが、それより多いレーンも可能であると理解され得る。「レーン」という用語は便宜上使用されており、幾つかの状況では（例えば、レーンがレーンマークで明確に表示されていない場合）、「レーン」という用語は、より一般的に、車両２００及び標的車両１００２がそれに沿って走行している経路を指すと理解され得る。
車両２００は、道路１０００の周囲の環境の画像を、例えば、画像捕捉デバイス１２２、１２４、及び／又は１２６等、車両２００に関連付けられる１つ又は複数の画像捕捉デバイスから受信するように構成され得る。車両２００は、ＧＰＳ又は地図データ等、他のセンサ情報も受信し得る。更に、幾つかの実施形態では、車両２００は、システム１００に含まれるレーダデバイス又はライダデバイスを介して取得された情報等、他のセンサ情報を受信し得る。画像及び／又はその他のセンサ情報に基づいて、車両２００は標的車両１００２を検出し得る。例えば、車両２００は複数の画像中で標的車両１００２の画像を識別し得る。車両２００は、割込み検出モジュール８０２に関連して上で説明した方法の何れも含む、他の方法で標的車両１００２を検出し得る。
画像及び／又はその他のセンサ情報に更に基づいて、車両２００は、標的車両１００２に関連付けられる１つ又は複数の状況的特徴を特定し得る。状況的特徴は、例えば、標的車両１００２が車両２００の走行中のレーンへのレーン変更から利益を受けることを示す任意の特性であり得る。例えば、図のように、状況的特徴は、標的車両１００２が標的車両１００２より低速で走行する他の車両１００８の後方を走行していることを示し得る。一般に、状況的特徴は、標的車両１００２による割込み又はその他のナビゲーション応答は必要でないかもしれないが、割込みが標的車両１００２にとって有利となることを示し得る。
幾つかの実施形態では、車両２００は、画像の単眼及び／又は立体画像分析に基づいて、図５Ｂに関連して説明したように標的車両１００２の位置及び／又は速度を、及び／又は図５Ｃに関連して説明したように道路９００上の１つ又は複数の道路マークの位置を検出し得る。他の例として、車両２００は、図５Ｆに関連して上で説明したように、標的車両１００２がレーン変更を開始したことを検出し得る。また別の例として、車両２００は、システム１００に含まれるレーダデバイス又はライダデバイスを介して取得される情報等、他のセンサ情報の分析に基づいて、標的車両１００２がレーン変更を開始したことを検出し得る。車両２００は、１つ又は複数の状況的特徴を、利他的行動モジュール８０６に関して上で説明したような方法の何れも含む他の方法でも識別し得る。
１つ又は複数の状況的特徴が検出されると、車両２００は、車両２００が標的車両１００２による第１のレーン１００４への割込みを許可するか否かを判断するために、利他的行動パラメータに関連付けられる現在の値を特定し得る。利他的行動パラメータは、利他的行動モジュール８０６に関連して上で説明した形態の何れをもとり得る。例えば、利他的行動パラメータは、車両２００のオペレータからの入力に基づいて、車両２００のオペレータ又は乗客のためのカレンダ登録情報を解析することによって特定された少なくとも１つの情報要素に基づいて、乱数生成関数の出力に基づいて、及び／又は１つ若しくは複数の状況的特徴が第１のレーン１００４へのコース変更から利益を得られることを示す標的車両に遭遇する所定の回数に基づいて設定され得る。利他的行動パラメータは一定であり得、又は車両２００がいる経路へのコース変更から利益を得られることを１つ又は複数の状況的特徴が示す標的車両との遭遇の少なくとも所定のパーセンテージで、車両２００内のナビゲーション変更が行われるように更新され得る。例えば、所定のパーセンテージは、例えば少なくとも１０％、少なくとも２０％、少なくとも３０％等であり得る。
車両２００は、標的車両１００２に関連付けられる１つ又は複数の状況的特徴に基づいて、車両２００のナビゲーション状態の変更が必要でなくてよいと判断し得る。すなわち、１つ又は複数の状況的特徴は、第１のレーン１００４への割込みが標的車両１００２にとって有利ではあるが、このような割込みは必要でないかもしれない（例えば、交通ルールにより、又は安全のために）ことを示し得る。しかしながら、標的車両１００２は、幾つかの例において、利他的行動パラメータ及び１つ又は複数の状況的特徴に基づいて、標的車両１００２による第１のレーン１００４への割込みを許可させるように、車両２００における少なくとも１つのナビゲーション変更を起こし得る。
例えば、利他的行動パラメータが車両２００のオペレータからの入力に基づいて設定され得る場合、オペレータは、車両２００が標的車両１００２による割込みを許可すべきであることを示す入力を提供し得る。利他的行動パラメータと１つ又は複数の状況的特徴に基づいて、標的車両１００２は、標的車両１００２による第１のレーン１００４への割込みを許可するために、その速度を変更し得る。他の例として、利他的行動パラメータが乱数生成機能の出力に基づいて設定され得る場合、乱数生成機能は、車両２００が標的車両１００２による第１のレーン１００４への割込みを許可してはならないことを示す出力を提供し得る。例えば、乱数生成機能がバイナリ出力（例えば、「ノー」又は「０」を出力し得るか、又は特定の閾値を満たさない値出力を出力し得る（例えば、閾値が「＞－５」のとき、「２」を出力し得る）。利他的行動パラメータと１つ又は複数の状況的特徴に基づき、標的車両１００２は、標的車両１００２による第１のレーン１００４の割込みを防止するために、その速度を保持し得る。また別の例として、利他的行動パラメータは、車両２００のオペレータに関するカレンダ登録情報を解析することによって特定された少なくとも１つの情報要素に基づいて設定される場合、オペレータのカレンダ登録情報は、オペレータが目的地に所望の時刻までに到着したいことを示し得る。利他的行動パラメータは、オペレータがそれでもその目的地にその所望の時刻までに到達することになる限り、標的車両１００２に割り込みさせるべきであることを示し得る。利他的行動パラメータと１つ又は複数の状況的特徴に基づいて、標的車両１００２は、標的車両１００２による第１のレーン１００４への割込みを、そうすることによってオペレータが目的地に所望の時刻に到着できなくならない限り、許可するようにナビゲーション変更を実行させるが、標的車両１００２による第１のレーン１００４への割込みを、そうすることによってオペレータが目的地に所望の時刻に到着できなくなる場合には、許可しない。
幾つかの場合、複数の標的車両が第１のレーン１００４への割込みにより利益を受け得る。例えば、図のように、標的車両１００２に加えて、追加の標的車両１０１０が第２のレーン１００６内で他の車両１００８の後方を走行中であり得る。１つ又は複数の状況的特徴は、標的車両１００２と同様に、追加の標的車両１０１０による割込み又はその他のナビゲーション応答は必要でないかもしれないが、割込みが追加の標的車両１０１０に有利となることを示し得る。例えば、図のように、追加の標的車両１０１０も他の車両１００８の後方を走行中であり得る、他の車両１００８は追加の標的車両１０１０より低速で走行中であり得る。これらの場合、利他的行動パラメータは、車両２００に標的車両１００２及び追加の標的車両１０１０の各々を同じに扱わせ（すなわち、第１のレーン１００４への割込みを両方に許可するか、何れにも許可しない）、又は利他的行動パラメータは、車両２００に標的車両１００２と追加の標的車両１０１０を異なるように扱わせ得る。
例えば、利他的行動パラメータは、状況的特徴が第１のレーン１００４へのコース変更により利益を得ることを示す、そのような車両１００２、１０１０等の標的車両との遭遇回数に基づいて設定され得る。例えば、２台の標的車両１００２、１０１０の場合、利他的行動パラメータは、車両２００に、標的車両１００２のみに第１のレーン１００４に割り込ませ、追加の標的車両１０１０には許可しないようにさせ得る（これに対し、利他的行動パラメータは、単独で遭遇した場合、標的車両１００２と追加の標的車両１０１０との何れの割込みも許可していた可能性がある）。
他の例として、これらの場合、利他的行動パラメータは、第１のレーン１００４へのコース変更から利益を得られることを１つ又は複数の状況的特徴が示す標的車両１００２、１０１０との遭遇の少なくとも所定のパーセンテージで、車両２００内のナビゲーション変更が行われるように更新され得る。例えば、利他的行動パラメータは、車両２００が遭遇の少なくとも１０％でナビゲーション変更を実行すべきであると明示し得る。利他的行動パラメータに基づいて、車両２００は、連続的に決定される遭遇の全体的パーセンテージにより、車両２００が遭遇の少なくとも１０％においてナビゲーション変更を行う限り、標的車両１００２及び追加の標的車両１０１０の一方又は両方を受け入れ得る。
更に、利他的行動パラメータの検討について図１０に示される例に関連して上で考察したが、利他的行動パラメータは、図９Ａ～９Ｅに関連して上で考察した例の何れにおいても考慮され得る。
図１１は、開示される実施形態による、車両割込み検出及び応答のための例示的なプロセス１１００を示すフローチャートである。幾つかの実施形態では、システム１００の処理ユニット１１０は、モジュール４０２～４０８及び８０２～８０６の１つ又は複数のモジュールを実行し得る。他の実施形態では、１つ又は複数のモジュール４０２～４０８及び８０２～８０６に記憶された命令は、システム１００からリモートで実行され得る（例えば、ネットワーク上で無線送受信機１７２を介してアクセス可能なサーバを介して）。また別の実施形態では、モジュール４０２～４０８及び８０２～８０６の１つ又は複数に関連付けられる命令は、処理ユニット１１０及びリモートサーバにより実行され得る。
図のように、プロセス１１００は、ステップ１１０２において画像を受信することを含む。例えば、車両２００は、データインタフェースを介して、車両２００に関連付けられる少なくとも１つの画像捕捉デバイス（例えば、画像捕捉デバイス１２２、１２４、１２６）から複数の画像を受信し得る。前述のように、他の実施形態では、車両２００は、画像を分析する代替案として、又はそれに追加的に、その代わりにシステム１００に含まれるレーダデバイス又はライダデバイスを介して取得された情報等のその他のセンサ情報を分析し得る。
ステップ１１０４において、プロセス１１００は、標的車両を識別することを含む。例えば、車両２００は、複数の画像において、車両２００が走行中の第２のレーンと異なる第１のレーンを走行中の標的車両の画像を識別し得る。標的車両の画像を識別することは、例えば、検出モジュール８０２に関連して上で説明したように、単眼又は立体画像分析及び／又はその他のセンサ情報を含み得る。他の実施形態では、前述のように、標的車両の画像を識別することは、画像の分析の代替案として、又はそれに加えて、システム１００に含まれるレーダデバイス又はライダデバイスを介して取得された情報等、その他のセンサ情報を分析することを含み得る。
ステップ１１０６において、プロセス１１００は、標的車両がレーンを変更するというインジケータを識別することを含む。例えば、車両２００は、複数の画像の分析に基づいて、標的車両が第１のレーンから第２のレーンに変更するという少なくとも１つのインジケータを識別し得る。インジケータを識別することは、例えば、割込み検出モジュール８０２に関連して上で説明したように、単眼又は立体画像分析及び／又はその他のセンサ情報（例えば、レーダ又はライダデータ）を含み得る。
ステップ１１０８において、プロセス１１００は、所定の割込み感度変更要素が存在するか否かを判断することを含む。例えば、車両２００は、車両２００の環境中に少なくとも１つの所定の割込み感度変更要素が存在するか否かを判断し得る。少なくとも１つの所定の割込み感度変更要素は、例えば、図９Ａ～Ｅに関連して上で説明したれ形態の何れも取り得る。所定の割込み感度変更要素は、例えば、レーン終了状態、標的車両の経路内の障害物、道路分割、又は地理的地域を含み得る。少なくとも１つの所定の割込み感度変更要素を検出することは、例えば、割込み検出モジュール８０２に関連して上で説明したように、単眼又は立体画像分析及び／又はその他のセンサ情報（例えば、レーダ又はライダデータ）を含み得る。
所定の割込み感度変更要素が検出されない場合、プロセス１１００はステップ１１１０に進み、インジケータと第１の割込み感度パラメータに基づいて第１のナビゲーション応答を生じさせ得る。例えば、車両２００は、割込み感度変更要素が検出されない場合、少なくとも１つのインジケータの識別に基づいて、また第１の割込み感度パラメータに基づいて、車両内で第１のナビゲーション応答を生じさせ得る。第１の割込み感度パラメータは、割込み応答モジュール８０４に関連して上で説明した形態の何れも取り得る。更に、前述のように、幾つかの実施形態では、ステップ１１１０はその代わりに、インジケータと、第１の所定の割込み感度パラメータに関連付けられる値に基づいて第１のナビゲーション応答を生じさせることを含み得、第１のナビゲーション応答は、図４に関するナビゲーション応答について説明した形態の何れも取り得る。
他方、少なくとも１つの所定の割込み感度変更要素が検出されると、プロセス１１００はステップ１１１２に進み、インジケータと第２の割込み感度パラメータに基づいて第２のナビゲーション応答を生じさせ得る。例えば、車両２００は、割込み感度変更要素が検出される場合、少なくとも１つのインジケータの識別に基づいて、また第２の割込み感度パラメータに基づいて、車両内で第２のナビゲーション応答を生じさせ得る。第２の割込み感度パラメータは、割込み応答モジュール８０４に関連して上で説明した形態の何れも取り得る。第２の割込み感度パラメータは、第１の割込み感度パラメータと異なり得る（例えば、より高感度である）。更に、前述のように、幾つかの実施形態では、ステップ１１１２はその代わりに、インジケータと、第２の所定の割込み感度パラメータに関連付けられる値に基づいて第２のナビゲーション応答を生じさせることを含み得る。第２のナビゲーション応答は、図４に関するナビゲーション応答について説明した形態の何れも取り得る。
図１２は、開示される実施形態による、利他的行動を考慮に入れながらナビゲートする例示的なプロセス１２００を示すフローチャートである。幾つかの実施形態では、システム１００の処理ユニット１１０は、モジュール４０２～４０８及び８０２～８０６の１つ又は複数のモジュールを実行し得る。他の実施形態では、１つ又は複数のモジュール４０２～４０８及び８０２～８０６に記憶された命令は、システム１００からリモートで実行され得る（例えば、ネットワーク上で無線送受信機１７２を介してアクセス可能なサーバを介して）。また別の実施形態では、モジュール４０２～４０８及び８０２～８０６の１つ又は複数に関連付けられる命令は、処理ユニット１１０及びリモートサーバにより実行され得る。
図のように、プロセス１２００は、ステップ１２０２において画像を受信することを含む。例えば、車両２００は、データインタフェースを介して、車両２００に関連付けられる少なくとも１つの画像捕捉デバイス（例えば、画像捕捉デバイス１２２、１２４、１２６）から複数の画像を受信し得る。前述のように、他の実施形態では、車両２００は、画像を分析する代替案として、又はそれに追加的に、その代わりにシステム１００に含まれるレーダデバイス又はライダデバイスを介して取得された情報等のその他のセンサ情報を分析し得る。
プロセス１２００は、ステップ１２０４において、標的車両を識別することを含む。例えば、車両２００は、複数の画像において、車両２００の環境中の少なくとも１つの標的車両を識別し得る。標的車両を識別することは、例えば、利他的行動モジュール８０６に関連して上で説明したように、単眼又は立体画像分析及び／又はその他のセンサ情報を含み得る。
ステップ１２０６において、プロセス１２００は、標的車両に関連付けられる１つ又は複数の状況的特徴を特定することを含む。例えば、車両２００は、複数の画像の分析に基づいて、標的車両に関連付けられる１つ又は複数の状況的特徴を特定し得る。状況的特徴は、利他的行動モジュール８０６及び／又は図９Ａ～Ｅ及び１０に関連して上で説明した形態の何れも取り得る。例えば、状況的特徴は、標的車両が、車両２００の経路へのコース変更から利益を受けることを示し得る。他の例として、状況的特徴は、標的車両が、車両２００が走行しているレーンに隣接するレーンを走行中であること、及び標的車両が、標的車両より低速且つ車両２００より低速で走行中の車両の後方にあることを示し得る。状況的特徴を特定することは、例えば、利他的行動モジュール８０６に関して上で説明したように、単眼又は立体像分析及び／又はその他のセンサ情報（例えば、レーダ又はライダデータ）を含み得る。
ステップ１２０８で、プロセス１２００は、利他的行動パラメータの現在の値を特定することを含む。例えば、車両２００は、利他的行動パラメータに関連付けられる現在の値を特定し得る。利他的行動パラメータは、利他的行動モジュール８０６及び／又は図１０に関連して上で説明した形態の何れも取り得、利他的行動パラメータを特定することは、利他的行動モジュール８０６及び／又は図１０に関連して上で説明した方法の何れでも行われ得る。利他的行動パラメータの値は、車両２００のオペレータからの入力に基づいて、車両２００のオペレータに関するカレンダ登録情報を解析することによって特定された少なくとも１つの情報要素に基づいて、乱数生成機能の出力に基づいて、及び／又は１つ又は複数の状況的特徴が車両２００の経路へのコース変更から利益を受けることを示す、そのような標的車両との所定の遭遇回数に基づいて設定され得る。代替的又は追加的に、利他的行動パラメータの値は、車両２００がいる経路へのコース変更から利益を受けることを１つ又は複数の状況的特徴が示す標的車両との遭遇の少なくとも所定のパーセンテージ（例えば、１０％、２０％、３０％等）で、車両２００内のナビゲーション変更が生じるように更新され得る。
ステップ１２１０において、プロセス１２００は、１つ又は複数の状況的特徴と利他的行動パラメータの現在の値に基づいてナビゲーション変更を生じさせることを含む。例えば、車両２００は、標的車両に関連付けられる１つ又は複数の状況的特徴に基づいて、車両２００のナビゲーション状態の変更が必要でなくてよいと判断し得るが、それでも、利他的行動パラメータに関連付けられる現在の値に基づいて、また標的車両に関連付けられる１つ又は複数の状況的特徴に基づいて、車両２００における少なくとも１つのナビゲーション変更を生じさせ得る。ナビゲーション変更を生じさせることは、利他的行動モジュール８０６及び／又は図１０に関連して上で説明した方法の何れでも行われ得る。
上述のように、本開示において説明される何れのプロセス又はプロセスステップにおいても、１つ又は複数の前面及び／又は背面カメラから捕捉された画像の画像分析を実行することに加えて、システム１００（車両２００に含まれる）は、レーダデバイス及び／又はライダデバイスを介して取得される情報等、他のセンサ情報も分析し得る。
上記説明は、例示を目的として提示されている。上記説明は網羅的ではなく、開示される厳密な形態又は実施形態に限定されない。変更形態及び適合形態は、本明細書を考慮し、開示される実施形態を実施することから当業者に明らかになるであろう。更に、開示される実施形態の態様は、メモリに記憶されるものとして記載されるが、これらの態様が、補助記憶装置等の他のタイプのコンピュータ可読媒体、例えば、ハードディスク若しくはＣＤ ＲＯＭ又は他の形態のＲＡＭ若しくはＲＯＭ、ＵＳＢメディア、ＤＶＤ、Blu-ray（登録商標）、４Ｋ超ＨＤ Blu-ray、又は他の光学駆動媒体に記憶することも可能なことを当業者は理解するであろう。
記載の説明及び開示される方法に基づくコンピュータプログラムは、経験のある開発者の技能内にある。様々なプログラム又はプログラムモジュールは、当業者に既知の任意の技法を使用して作成することができるか、又は既存のソフトウェアに関連して設計することができる。例えば、プログラムセクション又はプログラムモジュールは、.Net Framework、.Net Compact Framework（及びVisual Basic、Ｃ等の関連する言語）、Java（登録商標）、Ｃ＋＋、Objective-C、ＨＴＭＬ、ＨＴＭＬ／ＡＪＡＸ組み合わせ、ＸＭＬ、又はJavaアプレットを包含したＨＴＭＬにおいて又はそれにより設計することができる。
更に、例示的な実施形態を本明細書において説明したが、あらゆる実施形態の範囲は、本開示に基づいて当業者により理解されるような均等な要素、変更形態、省略形態、組合せ（例えば、様々な実施形態にわたる態様の）、適合形態、及び／又は代替形態を有する。特許請求の範囲での限定は、特許請求の範囲に利用される言語に基づいて広く解釈されるべきであり、本明細書に記載される例又は本願の実行中の例に限定されない。例は、非排他的として解釈されるべきである。更に、開示される方法のステップは、ステップの順序替え及び／又はステップの挿入又は削除を含め、任意の方法で変更し得る。したがって、本明細書及び例が単なる例示として見なされることが意図され、真の範囲及び趣旨は、以下の特許請求の範囲及びその全範囲の均等物により示される。

Claims (20)

  1. ホスト車両のためのナビゲーションシステムであって、
    データインタフェースと、
    少なくとも１つの処理デバイスであって、
    前記データインタフェースを介して、前記ホスト車両に関連付けられる少なくとも１つの画像捕捉デバイスから複数の画像を受信することと、
    前記複数の画像の分析に基づいて、前記ホスト車両の環境中の少なくとも１つの標的車両を識別することと、
    前記複数の画像の分析に基づいて、前記標的車両に関連付けられる１つ又は複数の状況的特徴を特定することと、
    利他的行動パラメータに関連付けられる現在の値を特定することと、
    前記標的車両に関連付けられる前記１つ又は複数の状況的特徴に基づいて、前記ホスト車両のナビゲーション状態の変更が必要ではないことを特定するが、前記利他的行動パラメータに関連付けられる前記現在の値に基づいて、及び前記標的車両に関連付けられる前記１つ又は複数の状況的特徴に基づいて、前記ホスト車両における少なくとも１つのナビゲーション変更を生じさせることと
    を行うようにプログラムされる少なくとも１つの処理デバイスと
    を含み、前記少なくとも１つのナビゲーション変更は、前記標的車両の前記ホスト車両の経路へのコース変更を可能にするものであり、前記利他的行動パラメータは、前記１つ又は複数の状況的特徴が、前記標的車両が前記標的車両の前記ホスト車両の前記経路への前記コース変更から利益を得るであろうことを示すとの判断に基づいて前記少なくとも１つのナビゲーション変更を生じさせるよう構成される、システム。
  2. 前記標的車両が、前記ホスト車両が走行しているレーンに隣接するレーンを走行しており、前記ホスト車両の前記経路への前記コース変更は、前記標的車両による前記ホスト車両が走行している前記レーンへのレーン変更を含む、請求項１に記載のシステム。
  3. 前記標的車両が、前記標的車両の前記ホスト車両の前記経路への前記コース変更から利益を得るであろうことのインジケーションは、前記標的車両が、前記標的車両より低速であって且つ前記ホスト車両より低速で移動している車両の後方にあることのインジケーションを含む、請求項１または２に記載のシステム。
  4. 前記利他的行動パラメータの前記値は、前記ホスト車両のオペレータからの入力に基づいて設定される、請求項１から３のいずれか一項に記載のシステム。
  5. 前記利他的行動パラメータの前記値は、前記ホスト車両のオペレータのためのカレンダ登録情報を解析することによって特定される少なくとも１つの情報要素に基づいて設定される、請求項１から４のいずれか一項に記載のシステム。
  6. 前記利他的行動パラメータの前記値は、乱数生成機能の出力に基づいて設定される、請求項１から５のいずれか一項に記載のシステム。
  7. 前記利他的行動パラメータの前記値は、前記１つ又は複数の状況的特徴が前記ホスト車両の前記経路への前記コース変更から利益を得るであろうことを示す標的車両との所定の遭遇回数に基づいて設定される、請求項１から６のいずれか一項に記載のシステム。
  8. 前記利他的行動パラメータの前記値は、前記ホスト車両がいる前記経路への前記コース変更から利益を得るであろうことを前記１つ又は複数の状況的特徴が示す標的車両との遭遇の少なくとも所定のパーセンテージにおいて、前記ホスト車両におけるナビゲーション変更が生じさせられるように更新される、請求項１から７のいずれか一項に記載のシステム。
  9. 前記所定のパーセンテージは、少なくとも１０％である、請求項８に記載のシステム。
  10. 前記所定のパーセンテージは、少なくとも２０％である、請求項８に記載のシステム。
  11. ホスト車両であって、
    本体と、
    少なくとも１つの画像捕捉デバイスと、
    少なくとも１つの処理デバイスであって、
    前記少なくとも１つの画像捕捉デバイスから複数の画像を受信することと、
    前記複数の画像の分析に基づいて、前記ホスト車両の環境中の少なくとも１つの標的車両を識別することと、
    前記複数の画像の分析に基づいて、前記標的車両に関連付けられる１つ又は複数の状況的特徴を特定することと、
    利他的行動パラメータに関連付けられる現在の値を特定することと、
    前記標的車両に関連付けられる前記１つ又は複数の状況的特徴に基づいて、前記ホスト車両のナビゲーション状態の変更が必要ではないことを特定するが、前記利他的行動パラメータに関連付けられる前記現在の値に基づいて、及び前記標的車両に関連付けられる前記１つ又は複数の状況的特徴に基づいて、前記ホスト車両における少なくとも１つのナビゲーション変更を生じさせることと
    を行うようにプログラムされる少なくとも１つの処理デバイスと
    を含み、前記少なくとも１つのナビゲーション変更は、前記標的車両の前記ホスト車両の経路へのコース変更を可能にするものであり、前記利他的行動パラメータは、前記１つ又は複数の状況的特徴が、前記標的車両が前記標的車両の前記ホスト車両の前記経路への前記コース変更から利益を得るであろうことを示すとの判断に基づいて前記少なくとも１つのナビゲーション変更を生じさせるよう構成される、ホスト車両。
  12. 前記標的車両が、前記ホスト車両が走行しているレーンに隣接するレーンを走行しており、前記ホスト車両の前記経路への前記コース変更は、前記標的車両による前記ホスト車両が走行している前記レーンへのレーン変更を含む、請求項１１に記載のホスト車両。
  13. 前記標的車両が、前記標的車両の前記ホスト車両の前記経路への前記コース変更から利益を得るであろうことのインジケーションは、前記標的車両は、前記標的車両より低速であって且つ前記ホスト車両より低速で移動している車両の後方にあることのインジケーションを含む、請求項１１または１２に記載のホスト車両。
  14. 前記利他的行動パラメータの前記値は、前記ホスト車両のオペレータからの入力に基づいて設定される、請求項１１から１３のいずれか一項に記載のホスト車両。
  15. 前記利他的行動パラメータの前記値は、前記ホスト車両のオペレータのためのカレンダ登録情報を解析することによって特定される少なくとも１つの情報要素に基づいて設定される、請求項１１から１４のいずれか一項に記載のホスト車両。
  16. 前記利他的行動パラメータの前記値は、乱数生成機能の出力に基づいて設定される、請求項１１から１５のいずれか一項に記載のホスト車両。
  17. 前記利他的行動パラメータの前記値は、前記１つ又は複数の状況的特徴が前記ホスト車両の前記経路への前記コース変更から利益を得るであろうことを示す標的車両との所定の遭遇回数に基づいて設定される、請求項１１から１６のいずれか一項に記載のホスト車両。
  18. 前記利他的行動パラメータの前記値は、前記ホスト車両がいる前記経路への前記コース変更から利益を得るであろうことを前記１つ又は複数の状況的特徴が示す標的車両との遭遇の少なくとも所定のパーセンテージにおいて、前記ホスト車両におけるナビゲーション変更が生じさせられるように更新される、請求項１１から１７のいずれか一項に記載のホスト車両。
  19. 前記所定のパーセンテージは、少なくとも１０％である、請求項１８に記載のホスト車両。
  20. ホスト車両をナビゲートする方法であって、
    処理デバイスが、前記ホスト車両に関連付けられる少なくとも１つの画像捕捉デバイスから複数の画像を受信することと、
    前記処理デバイスが、前記複数の画像の分析に基づいて、前記ホスト車両の環境中の少なくとも１つの標的車両を識別することと、
    前記処理デバイスが、前記複数の画像の分析に基づいて、前記標的車両に関連付けられる１つ又は複数の状況的特徴を特定することと、
    前記処理デバイスが、利他的行動パラメータに関連付けられる現在の値を特定することと、
    前記処理デバイスが、前記標的車両に関連付けられる前記１つ又は複数の状況的特徴に基づいて、前記ホスト車両のナビゲーション状態の変更が必要ではないことを特定するが、前記利他的行動パラメータに関連付けられる前記現在の値に基づいて、及び前記標的車両に関連付けられる前記１つ又は複数の状況的特徴に基づいて、前記ホスト車両における少なくとも１つのナビゲーション変更を生じさせることと
    を含み、前記少なくとも１つのナビゲーション変更は、前記標的車両の前記ホスト車両の経路へのコース変更を可能にするものであり、前記利他的行動パラメータは、前記１つ又は複数の状況的特徴が、前記標的車両が前記標的車両の前記ホスト車両の前記経路への前記コース変更から利益を得るであろうことを示すとの判断に基づいて前記少なくとも１つのナビゲーション変更を生じさせるよう構成される、方法。
JP2018526138A 2015-11-26 2016-11-23 車両のレーン割込みの自動予測及び利他的応答 Active JP7188844B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2022129417A JP7582625B2 (ja) 2015-11-26 2022-08-15 車両ナビゲーションシステム、車両、及びプログラム

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201562260281P 2015-11-26 2015-11-26
US62/260,281 2015-11-26
US201662361343P 2016-07-12 2016-07-12
US62/361,343 2016-07-12
PCT/US2016/063525 WO2017091690A1 (en) 2015-11-26 2016-11-23 Automatic prediction and altruistic response to a vehicel cutting in a lane

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2022129417A Division JP7582625B2 (ja) 2015-11-26 2022-08-15 車両ナビゲーションシステム、車両、及びプログラム

Publications (3)

Publication Number Publication Date
JP2019505034A JP2019505034A (ja) 2019-02-21
JP2019505034A5 JP2019505034A5 (ja) 2020-01-16
JP7188844B2 true JP7188844B2 (ja) 2022-12-13

Family

ID=57680490

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2018526138A Active JP7188844B2 (ja) 2015-11-26 2016-11-23 車両のレーン割込みの自動予測及び利他的応答
JP2022129417A Active JP7582625B2 (ja) 2015-11-26 2022-08-15 車両ナビゲーションシステム、車両、及びプログラム

Family Applications After (1)

Application Number Title Priority Date Filing Date
JP2022129417A Active JP7582625B2 (ja) 2015-11-26 2022-08-15 車両ナビゲーションシステム、車両、及びプログラム

Country Status (5)

Country Link
US (6) US10452069B2 (ja)
EP (3) EP3380988A1 (ja)
JP (2) JP7188844B2 (ja)
CN (3) CN108604292B (ja)
WO (1) WO2017091690A1 (ja)

Families Citing this family (80)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150332464A1 (en) * 2014-05-19 2015-11-19 Occipital, Inc. Methods for automatic registration of 3d image data
US10452069B2 (en) 2015-11-26 2019-10-22 Mobileye Vision Technologies, Ltd. Predicting and responding to cut in vehicles and altruistic responses
US10309792B2 (en) 2016-06-14 2019-06-04 nuTonomy Inc. Route planning for an autonomous vehicle
US10126136B2 (en) 2016-06-14 2018-11-13 nuTonomy Inc. Route planning for an autonomous vehicle
US11092446B2 (en) 2016-06-14 2021-08-17 Motional Ad Llc Route planning for an autonomous vehicle
US10681513B2 (en) 2016-10-20 2020-06-09 nuTonomy Inc. Identifying a stopping place for an autonomous vehicle
US10331129B2 (en) 2016-10-20 2019-06-25 nuTonomy Inc. Identifying a stopping place for an autonomous vehicle
US10473470B2 (en) 2016-10-20 2019-11-12 nuTonomy Inc. Identifying a stopping place for an autonomous vehicle
US10857994B2 (en) 2016-10-20 2020-12-08 Motional Ad Llc Identifying a stopping place for an autonomous vehicle
US10198693B2 (en) * 2016-10-24 2019-02-05 International Business Machines Corporation Method of effective driving behavior extraction using deep learning
US10133275B1 (en) 2017-03-01 2018-11-20 Zoox, Inc. Trajectory generation using temporal logic and tree search
US10671076B1 (en) 2017-03-01 2020-06-02 Zoox, Inc. Trajectory prediction of third-party objects using temporal logic and tree search
JP6897170B2 (ja) * 2017-03-07 2021-06-30 株式会社デンソー 走行制御装置
JP6610601B2 (ja) * 2017-04-04 2019-11-27 トヨタ自動車株式会社 車両識別装置
CN108305477B (zh) * 2017-04-20 2019-08-13 腾讯科技（深圳）有限公司 一种车道选择方法及终端
KR102572219B1 (ko) * 2017-06-14 2023-08-30 모빌아이 비젼 테크놀로지스 엘티디. 자율 주행을 위한 항법 정보의 융합 프레임워크(fusion framework) 및 배치 정렬(batch alignment)
US10402687B2 (en) 2017-07-05 2019-09-03 Perceptive Automata, Inc. System and method of predicting human interaction with vehicles
US11987272B2 (en) 2017-07-05 2024-05-21 Perceptive Automata, Inc. System and method of predicting human interaction with vehicles
US11981352B2 (en) 2017-07-05 2024-05-14 Perceptive Automata, Inc. System and method of predicting human interaction with vehicles
US10496098B2 (en) * 2017-09-12 2019-12-03 Baidu Usa Llc Road segment-based routing guidance system for autonomous driving vehicles
US10611371B2 (en) 2017-09-14 2020-04-07 Toyota Motor Engineering & Manufacturing North America, Inc. System and method for vehicle lane change prediction using structural recurrent neural networks
US10569784B2 (en) 2017-09-28 2020-02-25 Waymo Llc Detecting and responding to propulsion and steering system errors for autonomous vehicles
US10668922B2 (en) * 2017-10-04 2020-06-02 Toyota Motor Engineering & Manufacturing North America, Inc. Travel lane identification without road curvature data
US10657811B2 (en) * 2017-10-04 2020-05-19 Toyota Motor Engineering & Manufacturing North America, Inc. Travel lane identification without road curvature data
GB2568060B (en) * 2017-11-02 2020-02-12 Jaguar Land Rover Ltd Controller for a vehicle
EP3724868A4 (en) * 2017-12-14 2021-08-11 Saab Ab FLIGHT VISION SYSTEM AND METHOD FOR PRESENTATION OF IMAGES FROM THE ENVIRONMENT OF AN AIR VEHICLE IN A FLIGHT VISION SYSTEM
US11135881B2 (en) * 2018-01-08 2021-10-05 Hall Labs Llc Trailer and a tow vehicle path optimization
US10955851B2 (en) 2018-02-14 2021-03-23 Zoox, Inc. Detecting blocking objects
US11282389B2 (en) * 2018-02-20 2022-03-22 Nortek Security & Control Llc Pedestrian detection for vehicle driving assistance
KR102054926B1 (ko) * 2018-02-27 2019-12-12 주식회사 만도 Free Space 신호 기반 근거리 컷인 차량 검출 시스템 및 방법
JP7152165B2 (ja) * 2018-03-02 2022-10-12 トヨタ自動車株式会社 車両制御装置
JP7085371B2 (ja) * 2018-03-15 2022-06-16 本田技研工業株式会社 車両制御装置、車両制御方法、およびプログラム
JP7017443B2 (ja) * 2018-03-15 2022-02-08 本田技研工業株式会社 車両制御装置、車両制御方法、及びプログラム
JP2019156269A (ja) * 2018-03-15 2019-09-19 本田技研工業株式会社 車両制御装置、車両制御方法、及びプログラム
US10414395B1 (en) 2018-04-06 2019-09-17 Zoox, Inc. Feature-based prediction
US11126873B2 (en) 2018-05-17 2021-09-21 Zoox, Inc. Vehicle lighting state determination
US11495028B2 (en) * 2018-09-28 2022-11-08 Intel Corporation Obstacle analyzer, vehicle control system, and methods thereof
US11120277B2 (en) * 2018-10-10 2021-09-14 Denso Corporation Apparatus and method for recognizing road shapes
US10816987B2 (en) * 2018-10-15 2020-10-27 Zoox, Inc. Responsive vehicle control
DE102018126825A1 (de) * 2018-10-26 2020-04-30 Bayerische Motoren Werke Aktiengesellschaft Steuerung eines Kraftfahrzeugs
US20200149896A1 (en) * 2018-11-09 2020-05-14 GM Global Technology Operations LLC System to derive an autonomous vehicle enabling drivable map
US11772663B2 (en) 2018-12-10 2023-10-03 Perceptive Automata, Inc. Neural network based modeling and simulation of non-stationary traffic objects for testing and development of autonomous vehicle systems
EP3918590A4 (en) 2019-01-30 2023-02-08 Perceptive Automata, Inc. NEURONAL NETWORK-BASED NAVIGATION OF AUTONOMOUS VEHICLES THROUGH TRAFFIC ENTITIES
US10901375B2 (en) 2019-01-31 2021-01-26 Morgan Stanley Services Group Inc. Chaotic system anomaly response by artificial intelligence
US11467579B2 (en) 2019-02-06 2022-10-11 Perceptive Automata, Inc. Probabilistic neural network for predicting hidden context of traffic entities for autonomous vehicles
GB2596708B (en) * 2019-03-07 2024-01-10 Mobileye Vision Technologies Ltd Aligning road information for navigation
US11157784B2 (en) * 2019-05-08 2021-10-26 GM Global Technology Operations LLC Explainable learning system and methods for autonomous driving
US11679764B2 (en) * 2019-06-28 2023-06-20 Baidu Usa Llc Method for autonomously driving a vehicle based on moving trails of obstacles surrounding the vehicle
US11572083B2 (en) 2019-07-22 2023-02-07 Perceptive Automata, Inc. Neural network based prediction of hidden context of traffic entities for autonomous vehicles
CN112307221A (zh) * 2019-08-02 2021-02-02 上海碧虎网络科技有限公司 一种基于云端控制的动态数据采集分析方法及系统
CN110444037A (zh) * 2019-08-09 2019-11-12 深圳市元征科技股份有限公司 车辆导航方法及相关产品
US11993291B2 (en) 2019-10-17 2024-05-28 Perceptive Automata, Inc. Neural networks for navigation of autonomous vehicles based upon predicted human intents
US11615266B2 (en) 2019-11-02 2023-03-28 Perceptive Automata, Inc. Adaptive sampling of stimuli for training of machine learning based models for predicting hidden context of traffic entities for navigating autonomous vehicles
US12012118B2 (en) * 2019-11-02 2024-06-18 Perceptive Automata, Inc. Generating training datasets for training machine learning based models for predicting behavior of traffic entities for navigating autonomous vehicles
CN110930697B (zh) * 2019-11-12 2021-05-25 南京航空航天大学 一种基于规则的智能网联车辆协同汇入控制方法
BR112022009024A2 (pt) 2019-11-22 2022-08-09 Qualcomm Inc Troca de informações de manobra de veículo com janela temporal
US10816993B1 (en) * 2019-11-23 2020-10-27 Ha Q Tran Smart vehicle
US11989952B2 (en) 2019-12-10 2024-05-21 Samsung Electronics Co., Ltd. Systems and methods for trajectory prediction
WO2021128264A1 (en) 2019-12-27 2021-07-01 Intel Corporation Device and method for route planning
WO2021166744A1 (ja) * 2020-02-19 2021-08-26 日本電気株式会社 走行状態判定装置、割込み警告装置、方法、及びコンピュータ可読媒体
US11055998B1 (en) * 2020-02-27 2021-07-06 Toyota Motor North America, Inc. Minimizing traffic signal delays with transports
CN111597959B (zh) * 2020-05-12 2023-09-26 盛景智能科技(嘉兴)有限公司 行为检测方法、装置及电子设备
CN111619564B (zh) * 2020-05-29 2022-06-07 重庆长安汽车股份有限公司 一种车辆自适应巡航车速控制方法、装置、处理器、汽车及计算机可读存储介质
CN111661061B (zh) * 2020-06-18 2022-02-11 东软睿驰汽车技术（沈阳）有限公司 一种车辆行驶意图识别方法及装置
US11823395B2 (en) 2020-07-02 2023-11-21 Magna Electronics Inc. Vehicular vision system with road contour detection feature
CN112158201B (zh) * 2020-10-12 2021-08-10 北京信息职业技术学院 一种智能驾驶车辆横向控制方法及系统
CN114596727B (zh) * 2020-12-02 2025-01-10 奥迪股份公司 用于车辆的辅助方法、系统、相应的车辆和存储介质
TWI793482B (zh) * 2020-12-19 2023-02-21 荷蘭商荷蘭移動驅動器公司 輔助駕駛方法及車輛
CN114913711A (zh) * 2021-02-10 2022-08-16 奥迪股份公司 一种基于预测车辆切入可能性的辅助驾驶系统和方法
US11708075B2 (en) * 2021-04-08 2023-07-25 Ford Global Technologies, Llc Enhanced adaptive cruise control
CN113095263B (zh) * 2021-04-21 2024-02-20 中国矿业大学 遮挡下行人重识别模型训练方法、装置及遮挡下行人重识别方法、装置
JP7491279B2 (ja) * 2021-09-08 2024-05-28 トヨタ自動車株式会社 車両挙動予測装置
CN113963535B (zh) * 2021-09-30 2023-01-13 华为技术有限公司 行驶决策确定方法、装置、电子设备存储介质
CN113778108B (zh) * 2021-10-09 2023-07-21 招商局检测车辆技术研究院有限公司 一种基于路侧感知单元的数据采集系统及数据处理方法
JP7191179B1 (ja) * 2021-10-27 2022-12-16 三菱電機株式会社 車両制御装置、車両制御システム、車両制御方法および車両制御プログラム
US11993288B2 (en) 2021-12-29 2024-05-28 Waymo Llc Automated cut-in identification and classification
WO2023168630A1 (zh) * 2022-03-09 2023-09-14 华为技术有限公司 一种控车方法及相关装置
US11491987B1 (en) * 2022-06-22 2022-11-08 Embark Trucks Inc. Merge handling based on merge intentions over time
CN116504088B (zh) * 2023-05-24 2024-03-26 合肥工业大学 一种网联环境下考虑安全风险的快速路车辆换道决策方法
CN117555333A (zh) * 2023-11-21 2024-02-13 深圳云程科技有限公司 一种动态行进轨迹的处理系统及方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002334330A (ja) 2001-05-10 2002-11-22 Nissan Motor Co Ltd 車両認識装置
JP2006205860A (ja) 2005-01-27 2006-08-10 Advics:Kk 車両用走行支援装置
US20070150196A1 (en) 2005-12-09 2007-06-28 Grimm Donald K Method for detecting or predicting vehicle cut-ins
JP2007233587A (ja) 2006-02-28 2007-09-13 Toyota Motor Corp 運転者心理判定装置
JP2013177054A (ja) 2012-02-28 2013-09-09 Nippon Soken Inc 車間距離制御装置

Family Cites Families (43)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3925474B2 (ja) * 2003-07-18 2007-06-06 日産自動車株式会社 車線変更支援装置
US7786898B2 (en) * 2006-05-31 2010-08-31 Mobileye Technologies Ltd. Fusion of far infrared and visible images in enhanced obstacle detection in automotive applications
JP4984876B2 (ja) * 2006-12-20 2012-07-25 株式会社豊田中央研究所 車両間通信装置及び車両間通信システム
EP3480057B1 (en) * 2007-04-30 2022-07-06 Mobileye Vision Technologies Ltd. Rear obstruction detection
JP4915739B2 (ja) * 2007-05-31 2012-04-11 アイシン・エィ・ダブリュ株式会社 運転支援装置
DE102008011228A1 (de) * 2008-02-26 2009-08-27 Robert Bosch Gmbh Verfahren zur Unterstützung eines Nutzers eines Fahrzeugs, Steuereinrichtung für ein Fahrerassistenzsystem eines Fahrzeugs und Fahrzeug mit einer derartigen Steuereinrichtung
KR101463250B1 (ko) * 2008-05-26 2014-11-18 주식회사 포스코 자동운전차량시스템에서의 차량의 군집주행방법
US8170739B2 (en) * 2008-06-20 2012-05-01 GM Global Technology Operations LLC Path generation algorithm for automated lane centering and lane changing control system
US8914181B2 (en) * 2010-12-29 2014-12-16 Siemens S.A.S. System and method for active lane-changing assistance for a motor vehicle
US20140074356A1 (en) * 2011-05-20 2014-03-13 Honda Motor Co., Ltd. Lane change assist system
TWI434239B (zh) * 2011-08-26 2014-04-11 Ind Tech Res Inst 後方來車變換車道預警方法及其系統
US8457827B1 (en) * 2012-03-15 2013-06-04 Google Inc. Modifying behavior of autonomous vehicle based on predicted behavior of other vehicles
US8700251B1 (en) * 2012-04-13 2014-04-15 Google Inc. System and method for automatically detecting key behaviors by vehicles
DE102012206725A1 (de) * 2012-04-24 2013-10-24 Ford Global Technologies, Llc Verfahren und Vorrichtung zum Versetzen eines autonom fahrenden Kraftfahrzeugs in einen sicheren Zustand
US9176500B1 (en) * 2012-05-14 2015-11-03 Google Inc. Consideration of risks in active sensing for an autonomous vehicle
US8494716B1 (en) * 2012-06-04 2013-07-23 GM Global Technology Operations LLC Lane keeping system using rear camera
US9109907B2 (en) * 2012-07-24 2015-08-18 Plk Technologies Co., Ltd. Vehicle position recognition apparatus and method using image recognition information
US9026300B2 (en) * 2012-11-06 2015-05-05 Google Inc. Methods and systems to aid autonomous vehicles driving through a lane merge
US9045139B2 (en) * 2012-12-20 2015-06-02 Automotive Research & Testing Center Intuitive eco-driving assistance method and system
US8788134B1 (en) 2013-01-04 2014-07-22 GM Global Technology Operations LLC Autonomous driving merge management system
JP6158523B2 (ja) * 2013-02-04 2017-07-05 トヨタ自動車株式会社 車間距離制御装置
TWM461270U (zh) * 2013-03-01 2013-09-01 Shinsoft Co Ltd 車輛進出入系統
US8676431B1 (en) * 2013-03-12 2014-03-18 Google Inc. User interface for displaying object-based indications in an autonomous driving system
US10037689B2 (en) * 2015-03-24 2018-07-31 Donald Warren Taylor Apparatus and system to manage monitored vehicular flow rate
JP6183023B2 (ja) * 2013-07-17 2017-08-23 日産自動車株式会社 隊列走行制御装置、隊列走行制御方法
US9454150B2 (en) * 2013-07-17 2016-09-27 Toyota Motor Engineering & Manufacturing North America, Inc. Interactive automated driving system
KR20150058679A (ko) * 2013-11-20 2015-05-29 한국전자통신연구원 단지내 도로에서 자율주행차량의 위치 및 해딩 정보 제공 장치 및 방법
US9517771B2 (en) * 2013-11-22 2016-12-13 Ford Global Technologies, Llc Autonomous vehicle modes
JP5977270B2 (ja) * 2014-01-14 2016-08-24 株式会社デンソー 車両制御装置、及びプログラム
JP6217412B2 (ja) * 2014-01-29 2017-10-25 アイシン・エィ・ダブリュ株式会社 自動運転支援装置、自動運転支援方法及びプログラム
US9248832B2 (en) * 2014-01-30 2016-02-02 Mobileye Vision Technologies Ltd. Systems and methods for detecting traffic signal details
JP6252316B2 (ja) * 2014-03-31 2017-12-27 株式会社デンソー 車両用表示制御装置
US9988037B2 (en) * 2014-04-15 2018-06-05 Ford Global Technologies, Llc Driving scenario prediction and automatic vehicle setting adjustment
JP6348758B2 (ja) * 2014-04-15 2018-06-27 本田技研工業株式会社 画像処理装置
CN103942960B (zh) * 2014-04-22 2016-09-21 深圳市宏电技术股份有限公司 一种车辆变道检测方法及装置
EP2942765B1 (en) * 2014-05-07 2018-12-26 Honda Research Institute Europe GmbH Method and system for predictive lane change assistance, program software product and vehicle
EP2958054B1 (en) * 2014-06-18 2024-07-03 Mobileye Vision Technologies Ltd. Hazard detection in a scene with moving shadows
US9731713B2 (en) * 2014-09-10 2017-08-15 Volkswagen Ag Modifying autonomous vehicle driving by recognizing vehicle characteristics
US9892296B2 (en) * 2014-11-12 2018-02-13 Joseph E. Kovarik Method and system for autonomous vehicles
US10198772B2 (en) * 2015-01-14 2019-02-05 Tata Consultancy Services Limited Driver assessment and recommendation system in a vehicle
JP6361567B2 (ja) * 2015-04-27 2018-07-25 トヨタ自動車株式会社 自動運転車両システム
EP3156299A1 (en) * 2015-10-13 2017-04-19 Volvo Car Corporation Method and system for gap selection
US10452069B2 (en) * 2015-11-26 2019-10-22 Mobileye Vision Technologies, Ltd. Predicting and responding to cut in vehicles and altruistic responses

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002334330A (ja) 2001-05-10 2002-11-22 Nissan Motor Co Ltd 車両認識装置
JP2006205860A (ja) 2005-01-27 2006-08-10 Advics:Kk 車両用走行支援装置
US20070150196A1 (en) 2005-12-09 2007-06-28 Grimm Donald K Method for detecting or predicting vehicle cut-ins
CN101326511A (zh) 2005-12-09 2008-12-17 通用汽车环球科技运作公司 用于检测或预测车辆超车的方法
JP2007233587A (ja) 2006-02-28 2007-09-13 Toyota Motor Corp 運転者心理判定装置
JP2013177054A (ja) 2012-02-28 2013-09-09 Nippon Soken Inc 車間距離制御装置

Also Published As

Publication number Publication date
CN108604292B (zh) 2023-10-13
WO2017091690A1 (en) 2017-06-01
CN115223139A (zh) 2022-10-21
CN117400938A (zh) 2024-01-16
US20170153639A1 (en) 2017-06-01
US11372407B2 (en) 2022-06-28
US20200142411A1 (en) 2020-05-07
US20170154225A1 (en) 2017-06-01
US10452069B2 (en) 2019-10-22
EP3742338A1 (en) 2020-11-25
US20220221862A1 (en) 2022-07-14
US11993290B2 (en) 2024-05-28
US10209712B2 (en) 2019-02-19
EP3380988A1 (en) 2018-10-03
US20240286649A1 (en) 2024-08-29
JP2019505034A (ja) 2019-02-21
CN108604292A (zh) 2018-09-28
EP4378783A1 (en) 2024-06-05
US20200348671A1 (en) 2020-11-05
JP2022172153A (ja) 2022-11-15
JP7582625B2 (ja) 2024-11-13

Similar Documents

Publication Publication Date Title
JP7582625B2 (ja) 車両ナビゲーションシステム、車両、及びプログラム
JP7601341B2 (ja) 検出された障壁に基づく車両のナビゲーション
US12242287B2 (en) Systems and methods for navigating lane merges and lane splits
EP3842304B1 (en) Systems and methods for navigating with safe distances
EP3657130B1 (en) Navigation based on vehicle activity
US10926763B2 (en) Recognition and prediction of lane constraints and construction areas in navigation
CN111027420B (zh) 用于模仿前车的系统和方法
CN106796648B (zh) 用于检测对象的系统和方法

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180720

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20191008

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20191118

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20191118

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20191125

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210105

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20201225

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20210402

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210524

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20211207

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220406

C60 Trial request (containing other claim documents, opposition documents)

Free format text: JAPANESE INTERMEDIATE CODE: C60

Effective date: 20220406

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20220413

C21 Notice of transfer of a case for reconsideration by examiners before appeal proceedings

Free format text: JAPANESE INTERMEDIATE CODE: C21

Effective date: 20220419

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220628

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220815

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20221101

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20221128

R150 Certificate of patent or registration of utility model

Ref document number: 7188844

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150