[go: up one dir, main page]

JP2023166308A - 自律システム及びアプリケーションのためのｒｇｂ－ｉｒデータ処理 - Google Patents

自律システム及びアプリケーションのためのｒｇｂ－ｉｒデータ処理 Download PDF

Info

Publication number
JP2023166308A
JP2023166308A JP2022090067A JP2022090067A JP2023166308A JP 2023166308 A JP2023166308 A JP 2023166308A JP 2022090067 A JP2022090067 A JP 2022090067A JP 2022090067 A JP2022090067 A JP 2022090067A JP 2023166308 A JP2023166308 A JP 2023166308A
Authority
JP
Japan
Prior art keywords
value
infrared
image data
visible light
processor
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2022090067A
Other languages
English (en)
Inventor
ハン サミュエル
Hung Samuel
ミットゥン ピーパー ショーン
Midthun Pieper Sean
デュジャルダン エリック
Eric Dujardin
ヒョン ファン ソン
Sung Hyun Hwang
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nvidia Corp
Original Assignee
Nvidia Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nvidia Corp filed Critical Nvidia Corp
Publication of JP2023166308A publication Critical patent/JP2023166308A/ja
Pending legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/77—Circuits for processing the brightness signal and the chrominance signal relative to each other, e.g. adjusting the phase of the brightness signal relative to the colour signal, correcting differential gain or differential phase
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/22—Image preprocessing by selection of a specific region containing or referencing a pattern; Locating or processing of specific regions to guide the detection or recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/803—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of input or preprocessed data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10048—Infrared image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Artificial Intelligence (AREA)
  • Signal Processing (AREA)
  • Image Processing (AREA)
  • Color Television Image Signal Generators (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Studio Devices (AREA)
  • Image Analysis (AREA)

Abstract

【課題】赤外線値と可視光線値とを含む画像データを処理するように構成されたシステムを提供する。【解決手段】該システムは、現在の光レベルに従って最適な画像を生成するために、ＩＲデータと可視光線データとをどのように一緒にブレンドすべきかを決定する。該システムは、赤外線値と可視光線値との間の比較に基づいて、画像データについてのシーン検出値を算出する。そして、該システムは、画像データに適用するための、赤外線補正の量、色補正ファクタ、色飽和ファクタなどを決定することができる。そして、本システムは、赤外線補正の量、色補正ファクタ、色飽和ファクタなどに基づいて画像データを変換する。変換された画像データは、低光線シーンについて、従来利用可能であるものよりも多くの情報を含み、それにより、より高い品質の画像を作り出す。【選択図】図４

Description

本開示の実施例は、一般に画像処理に関し、より詳細には、赤色、緑色及び青色（ＲＧＢ：ｒｅｄ，ｇｒｅｅｎ ａｎｄ ｂｌｕｅ）－赤外線（ＩＲ：ｉｎｆｒａｒｅｄ）センサからのＩＲデータ及び可視光線データ（たとえば、ＲＧＢデータ）に基づく、画像生成の動的制御に関する。
ＲＧＢ－ＩＲセンサが、（たとえば、自動車における）ドライバ及び乗員監視システムのために使用されるものなど、撮像システムにおいて使用される。ＲＧＢ－ＩＲセンサでは、色信号は、シーン中の可視光線の量が減少するにつれて、あまり有用でなくなる。ＲＧＢ－ＩＲセンサを使用するシステムは、概して、可視光線しきい値を有し、それを上回ると、ＲＧＢセンサからのデータが使用され、それを下回ると、ＩＲセンサからのデータが使用される。ＲＧＢ－ＩＲシステムは、一般に、ＲＧＢセンサ・ピクセルとして、ＩＲセンサ・ピクセルの１／４の数を有する。したがって、ＩＲセンサ・ピクセルからの信号は、ＲＧＢセンサ・ピクセルからの信号の１／４の解像度を有する。ＩＲセンサ・ピクセルからのそのような低減された解像度は、（たとえば、夜の）低光線設定において生成される画像の品質及び有用性を低減する。
"Taxonomy and Definitions for Terms Related to Driving Automation Systems for On-Road Motor Vehicles" (e.g., Standard No. J3016-201806, published on June 15, 2018, Standard No. J3016-201609, published on September 30, 2016, and previous and future versions of this standard)
本開示は、以下で与えられる詳細な説明から、及び本開示の様々な実施例の添付の図面から、より十分に理解されよう。しかしながら、図面は、本開示を特定の実施例に限定するものととられるべきでなく、説明及び理解のためのものにすぎない。
本開示のいくつかの実施例による、赤外線値と可視光線値とを含む画像データを動的に調整するための技術を含む、例示的なコンピューティング環境を示す図である。 本開示のいくつかの実施例による、概念的なＩＲ減算ファクタ（ｆａｃｔｏｒ）曲線を示す図である。 本開示のいくつかの実施例による、シーン検出値に基づいて画像を調整するために使用される１つ又は複数の分量（ｑｕａｎｔｉｔｙ）を決定するためのルックアップ・テーブルである。 本開示のいくつかの実施例による、更新された画像を生成するための赤外線値と可視光線値とを含む画像データを調整するための方法のフロー・チャートである。 本開示のいくつかの実施例による、訓練された機械学習モデルを使用して、（たとえば、図４の方法に従って変換されている）変換された画像を処理するための方法のフロー・チャートである。 本開示のいくつかの実施例による、（たとえば、図４の方法に従って変換されている）変換された画像を表示するための方法のフロー・チャートである。 本開示のいくつかの実施例による、画像を修正するためのシーン分析器を含む、例示的なコンピューティング・デバイスを示す図である。 少なくとも１つの実施例による、自律車両の一実例を示す図である。 少なくとも１つの実施例による、図８Ａの自律車両についてのカメラ・ロケーション及び視野の一実例を示す図である。 少なくとも１つの実施例による、図８Ａの自律車両のための例示的なシステム・アーキテクチャを示すブロック図である。 少なくとも１つの実施例による、（１つ又は複数の）クラウド・ベースのサーバと図８Ａの自律車両との間の通信のためのシステムを示す図である。 少なくとも１つの実施例による、推論及び／又は訓練論理（ｔｒａｉｎｉｎｇ ｌｏｇｉｃ）を示す図である。 少なくとも１つの実施例による、推論及び／又は訓練論理を示す図である。 少なくとも１つの実施例による、例示的なデータ・センタ・システムを示す図である。 少なくとも１つの実施例による、コンピュータ・システムを示す図である。 少なくとも１つの実施例による、コンピュータ・システムを示す図である。 １つ又は複数の実施例による、グラフィックス・プロセッサの少なくとも一部分を示す図である。 １つ又は複数の実施例による、グラフィックス・プロセッサの少なくとも一部分を示す図である。
乗員監視システムは、一般に、単色赤外線（ＩＲ）カメラを使用し、より最近では、カラーＩＲカメラ（すなわち、赤色、緑色、青色、赤外線（ＲＧＢ－ＩＲ：ｒｅｄ，ｇｒｅｅｎ，ｂｌｕｅ，ｉｎｆｒａｒｅｄ）カメラ）を使用し始めた。ＩＲの使用は、ターゲット・エリア（たとえば、キャビン中のドライバ）を明るくするためにＩＲ照明を使用することによって、カメラが夜に機能することを可能にする。ＲＧＢ－ＩＲカメラの画像センサは、一般に、ピクセル・センサの大部分に可視光線を検出させ、より小さい部分にＩＲを検出させる（たとえば、ピクセル・センサの１／４がＩＲを検出する）ように構成される。（たとえば、夜に）シーンがより暗くなるとき、可視光線のためのピクセル・センサはあまり有効でなく、旧来のシステムは、ＩＲピクセル・センサだけを使用することに切り替わる。カラーＩＲから単色ＩＲへのこの切替えは、急激であり、画像の品質及び解像度が実質的に減少（たとえば、１／４の解像度に低減）することを引き起こし得る。解像度の急激な切替え及び変更は、特定の画像品質及び解像度を使用して訓練されたコンピュータ・ビジョン・アプリケーションについて特に問題になり得、これは、より明るいシーンとより暗いシーンとの間の変更にうまく対処しないことがある。
本開示の実施例は、明るいシーンと暗いシーンとの間の遷移により良く対処する画像信号処理（ＩＳＰ：Ｉｍａｇｅ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｉｎｇ）パイプラインのための技術を含む。本技術は、暗いシーンのための画像解像度を旧来達成可能であったものよりも高く保つために可視光線ピクセル・センサからの情報を使用することが可能であり、前のソリューションよりも、明るいシーンと暗いシーンとの間の遷移が得意である。たとえば、非ＩＲピクセルによって測定されるＩＲ信号は、いくつかのライティング条件下で使用され得、使用すべきＩＲ信号の量は、ライティング条件に基づいて変動し得る。本技術は、周辺光線と放出された近ＩＲ光線との混合における変更に応答して、組み合わせられた近ＩＲ光線と可視光線信号の画像キャプチャ及びレンダリングをゆるやかに適応させることが可能である。
本技術は、ＲＧＢ－ＩＲカメラからの画像を分析し、（たとえば、シーンの輝度を示し得る）シーン検出値を決定する。一実例では、シーン検出値は、（たとえば、ＲＧＢ－ＩＲカメラに関連付けられたＩＲエミッタによって放出されたような）ＩＲの平均強度と可視光線の平均強度との比に基づき得る。一般に、ＩＲ強度と可視光線強度との比は、日中、ＩＲ照明の強度が可視光線の強度よりも低いので、より低くなる（たとえば、１：１００の比）。逆に、この比は、概して、夜に、ＩＲ照明の強度が可視光線の強度により近いので、はるかに高くなる（たとえば、１：１の比）。また、可視光線を検出するように構成されたピクセルは、概して、ＩＲを検出する。したがって、概して、夜又は（たとえば、トンネル中の）他の低光線設定において（たとえば、太陽からの）バックグラウンド環境光線がほとんどないので、ＩＲピクセルと可視光線ピクセル（たとえば、Ｇピクセル）とは、ＲＧＢ－ＩＲカメラ・システムによって出力される、同じＩＲを検出し、ＩＲ対可視光線について、約１：１の比を生じ得る。
ＲＧＢ－ＩＲカメラは、ＲＧＢ－ＩＲカラー・フィルタ・アレイ（ＣＦＡ：ｃｏｌｏｒ ｆｉｌｔｅｒ ａｒｒａｙ）を含み得る。ＲＧＢ－ＩＲ ＣＦＡは、標準ベイヤーＣＦＡの変形形態であり、これは、赤色、緑色、又は青色光を通常通すカラー・フィルタ・アレイ中の位置のうちのいくつかを、ＩＲ波長（たとえば、近ＩＲ波長）を通し、可視光線を阻止するＩＲフィルタと置換する。たとえば、これはベイヤー・センサの４×４エリアをとることと、赤色フィルタのうちの２つと青色フィルタのうちの２つとをＩＲフィルタと置き換えることと、センサにわたって反復パターンを作成することとによって行われ得る。一般的な設計では、カメラは、ＲＧＢ－ＩＲカメラの（たとえば、９４０ｎｍにおける）ＩＲエミッタの放出スパイクに一致する、狭いバンドパスをもつＩＲカット・フィルタを有することになる。
Ｒ、Ｇ及びＢのカラー・フィルタは、概して、ＩＲ放出に対して透過的である。その結果、ＩＲ光線は、センサのすべてのチャネルに等しく漏れる。従来、人間視覚化のために及び／又は画像システム上で動作する機械学習システムでの使用のために、高品質画像を達成するために、ＩＲピクセル上で測定されるＩＲ信号は、Ｒ、Ｇ及びＢピクセルから減算される。シーン中の可視光線が、（たとえば、ＩＲエミッタからの）ＩＲ光線と比較して低減されるにつれて、得られる色信号が減少し、ノイズのより多いものになり、最終的に黒色になり得る。ＩＲのみのピクセルからの信号は、概して、機械視覚及び／又はユーザへの表示のために使用され得る１／４解像度画像を提供するために、画像信号プロセッサ中で分離される。この画像は、明るい条件と暗い条件の両方において利用可能になるが、より低い解像度は、（たとえば、すべてのピクセルがＩＲセンサ・ピクセルである）単色ＩＲセンサと比較して潜在的機械視覚性能を低減する。
ＲＧＢ－ＩＲカメラを使用するシステム（たとえば、自動車の乗員監視システム（ＯＭＳ：ｏｃｃｕｐａｎｔ ｍｏｎｉｔｏｒｉｎｇ ｓｙｓｔｅｍ）及び／又はドライバ監視システム（ＤＭＳ：ｄｒｉｖｅｒ ｍｏｎｉｔｏｒｉｎｇ ｓｙｓｔｅｍ））は、シーン中の可視光線の量が減少するにつれて、色信号があまり有用でなくなるという問題に直面する。したがって、ＲＧＢ－ＩＲカメラを使用する従来のシステムは、可視光線しきい値を適用し、利用可能な可視光線の量がしきい値を下回るとき、そのようなシステムは、ＲＧＢ－ＩＲカメラのＩＲピクセル・センサの使用に遷移する。しかしながら、一般的なＲＧＢ－ＩＲセンサにおけるＩＲのみのピクセルからの信号は、１／４解像度画像になり、より低い品質の画像を生じ、ひいては、単色ＩＲ情報の有用性を低減する。ＲＧＢ－ＩＲカメラを使用する従来のシステムとは対照的に、ＲＧＢ－ＩＲカメラを使用する、本明細書の実施例で説明されるシステムは、ライティング条件にかかわらず、フル解像度を維持し得る。フル解像度と１／４の解像度との間を行き来するのではなくフル解像度を維持することは、得られた画像中で処理されているデータの量を増加させ、画像の品質を増加させ、これらのシステムを訓練する効率を改善し、時間を節約し、システムの潜在的効率を増加させる。
従来、ＩＲに起因する可視光線ピクセルのための強度のすべてが、フィルタで除去される。しかしながら、実施例では、処理論理が、決定されたシーン検出値に基づいて、可視光線ピクセルのための強度のうちのどのくらいをフィルタで除去すべきかを動的に決定する。ＩＲ信号を検出するために可視光線ピクセルを使用することによって、低光線条件で使用されるピクセルの数は増加され、したがって、低光線条件で生成される画像の解像度も増加される。シーンがより暗くなるにつれて、ＩＲに起因する可視光線ピクセルのための信号のうちのますます多くのものが使用される。これは、ＲＧＢ－ＩＲカメラのためにあらかじめ決定された、静的ホワイト・バランス補正、色補正、色飽和（ｃｏｌｏｒ ｓａｔｕｒａｔｉｏｎ）などの値が使用される場合、正しくないホワイト・バランス、正しくない色、正しくない色飽和などを生じることがある。したがって、赤外線補正の量（たとえば、可視光線ピクセルのための測定値からどのくらいのＩＲ信号を減算すべきか）を決定するためにシーン検出値を使用することに加えて、シーン検出値及び／又は赤外線補正の量は、ホワイト・バランス補正ファクタ（ｃｏｒｒｅｃｔｉｏｎ ｆａｃｔｏｒ）、色補正ファクタ、色飽和ファクタなどを動的に決定するために使用され得る。これらのファクタの各々は、どのくらいのＩＲ信号が可視光線ピクセル値からフィルタで除去されるかに応じてシフトすることになる。
したがって、シーン検出値が決定されると、それは、次いで、画像処理パイプラインの異なる部分又は構成要素によって使用される分量を決定するための入力として使用され得る。たとえば、シーン検出値は、赤外線補正の量、ホワイト・バランス補正、色補正、及び飽和をチューニングするために使用され得る。シーンが明るいから暗いに遷移するにつれて、比は（たとえば、１：１００から１：１に）増加し、ＩＲ減算の割合の滑らかな減少、及び不飽和化（ｄｅｓａｔｕｒａｔｉｏｎ）の滑らかな増加があることになる。ＩＲ強度と可視光線強度との比は、関数に入力されるか又はルックアップ・テーブルのためのインデックス値として使用され得、各特定のシーン検出値（たとえば、比）は、特定のＩＲ減算値、特定の不飽和化割合などに対応することができる。
ＲＧＢ－ＩＲカメラを使用する従来のシステムは、所与の時間にＲＧＢピクセルからの信号又はＩＲカメラからの信号のいずれかを使用する。そのようなシステムは、あるしきい値に従って、シーンが明るいときに（たとえば、昼間の間に）ＲＧＢピクセルからの信号を使用することから、シーンが暗いときに（たとえば、夜間の間に）ＩＲピクセルからの信号を使用することに切り替わる。ＲＧＢピクセルからの信号を使用することから、ＩＲピクセルからの信号を使用することへのこの切替えは、より高い解像度のカラー画像とより低い解像度の単色ＩＲ画像との間の急激な切替えである。たとえば、従来技術システムがＲＧＢ画像を出力することから単色ＩＲ画像を出力することへ切り替わる、ある所定の及び静的しきい値があり得る。実施例は、（可視光線が支配的である）より明るいシーンにおいてよりＲＧＢ情報に基づく出力画像から、（ＩＲ照明が支配的である）より暗いシーンにおいてよりＩＲ情報に基づく出力画像へ滑らかに遷移するために、入力としてシーン検出値を使用することによってそのような急激な切替えを回避する。所与のシーン検出値について、ＩＲに起因するＲＧＢピクセル・センサのための信号のある部分を完全に除去するのではなく、ＩＲに起因する信号のその部分が使用され得る。実施例では、本技術は、解像度を一貫して保つためにより暗い条件においてＲＧＢ情報を使用し続け、ＲＧＢ情報を投げ出さず、シーンが暗くなるときにＩＲピクセル・センサだけを使用し、これは、１／４の情報／解像度を有する出力画像を生じることになる。したがって、実施例では、低光線状況において生成される単色ＩＲ画像は、明るい光線状況において生成されるカラー画像と同じ解像度を有し得る。実施例では、標準ＲＧＢ－ＩＲカメラを使用するシステムは、周囲可視光線の低減に応答して画像品質が最小限に及びゆるやかに劣化され得る場合、機械視覚タスクと人間視覚タスクの両方のための高い利用可能性をもつフル解像度画像を提供することが可能である。
上記の技術の様々な態様が、限定としてではなく、実例として、本明細書で詳細に以下で説明される。以下で提供される実例は、１つ又は複数の画像信号プロセッサのパイプラインに組み込まれる技術について説明し、画像センサから画像が受信された後に、及びそれが永続的に記憶される前に、適用され得る。他の実例では、その技術は、画像データが永続的に記憶された後に、画像を更新するために使用され得る。
いくつかの実施例は、車のキャビン中のカメラに関して説明される。しかしながら、実施例は、他のタイプの自動車のキャビン（たとえば、飛行機のコックピット、トラックのキャビン、列車のキャビンなど）において、防犯カメラにおいて、（たとえば、自動車の外部の周囲エリアを撮像する）自動車の外部向きのカメラにおいてなど、他のアプリケーションにおいてＲＧＢ－ＩＲカメラによって生成された画像の使用をも網羅することを理解されたい。したがって、キャビン内カメラ・システムのために使用される画像を調整することに関して本明細書で説明される実例は、実例にすぎず、これらの実例に関して説明される同じ技法は、ＲＧＢ－ＩＲカメラが使用される任意の他の設定においても適用される。
いくつかの実施例は、ＩＲ及びＩＲセンサに関して説明される。本明細書で使用される赤外線（ＩＲ）という用語は、旧来のＩＲ放射（たとえば、７８０ｎｍから１ｍｍの間の波長を有する放射）並びに近ＩＲ放射（たとえば、７５０ｎｍから１３００ｎｍの間の波長を有する放射）の両方を含み得ることを理解されたい。
本明細書で説明されるシステム及び方法は、限定はしないが、非自律車両、（たとえば、１つ又は複数の適応ドライバ支援システム（ＡＤＡＳ：ａｄａｐｔｉｖｅ ｄｒｉｖｅｒ ａｓｓｉｓｔａｎｃｅ ｓｙｓｔｅｍ）における）半自律車両、有人（ｐｉｌｏｔｅｄ）及び無人（ｕｎ－ｐｉｌｏｔｅｄ）ロボット又はロボット・プラットフォーム、倉庫車両、オフロード車両、１つ又は複数のトレーラに結合された車両、飛行艇（ｆｌｙｉｎｇ ｖｅｓｓｅｌ）、ボート、シャトル、緊急応答車両、オートバイ、電動又は原動機付き自転車、航空機、建設車両、潜水艦、ドローン、並びに／或いは他の車両タイプによって使用され得る。さらに、本明細書で説明されるシステム及び方法は、実例として、限定はしないが、機械制御、機械運動、機械運転、合成データ生成、モデル訓練、知覚、拡張現実、仮想現実、複合現実、ロボティクス、セキュリティ及び監督、自律又は半自律機械アプリケーション、深層学習、環境シミュレーション、オブジェクト若しくはアクター・シミュレーション及び／又はデジタル・ツイニング、データ・センタ処理、会話型ＡＩ、（たとえば、レイ・トレーシング、パス・トレーシングなど）光トランスポート・シミュレーション、３Ｄアセットのための共同コンテンツ作成、クラウド・コンピューティング、並びに／或いは任意の他の好適なアプリケーションのための、様々な目的のために使用され得る。
開示される実施例は、自動車システム（たとえば、自律又は半自律機械のための制御システム、自律又は半自律機械のための知覚システム）、ロボットを使用して実装されるシステム、航空システム、中間システム、ボーティング・システム（ｂｏａｔｉｎｇ ｓｙｓｔｅｍ）、スマート・エリア監視システム、深層学習動作を実施するためのシステム、シミュレーション動作を実施するためのシステム、デジタル・ツイン動作を実施するためのシステム、エッジ・デバイスを使用して実装されるシステム、１つ又は複数の仮想マシン（ＶＭ：ｖｉｒｔｕａｌ ｍａｃｈｉｎｅ）を組み込んだシステム、合成データ生成動作を実施するためのシステム、データ・センタにおいて少なくとも部分的に実装されるシステム、会話型ＡＩ動作を実施するためのシステム、光トランスポート・シミュレーションを実施するためのシステム、３Ｄアセットのための共同コンテンツ作成を実施するためのシステム、クラウド・コンピューティング・リソースを使用して少なくとも部分的に実装されるシステム、及び／或いは他のタイプのシステムなど、様々な異なるシステムにおいて含まれ得る。
図１は、本開示のいくつかの実施例による、算出されたシーン検出値に基づいて１つ又は複数の画像の動的な変換を実施するための技術を含む例示的なコンピューティング環境１００を示す。コンピューティング環境１００Ａは、変換された画像データ１３０（たとえば、変換されたカラー画像又は単色画像）を生成するために、入って来る画像データ１０２（たとえば、ＲＧＢ－ＩＲ画像）に対して動作する、１つ又は複数の処理ユニット１０４（たとえば、画像信号プロセッサ（ＩＳＰ：ｉｍａｇｅ ｓｉｇｎａｌ ｐｒｏｃｅｓｓｏｒ）及び／又はＩＳＰパイプライン１０１のための他のプロセッサ）を含み得る。
処理ユニット１０４は、以下で説明されるように、（たとえば、画像分析アルゴリズム、機械学習モデル、ディスプレイへの出力などによって）下流プロセスにおいて使用され得る画像を生成するために、画像データ１０２を受信し、その画像データに対して１つ又は複数の動作を実施するように構成され得る。処理ユニット１０４は、１つ又は複数の画像のデータを処理することが可能である１つ又は複数のデバイスであるか、又はそれらを含み得る。処理ユニット１０４は、画像プロセッサと呼ばれることがあり、１つ又は複数の画像信号プロセッサ（ＩＳＰ）、デジタル信号プロセッサ（ＤＳＰ：Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ）、グラフィカル処理ユニット（ＧＰＵ：Ｇｒａｐｈｉｃａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、中央処理ユニット（ＣＰＵ：Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、データ処理ユニット（ＤＰＵ：Ｄａｔａ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、フィールド・プログラマブル・ゲート・アレイ（ＦＰＧＡ：Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）、特定用途向け集積回路（ＡＳＩＣ：Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）、他の集積回路、又はそれらの組合せであるか、或いはそれらを含み得る。
処理ユニット１０４は、別のデバイス（たとえば、ＲＧＢ－ＩＲカメラ）から、アナログ信号、デジタル信号、又はそれらの組合せとして、画像データ１０２（たとえば、１つ又は複数の画像）を受信し得る。画像は、画像のシーケンスであり得、シーケンス中の各画像は、ビデオ・フレームであり得る。処理ユニット１０４は、符号化画像、生画像、又はそれらの組合せとして画像データを受信し得る。
画像データ１０２は、可視光線センサ・ピクセル及びＩＲセンサ・ピクセルからの値のセットに対応し得、セットは、サイズ（たとえば、セット・サイズ）を有し得、各値は、サイズ（たとえば、ピクセル・サイズ）を有し得る。セット・サイズは、解像度と呼ばれることがあり、ピクセルの分量で測定され得、７２０×４８０（たとえば、標準精細度（ＳＤ：Ｓｔａｎｄａｒｄ－Ｄｅｆｉｎｉｔｉｏｎ））、１９２０×１８００（高精細度（ＨＤ：Ｈｉｇｈ Ｄｅｆｉｎｉｔｉｏｎ））、３８４０×２１６０（超高精細度（４Ｋ ＵＨＤ：Ｕｌｔｒａ Ｈｉｇｈ Ｄｅｆｉｎｉｔｉｏｎ））、７６８０×４３２０（８Ｋ ＵＨＤ）、或いは他のサイズ又は比であり得る。値サイズは、ピクセル・サイズと呼ばれることがあり、ビットの数に基づく範囲（たとえば、ピクセル値範囲）を有し得る。たとえば、値サイズは、８ビット（たとえば、範囲０～２５５）、１０ビット（たとえば、範囲０～１０２３）、１２ビット（たとえば、範囲０～４Ｋ）、ビットの他の数、又はそれらの組合せであり得る。値サイズ（たとえば、ピクセル・サイズ）は、それぞれの画像のダイナミック・レンジに関係し得る。
画像データ１０２は、赤色（Ｒ）センサ・ピクセル、緑色（Ｇ）センサ・ピクセル、青色（Ｂ）センサ・ピクセル及び赤外線（ＩＲ）センサ・ピクセルからの強度値を含む、ＲＧＢ－ＩＲカメラの多くのセンサ・ピクセルからの強度値を含み得る。画像データ１０２は、（たとえば、Ｒ、Ｇ、Ｂセンサ・ピクセルからの）カラー情報及び／又は（たとえば、ＩＲセンサ・ピクセルからの）単色情報を含み得、静止画像（たとえば、写真）、画像のシーケンス（たとえば、ビデオのフレーム）中の画像、又はそれらの組合せに対応し得る。実施例では、画像データ１０２は、画像についてのヒストグラムを含む。ハードウェア構成要素（図示せず）が、生成された画像についての赤色チャネル、緑色チャネル、青色チャネル及びＩＲチャネルのヒストグラムを生成し得る。ヒストグラム中のエントリは、離散化された値を有し得る（たとえば、一実施例では、２５６個の異なる値に離散化される）。一実施例では、より高い信号のためによりも、より低い信号のために、より多くの可能な値（たとえば、ヒストグラムのためのより高い解像度）がある。
画像データ１０２は、シーン分析器１０６及び／又は処理パイプライン１０１に入力され得る。シーン分析器１０６は、画像データ１０２のためのシーン検出値１０８を生成するために画像データ（たとえば、画像ヒストグラム）の分析を実施する。シーン検出値１０８は、可視光線に対するＩＲ放出の相対電力のメトリックであり、ＩＲの強度（すなわち、電力）値及び可視光線（たとえば、Ｒ、Ｇ及び／又はＢ信号）の強度（すなわち、電力）値に基づいて決定され得る。実施例では、シーン検出値１０８は、ＩＲ強度値と１つ又は複数の可視光線強度値との間の関係に基づいて算出される。その関係は、たとえば、ＩＲ強度値と１つ又は複数の可視光線強度値との間の比であり得る。一実施例では、比は、１つ又は複数のＩＲ強度値と１つ又は複数のＧ強度値との間で算出される。
一実施例では、シーン分析器１０６は、ＩＲピクセル・センサのうちの１つ又は複数からの信号に基づいて平均ＩＲ強度を算出し、Ｇピクセル・センサのうちの１つ又は複数からの信号に基づいて平均可視光線強度を算出する。一実施例では、シーン分析器１０６は、次いで、平均ＩＲ強度と平均Ｇ強度との比を算出する。この比は、シーン検出値１０８として使用され得る。代替として、シーン検出値１０８は、この比から直接決定され得る。
代替又は追加として、シーン分析器１０６は、Ｇ、Ｒ及び／又はＢピクセルの平均を算出し得、Ｇ、Ｒ及び／又はＢピクセルからの平均をＩＲピクセルからの平均とともに使用して、シーン検出値１０８を決定し得る。たとえば、シーン分析器１０６は、Ｒ、Ｇ及びＢピクセルの平均を決定し、この合計平均をＩＲピクセルの平均と比較して、シーン検出値１０８を決定し得る。追加又は代替として、中央値、最大値、最小値、４分位数（ｑｕａｒｔｉｌｅ）にわたる平均などの他の統計値が、Ｒ、Ｇ、Ｂ及び／又はＩＲピクセルに基づいて決定され得、そのような値は、シーン検出値１０８を決定するために使用され得る。たとえば、Ｇ、Ｂ及び／又はＲピクセルの中央値、最大値、最小値、４分位数にわたる平均などと、ＩＲピクセルの中央値、最大値、最小値、４分位数にわたる平均などとの比が、シーン検出値１０８について算出され、使用され得る。
いくつかの実施例では、シーン検出値１０８を決定するために、画像全体からのデータが使用される。たとえば、平均又は他の統計値は、Ｇピクセルのすべてからのデータ及びＩＲピクセルのすべてからのデータに基づいて決定され得る。代替として、シーン検出値１０８を決定するために、画像全体よりも少ないものからのデータが使用され得る。たとえば、シーンのいくつかの領域は、後の処理及び／又は判定のために、シーンの他の領域よりも重要であり得る。一実例は、乗員及び／又はドライバを示す画像の領域である。したがって、いくつかの実施例では、シーン分析器１０６は、シーン検出値１０８を決定するための画像の領域（たとえば、ドライバが概して位置する固定エリア、又は、たとえば、訓練された機械学習モデルを使用して物体検出及び／又は分類に基づいて識別された動的に決定されたエリア）からのデータだけを使用し得る。いくつかの実施例では、シーン分析器は、（たとえば、ＩＲ値及び／又は可視光線値の重み付き平均を決定するために）異なる領域／ピクセルからの値に重みを適用し、いくつかの領域／ピクセルが、算出のために他のものよりも重く重み付けされ得る。
シーン検出値１０８は、画像中で使用するためのＩＲの量を決定するために、及び／又は使用されるべきであるＩＲの量を考慮するために画像をどのように修正すべきかを決定するために、使用され得る。シーン検出値１０８が算出されると、１つ又は複数の分量１１０が、シーン検出値１０８に基づいて決定され得る。そのような分量１１０の実例は、ＩＲ減算ファクタである分量１１０Ａ、ホワイト・バランス補正ファクタである分量１１０Ｂ、色補正ファクタである分量１１０Ｃ、及び色飽和ファクタである分量１１０Ｄを含む。分量１１０の各々は、画像データ１０２を処理するために、処理パイプライン１０１の異なる段階において使用され得る。これらの分量１１０は、カラー・チャネルから除去されないＩＲ信号の量によって引き起こされる副作用を補償する。
可視光線センサ・ピクセルは、概して、ＩＲ放射、並びに、可視光線センサ・ピクセルが検出するように構成された可視光線の特定の波長についての放射を検出する。従来、赤外線補正は、ＲＧＢ－ＩＲ画像データについて、ＩＲセンサ・ピクセルの強度値を決定することと、次いで、周囲の可視光線センサ・ピクセル（たとえば、Ｒ、Ｇ、及びＢセンサ・ピクセル）の強度値からそれらの強度値を完全に減算することとによって、実施される。しかしながら、実施例は、可視光線センサ・ピクセルが、いくつかの条件下で可視光線センサ・ピクセルの強度値に対するＩＲ寄与のすべてを減算しないことを選定することによって、中光線条件及び低光線条件のための画像の解像度を改善するためにＩＲ放射を検出することを利用する。
実施例では、ＩＲ減算ファクタ（たとえば、分量１１０Ａ）が、シーン検出値１０８に基づいて決定される。ＩＲ減算ファクタは、実施すべき赤外線補正１１２の量を制御する。したがって、ＩＲ減算ファクタは、所与の画像について可視光線センサ・ピクセル値から減算すべきＩＲ寄与の量を制御する。ＩＲ減算ファクタ（分量１１０Ａ）に基づいて、可視光線センサ・ピクセル値へのＩＲ寄与のわずかな量が、赤外線補正１１２のために減算され得る。一実施例では、ＩＲ減算値は、０から１の間の値を有するファクタである。
いくつかの実施例では、ＩＲ減算ファクタ（分量１１０Ａ）が決定されると、ＩＲ減算ファクタは、以下の式に従って赤外線補正１１２を実施するために使用され得る。
Ｐｏｕｔ（ｘ，ｙ）＝Ｐｉｎ（ｘ，ｙ）－ＩＬ＊ＩＲＳｕｂｔｒａｃｔｉｏｎＦａｃｔｏｒ
ここで、Ｐｉｎは、座標（ｘ，ｙ）を有するピクセルについての入力ピクセル値であり、Ｐｏｕｔは、座標（ｘ，ｙ）におけるピクセルについての出力ピクセル値であり、ＩＲＳｕｂｔｒａｃｔｉｏｎＦａｃｔｏｒは、決定されたＩＲ減算ファクタであり、ＩＬは、座標（ｘ，ｙ）を有するピクセルにおけるローカルＩＲ平均である。
一実施例では、シーン検出値は、０から１の間のどこかにあり得る。たとえば、（よく照らされる又は明るいシーンに対応する）１：１００のＩＲ強度値と可視光線強度値との比は、シーン検出値が０に近くなる（たとえば、．０１）ことを引き起こし得、（十分に照らされない又は暗いシーンに対応する）１：１のＩＲ強度値と可視光線強度値との比は、シーン検出値が１になることを引き起こし得る。一実例では、シーン検出値が０に近く、これが、シーンがよく照らされる又は十分に日光に当たっている（ｉｎ ｆｕｌｌ ｓｕｎｌｉｇｈｔ）ことを示す場合、ＩＲ減算ファクタは１であり得、ＩＲ寄与全体が可視光線ピクセル・センサ値から減算され得る。一方、シーン検出値が１に近く、これが、シーンが十分に照らされない又は暗闇であることを示す場合、ＩＲ減算値は０であり得、ＩＲ寄与がまったく可視光線ピクセル・センサ値から減算されないことがある。（たとえば、約０．２～約０．８、又は約０．３～約０．７、又は約０．４～約０．６の）中間のシーン検出値について、ＩＲ減算ファクタは、たとえば、約０．１から約０．９までの範囲の値を有し得る。シーン検出値とＩＲ減算ファクタとの間に、逆関係があり得る。したがって、シーン検出値が増加するにつれて、ＩＲ減算ファクタは減少し得る。シーン検出値とＩＲ減算ファクタとの間の逆関係は、線形関係又は非線形関係であり得る。
図２は、本開示のいくつかの実施例による、概念的なＩＲ減算ファクタ曲線２３０を示すチャート２００である。チャートのｘ軸がシーン検出値２０５に対応し、チャートのｙ軸がＩＲ減算ファクタ２１０に対応する。ＩＲ減算ファクタ曲線２３０は、自然光線支配的（ｄｏｍｉｎａｎｔ）ゾーン２１５、遷移ゾーン２２０、及びＩＲ支配的ゾーン２２５を含む、３つの概念的なゾーンに分割される。自然光線支配的ゾーン２１５では、概して、大量のバックグラウンド光線があり、これは、可視光線センサ・ピクセルについての強度値が比較的高くなることを引き起こし、他の領域よりも高い色忠実度をもつ高品質画像データを生じる。したがって、自然光線支配的ゾーンについて、可視光線センサ・ピクセルの強度値へのＩＲ寄与は役に立たず、ＩＲ減算ファクタは１である（すなわち、ＩＲ寄与の１００％が、可視光線センサ・ピクセルについての強度値から除去される）。一実例では、自然光線支配的ゾーンは、０～約０．４のシーン検出値を含む。
遷移ゾーン２２０では、シーン中の自然光線が、自然光線支配的ゾーン２１５においてよりも少ない。その結果、可視光線センサ・ピクセルについての強度値は、遷移ゾーン２２０の場合、自然光線支配的ゾーン２１５の場合よりも低い。可視光線センサ・ピクセルについての強度値へのＩＲ寄与の一部を活用する（たとえば、ＩＲ寄与のすべてを減算しない）ことによって、全体的な強度値が増加され得、これは、ＳＮＲを改善することができる。したがって、遷移ゾーン２２０におけるシーン検出値の場合、ＩＲ減算ファクタ２１０は、シーン検出値２０５の増加とともに着実に減少し得る。
ＲＧＢ－ＩＲカメラは、シーンを照明するために、それら自体のＩＲ光線を出力する。自然光線又はバックグラウンド光線が、（たとえば、夜に）シーン中で減少するにつれて、ＲＧＢ－ＩＲカメラによって出力されるＩＲ光線は支配的になる。ＩＲ支配的ゾーン２２５では、可視光線センサ・ピクセルによって測定される強度値への寄与の大部分又はすべては、ＩＲからのものである。旧来、（たとえば、ＩＲ支配的ゾーン２２５において）バックグラウンド光線がほとんどないとき、ＲＧＢ－ＩＲカメラは、ＩＲセンサ・ピクセル情報のみを使用することに切り替える。しかしながら、これは、生成される画像の解像度を、自然に照らされる条件の下で達成される解像度の１／４に低減する。
実施例では、可視光線センサ・ピクセルからのデータは、低光線状況においてさえ使用される。実施例では、ＩＲ支配的ゾーン２２５では、ＩＲ減算値は、０にあるか又は０に近い。その結果、可視光線センサ・ピクセルの強度値から除去されるＩＲ寄与は、ほとんどない。したがって、データは、低光線設定においてさえ、ＲＧＢ－ＩＲカメラのセンサ・ピクセルの大部分又はすべてのために利用可能なままである。これは、そのような低光線設定において生成される画像の解像度が、より良いライティングをもつ設定の間に達成可能である標準解像度になることを引き起こす。
ＩＲ支配的設定では、測定される放射の大部分又はすべてがＩＲ放射である。放射（すなわち、ＩＲ放射）の同じ波長が、すべてのセンサ・ピクセルによって測定されているので、カラー情報が失われ得る。したがって、生成される画像は、単色画像であり得る。しかしながら、それらの単色画像は、低光線設定においてＲＧＢ－ＩＲカメラを使用して旧来達成可能であったものよりも、はるかに高い解像度のものである。
図１に戻ると、赤外線補正１１２の調整は、ホワイト・バランス、色補正、色飽和などの変更を生じ得る。すべての条件の下で可視光線センサ・ピクセル値へのＩＲ寄与のすべてを除去しないことによって、単一のホワイト・バランス補正、単一の色補正、単一の色飽和補正などが、ＲＧＢ－ＩＲカメラのためにアプリオリに算出され得ない。代わりに、実施される赤外線補正の量に応じて、異なる調整が、ホワイト・バランス補正１１４、色補正１１８及び色飽和１２４のために行われるべきである。したがって、シーン分析器１０６によって決定される分量１１０は、ホワイト・バランス補正ファクタ（分量１１０Ｂ）、色補正ファクタ（分量１１０Ｃ）、色飽和ファクタ（分量１１０Ｄ）などを含み得る。
いくつかの実施例では、分量１１０のうちのいくつか又はすべてが、シーン検出値を分量１１０のうちの１つ又は複数に関係付ける１つ又は複数の関数を使用して決定される。したがって、算出されたシーン検出値が関数に入力され得、関数は、１つ又は複数の分量１１０についての値を返し得る。いくつかの実施例では、分量１１０のうちのいくつか又はすべてが、１つ又は複数のルックアップ・テーブルを使用して決定される。シーン検出値１０８は、（１つ又は複数の）ルックアップ・テーブルへのインデックスとして使用され得、分量１１０のうちの１つ又は複数についての量子化された値が、（１つ又は複数の）ルックアップ・テーブルのエントリ中に含まれ得る。
一実例では、シーンが、夜間シーンであることが検出された（たとえば、シーン検出値１０８が高い）場合、ＩＲが支配的であり、１：１に近いＩＲとＧとの平均ピクセル値比があり得る。そのような高いシーン検出値１０８について、赤外線補正１１２におけるＩＲ減算はほとんどなく、色飽和１２４は、カラー画像に不飽和化を適用し得（色飽和ファクタは低いことがある）、ホワイト・バランス補正ファクタ及び色補正ファクタは、色補正１１８及び色飽和１２４において０であり得る（ＡＷＢ利得がユニティであり、変更なしＣＣＭ単位行列が低光線条件の下で使用されることになる）。そのような状況の下での出力は、単色画像であり得る。
別の実例では、シーンが、昼間シーンであることが検出された（たとえば、シーン検出値１０８が低い）場合、可視光線が支配的であり、ＩＲと可視光線ピクセル値との低い比（たとえば、１：５０、１：１００など）があり得る。そのような低いシーン検出値１０８について、赤外線補正１１２における完全なＩＲ減算があり得、色飽和１２４及び色補正１１８は、彩度情報などを保存するために、そのまま残され得る（たとえば、補正ファクタによって修正されない）。そのような状況の下での出力は、カラー画像であり得る。実施例では、ＩＲ減算の割合及び不飽和化の量は、シーン中の周囲可視光線に応じて逆関係を共有し得る。
実施例は、ライティング条件に基づくＩＲ除去の量のチューニングを可能にし、これは、中光線シーンから低光線シーン中の画像のための、より良いＳＮＲと色忠実度との間の妥協である。
図３は、本開示のいくつかの実施例による、シーン検出値３０５に基づいて画像を調整するために使用される（たとえば、図１の分量１１０に対応する）１つ又は複数の分量３０８を決定するために使用可能な例示的なルックアップ・テーブル３００である。シーン検出値３０５が算出されると、それは、ルックアップ・テーブル３００中のエントリ（たとえば、行）を見つけるためのインデックスとして使用され得る。エントリは、ＩＲ減算ファクタ３１０のための第１の値、ホワイト・バランス補正ファクタ３１５のための第２の値、色補正ファクタ３２０のための第３の値、色飽和ファクタ３２５のための第４の値などを含み得る。例示的なルックアップ・テーブル３００中に含まれる例示的な値は、説明のためのものにすぎず、他の値が使用され得ることに留意されたい。
図１に戻ると、赤外線補正１１２の後に、自動ホワイト・バランス補正（ＡＷＢ：ａｕｔｏｍａｔｅｄ ｗｈｉｔｅ ｂａｌａｎｃｅ）１１４が実施され得る。ホワイト・バランス（ＷＢ：ｗｈｉｔｅ ｂａｌａｎｃｅ）は、人に白色に見える物体が、画像において白色にレンダリングされるように、非現実的なカラー・キャストを除去するプロセスである。ホワイト・バランスは、カラー・チャネルの各々に適用するための利得の量を決定することによって実施され、各カラー・チャネルは、異なる量の利得を受信し得る。ＡＷＢの目的は、シーン中のすべての灰色の物体が、等しい量の赤色、緑色及び青色強度を有するようにすることである。適切なホワイト・バランスは、光源の「色温度」を考慮に入れ、これは、白色光線の相対的な暖かさ又は冷たさを指す。人間の眼は、異なる光源の下で何が白色であるかを判定することが非常に得意であるが、デジタル・カメラは、しばしば、オート・ホワイト・バランス（ＡＷＢ：ａｕｔｏ ｗｈｉｔｅ ｂａｌａｎｃｅ）に関する大きい困難を有し、見苦しい（ｕｎｓｉｇｈｔｌｙ）青色、橙色、さらには緑色カラー・キャストを作成することがある。
ＩＲ信号が可視光線センサ・ピクセル値から除去されないとき、正しいホワイト・バランス補正１１４を実施することがより難しくなる。ＩＲ信号は、オフセットとして働く。その結果、ＡＷＢが、ＩＲ信号が残っている画像上で実施されるとき、異なる量の利得が、カラー・チャネルの各々におけるＩＲオフセットに適用され得、これは、紫色のキャストを生じることがある。したがって、ホワイト・バランス補正ファクタが、実施例において適用され、ホワイト・バランス補正ファクタは、可視光線センサ・ピクセル値から除去されていないＩＲ信号の量に基づく。特に、ＩＲ信号の一部分をそのままにしておくことによって、オフセットは、カラー・チャネルの各々に導入される。このオフセットは、紫色のカラーとして現れることがある。一実施例では、より多くのＩＲ光線が保持されるとき、システムは、十分なホワイト・バランス利得を適用することから離れ、各カラー・チャネルに等しい利得を適用することに向かう。たとえば、（たとえば、夜の）純粋なＩＲ信号について、補正されるべき色信号がないので、利得は、カラー・チャネルのいずれにも適用されないことがある。その対極で、（たとえば、すべてのＩＲ信号が、可視光線センサ・ピクセル値から除去されている）純粋な色信号について、（たとえば、システムの較正に基づいて決定されるような）標準の正しいホワイト・バランス量が使用される。純粋な色信号と純粋なＩＲ信号との中間に、（たとえば、０から１の間の）ある中間ホワイト・バランス・ファクタが決定され得る。
ホワイト・バランス補正１１４は、決定されたホワイト・バランス補正ファクタに基づいて、赤外線補正１１２後の画像データ上で実施され得る。いくつかの実施例では、ホワイト・バランス補正ファクタ（分量１１０Ｂ）は、以下の式に従ってホワイト・バランス補正１１４を実施するために使用され得る。

ここで、

は、入力される赤色、緑色及び青色ピクセル値のベクトルであり、ＡＷＢｆａｃｔｏｒはホワイト・バランス補正ファクタであり、ＷＢＲ、ＷＢＧ及びＷＢＢは、（たとえば、較正中に決定されるような）ＲＧＢ－ＩＲカメラからの画像のための初期の赤色、緑色及び青色ホワイト・バランス補正値であり、

は、赤色、緑色及び青色の出力ピクセル値のベクトルである。
ホワイト・バランス補正１１４の後に、標準のデモザイキング（ｄｅｍｏｓａｉｃｉｎｇ）１１６が実施され得る。デモザイキングは、カラー・フィルタ・アレイで覆われた画像センサから出力された不完全なカラー・サンプルからフル・カラー画像を構築するために使用される、デジタル画像プロセスである。ＲＧＢ－ＩＲカメラは、放射の特定の波長（たとえば、Ｒ、Ｇ、Ｂ及びＩＲセンサ・ピクセルを含む、修正されたベイヤー・パターン）に各々関連付けられた、複数のセンサ・ピクセルを含み得る。デモザイク・プロセスでは、当該のセンサ・ピクセルとは異なる１つ又は複数の波長に関連付けられた周囲のピクセルからのデータは、当該のセンサ・ピクセルについての１つ又は複数の波長の値（すなわち、電力又は強度値）を（たとえば、補間を介して）推定するために使用され得る。たとえば、デモザイク・プロセスでは、ＩＲのみのセンサ・ピクセル（フォト・サイト）のコンテンツは、周囲のカラー・センサ・ピクセルからの同じカラー・データの補間に基づいて、そこにあったであろうカラー情報と置き換えられ得る。
デモザイキング１１６の後に、色補正１１８が、決定された色補正ファクタを使用して実施され得る。カメラ・システムにおいて使用される光学レンズ及び光学フィルタのスペクトル特性、シーンのライティング、並びに画像センサのカラー・フィルタのスペクトル特性により、カメラのＲＧＢデータは、忠実な演色性（ｃｏｌｏｒ ｒｅｎｄｉｔｉｏｎ）を提供しないことがある。詳細には、画像センサのスペクトル特性は、人間の眼のスペクトル応答とは異なり得る。この忠実でない演色性は、大部分は、イメージャ・カラー・フィルタ・アレイのスペクトル特性と人間の眼のスペクトル応答との間の差、及びシーンのライティングから生成される。シーンのライティングから生じる色誤差は、オート・ホワイト・バランスによって制御され得る。しかし、オート・ホワイト・バランスは、イメージャ・カラー・フィルタ・アレイのスペクトル特性によって生成された色誤差を十分に低減しない。２つの種類の色補正が、主に、この色誤差を補償するために使用されている。一方は、Ｃｒ及びＣｂの制御を使用する、色相及び飽和制御方法である。他方は、３×３色行列方法である。
（たとえば、夜の）純粋なＩＲ信号について、カラー・データはなく、したがって、色補正の必要がない。したがって、純粋なＩＲ信号についての色補正のために単位行列が使用され得る。一方、純粋な色信号について、色行列の対角に強い項があり、非対角値上に負の項があることになる。較正に基づいて決定された、正しい、知られている正確な色補正値があり得るが、この正しい補正値は、ＩＲ信号が可視光線ピクセル・センサ値から完全に除去されるときのみ、適用され得る。（たとえば、０から１の間の値を有する）あるファクタが、量又は信号中に残されたＩＲに基づいて、算出され、正しい補正値に適用され得る。
いくつかの実施例では、色補正ファクタ（分量１１０Ｃ）は、以下の式に従って色補正１１８を実施するために使用され得る。

ここで、

は、ピクセルのための、入力される赤色、緑色及び青色値のベクトルであり、ＣＣＭｆａｃｔｏｒは色補正ファクタであり、ｍ１１～ｍ３３は、色補正のために使用される３×３色行列の値であり、

は、ピクセルのための、赤色、緑色及び青色の出力値のベクトルである。一実施例では、３×３行列係数（ｍ１１～ｍ３３）は、カメラＲＧＢ出力信号とターゲットのマクベス・カラー・チェッカーのＣＩＥ ＸＹＺ三刺激値との間の最小２乗多項式モデリングによって導出される。３×３行列係数は、他の技法を使用しても導出され得る。
色補正１１８が実施された後に、グローバル・トーン・マッピング１２０が実施され得る。グローバル・トーン・マッピング１２０の後に、ローカル・トーン・マッピング１２２が実施され得る。
グローバル・トーン・マッピング１２０及びローカル・トーン・マッピング１２２の後に、色飽和１２４（すなわち、不飽和化）が、決定された色飽和ファクタ（分量１１０Ｄ）を使用して実施され得る。一実施例では、色飽和ファクタは、０から１の間の値を有する。色飽和１２４を調整することは、画像の色相、飽和及び／又は輝度を直接制御し得る。いくつかの画像は、色で飽和され得、そのような画像について不飽和化を実施することは、画像品質を改善し得る。逆に、いくつかの画像は、色飽和を増加させることから恩恵を受け得る。
いくつかの実施例では、色飽和ファクタ（分量１１０Ｄ）は、以下の式に従ってＹＵＶ色空間において色飽和補正１２４を実施するために使用され得る。
ａ． Ｙｏｕｔ（ｘ，ｙ）＝Ｙｉｎ（ｘ，ｙ）
ｂ． Ｕｏｕｔ（ｘ，ｙ）＝Ｕｉｎ（ｘ，ｙ）＊ＳＡＴｆａｃｔｏｒ
ｃ． Ｖｏｕｔ（ｘ，ｙ）＝Ｖｉｎ（ｘ，ｙ）＊ＳＡＴｆａｃｔｏｒ
ここで、Ｙｉｎ、Ｕｉｎ及びＶｉｎは、座標（ｘ，ｙ）におけるピクセルのためのそれぞれの入力ＹＵＶ値であり、ＳＡＴｆａｃｔｏｒは色飽和補正ファクタであり、Ｙｏｕｔ、Ｕｏｕｔ及びＶｏｕｔは、座標（ｘ，ｙ）におけるピクセルのためのそれぞれの出力ＹＵＶ値である。
処理パイプライン１０１は、完全な処理パイプラインを表すものではなく、１つ又は複数の追加の動作が、本明細書において明記されるものに加えて処理パイプライン１０１において実施され得る。そのような追加の動作は、ＩＳＰパイプラインに対する標準動作であり、本議論にとって重大でなく、したがって、明快及び簡潔のために省略される。しかしながら、処理パイプライン１０１が、列挙された動作の前に、その間に、及び／又はその後に実施され得る、そのような追加の動作を含み得ることを理解されたい。
処理パイプライン１０１は、変換された画像データ１３０を出力し、それは、適宜に、可視光線ピクセル・センサのみからの、又は、可視光線ピクセル・センサとＩＲピクセル・センサの両方からのデータを含む、変換された画像を含み得る。ライティング条件及び／又は他のファクタに応じて、変換された画像データは、カラー画像又は単色画像を含み得、入力画像データ１０２と同じ色空間中に、又は、入力画像データ１０２と異なる色空間中にあり得る。たとえば、入力画像データ１０２はＲＧＢ色空間中にあり得、変換された画像データ１３０は、ルミナンス－クロミナンス（ＹＵＶ）色空間中にあり得る。
処理パイプライン１０１によって出力された画像は、撮像されたシーン中の可視光線の量にかかわらず、フル解像度画像であり得る。フル解像度画像出力は、十分な自然光線をもつシーンではカラーのものであり得、カラーのための不十分な自然光線をもつシーンでは、フル解像度単色画像に滑らかに遷移する。
図４は、本開示の実施例による、ＲＧＢ－ＩＲカメラによって出力された画像データを処理し、処理に基づいて、変換された画像を出力するための方法４００の１つの例示的な実例の流れ図を示す。説明を簡単にするために、本開示の方法は、一連の行為として示され、説明される。しかしながら、本開示による行為は、様々な順序で及び／又はコンカレントに、並びに、本明細書で提示及び説明されない他の行為とともに、行われ得る。さらに、開示される主題によれば、方法を実装するために、すべての図示された行為が必要とされるとは限らない。さらに、当業者は、方法が、状態図又はイベントを介して一連の相互に関係する状態として代替的に表され得ることを理解し、諒解するであろう。さらに、本明細書で開示される方法が、そのような方法をコンピューティング・デバイスにトランスポート及び転送することを容易にするために製造品に記憶されることが可能であることを諒解されたい。本明細書で使用される、「製造品」という用語は、任意のコンピュータ可読デバイス又は記憶媒体からアクセス可能なコンピュータ・プログラムを包含することを意図している。一実装形態では、方法４００は、図１に示されているように処理ユニット１０４を使用して実施され得る。
方法４００は、処理デバイス（たとえば、処理ユニット１０４）の処理論理によって実施され得、動作４１０において始まり得る。動作４１０において、処理論理は、赤外線値と可視光線値とを含む画像データを受信し得る。実施例では、画像データは、ＲＧＢ－ＩＲカメラによって出力されていることがある。画像は、静止画像（たとえば、写真）、画像のシーケンス（たとえば、ビデオのフレーム）中の画像、又はそれらの組合せに対応し得る。実施例では、画像データは、ピクセル値のヒストグラムを含む。
動作４２０において、処理論理は、シーン検出値を算出するために画像データを処理することができる。実施例では、処理論理は、画像データからの１つ又は複数のＩＲ値と画像データからの１つ又は複数の可視光線値（たとえば、Ｇ値）との間の比較を実施し、比較に基づいてシーン検出値を決定する。シーン検出値は、ＩＲ値と可視光線値との間の関係に基づき得る。
一実施例では、ブロック４２２において、処理論理は、赤外線値の強度を表す第１の値を算出する。第１の値は、（たとえば、画像ヒストグラムからの）画像の赤外線値についての平均、中央値、平均値（ｍｅａｎ）、最大値、４分位数ごとの平均、又は他の統計値を算出することに基づいて算出され得る。
一実施例では、ブロック４２４において、処理論理は、可視光線値の強度を表す第２の値を算出する。第２の値は、（たとえば、画像ヒストグラムからの）画像の可視光線値についての平均、中央値、平均値、最大値、４分位数ごとの平均、又は他の統計値を算出することに基づいて算出され得る。一実施例では、第２の値は、画像ヒストグラムからのＧ値に基づいて決定される。
一実施例では、ブロック４２６において、処理論理は、第１の値と第２の値との間の関係を決定する。一実施例では、その関係は、第１の値と第２の値との比である。低い比（及び対応する低いシーン検出値）は、豊富な周辺光線をもつシーンを示し得、高い比（及び対応する高いシーン検出値）は暗闇におけるシーンを示し得る。
動作４３０において、処理論理は、シーン検出値に基づいて１つ又は複数の分量を決定することができる。決定された分量は、たとえば、ＩＲ減算ファクタ、ホワイト・バランス補正ファクタ、色補正ファクタ及び／又は色飽和ファクタを含み得る。実施例では、ＩＲ減算ファクタの大きさが、シーン検出値の大きさに反比例して変動する。実施例では、色飽和ファクタの大きさが、シーン検出値の大きさに正比例して変動する。
一実施例では、ブロック４３２において、処理論理は、ルックアップ・テーブルへのインデックスとして、シーン検出値を使用する。ルックアップ・テーブル中のエントリが、算出されたシーン検出値に対応し得、シーン検出値のための指定されたＩＲ減算ファクタ、ホワイト・バランス補正ファクタ、色補正ファクタ及び／又は色飽和ファクタなど、１つ又は複数の列挙された分量を含み得る。各シーン検出値は、分量のセットに関連付けられ得る。
一実施形態では、ブロック４３４において、処理論理は、１つ又は複数の関数への入力としてシーン検出値を使用し、それは、分量（たとえば、ＩＲ減算ファクタ、ホワイト・バランス補正ファクタ、色補正ファクタ、色飽和ファクタなど）を出力し得る。
ブロック４４０において、処理論理は、１つ又は複数の分量に基づいて画像データを変換する。これは、Ｒ、Ｇ及びＢピクセル値からＩＲ寄与のある量を減算すること、決定されたホワイト・バランス補正ファクタを使用してホワイト・バランス補正を実施すること、決定された色補正ファクタを使用して色補正を実施すること、決定された色飽和ファクタを使用して不飽和化又は飽和を実施することなどを含み得る。変換された画像データは、撮像されたシーンのライティングを決定する、カラー画像又は単色画像であり得る（たとえば、豊富な光線においてカラー及び低光線において単色）フル解像度画像を生じ得る。いくつかの実施例では、出力画像はＹＵＶ色空間である。
図５は、本開示のいくつかの実施例による、訓練された機械学習モデルを使用して、（たとえば、図４の方法に従って変換されている）変換された画像を処理するための方法のフロー・チャートである。方法５００のブロック５１０において、処理論理は、（たとえば、方法４００に従って処理された）変換された画像データを受信する。変換された画像データはフル解像度画像を含み得、それは、カラー画像又は単色画像であり得、ライティング条件を決定する。
ブロック５２０において、処理論理は、出力を生成するために、変換された画像データを処理する。一実施例では、ブロック５２２において、変換された画像データは、訓練された機械学習モデルに入力される。訓練された機械学習モデルは、画像データを処理し、出力を生成し、それは、ブロック５２４において受信される。
訓練された機械学習モデルは、たとえば、人工ニューラル・ネットワーク、サポート・ベクター・マシン、ランダム・フォレスト・アルゴリズム、判定ツリー、隠れマルコフ・モデル（ＨＭＭ：Ｈｉｄｄｅｎ Ｍａｒｋｏｖ Ｍｏｄｅｌ）、ガウス混合モデル（ＧＭＭ：Ｇａｕｓｓｉａｎ Ｍｉｘｔｕｒｅ Ｍｏｄｅｌ）、回帰モデル、又は他のタイプの機械学習モデルであり得る。入力画像データが、最高の可能なＳＮＲを有するフル解像度画像のためのものであるので、機械学習モデルの出力の精度は、１／４解像度の単色画像が機械学習モデルに入力される場合とは対照的に、増加され得る。機械学習モデルは、予測、分類、推定などである出力を生成するように訓練され得る。出力は信頼性レーティングを含み得、機械学習モデルの信頼性レーティング（及び精度）は、訓練された機械学習モデルへの入力より前に、方法４００を使用して画像の変換により最大化され得る。
ＤＭＳの実例では、機械学習モデルは、自動車のためのドライバのアクティビティについてのアクティビティ分類（たとえば、ドライバの手がステアリング・ホイール上にあるかどうかを示す）、ドライバのための注意分類又は注意レベルの決定（たとえば、ドライバの視線（ｅｙｅｓ）が道路上にあるかどうかを示す）などを出力し得る。ＯＭＳの実例では、機械学習モデルは、１つ又は複数の乗員が検出されたという指示を出力し得る。これは、たとえば、ドライバが自動車をオフにするとき、ドライバにリア・シートの幼児についてアラートするために使用され得る。
使用され得る機械学習モデルの１つのタイプは、深層ニューラル・ネットワークなど、人工ニューラル・ネットワークである。人工ニューラル・ネットワークは、概して、特徴を所望の出力空間にマッピングする分類器又は回帰層をもつ特徴表現構成要素を含む。畳み込みニューラル・ネットワーク（ＣＮＮ：ｃｏｎｖｏｌｕｔｉｏｎａｌ ｎｅｕｒａｌ ｎｅｔｗｏｒｋ）は、たとえば、畳み込みフィルタの複数の層をホストする。下位層において、プーリングが実施され、非線形性が対処され得、その上に多層パーセプトロンが通常付加され、畳み込み層によって抽出された最上層特徴を判定（たとえば、分類出力）にマッピングする。深層学習は、特徴抽出及び変換のために非線形処理ユニットの複数の層のカスケードを使用する機械学習アルゴリズムのクラスである。各連続層が、前の層からの出力を入力として使用する。深層ニューラル・ネットワークは、教師あり（ｓｕｐｅｒｖｉｓｅｄ）（たとえば、分類）様式で、及び／又は教師なし（ｕｎｓｕｐｅｒｖｉｓｅｄ）（たとえば、パターン解析）様式で学習し得る。深層ニューラル・ネットワークは層の階層を含み、ここで、異なる層は、異なる抽象レベルに対応する異なる表現レベルを学習する。深層学習では、各レベルは、それの入力データをわずかにより抽象的な及び複合的な表現に変換することを学習する。画像認識アプリケーションでは、たとえば、生入力は、ピクセルの行列であり得、第１の表現層は、ピクセルを抽出し、エッジを符号化し得、第２の層は、エッジの配列を合成及び符号化し得、第３の層は、より高いレベルの形状を符号化し得、第４の層は、たとえば、分類又は予測を出力し得る。特に、深層学習プロセスは、単独でどの特徴をどのレベルに最適に配置すべきかを学習することができる。「深層学習」における「深層」は、データが変換される層の数を指す。より正確には、深層学習システムは、実質的なクレジット割当て経路（ＣＡＰ：ｃｒｅｄｉｔ ａｓｓｉｇｎｍｅｎｔ ｐａｔｈ）深度を有する。ＣＡＰは、入力から出力への変換のチェーンである。ＣＡＰは、入力と出力との間の潜在的因果関係を説明する。フィードフォワード・ニューラル・ネットワークの場合、ＣＡＰの深度は、ネットワークの深度であり得、隠れ層の数＋１であり得る。信号が２回以上層を通って伝搬し得る、リカレント・ニューラル・ネットワークの場合、ＣＡＰ深度は潜在的に無制限である。
一実施例では、１つ又は複数の機械学習モデルがリカレント・ニューラル・ネットワーク（ＲＮＮ：ｒｅｃｕｒｒｅｎｔ ｎｅｕｒａｌ ｎｅｔｗｏｒｋ）である。ＲＮＮは、ニューラル・ネットワークが時間依存性をキャプチャすることを可能にするためのメモリを含むタイプのニューラル・ネットワークである。ＲＮＮは、現在の入力と過去の入力の両方に依存する入出力マッピングを学習することが可能である。ＲＮＮは、過去及び将来の走査に対処し、この連続走査情報に基づいて予測を行う。ＲＮＮは、（たとえば、固定数のクラスに属するものとして、ビデオ・データなどの時間変動するデータを分類するために）固定数の出力を生成するための訓練データセットを使用して訓練され得る。使用され得るＲＮＮの１つのタイプは、長短期メモリ（ＬＳＴＭ：ｌｏｎｇ ｓｈｏｒｔ ｔｅｒｍ ｍｅｍｏｒｙ）ニューラル・ネットワークである。
そのようなタスクのための共通アーキテクチャが、ＬＳＴＭ（長短期メモリ）である。残念ながら、ＬＳＴＭは、畳み込みネットワークが行うほどうまく空間情報をキャプチャしないので、画像に好適ではない。この目的で、ＬＳＴＭセル内の畳み込み演算を含んでいるＬＳＴＭの変形態である、ＣｏｎｖＬＳＴＭを利用することができる。ＣｏｎｖＬＳＴＭは、ＬＳＴＭセル内の畳み込み演算を含んでいるＬＳＴＭ（長短期メモリ）の変形態である。ＣｏｎｖＬＳＴＭは、行列乗算をＬＳＴＭセル中の各ゲートにおいて畳み込み演算と置き換える。そうすることによって、それは、多次元データにおける畳み込み演算によって、基礎をなす空間特徴をキャプチャする。ＣｏｎｖＬＳＴＭとＬＳＴＭとの間の主要な差は、入力次元の数である。ＬＳＴＭ入力データが１次元であるので、それは、ビデオ、衛星、レーダー画像データ・セットなどの空間シーケンス・データに好適でない。ＣｏｎｖＬＳＴＭは、その入力として３Ｄデータのために設計される。一実施例では、ＣＮＮ－ＬＳＴＭ機械学習モデルが使用される。ＣＮＮ－ＬＳＴＭは、ＣＮＮ（畳み込み層）の、ＬＳＴＭとの統合である。最初に、モデルのＣＮＮ部分がデータを処理し、１次元結果がＬＳＴＭモデルを供給する。
ブロック５３０において、処理論理は、ブロック５２０において生成された出力に基づいて、１つ又は複数のアクションを実施する。アクションは、たとえば、ドライバの注意が道路上にない場合にアラートを生成すること、ドライバが、車のバック・シートに子供がいる車から出るときにアラートを生成することなどであり得る。
図６は、本開示のいくつかの実施例による、（たとえば、図４の方法に従って変換されている）変換された画像を表示するための方法のフロー・チャートである。ブロック６１０において、処理論理は、（たとえば、方法４００に従って変換された）変換された画像データを受信する。ブロック６２０において、処理論理は、変換された画像データをディスプレイに出力する。たとえば、ＲＧＢ－ＩＲカメラは、自動車の乗員の画像を生成するキャビン内カメラであり得る。キャビンはモニタを含み得、変換された画像はモニタに出力され得る。たとえば、画像は、車のダッシュボード中のディスプレイに出力され、車の内部の画像を示し得る。画像は、ライティングにかかわらずフル解像度画像であり得、周囲可視光線があるとき（たとえば、日中）はカラー画像であり、周囲可視光線がまったく又はほとんどないとき（たとえば、夜）は単色画像であり得る。
図７は、コンピュータ・システム７００の例示的な機械を示し、その内部で、機械に、本明細書で説明される方法論のうちのいずれか１つ又は複数を実施させるための命令のセットが実行され得る。いくつかの実施例では、コンピュータ・システム７００は、キャッシュ・コントローラ、メモリ・コントローラ、又はそれらの組合せをもつプロセッサを含むコンピューティング・デバイスであり得る。代替実施例では、機械は、ＬＡＮ、イントラネット、エクストラネット、及び／又はインターネットにおいて、他の機械に接続され得る（たとえば、ネットワーク化され得る）。機械は、クライアントサーバ・ネットワーク環境ではサーバ・マシン又はクライアント・マシンの容量において、ピアツーピア（又は分散）ネットワーク環境ではピア・マシンとして、或いは、クラウド・コンピューティング・インフラストラクチャ又は環境ではサーバ・マシン又はクライアント・マシンとして、動作することができる。
機械は、パーソナル・コンピュータ（ＰＣ：ｐｅｒｓｏｎａｌ ｃｏｍｐｕｔｅｒ）、タブレットＰＣ、セット・トップ・ボックス（ＳＴＢ：ｓｅｔ－ｔｏｐ ｂｏｘ）、携帯情報端末（ＰＤＡ：Ｐｅｒｓｏｎａｌ Ｄｉｇｉｔａｌ Ａｓｓｉｓｔａｎｔ）、セルラー電話、ウェブ・アプライアンス、サーバ、ネットワーク・ルータ、スイッチ又はブリッジ、或いはその機械によってとられるべきアクションを指定する（連続した又はそれ以外の）命令のセットを実行することが可能な任意の機械であり得る。さらに、単一の機械が示されているが、「機械」という用語は、本明細書で説明される方法論のうちのいずれか１つ又は複数を実施するための命令のセット（又は複数のセット）を個々に又は一緒に実行する機械の任意の集合をも含むととられるものとする。
例示的なコンピュータ・システム７００は、処理デバイス７０２（たとえば、プロセッサ２００）と、メイン・メモリ７０４（たとえば、読取り専用メモリ（ＲＯＭ：ｒｅａｄ－ｏｎｌｙ ｍｅｍｏｒｙ）、フラッシュ・メモリ、同期ＤＲＡＭ（ＳＤＲＡＭ：ｓｙｎｃｈｒｏｎｏｕｓ ｄｙｎａｍｉｃ ｒａｎｄｏｍ ａｃｃｅｓｓ ｍｅｍｏｒｙ）又はＲａｍｂｕｓ ＤＲＡＭ（ＲＤＲＡＭ）などのダイナミック・ランダム・アクセス・メモリ（ＤＲＡＭ：ｄｙｎａｍｉｃ ｒａｎｄｏｍ ａｃｃｅｓｓ ｍｅｍｏｒｙ）など）と、スタティック・メモリ７０６（たとえば、フラッシュ・メモリ、スタティック・ランダム・アクセス・メモリ（ＳＲＡＭ：ｓｔａｔｉｃ ｒａｎｄｏｍ ａｃｃｅｓｓ ｍｅｍｏｒｙ）など）と、データ・ストレージ・システム７１８とを含み、それらは、バス７３０を介して互いと通信する。
処理デバイス７０２は、マイクロプロセッサ、中央処理ユニットなど、１つ又は複数の汎用処理デバイスを表す。より詳細には、処理デバイスは、複合命令セット・コンピューティング（ＣＩＳＣ：ｃｏｍｐｌｅｘ ｉｎｓｔｒｕｃｔｉｏｎ ｓｅｔ ｃｏｍｐｕｔｉｎｇ）マイクロプロセッサ、縮小命令セット・コンピューティング（ＲＩＳＣ：ｒｅｄｕｃｅｄ ｉｎｓｔｒｕｃｔｉｏｎ ｓｅｔ ｃｏｍｐｕｔｉｎｇ）マイクロプロセッサ、超長命令語（ＶＬＩＷ：ｖｅｒｙ ｌｏｎｇ ｉｎｓｔｒｕｃｔｉｏｎ ｗｏｒｄ）マイクロプロセッサ、又は他の命令セットを実装するプロセッサ、又は命令セットの組合せを実装するプロセッサであり得る。処理デバイス７０２はまた、データ処理ユニット（ＤＰＵ）、特定用途向け集積回路（ＡＳＩＣ）、フィールド・プログラマブル・ゲート・アレイ（ＦＰＧＡ）、デジタル信号プロセッサ（ＤＳＰ）、ネットワーク・プロセッサなど、１つ又は複数の専用処理デバイスであり得る。処理デバイス７０２は、本明細書で説明される動作及びステップを実施するための命令７２６を実行するように構成される。コンピュータ・システム７００は、ネットワーク７２０上で通信するためのネットワーク・インターフェース・デバイス７０８をさらに含むことができる。
データ・ストレージ・システム７１８は、本明細書で説明される方法論又は機能のうちのいずれか１つ又は複数を実施する、命令７２６の１つ又は複数のセット又はソフトウェアが記憶された、（非一時的コンピュータ可読媒体としても知られる）機械可読記憶媒体７２４を含むことができる。命令７２６は、コンピュータ・システム７００によってそれらの実行中に、完全に又は少なくとも部分的に、メイン・メモリ７０４内に及び／又は処理デバイス７０２内にも存在することができ、メイン・メモリ７０４及び処理デバイス７０２も、機械可読記憶媒体を構成する。
一実施例では、命令７２６は、図１のシーン分析器１０６に対応する機能性を実装するための命令を含む。命令は、追加又は代替として、処理パイプライン１０１の赤外線補正及び／又は任意の他の機能に対応する機能性を実装するための命令を含み得る。機械可読記憶媒体７２４は、例示的な一実施例において単一の媒体であることが示されるが、「非一時的機械可読記憶媒体」という用語は、命令の１つ又は複数のセットを記憶する単一の媒体又は複数の媒体を含むととられるべきである。「機械可読記憶媒体」という用語は、機械が実行するための命令のセットを記憶又は符号化することが可能であり、機械に本開示の方法論のうちのいずれか１つ又は複数を実施させる、任意の媒体をも含むととられるものとする。したがって、「機械可読記憶媒体」という用語は、限定はしないが、ソリッド・ステート・メモリ、光媒体、及び磁気媒体を含むととられるものとする。
実施例では、本明細書で説明される技術は、自動車のドライバ監視システム（ＤＭＳ）に及び／又は乗員監視システム（ＯＭＳ）に適用される。自動車は、自律車両、半自律車両、又は手動で運転される車両であり得る。ＤＭＳシステム及びＯＭＳシステムは、可視光線と近ＩＲ光線の両方に対して動作し得る。本明細書で説明される技術の、ＤＭＳシステム及びＯＭＳシステムへの適用は、コスト削減のために単一のカメラを使用する機械視覚監視アプリケーションと一緒に色から恩恵を受ける遠隔会議及び／又は乗客監視アプリケーションを可能にする。
図８Ａは、少なくとも１つの実施例による、自律車両８００の一実例を示す。少なくとも１つの実施例では、自律車両８００（代替的に、本明細書では「車両８００」と呼ばれる）は、限定はしないが、車、トラック、バス、及び／又は１人又は複数の乗客を収容する別のタイプの車両など、乗用車（ｐａｓｓｅｎｇｅｒ ｖｅｈｉｃｌｅ）であり得る。少なくとも１つの実施例では、車両８００は、貨物を運搬するために使用されるセミ・トラクタ・トレーラ・トラックであり得る。少なくとも１つの実施例では、車両８００は、航空機、ロボット車両、又は他の種類の車両であり得る。
自律車両は、米国運輸省の一部門である全米高速道路交通安全局（「ＮＨＴＳＡ」：Ｎａｔｉｏｎａｌ Ｈｉｇｈｗａｙ Ｔｒａｆｆｉｃ Ｓａｆｅｔｙ Ａｄｍｉｎｉｓｔｒａｔｉｏｎ）、及び自動車技術者協会（「ＳＡＥ」：Ｓｏｃｉｅｔｙ ｏｆ Ａｕｔｏｍｏｔｉｖｅ Ｅｎｇｉｎｅｅｒｓ）の非特許文献１によって定義される自動化レベルという観点から説明され得る。少なくとも１つの実施例では、車両８００は、自律運転レベルのレベル１～レベル５のうちの１つ又は複数による機能性に対応可能であり得る。たとえば、少なくとも１つの実施例では、車両８００は、実施例に応じて、条件付き自動化（レベル３）、高度自動化（レベル４）、及び／又は完全自動化（レベル５）に対応可能であり得る。
少なくとも１つの実施例では、車両８００は、限定はしないが、シャーシ、車両本体、ホイール（たとえば、２本、４本、６本、８本、１８本など）、タイヤ、車軸、及び車両の他の構成要素など、構成要素を含み得る。少なくとも１つの実施例では、車両８００は、限定はしないが、内燃機関、ハイブリッド電力プラント、完全電気エンジン、及び／又は別の推進システム・タイプなど、推進システム８５０を含み得る。少なくとも１つの実施例では、推進システム８５０は、車両８００のドライブ・トレインに接続され得、ドライブ・トレインは、限定はしないが、車両８００の推進を可能にするためのトランスミッションを含み得る。少なくとも１つの実施例では、推進システム８５０は、（１つ又は複数の）スロットル／アクセラレータ８５２から信号を受信したことに応答して制御され得る。
少なくとも１つの実施例では、限定はしないが、ハンドルを含み得る操縦システム８５４は、推進システム８５０が動作しているときに（たとえば、車両８００が動いているときに）車両８００を（たとえば、所望の経路又はルートに沿って）操縦するために使用される。少なくとも１つの実施例では、操縦システム８５４は、（１つ又は複数の）操縦アクチュエータ８５６から信号を受信し得る。少なくとも１つの実施例では、ハンドルは、完全自動化（レベル５）機能性について随意であり得る。少なくとも１つの実施例では、（１つ又は複数の）ブレーキ・アクチュエータ８４８及び／又はブレーキ・センサから信号を受信したことに応答して車両ブレーキを動作させるために、ブレーキ・センサ・システム８４６が使用され得る。
少なくとも１つの実施例では、限定はしないが、１つ又は複数のシステム・オン・チップ（「ＳｏＣ」：ｓｙｓｔｅｍ ｏｎ ｃｈｉｐ）（図８Ａに図示せず）及び／又は（１つ又は複数の）グラフィックス処理ユニット（「ＧＰＵ」：ｇｒａｐｈｉｃｓ ｐｒｏｃｅｓｓｉｎｇ ｕｎｉｔ）を含み得る（１つ又は複数の）コントローラ８３６は、車両８００の１つ又は複数の構成要素及び／又はシステムに（たとえば、コマンドを表す）信号を提供する。たとえば、少なくとも１つの実施例では、（１つ又は複数の）コントローラ８３６は、（１つ又は複数の）ブレーキ・アクチュエータ８４８を介して車両ブレーキを動作させるための信号、（１つ又は複数の）操縦アクチュエータ８５６を介して操縦システム８５４を動作させるための信号、（１つ又は複数の）スロットル／アクセラレータ８５２を介して推進システム８５０を動作させるための信号を送出し得る。少なくとも１つの実施例では、（１つ又は複数の）コントローラ８３６は、自律運転を可能にし、及び／又は人間のドライバが車両８００を運転するのを支援するために、センサ信号を処理し、動作コマンド（たとえば、コマンドを表す信号）を出力する１つ又は複数の搭載（たとえば、一体型の）コンピューティング・デバイスを含み得る。少なくとも１つの実施例では、（１つ又は複数の）コントローラ８３６は、自律運転機能のための第１のコントローラ、機能的安全機能のための第２のコントローラ、人工知能機能性（たとえば、コンピュータ・ビジョン）のための第３のコントローラ、インフォテイメント機能性のための第４のコントローラ、緊急事態における冗長性のための第５のコントローラ、及び／又は他のコントローラを含み得る。少なくとも１つの実施例では、単一のコントローラが、上記の機能性のうちの２つ又はそれ以上に対処し得、２つ又はそれ以上のコントローラが、単一の機能性に対処し得、及び／又はこれらの任意の組合せであり得る。
少なくとも１つの実施例では、（１つ又は複数の）コントローラ８３６は、１つ又は複数のセンサから受信されたセンサ・データ（たとえば、センサ入力）に応答して、車両８００の１つ又は複数の構成要素及び／又はシステムを制御するための信号を提供する。少なくとも１つの実施例では、センサ・データは、たとえば、限定はしないが、（１つ又は複数の）全地球的航法衛星システム（「ＧＮＳＳ」：ｇｌｏｂａｌ ｎａｖｉｇａｔｉｏｎ ｓａｔｅｌｌｉｔｅ ｓｙｓｔｅｍ）センサ８５８（たとえば、（１つ又は複数の）全地球測位システム・センサ）、（１つ又は複数の）ＲＡＤＡＲセンサ８６０、（１つ又は複数の）超音波センサ８６２、（１つ又は複数の）ＬＩＤＡＲセンサ８６４、（１つ又は複数の）慣性測定ユニット（「ＩＭＵ」：ｉｎｅｒｔｉａｌ ｍｅａｓｕｒｅｍｅｎｔ ｕｎｉｔ）センサ８６６（たとえば、（１つ又は複数の）加速度計、（１つ又は複数の）ジャイロスコープ、１つ又は複数の磁気コンパス、（１つ又は複数の）磁力計など）、（１つ又は複数の）マイクロフォン８９６、（１つ又は複数の）ステレオ・カメラ８６８、（１つ又は複数の）広角カメラ８７０（たとえば、魚眼カメラ）、（１つ又は複数の）赤外線カメラ８７２、（１つ又は複数の）周囲カメラ８７４（たとえば、３６０度カメラ）、（１つ又は複数の）キャビン・カメラ８７５、長距離カメラ（図８Ａに図示せず）、（１つ又は複数の）中距離カメラ（図８Ａに図示せず）、（たとえば、車両８００のスピードを測定するための）（１つ又は複数の）スピード・センサ８４４、（１つ又は複数の）振動センサ８４２、（１つ又は複数の）操縦センサ８４０、（たとえば、ブレーキ・センサ・システム８４６の一部としての）（１つ又は複数の）ブレーキ・センサ、及び／又は他のセンサ・タイプから、受信され得る。
一実施例では、（１つ又は複数の）キャビン・カメラ８７５はＲＧＢ－ＩＲカメラであり、可視光線成分とＩＲ成分の両方を有する画像データを生成する。（１つ又は複数の）コントローラ８３６は、（たとえば、方法４００を実施することによって）変換された画像データを生成するために、上記で説明された技法を使用して画像データを処理し得る。変換された画像データは、ＲＧＢ－ＩＲカメラによって旧来生成された画像と比較して、改善されたＳＮＲ及び／又は画像品質及び／又は解像度を有し得る。生成された画像（すなわち、変換された画像データ）は、（１つ又は複数の）コントローラ８３６によって１つ又は複数の訓練された機械学習モデルに入力され得、及び／或いはＨＭＩディスプレイ８３４を介してドライバ又は乗員による観察のために出力され得る。
少なくとも１つの実施例では、（１つ又は複数の）コントローラ８３６のうちの１つ又は複数は、車両８００の計器クラスタ８３２からの（たとえば入力データによって表される）入力を受信し、ヒューマン・マシン・インターフェース（「ＨＭＩ」：ｈｕｍａｎ－ｍａｃｈｉｎｅ ｉｎｔｅｒｆａｃｅ）ディスプレイ８３４、可聴アナンシエータ、拡声器を介して、及び／又は車両８００の他の構成要素を介して、（たとえば、出力データ、ディスプレイ・データなどによって表される）出力を提供し得る。少なくとも１つの実施例では、出力は、車両速度、スピード、時間、地図データ（たとえば、高精細度地図（図８Ａに図示せず）、ロケーション・データ（たとえば、地図上などの車両８００のロケーション）、方向、他の車両のロケーション（たとえば、占有グリッド）、（１つ又は複数の）コントローラ８３６によって感知された物体及び物体のステータスに関する情報など、情報を含み得る。たとえば、少なくとも１つの実施例では、ＨＭＩディスプレイ８３４は、１つ又は複数の物体（たとえば、道路標識、警告標識、信号の変化など）の存在に関する情報、及び／或いは、車両が行った、行っている、又はこれから行う運転操作に関する情報（たとえば、現在車線変更中、３．２２ｋｍ（２マイル）先の出口３４Ｂを出る、など）を表示し得る。
少なくとも１つの実施例では、車両８００はネットワーク・インターフェース８２４をさらに含み、ネットワーク・インターフェース８２４は、１つ又は複数のネットワークを介して通信するために（１つ又は複数の）ワイヤレス・アンテナ８２６及び／又は（１つ又は複数の）モデムを使用し得る。たとえば、少なくとも１つの実施例では、ネットワーク・インターフェース８２４は、ロング・ターム・エボリューション（「ＬＴＥ」：Ｌｏｎｇ－Ｔｅｒｍ Ｅｖｏｌｕｔｉｏｎ）、広帯域符号分割多元接続（「ＷＣＤＭＡ（登録商標）」：Ｗｉｄｅｂａｎｄ Ｃｏｄｅ Ｄｉｖｉｓｉｏｎ Ｍｕｌｔｉｐｌｅ Ａｃｃｅｓｓ）、ユニバーサル・モバイル・テレコミュニケーション・システム（「ＵＭＴＳ」：Ｕｎｉｖｅｒｓａｌ Ｍｏｂｉｌｅ Ｔｅｌｅｃｏｍｍｕｎｉｃａｔｉｏｎｓ Ｓｙｓｔｅｍ）、モバイル通信用グローバル・システム（「ＧＳＭ」：Ｇｌｏｂａｌ Ｓｙｓｔｅｍ ｆｏｒ Ｍｏｂｉｌｅ ｃｏｍｍｕｎｉｃａｔｉｏｎ）、ＩＭＴ－ＣＤＭＡマルチ・キャリア（「ＣＤＭＡ２０００」）ネットワークなどを介した通信が可能であり得る。また、少なくとも１つの実施例では、（１つ又は複数の）ワイヤレス・アンテナ８２６は、Ｂｌｕｅｔｏｏｔｈ、Ｂｌｕｅｔｏｏｔｈ低エネルギー（「ＬＥ」：Ｌｏｗ Ｅｎｅｒｇｙ）、Ｚ波、ＺｉｇＢｅｅなどの（１つ又は複数の）ローカル・エリア・ネットワーク、及び／又はＬｏＲａＷＡＮ、ＳｉｇＦｏｘなどの（１つ又は複数の）低電力ワイド・エリア・ネットワーク（「ＬＰＷＡＮ」：ｌｏｗ ｐｏｗｅｒ ｗｉｄｅ－ａｒｅａ ｎｅｔｗｏｒｋ）のプロトコルを使用して、環境内の物体（たとえば、車両、モバイル・デバイスなど）間の通信を可能にし得る。
いくつかの実施例では、以下で説明される推論及び／又は訓練論理９１５は、上記で説明されたように生成された変換された画像データを使用して推論及び／又は訓練動作を実施するために使用される。推論及び／又は訓練論理９１５に関する詳細は、図９Ａ及び／又は図９Ｂと併せて本明細書で提供される。少なくとも１つの実施例では、推論及び／又は訓練論理９１５は、本明細書で説明されるニューラル・ネットワーク訓練動作、ニューラル・ネットワーク機能及び／又はアーキテクチャ、或いはニューラル・ネットワーク使用事例を使用して計算された重みパラメータに少なくとも部分的に基づいて、推論又は予測動作のために使用され得る。
図８Ｂは、少なくとも１つの実施例による、図８Ａの自律車両８００についてのカメラ・ロケーション及び視野の一実例を示す。少なくとも１つの実施例では、カメラ及びそれぞれの視野は、１つの例示的な実施例であり、限定するものではない。たとえば、少なくとも１つの実施例では、追加及び／又は代替のカメラが含まれ得、及び／又は、カメラは車両８００上の異なるロケーションに位置し得る。
少なくとも１つの実施例では、カメラについてのカメラ・タイプは、限定はしないが、車両８００の構成要素及び／又はシステムとともに使用するために適応され得るデジタル・カメラを含み得る。少なくとも１つの実施例では、（１つ又は複数の）カメラは、自動車安全性要求レベル（「ＡＳＩＬ」：ａｕｔｏｍｏｔｉｖｅ ｓａｆｅｔｙ ｉｎｔｅｇｒｉｔｙ ｌｅｖｅｌ）Ｂ及び／又は別のＡＳＩＬにおいて動作し得る。少なくとも１つの実施例では、カメラ・タイプは、実施例に応じて、毎秒６０フレーム（ｆｐｓ：ｆｒａｍｅｓ ｐｅｒ ｓｅｃｏｎｄ）、１２２０ｆｐｓ、２４０ｆｐｓなど、任意の画像キャプチャ・レートが可能であり得る。少なくとも１つの実施例では、カメラは、ローリング・シャッター、グローバル・シャッター、別のタイプのシャッター、又はそれらの組合せを使用することが可能であり得る。少なくとも１つの実施例では、カラー・フィルタ・アレイは、赤色、クリア、クリア、クリア（「ＲＣＣＣ」：ｒｅｄ ｃｌｅａｒ ｃｌｅａｒ ｃｌｅａｒ）のカラー・フィルタ・アレイ、赤色、クリア、クリア、青色（「ＲＣＣＢ：ｒｅｄ ｃｌｅａｒ ｃｌｅａｒ ｂｌｕｅ」）のカラー・フィルタ・アレイ、赤色、青色、緑色、クリア（「ＲＢＧＣ」：ｒｅｄ ｂｌｕｅ ｇｒｅｅｎ ｃｌｅａｒ）のカラー・フィルタ・アレイ、Ｆｏｖｅｏｎ Ｘ３のカラー・フィルタ・アレイ、ベイヤー・センサ（「ＲＧＧＢ」）のカラー・フィルタ・アレイ、単色センサのカラー・フィルタ・アレイ、ＲＧＢ－ＩＲのカラー・フィルタ・アレイ、及び／又は別のタイプのカラー・フィルタ・アレイを含み得る。少なくとも１つの実施例では、光感度を上げるために、ＲＣＣＣ、ＲＣＣＢ、及び／又はＲＢＧＣのカラー・フィルタ・アレイをもつカメラなど、クリア・ピクセル・カメラが使用され得る。一実施例では、カメラのうちの１つ又は複数がＲＧＢ－ＩＲカメラであり、１つ又は複数のカメラによって生成された画像データは、上記で記載された技法に従って処理される。
少なくとも１つの実施例では、（１つ又は複数の）カメラのうちの１つ又は複数が、先進ドライバ支援システム（「ＡＤＡＳ」：ａｄｖａｎｃｅｄ ｄｒｉｖｅｒ ａｓｓｉｓｔａｎｃｅ ｓｙｓｔｅｍ）機能を（たとえば、冗長設計又はフェイル・セーフ設計の一部として）実施するために使用され得る。たとえば、少なくとも１つの実施例では、車線逸脱警告、交通標識支援及びインテリジェント・ヘッドライト制御を含む機能を提供するために、多機能モノ・カメラが設置され得る。少なくとも１つの実施例では、（１つ又は複数の）カメラのうちの１つ又は複数（たとえば、すべてのカメラ）が、画像データ（たとえば、ビデオ）を同時に記録し、提供し得る。
少なくとも１つの実施例では、１つ又は複数のカメラは、カメラ画像データ・キャプチャ・アビリティを妨げ得る迷光及び車両８００内からの反射（たとえば、ダッシュボードからフロントガラスに反射される反射）をなくすために、カスタム設計の（３次元（「３Ｄ」：ｔｈｒｅｅ－ｄｉｍｅｎｓｉｏｎａｌ）印刷された）アセンブリなどの取付けアセンブリにおいて取り付けられ得る。ドアミラー取付けアセンブリを参照すると、少なくとも１つの実施例では、ドアミラー・アセンブリは、カメラ取付けプレートがドアミラーの形状にマッチするように、カスタム３Ｄ印刷され得る。少なくとも１つの実施例では、（１つ又は複数の）カメラは、ドアミラーに組み込まれ得る。少なくとも１つの実施例では、サイド・ビュー・カメラについて、（１つ又は複数の）カメラは、キャビンの各角にある４本のピラー内に組み込まれ得る。
少なくとも１つの実施例では、車両８００の前方の環境の部分を含む視野をもつカメラ（たとえば、正面カメラ）は、正面の経路及び障害物を識別するのを助け、並びに、（１つ又は複数の）コントローラ８３６及び／又は制御ＳｏＣのうちの１つ又は複数の助けで、占有グリッドを生成すること及び／又は好ましい車両経路を決定することに不可欠な情報を提供するのを補助するために、周囲ビューのために使用され得る。少なくとも１つの実施例では、正面カメラは、限定はしないが、緊急ブレーキと、歩行者検出と、衝突回避とを含む、ＬＩＤＡＲと同様の多くのＡＤＡＳ機能を実施するために使用され得る。少なくとも１つの実施例では、正面カメラはまた、限定はしないが、車線逸脱警告（「ＬＤＷ」：Ｌａｎｅ Ｄｅｐａｒｔｕｒｅ Ｗａｒｎｉｎｇ）、自律走行制御（「ＡＣＣ」：Ａｕｔｏｎｏｍｏｕｓ Ｃｒｕｉｓｅ Ｃｏｎｔｒｏｌ）、及び／又は交通標識認識などの他の機能を含むＡＤＡＳ機能及びシステムのために使用され得る。
少なくとも１つの実施例では、たとえば、ＣＭＯＳ（「相補型金属酸化物半導体（ｃｏｍｐｌｅｍｅｎｔａｒｙ ｍｅｔａｌ ｏｘｉｄｅ ｓｅｍｉｃｏｎｄｕｃｔｏｒ）」）カラー・イメージャを含む単眼カメラ・プラットフォームを含む様々なカメラが、正面構成において使用され得る。少なくとも１つの実施例では、周辺からビューに入ってくる物体（たとえば、歩行者、横断する交通、又は自転車）を知覚するために、広角カメラ８７０が使用され得る。図８Ｂには１つの広角カメラ８７０のみが示されているが、他の実施例では、車両８００上に（０を含む）任意の数の広角カメラがあり得る。少なくとも１つの実施例では、特にニューラル・ネットワークがそれに対してまだ訓練されていない物体について、深度ベースの物体検出のために、（１つ又は複数の）任意の数の長距離カメラ８９８（たとえば、ロングビュー・ステレオ・カメラ・ペア）が使用され得る。少なくとも１つの実施例では、（１つ又は複数の）長距離カメラ８９８は、物体検出及び分類、並びに基本的な物体追跡のためにも使用され得る。
少なくとも１つの実施例では、任意の数のステレオ・カメラ８６８も、正面構成に含まれ得る。少なくとも１つの実施例では、（１つ又は複数の）ステレオ・カメラ８６８のうちの１つ又は複数は、スケーラブル処理ユニットを備える一体型制御ユニットを含み得、この制御ユニットは、一体型のコントローラ・エリア・ネットワーク（「ＣＡＮ」：Ｃｏｎｔｒｏｌｌｅｒ Ａｒｅａ Ｎｅｔｗｏｒｋ）又はイーサネット・インターフェースを単一のチップ上にもつプログラマブル論理（「ＦＰＧＡ」）及びマルチコア・マイクロプロセッサを提供し得る。少なくとも１つの実施例では、そのようなユニットは、画像内のすべてのポイントについての距離推定を含む、車両８００の環境の３Ｄ地図を生成するために使用され得る。少なくとも１つの実施例では、（１つ又は複数の）ステレオ・カメラ８６８のうちの１つ又は複数は、限定はしないが、（１つ又は複数の）コンパクト・ステレオ・ビジョン・センサを含み得、このセンサは、限定はしないが、車両８００からターゲット物体までの距離を測定し、生成された情報（たとえば、メタデータ）を使用して自律緊急ブレーキ及び車線逸脱警告機能をアクティブ化し得る２つのカメラ・レンズ（左及び右に１つずつ）及び画像処理チップを含み得る。少なくとも１つの実施例では、本明細書で説明されるものに加えて、又はその代替として、他のタイプの（１つ又は複数の）ステレオ・カメラ８６８が使用され得る。
少なくとも１つの実施例では、車両８００の側方の環境の部分を含む視野をもつカメラ（たとえば、サイド・ビュー・カメラ）が、周囲ビューのために使用され、占有グリッドを作成及び更新し、並びに側面衝突警告を生成するために使用される情報を提供し得る。たとえば、少なくとも１つの実施例では、（１つ又は複数の）周囲カメラ８７４（たとえば、図８Ｂに示されている４つの周囲カメラ）が、車両８００上に位置決めされ得る。少なくとも１つの実施例では、（１つ又は複数の）周囲カメラ８７４は、限定はしないが、任意の数及び組合せの広角カメラ、（１つ又は複数の）魚眼カメラ、（１つ又は複数の）３６０度カメラ、及び／又は同様のカメラを含み得る。たとえば、少なくとも１つの実施例では、４つの魚眼カメラが、車両８００の前方、後方、及び側方に位置決めされ得る。少なくとも１つの実施例では、車両８００は、３つの周囲カメラ８７４（たとえば、左、右、及び後方）を使用し得、第４の周囲ビュー・カメラとして、１つ又は複数の他のカメラ（たとえば、正面カメラ）を活用し得る。
少なくとも１つの実施例では、（１つ又は複数の）キャビン・カメラ８７５は、車両のキャビンのドライバ及び／又は乗客エリアを網羅する視野を有する。
少なくとも１つの実施例では、車両８００後方の環境の部分を含む視野をもつカメラ（たとえば、リア・ビュー・カメラ）が、駐車支援、周囲ビュー、後方衝突警告、並びに占有グリッドの作成及び更新のために使用され得る。少なくとも１つの実施例では、限定はしないが、本明細書で説明されるように、（１つ又は複数の）正面カメラとしても好適なカメラ（たとえば、長距離カメラ８９８、及び／又は（１つ又は複数の）中距離カメラ８７６、（１つ又は複数の）ステレオ・カメラ８６８）、（１つ又は複数の）赤外線カメラ８７２など）を含む、多種多様なカメラが使用され得る。
いくつかの実施例では、推論及び／又は訓練論理９１５は、上記で説明されたように処理された画像データを使用して推論及び／又は訓練動作を実施するために使用される。推論及び／又は訓練論理９１５に関する詳細は、図９Ａ及び／又は図９Ｂと併せて本明細書で提供される。
図８Ｃは、少なくとも１つの実施例による、図８Ａの自律車両８００のための例示的なシステム・アーキテクチャを示すブロック図である。少なくとも１つの実施例では、図８Ｃ中の車両８００の構成要素、特徴、及びシステムの各々は、バス８０２を介して接続されるものとして示されている。少なくとも１つの実施例では、バス８０２は、限定はしないが、ＣＡＮデータ・インターフェース（代替的に、本明細書では「ＣＡＮバス」と呼ばれる）を含み得る。少なくとも１つの実施例では、ＣＡＮは、ブレーキの作動、加速、ブレーキ制御、操縦、フロントガラス・ワイパなど、車両８００の様々な特徴及び機能性の制御を補助するために使用される、車両８００内部のネットワークであり得る。少なくとも１つの実施例では、バス８０２は、各々がそれ自体の一意の識別子（たとえば、ＣＡＮ ＩＤ）をもつ数十又はさらには数百のノードを有するように構成され得る。少なくとも１つの実施例では、バス８０２は、ハンドル角度、対地スピード、エンジンの毎分回転数（「ＲＰＭ」：ｒｅｖｏｌｕｔｉｏｎｓ ｐｅｒ ｍｉｎｕｔｅ）、ボタン位置、及び／又は他の車両ステータス・インジケータを見いだすために読み取られ得る。少なくとも１つの実施例では、バス８０２は、ＡＳＩＬ Ｂに準拠したＣＡＮバスであり得る。
少なくとも１つの実施例では、ＣＡＮに加えて、又はその代替として、ＦｌｅｘＲａｙ及び／又はイーサネット・プロトコルが使用され得る。少なくとも１つの実施例では、バス８０２を形成する任意の数のバスがあり得、これらのバスは、限定はしないが、０個以上のＣＡＮバス、０個以上のＦｌｅｘＲａｙバス、０個以上のイーサネット・バス、及び／又は、異なるプロトコルを使用する０個以上の他のタイプのバスを含み得る。少なくとも１つの実施例では、２つ又はそれ以上のバスが、異なる機能を実施するために使用され得、及び／又は、冗長性のために使用され得る。たとえば、第１のバスが衝突回避機能性のために使用され得、第２のバスが作動制御のために使用され得る。少なくとも１つの実施例では、バス８０２の各バスは、車両８００の構成要素のいずれかと通信し得、バス８０２のうちの２つ又はそれ以上のバスが、対応する構成要素と通信し得る。少なくとも１つの実施例では、任意の数のシステム・オン・チップ（「ＳｏＣ」）８０４（ＳｏＣ８０４（Ａ）及びＳｏＣ８０４（Ｂ）などの各々、（１つ又は複数の）コントローラ８３６の各々、及び／又は車両内の各コンピュータは、同じ入力データ（たとえば、車両８００のセンサからの入力）へのアクセスを有し得、ＣＡＮバスなどの共通のバスに接続され得る。
少なくとも１つの実施例では、車両８００は、図８Ａに関して本明細書で説明されるものなど、１つ又は複数のコントローラ８３６を含み得る。少なくとも１つの実施例では、（１つ又は複数の）コントローラ８３６は、様々な機能のために使用され得る。少なくとも１つの実施例では、（１つ又は複数の）コントローラ８３６は、車両８００の様々な他の構成要素及びシステムのいずれかに結合され得、車両８００、車両８００の人工知能、車両８００のためのインフォテイメント、及び／又は他の機能の制御のために使用され得る。
少なくとも１つの実施例では、車両８００は、任意の数のＳｏＣ８０４を含み得る。少なくとも１つの実施例では、ＳｏＣ８０４の各々は、限定はしないが、中央処理ユニット（「ＣＰＵ」）８０６、グラフィックス処理ユニット（「ＧＰＵ」）８０８、（１つ又は複数の）プロセッサ８１０、（１つ又は複数の）キャッシュ８１２、（１つ又は複数の）アクセラレータ８１４、（１つ又は複数の）データ・ストア８１６、並びに／又は示されていない他の構成要素及び特徴を含み得る。少なくとも１つの実施例では、車両８００を様々なプラットフォーム及びシステムにおいて制御するために、（１つ又は複数の）ＳｏＣ８０４が使用され得る。たとえば、少なくとも１つの実施例では、（１つ又は複数の）ＳｏＣ８０４は、１つ又は複数のサーバ（図８Ｃに図示せず）からネットワーク・インターフェース８２４を介して地図のリフレッシュ及び／又は更新を取得し得る高精細度（「ＨＤ」）地図８２２をもつシステム（たとえば、車両８００のシステム）において組み合わせられ得る。
少なくとも１つの実施例では、（１つ又は複数の）ＣＰＵ８０６は、ＣＰＵクラスタ又はＣＰＵコンプレックス（代替的に、本明細書では「ＣＣＰＬＥＸ」と呼ばれる）を含み得る。少なくとも１つの実施例では、（１つ又は複数の）ＣＰＵ８０６は、複数のコア及び／又はレベル２（「Ｌ２」）キャッシュを含み得る。たとえば、少なくとも１つの実施例では、（１つ又は複数の）ＣＰＵ８０６は、コヒーレントなマルチプロセッサ構成において８つのコアを含み得る。少なくとも１つの実施例では、（１つ又は複数の）ＣＰＵ８０６は、４つのデュアル・コア・クラスタを含み得、各クラスタは、専用Ｌ２キャッシュ（たとえば、２メガバイト（ＭＢ）のＬ２キャッシュ）を有する。少なくとも１つの実施例では、（１つ又は複数の）ＣＰＵ８０６（たとえば、ＣＣＰＬＥＸ）は、（１つ又は複数の）ＣＰＵ８０６のクラスタの任意の組合せが任意の所与の時間にアクティブになることを可能にする同時のクラスタ動作をサポートするように構成され得る。
少なくとも１つの実施例では、（１つ又は複数の）ＣＰＵ８０６のうちの１つ又は複数は、電力管理能力（ｃａｐａｂｉｌｉｔｙ）を実装し得、電力管理能力は、限定はしないが、以下の特徴のうちの１つ又は複数を含む：個々のハードウェア・ブロックが、動的電力を節約するために、アイドル時に自動的にクロック・ゲート制御され得る；各コア・クロックは、割込み待ち（「ＷＦＩ」：Ｗａｉｔ ｆｏｒ Ｉｎｔｅｒｒｕｐｔ）／イベント待ち（「ＷＦＥ」：Ｗａｉｔ ｆｏｒ Ｅｖｅｎｔ）命令の実行によりそのようなコアが能動的に命令を実行していないとき、ゲート制御され得る；各コアが独立して電力ゲート制御され得る；各コア・クラスタは、すべてのコアがクロック・ゲート制御又は電力ゲート制御されるとき、独立してクロック・ゲート制御され得る；及び／或いは、各コア・クラスタは、すべてのコアが電力ゲート制御されるとき、独立して電力ゲート制御され得る。少なくとも１つの実施例では、（１つ又は複数の）ＣＰＵ８０６は、電力状態を管理するための拡張アルゴリズムをさらに実装し得、許容された電力状態及び予想されるウェイクアップ時間が指定され、コア、クラスタ、及びＣＣＰＬＥＸのための入るべき最良の電力状態がどれかを、ハードウェア／マイクロコードが決定する。少なくとも１つの実施例では、処理コアは、ワークがマイクロコードにオフロードされたソフトウェアにおける簡単な電力状態エントリ・シーケンスをサポートし得る。
少なくとも１つの実施例では、（１つ又は複数の）ＧＰＵ８０８は、統合されたＧＰＵ（代替的に、本明細書では「ｉＧＰＵ」と呼ばれる）を含み得る。少なくとも１つの実施例では、（１つ又は複数の）ＧＰＵ８０８は、プログラマブルであり得、並列なワークロードについて効率的であり得る。少なくとも１つの実施例では、（１つ又は複数の）ＧＰＵ８０８は、拡張テンソル命令セットを使用し得る。少なくとも１つの実施例では、（１つ又は複数の）ＧＰＵ８０８は、１つ又は複数のストリーミング・マイクロプロセッサを含み得、各ストリーミング・マイクロプロセッサは、レベル１（「Ｌ１」）キャッシュ（たとえば、少なくとも９６ＫＢのストレージ容量をもつＬ１キャッシュ）を含み得、２つ又はそれ以上のストリーミング・マイクロプロセッサは、Ｌ２キャッシュ（たとえば、５１２ＫＢのストレージ容量をもつＬ２キャッシュ）を共有し得る。少なくとも１つの実施例では、（１つ又は複数の）ＧＰＵ８０８は、少なくとも８つのストリーミング・マイクロプロセッサを含み得る。少なくとも１つの実施例では、（１つ又は複数の）ＧＰＵ８０８は、（１つ又は複数の）コンピュート・アプリケーション・プログラミング・インターフェース（ＡＰＩ）を使用し得る。少なくとも１つの実施例では、（１つ又は複数の）ＧＰＵ８０８は、１つ又は複数の並列なコンピューティング・プラットフォーム及び／又はプログラミング・モデル（たとえば、ＮＶＩＤＩＡのＣＵＤＡモデル）を使用し得る。
少なくとも１つの実施例では、（１つ又は複数の）ＧＰＵ８０８のうちの１つ又は複数は、自動車の及び組み込まれた使用事例における最良の性能のために電力最適化され得る。たとえば、少なくとも１つの実施例では、（１つ又は複数の）ＧＰＵ８０８は、フィン電界効果トランジスタ（「ＦｉｎＦＥＴ」：Ｆｉｎ ｆｉｅｌｄ－ｅｆｆｅｃｔ ｔｒａｎｓｉｓｔｏｒ）回路要素上で作製され得る。少なくとも１つの実施例では、各ストリーミング・マイクロプロセッサは、複数のブロックに区分けされたいくつかの混合精度処理コアを組み込み得る。たとえば、限定はしないが、６４個のＰＦ３２コアと、３２個のＰＦ６４コアとは、４つの処理ブロックに区分けされ得る。少なくとも１つの実施例では、各処理ブロックは、１６個のＦＰ３２コア、８個のＦＰ６４コア、１６個のＩＮＴ３２コア、深層学習行列算術のための２つの混合精度ＮＶＩＤＩＡ Ｔｅｎｓｏｒコア、レベル０（「Ｌ０」）命令キャッシュ、ワープ・スケジューラ、ディスパッチ・ユニット、及び／又は６４ＫＢのレジスタ・ファイルを割り振られ得る。少なくとも１つの実施例では、ストリーミング・マイクロプロセッサは、算出とアドレッシング計算との混合によるワークロードの効率的な実行を行うために、独立した並列の整数及び浮動小数点データ経路を含み得る。少なくとも１つの実施例では、ストリーミング・マイクロプロセッサは、並列スレッド間でよりきめ細かい同期及び協調を可能にするために、独立したスレッド・スケジューリング能力を含み得る。少なくとも１つの実施例では、ストリーミング・マイクロプロセッサは、性能を改善すると同時にプログラミングを簡単にするために、組み合わせられたＬ１データ・キャッシュ及び共有メモリ・ユニットを含み得る。
少なくとも１つの実施例では、（１つ又は複数の）ＧＰＵ８０８のうちの１つ又は複数は、いくつかの実例では、約９００ＧＢ／秒のピーク・メモリ帯域幅を提供するために、高帯域幅メモリ（「ＨＢＭ」：ｈｉｇｈ ｂａｎｄｗｉｄｔｈ ｍｅｍｏｒｙ）及び／又は１６ＧＢの高帯域幅メモリ第２世代（「ＨＢＭ２」：ｈｉｇｈ－ｂａｎｄｗｉｄｔｈ ｍｅｍｏｒｙ ｓｅｃｏｎｄ ｇｅｎｅｒａｔｉｏｎ）メモリ・サブシステムを含み得る。少なくとも１つの実施例では、ＨＢＭメモリに加えて、又はその代替として、グラフィックス・ダブル・データ・レート・タイプ・ファイブ同期ランダム・アクセス・メモリ（「ＧＤＤＲ５」：ｇｒａｐｈｉｃｓ ｄｏｕｂｌｅ ｄａｔａ ｒａｔｅ ｔｙｐｅ ｆｉｖｅ）など、同期グラフィックス・ランダム・アクセス・メモリ（「ＳＧＲＡＭ」：ｓｙｎｃｈｒｏｎｏｕｓ ｇｒａｐｈｉｃｓ ｒａｎｄｏｍ－ａｃｃｅｓｓ ｍｅｍｏｒｙ）が使用され得る。
少なくとも１つの実施例では、（１つ又は複数の）ＧＰＵ８０８は、統一メモリ技術を含み得る。少なくとも１つの実施例では、（１つ又は複数の）ＧＰＵ８０８が（１つ又は複数の）ＣＰＵ８０６のページ・テーブルに直接アクセスすることを可能にするために、アドレス・トランスレーション・サービス（「ＡＴＳ」：ａｄｄｒｅｓｓ ｔｒａｎｓｌａｔｉｏｎ ｓｅｒｖｉｃｅ）サポートが使用され得る。少なくとも１つの実施例では、ＧＰＵ８０８メモリ管理ユニット（「ＭＭＵ」：ｍｅｍｏｒｙ ｍａｎａｇｅｍｅｎｔ ｕｎｉｔ）のＧＰＵがミスに遭遇したとき、アドレス・トランスレーション要求が（１つ又は複数の）ＣＰＵ８０６に送信され得る。少なくとも１つの実施例では、それに応答して、（１つ又は複数の）ＣＰＵ８０６のうちの２ＣＰＵは、それのページ・テーブルにおいて、アドレスのための仮想－物理マッピングを探し、トランスレーションを（１つ又は複数の）ＧＰＵ８０８に返送し得る。少なくとも１つの実施例では、統一メモリ技術は、（１つ又は複数の）ＣＰＵ８０６と（１つ又は複数の）ＧＰＵ８０８の両方のメモリについて単一の統一仮想アドレス空間を可能にし、それにより、（１つ又は複数の）ＧＰＵ８０８のプログラミングと、（１つ又は複数の）ＧＰＵ８０８へのアプリケーションの移植とを簡単にし得る。
少なくとも１つの実施例では、（１つ又は複数の）ＧＰＵ８０８は、他のプロセッサのメモリへの（１つ又は複数の）ＧＰＵ８０８のアクセスの頻度を追跡し得る任意の数のアクセス・カウンタを含み得る。少なくとも１つの実施例では、（１つ又は複数の）アクセス・カウンタは、最も頻繁にページにアクセスしているプロセッサの物理メモリにメモリ・ページが移動されることを確実にするのを助け、それにより、プロセッサ間で共有されるメモリ範囲の効率を改善し得る。
少なくとも１つの実施例では、（１つ又は複数の）ＳｏＣ８０４のうちの１つ又は複数は、本明細書で説明されるものを含む、任意の数のキャッシュ８１２を含み得る。たとえば、少なくとも１つの実施例では、（１つ又は複数の）キャッシュ８１２は、（１つ又は複数の）ＣＰＵ８０６と（１つ又は複数の）ＧＰＵ８０８の両方にとって利用可能である（たとえば、（１つ又は複数の）ＣＰＵ８０６及び（１つ又は複数の）ＧＰＵ８０８に接続された）レベル３（「Ｌ３」）キャッシュを含むことができる。少なくとも１つの実施例では、（１つ又は複数の）キャッシュ８１２は、キャッシュ・コヒーレンス・プロトコル（たとえば、ＭＥＩ、ＭＥＳＩ、ＭＳＩなど）を使用することなどによって、ラインの状態を追跡し得るライト・バック・キャッシュを含み得る。少なくとも１つの実施例では、Ｌ３キャッシュは、実施例に応じて、４ＭＢ以上のメモリを含み得るが、より小さいキャッシュ・サイズが使用され得る。
少なくとも１つの実施例では、（１つ又は複数の）ＳｏＣ８０４のうちの１つ又は複数は、１つ又は複数のアクセラレータ８１４（たとえば、ハードウェア・アクセラレータ、ソフトウェア・アクセラレータ、又はこれらの組合せ）を含み得る。少なくとも１つの実施例では、（１つ又は複数の）ＳｏＣ８０４は、最適化されたハードウェア・アクセラレータ及び／又は大型のオンチップ・メモリを含み得るハードウェア加速クラスタを含み得る。少なくとも１つの実施例では、大型のオンチップ・メモリ（たとえば、４ＭＢのＳＲＡＭ）は、ハードウェア加速クラスタが、ニューラル・ネットワーク及び他の計算を加速することを可能にし得る。少なくとも１つの実施例では、ハードウェア加速クラスタは、（１つ又は複数の）ＧＰＵ８０８を補完し、（１つ又は複数の）ＧＰＵ８０８のタスクのうちのいくつかをオフロードするために（たとえば、他のタスクを実施するために（１つ又は複数の）ＧＰＵ８０８のサイクルをより多く解放するために）使用され得る。少なくとも１つの実施例では、加速を受け入れるのに十分なほど安定している対象のワークロード（たとえば、知覚、畳み込みニューラル・ネットワーク（「ＣＮＮ」）、リカレント・ニューラル・ネットワーク（「ＲＮＮ」）など）のために、（１つ又は複数の）アクセラレータ８１４が使用され得る。少なくとも１つの実施例では、ＣＮＮは、領域ベースの、すなわち領域畳み込みニューラル・ネットワーク（「ＲＣＮＮ」：ｒｅｇｉｏｎａｌ ｃｏｎｖｏｌｕｔｉｏｎａｌ ｎｅｕｒａｌ ｎｅｔｗｏｒｋ）、及び（たとえば、物体検出のために使用されるような）高速ＲＣＮＮ、又は他のタイプのＣＮＮを含み得る。
少なくとも１つの実施例では、（１つ又は複数の）アクセラレータ８１４（たとえば、ハードウェア加速クラスタ）は、１つ又は複数の深層学習アクセラレータ（「ＤＬＡ」：ｄｅｅｐ ｌｅａｒｎｉｎｇ ａｃｃｅｌｅｒａｔｏｒ）を含み得る。少なくとも１つの実施例では、（１つ又は複数の）ＤＬＡは、限定はしないが、１つ又は複数のＴｅｎｓｏｒ処理ユニット（「ＴＰＵ」：Ｔｅｎｓｏｒ ｐｒｏｃｅｓｓｉｎｇ ｕｎｉｔ）を含み得、１つ又は複数のＴｅｎｓｏｒ処理ユニットは、深層学習アプリケーション及び推論のために、追加の、毎秒１０兆の演算を提供するように構成され得る。少なくとも１つの実施例では、ＴＰＵは、（たとえば、ＣＮＮ、ＲＣＮＮなどのための）画像処理機能を実施するように構成され、そのために最適化されたアクセラレータであり得る。少なくとも１つの実施例では、（１つ又は複数の）ＤＬＡは、ニューラル・ネットワーク・タイプと浮動小数点演算の特定のセット、並びに推論のためにさらに最適化され得る。少なくとも１つの実施例では、（１つ又は複数の）ＤＬＡの設計は、一般的な汎用ＧＰＵよりも多くのミリメートル当たりの性能を提供し得、一般的には、ＣＰＵの性能をはるかに超える。少なくとも１つの実施例では、（１つ又は複数の）ＴＰＵは、たとえば、特徴と重みの両方のためのＩＮＴ８、ＩＮＴ１６、及びＦＰ１６のデータ・タイプをサポートする、単一インスタンスの畳み込み機能、並びにポストプロセッサ機能を含む、いくつかの機能を実施し得る。少なくとも１つの実施例では、（１つ又は複数の）ＤＬＡは、たとえば、限定はしないが、カメラ・センサからのデータを使用する物体識別及び検出のためのＣＮＮ、カメラ・センサからのデータを使用する距離推定のためのＣＮＮ、マイクロフォンからのデータを使用する緊急車両検出及び識別及び検出のためのＣＮＮ、カメラ・センサからのデータを使用する顔認識及び車両所有者識別のためのＣＮＮ、並びに／或いはセキュリティ及び／又は安全関係イベントのためのＣＮＮを含む、様々な機能のいずれかのための処理された又は処理されていないデータに対して、ニューラル・ネットワーク、特にＣＮＮを、迅速に及び効率的に実行し得る。
少なくとも１つの実施例では、（１つ又は複数の）ＤＬＡは、（１つ又は複数の）ＧＰＵ８０８の任意の機能を実施し得、たとえば、推論アクセラレータを使用することによって、設計者は、任意の機能のために（１つ又は複数の）ＤＬＡ又は（１つ又は複数の）ＧＰＵ８０８のいずれかをターゲットにし得る。たとえば、少なくとも１つの実施例では、設計者は、ＣＮＮ及び浮動小数点演算の処理を（１つ又は複数の）ＤＬＡに集中させ、他の機能を（１つ又は複数の）ＧＰＵ８０８及び／又は（１つ又は複数の）アクセラレータ８１４に任せ得る。
少なくとも１つの実施例では、（１つ又は複数の）アクセラレータ８１４は、プログラマブル・ビジョン・アクセラレータ（「ＰＶＡ」：ｐｒｏｇｒａｍｍａｂｌｅ ｖｉｓｉｏｎ ａｃｃｅｌｅｒａｔｏｒ）を含み得、プログラマブル・ビジョン・アクセラレータは、本明細書では代替的にコンピュータ・ビジョン・アクセラレータと呼ばれることがある。少なくとも１つの実施例では、ＰＶＡは、先進ドライバ支援システム（「ＡＤＡＳ」）８３８、自律運転、拡張現実（「ＡＲ」：ａｕｇｍｅｎｔｅｄ ｒｅａｌｉｔｙ）アプリケーション、及び／又は仮想現実（「ＶＲ」：ｖｉｒｔｕａｌ ｒｅａｌｉｔｙ）アプリケーションのために、コンピュータ・ビジョン・アルゴリズムを加速するように設計及び構成され得る。少なくとも１つの実施例では、ＰＶＡは、性能とフレキシビリティとの間の均衡を提供し得る。たとえば、少なくとも１つの実施例では、各ＰＶＡは、たとえば、限定はしないが、任意の数の縮小命令セット・コンピュータ（「ＲＩＳＣ」：ｒｅｄｕｃｅｄ ｉｎｓｔｒｕｃｔｉｏｎ ｓｅｔ ｃｏｍｐｕｔｅｒ）コア、ダイレクト・メモリ・アクセス（「ＤＭＡ」：ｄｉｒｅｃｔ ｍｅｍｏｒｙ ａｃｃｅｓｓ）、及び／又は任意の数のベクトル・プロセッサを含み得る。
少なくとも１つの実施例では、ＲＩＳＣコアは、画像センサ（たとえば、本明細書で説明される任意のカメラの画像センサ）、（１つ又は複数の）画像信号プロセッサなどと対話し得る。少なくとも１つの実施例では、各ＲＩＳＣコアは、任意の量のメモリを含み得る。少なくとも１つの実施例では、ＲＩＳＣコアは、実施例に応じて、いくつかのプロトコルのいずれかを使用し得る。少なくとも１つの実施例では、ＲＩＳＣコアは、リアルタイム・オペレーティング・システム（「ＲＴＯＳ」：ｒｅａｌ－ｔｉｍｅ ｏｐｅｒａｔｉｎｇ ｓｙｓｔｅｍ）を実行し得る。少なくとも１つの実施例では、ＲＩＳＣコアは、１つ又は複数の集積回路デバイス、特定用途向け集積回路（「ＡＳＩＣ」）、及び／又はメモリ・デバイスを使用して実装され得る。たとえば、少なくとも１つの実施例では、ＲＩＳＣコアは、命令キャッシュ及び／又は密結合ＲＡＭを含むことができる。
少なくとも１つの実施例では、ＤＭＡは、ＰＶＡの構成要素が（１つ又は複数の）ＣＰＵ８０６とは無関係にシステム・メモリにアクセスすることを可能にし得る。少なくとも１つの実施例では、ＤＭＡは、限定はしないが、多次元アドレッシング及び／又はサーキュラ・アドレッシングをサポートすることを含む、ＰＶＡに最適化を提供するために使用される任意の数の特徴をサポートし得る。少なくとも１つの実施例では、ＤＭＡは、６つ又はそれ以上のアドレッシング次元までをサポートし得、これらのアドレッシング次元は、限定はしないが、ブロック幅、ブロック高さ、ブロック深度、水平ブロック・ステッピング、垂直ブロック・ステッピング、及び／又は深度ステッピングを含み得る。
少なくとも１つの実施例では、ベクトル・プロセッサは、コンピュータ・ビジョン・アルゴリズムのためのプログラミングを効率的でフレキシブルに実行するように設計され得るプログラマブル・プロセッサであり、信号処理能力を提供し得る。少なくとも１つの実施例では、ＰＶＡは、ＰＶＡコアと、２つのベクトル処理サブシステム・パーティションとを含み得る。少なくとも１つの実施例では、ＰＶＡコアは、プロセッサ・サブシステム、（１つ又は複数の）ＤＭＡエンジン（たとえば、２つのＤＭＡエンジン）、及び／又は他の周辺機器を含み得る。少なくとも１つの実施例では、ベクトル処理サブシステムは、ＰＶＡの１次処理エンジンとして動作し得、ベクトル処理ユニット（「ＶＰＵ」：ｖｅｃｔｏｒ ｐｒｏｃｅｓｓｉｎｇ ｕｎｉｔ）、命令キャッシュ、及び／又はベクトル・メモリ（たとえば、「ＶＭＥＭ」：ｖｅｃｔｏｒ ｍｅｍｏｒｙ）を含み得る。少なくとも１つの実施例では、ＶＰＵコアは、たとえば、単一命令複数データ（「ＳＩＭＤ」：ｓｉｎｇｌｅ ｉｎｓｔｒｕｃｔｉｏｎ，ｍｕｌｔｉｐｌｅ ｄａｔａ）、超長命令語（「ＶＬＩＷ」）のデジタル信号プロセッサなど、デジタル信号プロセッサを含み得る。少なくとも１つの実施例では、ＳＩＭＤとＶＬＩＷとの組合せが、スループット及びスピードを向上させ得る。
少なくとも１つの実施例では、ベクトル・プロセッサの各々は、命令キャッシュを含み得、専用メモリに結合され得る。その結果、少なくとも１つの実施例では、ベクトル・プロセッサの各々は、他のベクトル・プロセッサとは無関係に実行するように構成され得る。少なくとも１つの実施例では、特定のＰＶＡ中に含まれるベクトル・プロセッサは、データ並列処理を採用するように構成され得る。たとえば、少なくとも１つの実施例では、単一のＰＶＡ中に含まれる複数のベクトル・プロセッサは、共通のコンピュータ・ビジョン・アルゴリズムを、ただし画像の異なる領域上で実行し得る。少なくとも１つの実施例では、特定のＰＶＡ中に含まれるベクトル・プロセッサは、異なるコンピュータ・ビジョン・アルゴリズムを１つの画像上で同時に実行するか、さらには、異なるアルゴリズムを連続した画像又は画像の部分上で実行し得る。少なくとも１つの実施例では、とりわけ、任意の数のＰＶＡがハードウェア加速クラスタ中に含まれ得、任意の数のベクトル・プロセッサが各ＰＶＡ中に含まれ得る。少なくとも１つの実施例では、ＰＶＡは、システムの全体的な安全性を向上させるために、追加のエラー訂正コード（「ＥＣＣ」：Ｅｒｒｏｒ Ｃｏｒｒｅｃｔｉｏｎ Ｃｏｄｅ）メモリを含み得る。
少なくとも１つの実施例では、（１つ又は複数の）アクセラレータ８１４は、（１つ又は複数の）アクセラレータ８１４のための高帯域幅、低レイテンシのＳＲＡＭを提供するために、コンピュータ・ビジョン・ネットワーク・オンチップと、スタティック・ランダム・アクセス・メモリ（「ＳＲＡＭ」）とを含み得る。少なくとも１つの実施例では、オンチップ・メモリは、たとえば、限定はしないが、８つのフィールド構成可能メモリ・ブロックを含む少なくとも４ＭＢのＳＲＡＭを含み得、これは、ＰＶＡとＤＬＡの両方によってアクセス可能であり得る。少なくとも１つの実施例では、メモリ・ブロックの各ペアは、先進周辺バス（「ＡＰＢ」：ａｄｖａｎｃｅｄ ｐｅｒｉｐｈｅｒａｌ ｂｕｓ）インターフェースと、構成回路要素と、コントローラと、マルチプレクサとを含み得る。少なくとも１つの実施例では、任意のタイプのメモリが使用され得る。少なくとも１つの実施例では、ＰＶＡ及びＤＬＡは、メモリへの高速アクセスをＰＶＡ及びＤＬＡに提供するバックボーンを介して、メモリにアクセスし得る。少なくとも１つの実施例では、バックボーンは、ＰＶＡ及びＤＬＡを（たとえば、ＡＰＢを使用して）メモリに相互接続するコンピュータ・ビジョン・ネットワーク・オンチップを含み得る。
少なくとも１つの実施例では、コンピュータ・ビジョン・ネットワーク・オンチップは、任意の制御信号／アドレス／データの送信の前に、ＰＶＡとＤＬＡの両方が準備信号及び有効信号を提供すると決定するインターフェースを含み得る。少なくとも１つの実施例では、インターフェースは、制御信号／アドレス／データを送信するための別個の位相及び別個のチャネル、並びに継続的なデータ転送のためのバーストタイプ通信を提供し得る。少なくとも１つの実施例では、インターフェースは、国際標準化機構（「ＩＳＯ」：Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｏｒｇａｎｉｚａｔｉｏｎ ｆｏｒ Ｓｔａｎｄａｒｄｉｚａｔｉｏｎ）２６２６２又は国際電気標準会議（「ＩＥＣ」：Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｅｌｅｃｔｒｏｔｅｃｈｎｉｃａｌ Ｃｏｍｍｉｓｓｉｏｎ）６１５０８の規格に準拠し得るが、他の規格及びプロトコルが使用され得る。
少なくとも１つの実施例では、（１つ又は複数の）ＳｏＣ８０４のうちの１つ又は複数は、リアルタイム・レイ・トレーシング・ハードウェア・アクセラレータを含み得る。少なくとも１つの実施例では、リアルタイム・レイ・トレーシング・ハードウェア・アクセラレータは、ＲＡＤＡＲ信号解釈のための、音伝搬合成及び／又は分析のための、ＳＯＮＡＲシステムのシミュレーションのための、一般波形伝搬シミュレーションのための、ローカリゼーション及び／又は他の機能を目的としたＬＩＤＡＲデータとの比較のための、並びに／或いは他の使用法のための、リアルタイムの視覚化シミュレーションを生成するために、（たとえば、世界モデル内の）物体の位置及び範囲を迅速に及び効率的に決定するために使用され得る。
少なくとも１つの実施例では、（１つ又は複数の）アクセラレータ８１４は、自律運転のための多様な使用法を有することができる。少なくとも１つの実施例では、ＰＶＡは、ＡＤＡＳ及び自律車両における主要な処理段階のために使用され得る。少なくとも１つの実施例では、ＰＶＡの能力は、低電力及び低レイテンシでの予測可能な処理を必要とするアルゴリズム・ドメインについて良好にマッチする。言い換えれば、ＰＶＡは、低レイテンシ及び低電力とともに予測可能なランタイムを必要とし得る半稠密（ｓｅｍｉ－ｄｅｎｓｅ）又は稠密な規則的算出に対して、小さいデータ・セット上でも、良好に機能する。少なくとも１つの実施例では、車両８００中など、ＰＶＡは、それらが、物体検出及び整数数値の演算において効率的であり得るので、従来のコンピュータ・ビジョン・アルゴリズムを稼働するように設計され得る。
たとえば、技術の少なくとも１つの実施例によれば、ＰＶＡは、コンピュータ・ステレオ・ビジョンを実施するために使用される。少なくとも１つの実施例では、いくつかの実例においてセミグローバルなマッチング・ベースのアルゴリズムが使用され得るが、これは、限定するものではない。少なくとも１つの実施例では、レベル３～５の自律運転のためのアプリケーションは、動き推定／ステレオ・マッチング（たとえば、動きからの構造（ｓｔｒｕｃｔｕｒｅ ｆｒｏｍ ｍｏｔｉｏｎ）、歩行者認識、車線検出など）をオンザフライで使用する。少なくとも１つの実施例では、ＰＶＡは、２つの単眼カメラからの入力に対して、コンピュータ・ステレオ・ビジョン機能を実施し得る。
少なくとも１つの実施例では、ＰＶＡは、高密度オプティカル・フローを実施するために使用され得る。たとえば、少なくとも１つの実施例では、ＰＶＡは、未加工のＲＡＤＡＲデータを（たとえば、４Ｄの高速フーリエ変換を使用して）処理して、処理されたＲＡＤＡＲデータを提供することができる。少なくとも１つの実施例では、ＰＶＡは、たとえば、処理された飛行時間データを提供するために、未加工の飛行時間データを処理することによって、飛行時間の深度処理のために使用される。
少なくとも１つの実施例では、ＤＬＡは、たとえば、限定はしないが、各物体検出についての信頼性の測度を出力するニューラル・ネットワークを含む、制御及び運転の安全性を向上させるための任意のタイプのネットワークを稼働するために使用され得る。少なくとも１つの実施例では、信頼性は、他の検出と比較した各検出の確率として、又はその相対的な「重み」を提供するものとして表されるか、又は解釈され得る。少なくとも１つの実施例では、信頼性測度は、システムが、どの検出が偽陽性（ｆａｌｓｅ ｐｏｓｉｔｉｖｅ）検出ではなく真陽性（ｔｒｕｅ ｐｏｓｉｔｉｖｅ）検出と見なされるべきであるかに関して、さらなる判定を行うことを可能にする。少なくとも１つの実施例では、システムは、信頼性についてのしきい値を設定し、しきい値を超える検出のみを真陽性検出と見なし得る。自動緊急ブレーキ（「ＡＥＢ」：ａｕｔｏｍａｔｉｃ ｅｍｅｒｇｅｎｃｙ ｂｒａｋｉｎｇ）システムが使用される実施例では、偽陽性検出は、車両が自動的に緊急ブレーキをかけることを引き起こし、これは明らかに望ましくない。少なくとも１つの実施例では、非常に信頼性の高い検出が、ＡＥＢのためのトリガと見なされ得る。少なくとも１つの実施例では、ＤＬＡは、信頼性値を回帰するためにニューラル・ネットワークを稼働し得る。少なくとも１つの実施例では、ニューラル・ネットワークは、とりわけ、バウンディング・ボックスの次元、（たとえば、別のサブシステムから）取得されたグランド・プレーン推定値、車両８００の向きと相関する（１つ又は複数の）ＩＭＵセンサ８６６からの出力、距離、ニューラル・ネットワーク及び／又は他のセンサ（たとえば、（１つ又は複数の）ＬＩＤＡＲセンサ８６４又は（１つ又は複数の）ＲＡＤＡＲセンサ８６０）から取得された物体の３Ｄロケーション推定値など、パラメータの少なくとも一部のサブセットを、その入力としてとり得る。
少なくとも１つの実施例では、（１つ又は複数の）ＳｏＣ８０４のうちの１つ又は複数は、（１つ又は複数の）データ・ストア８１６（たとえば、メモリ）を含み得る。少なくとも１つの実施例では、（１つ又は複数の）データ・ストア８１６は、（１つ又は複数の）ＳｏＣ８０４のオンチップ・メモリであり得、このオンチップ・メモリは、（１つ又は複数の）ＧＰＵ８０８及び／又はＤＬＡ上で実行されるべきニューラル・ネットワークを記憶し得る。少なくとも１つの実施例では、（１つ又は複数の）データ・ストア８１６は、容量が、冗長性及び安全性のためにニューラル・ネットワークの複数のインスタンスを記憶するのに十分なほど大きくなり得る。少なくとも１つの実施例では、（１つ又は複数の）データ・ストア８１６は、（１つ又は複数の）Ｌ２又はＬ３キャッシュを備え得る。
少なくとも１つの実施例では、（１つ又は複数の）ＳｏＣ８０４のうちの１つ又は複数は、（１つ又は複数の）任意の数のプロセッサ８１０（たとえば、組み込みプロセッサ）を含み得る。少なくとも１つの実施例では、（１つ又は複数の）プロセッサ８１０は、ブート電力並びに管理機能及び関係するセキュリティ執行に対処するための専用プロセッサ及びサブシステムであり得る、ブート及び電力管理プロセッサを含み得る。少なくとも１つの実施例では、ブート及び電力管理プロセッサは、（１つ又は複数の）ＳｏＣ８０４のブート・シーケンスの一部であり得、ランタイム電力管理サービスを提供し得る。少なくとも１つの実施例では、ブート電力及び管理プロセッサは、クロック及び電圧プログラミング、システム低電力状態移行の支援、（１つ又は複数の）ＳｏＣ８０４の熱及び温度センサの管理、並びに／又は（１つ又は複数の）ＳｏＣ８０４の電力状態の管理を提供し得る。少なくとも１つの実施例では、各温度センサは、その出力周波数が温度に比例するリング発振器として実装され得、（１つ又は複数の）ＳｏＣ８０４は、リング発振器を使用して、（１つ又は複数の）ＣＰＵ８０６、（１つ又は複数の）ＧＰＵ８０８、及び／又は（１つ又は複数の）アクセラレータ８１４の温度を検出し得る。少なくとも１つの実施例では、温度がしきい値を超えると決定された場合、ブート及び電力管理プロセッサは、温度障害ルーチンに入り、（１つ又は複数の）ＳｏＣ８０４を低電力状態にし、及び／又は車両８００を運転手－安全停止モード（ｃｈａｕｆｆｅｕｒ ｔｏ ｓａｆｅ ｓｔｏｐ ｍｏｄｅ）にし（たとえば、車両８００を安全停止させ）得る。
少なくとも１つの実施例では、（１つ又は複数の）プロセッサ８１０は、オーディオ処理エンジンとして働き得る組み込みプロセッサのセットをさらに含み得、オーディオ処理エンジンは、複数のインターフェースを介した多チャネル・オーディオ、及び幅広くフレキシブルな様々なオーディオＩ／Ｏインターフェースのための、完全なハードウェア・サポートを可能にする、オーディオ・サブシステムであり得る。少なくとも１つの実施例では、オーディオ処理エンジンは、専用ＲＡＭをもつデジタル信号プロセッサをもつ専用プロセッサ・コアである。
少なくとも１つの実施例では、（１つ又は複数の）プロセッサ８１０は、低電力センサ管理及び立ち上げ使用事例をサポートするのに必要なハードウェア特徴を提供し得る常時オン・プロセッサ・エンジンをさらに含み得る。少なくとも１つの実施例では、常時オン・プロセッサ・エンジンは、限定はしないが、プロセッサ・コア、密結合ＲＡＭ、サポート周辺機器（たとえば、タイマ及び割込みコントローラ）、様々なＩ／Ｏコントローラ周辺機器、及びルーティング論理を含み得る。
少なくとも１つの実施例では、（１つ又は複数の）プロセッサ８１０は、安全クラスタ・エンジンをさらに含み得、安全クラスタ・エンジンは、限定はしないが、自動車用途のための安全管理に対処するための専用プロセッサ・サブシステムを含む。少なくとも１つの実施例では、安全クラスタ・エンジンは、限定はしないが、２つ又はそれ以上のプロセッサ・コア、密結合ＲＡＭ、サポート周辺機器（たとえば、タイマ、割込みコントローラなど）、及び／又はルーティング論理を含み得る。安全モードでは、２つ又はそれ以上のコアは、少なくとも１つの実施例では、ロックステップ・モードで動作し、それらの動作間で何らかの差を検出するための比較論理をもつ単一コアとして機能し得る。少なくとも１つの実施例では、（１つ又は複数の）プロセッサ８１０は、リアルタイム・カメラ・エンジンをさらに含み得、リアルタイム・カメラ・エンジンは、限定はしないが、リアルタイム・カメラ管理に対処するための専用プロセッサ・サブシステムを含み得る。少なくとも１つの実施例では、（１つ又は複数の）プロセッサ８１０は、高ダイナミック・レンジ信号プロセッサをさらに含み得、高ダイナミック・レンジ信号プロセッサは、限定はしないが、カメラ処理パイプラインの一部であるハードウェア・エンジンである画像信号プロセッサを含み得る。
少なくとも１つの実施例では、（１つ又は複数の）プロセッサ８１０は、ビデオ画像合成器を含み得、ビデオ画像合成器は、プレーヤ・ウィンドウのための最終画像を作り出すためにビデオ再生アプリケーションによって必要とされるビデオ後処理機能を実装する（たとえば、マイクロプロセッサ上に実装された）処理ブロックであり得る。少なくとも１つの実施例では、ビデオ画像合成器は、（１つ又は複数の）広角カメラ８７０、（１つ又は複数の）周囲カメラ８７４、及び／又は（１つ又は複数の）キャビン内監視カメラ・センサに対して、レンズゆがみ補正を実施し得る。少なくとも１つの実施例では、（１つ又は複数の）キャビン内監視カメラ・センサは、好ましくは、キャビン内のイベントを識別し、それに応じて応答するように構成された、ＳｏＣ８０４の別のインスタンス上で稼働しているニューラル・ネットワークによって監視される。少なくとも１つの実施例では、キャビン内システムは、限定はしないが、セルラー・サービスをアクティブ化し、電話をかけ、電子メールを書き、車両の行き先を変更し、車両のインフォテイメント・システム及び設定をアクティブ化又は変更し、或いはボイス作動式のウェブ・サーフィンを提供するために、読唇を実施し得る。少なくとも１つの実施例では、いくつかの機能は、車両が自律モードで動作しているときにドライバにとって利用可能であり、他の場合に使用不可にされる。
少なくとも１つの実施例では、ビデオ画像合成器は、空間と時間の両方のノイズ低減のための拡張された時間的ノイズ低減を含み得る。たとえば、少なくとも１つの実施例では、ビデオ中で動きが発生した場合、ノイズ低減が空間情報に適切に重み付けし、隣接するフレームによって提供される情報の重みを減少させる。少なくとも１つの実施例では、画像又は画像の一部分が動きを含まない場合、ビデオ画像合成器によって実施される時間的ノイズ低減は、前の画像からの情報を使用して、現在の画像中のノイズを低減し得る。
少なくとも１つの実施例では、ビデオ画像合成器はまた、入力されたステレオ・レンズ・フレームに対してステレオ平行化（ｓｔｅｒｅｏ ｒｅｃｔｉｆｉｃａｔｉｏｎ）を実施するように構成され得る。少なくとも１つの実施例では、ビデオ画像合成器は、オペレーティング・システム・デスクトップが使用中であるとき、ユーザ・インターフェース合成のためにさらに使用され得、（１つ又は複数の）ＧＰＵ８０８は、新しい表面を継続的にレンダリングすることを必要とされない。少なくとも１つの実施例では、（１つ又は複数の）ＧＰＵ８０８が電源投入され、アクティブであり、３Ｄレンダリングを行っているとき、ビデオ画像合成器は、性能及び応答性を改善するために（１つ又は複数の）ＧＰＵ８０８をオフロードするために使用され得る。
少なくとも１つの実施例では、（１つ又は複数の）ＳｏＣ８０４のうちの１つ又は複数のＳｏＣは、カメラからのビデオ及び入力を受信するためのモバイル・インダストリ・プロセッサ・インターフェース（「ＭＩＰＩ」：ｍｏｂｉｌｅ ｉｎｄｕｓｔｒｙ ｐｒｏｃｅｓｓｏｒ ｉｎｔｅｒｆａｃｅ）カメラ・シリアル・インターフェース、高速インターフェース、並びに／又はカメラ及び関係するピクセル入力機能のために使用され得るビデオ入力ブロックをさらに含み得る。少なくとも１つの実施例では、（１つ又は複数の）ＳｏＣ８０４のうちの１つ又は複数は、（１つ又は複数の）入力／出力コントローラをさらに含み得、（１つ又は複数の）入力／出力コントローラは、ソフトウェアによって制御され得、特定の役割にコミットされていないＩ／Ｏ信号を受信するために使用され得る。
少なくとも１つの実施例では、（１つ又は複数の）ＳｏＣ８０４のうちの１つ又は複数は、周辺機器、オーディオ・エンコーダ／デコーダ（「コーデック」）、電力管理、及び／又は他のデバイスとの通信を可能にするための広範囲の周辺インターフェースをさらに含み得る。少なくとも１つの実施例では、（１つ又は複数の）ＳｏＣ８０４は、（たとえば、ギガビット・マルチメディア・シリアル・リンク及びイーサネット・チャネルを介して接続された）カメラからのデータ、センサ（たとえば、イーサネット・チャネルを介して接続され得る（１つ又は複数の）ＬＩＤＡＲセンサ８６４、（１つ又は複数の）ＲＡＤＡＲセンサ８６０など）からのデータ、バス８０２からのデータ（たとえば、車両８００のスピード、ハンドル位置など）、（たとえば、イーサネット・バス又はＣＡＮバスを介して接続された）（１つ又は複数の）ＧＮＳＳセンサ８５８からのデータなどを処理するために使用され得る。少なくとも１つの実施例では、（１つ又は複数の）ＳｏＣ８０４のうちの１つ又は複数のＳｏＣは、専用の高性能大容量ストレージ・コントローラをさらに含み得、この大容量ストレージ・コントローラは、それら自体のＤＭＡエンジンを含み得、ルーチン・データ管理タスクから（１つ又は複数の）ＣＰＵ８０６を解放するために使用され得る。
少なくとも１つの実施例では、（１つ又は複数の）ＳｏＣ８０４は、自動化レベル３～５に及ぶフレキシブルなアーキテクチャをもつエンドツーエンド・プラットフォームであり得、それにより、多様性及び冗長性のためにコンピュータ・ビジョン及びＡＤＡＳ技法を活用し、効率的に利用する包括的な機能的安全性アーキテクチャを提供し、フレキシブルで、信頼できる運転ソフトウェア・スタックのためのプラットフォームを、深層学習ツールとともに提供し得る。少なくとも１つの実施例では、（１つ又は複数の）ＳｏＣ８０４は、従来のシステムよりも高速で、信頼でき、さらにはエネルギー効率及び空間効率が高くなり得る。たとえば、少なくとも１つの実施例では、（１つ又は複数の）アクセラレータ８１４は、（１つ又は複数の）ＣＰＵ８０６、（１つ又は複数の）ＧＰＵ８０８、及び（１つ又は複数の）データ・ストア８１６と組み合わせられたとき、レベル３～５の自律車両のための高速で効率的なプラットフォームを提供し得る。
少なくとも１つの実施例では、コンピュータ・ビジョン・アルゴリズムはＣＰＵ上で実行され得、このアルゴリズムは、多種多様な視覚データにわたって多種多様な処理アルゴリズムを実行するために、Ｃなどの高レベル・プログラミング言語を使用して構成され得る。しかしながら、少なくとも１つの実施例では、ＣＰＵは、しばしば、たとえば、実行時間及び電力消費に関係する要件など、多くのコンピュータ・ビジョン・アプリケーションの性能要件を満たすことができない。少なくとも１つの実施例では、多くのＣＰＵは、車両内ＡＤＡＳアプリケーション及び実際のレベル３～５の自律車両において使用される、複雑な物体検出アルゴリズムをリアルタイムで実行することができない。
本明細書で説明される実施例は、複数のニューラル・ネットワークが同時に及び／又は順次実施されることを可能にし、レベル３～５の自律運転機能性を可能にするために結果が一緒に組み合わせられることを可能にする。たとえば、少なくとも１つの実施例では、ＤＬＡ又は個別ＧＰＵ（たとえば、（１つ又は複数の）ＧＰＵ８２０）上で実行しているＣＮＮは、テキスト及び単語認識を含み得、ニューラル・ネットワークがそれについて特に訓練されていない標識を含む交通標識を読み、理解することを可能にする。少なくとも１つの実施例では、ＤＬＡは、標識を識別し、解釈し、標識の意味的理解を提供することができ、その意味的理解を、ＣＰＵコンプレックス上で稼働している経路計画モジュールに渡すことができる、ニューラル・ネットワークをさらに含み得る。
少なくとも１つの実施例では、レベル３、４、又は５の運転に関して、複数のニューラル・ネットワークが同時に稼働され得る。たとえば、少なくとも１つの実施例では、電光とともに、「注意：点滅光は凍結状態（ｉｃｙ ｃｏｎｄｉｔｉｏｎ）を示す」と記載した警告標識が、いくつかのニューラル・ネットワークによって独立して又は集合的に解釈され得る。少なくとも１つの実施例では、そのような警告標識自体は、第１の導入されたニューラル・ネットワーク（たとえば、訓練されたニューラル・ネットワーク）によって交通標識として識別され得、「点滅光は凍結状態を示す」というテキストは、第２の導入されたニューラル・ネットワークによって解釈され得、第２の導入されたニューラル・ネットワークは、点滅光が検出されたとき、凍結状態が存在することを車両の（好ましくはＣＰＵコンプレックス上で実行している）経路計画ソフトウェアに知らせる。少なくとも１つの実施例では、点滅光は、第３の導入されたニューラル・ネットワークを複数のフレームにわたって動作させることによって識別され得、第３の導入されたニューラル・ネットワークが、車両の経路計画ソフトウェアに点滅光の存在（又は不在）を知らせる。少なくとも１つの実施例では、３つすべてのニューラル・ネットワークが、ＤＬＡ内及び／又は（１つ又は複数の）ＧＰＵ８０８上などで同時に稼働し得る。
少なくとも１つの実施例では、顔認識及び車両所有者識別のためのＣＮＮが、カメラ・センサからのデータを使用して、車両８００の承認済みのドライバ及び／又は所有者の存在を識別し得る。少なくとも１つの実施例では、所有者がドライバ・ドアに近づき、ライトをオンにしたときに車両を解錠し、セキュリティ・モードでは、所有者がそのような車両から離れたときにそのような車両を使用不可にするために、常時オン・センサ処理エンジンが使用され得る。このようにして、（１つ又は複数の）ＳｏＣ８０４は、窃盗及び／又は自動車乗っ取りに対するセキュリティを提供する。
少なくとも１つの実施例では、緊急車両検出及び識別のためのＣＮＮが、マイクロフォン８９６からのデータを使用して、緊急車両のサイレンを検出及び識別し得る。少なくとも１つの実施例では、（１つ又は複数の）ＳｏＣ８０４は、環境及び市街地の音を分類し、並びに視覚データを分類するために、ＣＮＮを使用する。少なくとも１つの実施例では、ＤＬＡ上で稼働しているＣＮＮは、緊急車両が近づいてくる相対的なスピードを（たとえば、ドップラ効果を使用することによって）識別するように訓練される。少なくとも１つの実施例では、ＣＮＮは、（１つ又は複数の）ＧＮＳＳセンサ８５８によって識別されるように、車両が動作している地域に特有の緊急車両を識別するようにも訓練され得る。少なくとも１つの実施例では、欧州で動作しているときは、ＣＮＮは欧州のサイレンを検出しようとし、北米にあるときは、ＣＮＮは北米のサイレンのみを識別しようとする。少なくとも１つの実施例では、緊急車両が検出されると、緊急車両安全ルーチンを実行し、車両の速度を落とし、道路脇に寄せ、車両を停止させ、及び／又は緊急車両が通過するまで、（１つ又は複数の）超音波センサ８６２を併用して車両をアイドリングするために、制御プログラムが使用され得る。
少なくとも１つの実施例では、車両８００は、（１つ又は複数の）ＣＰＵ８１８（たとえば、（１つ又は複数の）個別ＣＰＵ、又は（１つ又は複数の）ｄＣＰＵ）を含み得、（１つ又は複数の）ＣＰＵ８１８は、高速相互接続（たとえば、ＰＣＩｅ）を介して（１つ又は複数の）ＳｏＣ８０４に結合され得る。少なくとも１つの実施例では、（１つ又は複数の）ＣＰＵ８１８は、たとえばＸ８６プロセッサを含み得る。（１つ又は複数の）ＣＰＵ８１８は、たとえば、ＡＤＡＳセンサと（１つ又は複数の）ＳｏＣ８０４との間で潜在的に一貫性のない結果を調停すること、並びに／或いは、（１つ又は複数の）コントローラ８３６及び／又はチップ上のインフォテイメント・システム（「インフォテイメントＳｏＣ」）８３０のステータス及び健全性を監視することを含む、様々な機能のいずれかを実施するために使用され得る。
少なくとも１つの実施例では、車両８００は、（１つ又は複数の）ＧＰＵ８２０（たとえば、（１つ又は複数の）個別ＧＰＵ、又は（１つ又は複数の）ｄＧＰＵ）を含み得、（１つ又は複数の）ＧＰＵ８２０は、高速相互接続（たとえば、ＮＶＩＤＩＡのＮＶＬＩＮＫチャネル）を介して（１つ又は複数の）ＳｏＣ８０４に結合され得る。少なくとも１つの実施例では、（１つ又は複数の）ＧＰＵ８２０は、冗長な及び／又は異なるニューラル・ネットワークを実行することなどによって、追加の人工知能機能性を提供し得、車両８００のセンサからの入力（たとえば、センサ・データ）に少なくとも部分的に基づいて、ニューラル・ネットワークを訓練及び／又は更新するために使用され得る。
少なくとも１つの実施例では、車両８００は、ネットワーク・インターフェース８２４をさらに含み得、ネットワーク・インターフェース８２４は、限定はしないが、（１つ又は複数の）ワイヤレス・アンテナ８２６（たとえば、セルラー・アンテナ、Ｂｌｕｅｔｏｏｔｈアンテナなど、異なる通信プロトコルのための１つ又は複数のワイヤレス・アンテナ）を含み得る。少なくとも１つの実施例では、ネットワーク・インターフェース８２４は、他の車両及び／又はコンピューティング・デバイス（たとえば、乗客のクライアント・デバイス）との（たとえば、（１つ又は複数の）サーバ及び／又は他のネットワーク・デバイスとの）インターネット・クラウド・サービスへのワイヤレス接続性を可能にするために使用され得る。少なくとも１つの実施例では、他の車両と通信するために、車両８００と他の車両との間に直接リンクが確立され得、及び／又は（たとえば、ネットワークにわたって及びインターネットを介して）間接リンクが確立され得る。少なくとも１つの実施例では、直接リンクは、車両間通信リンクを使用して提供され得る。少なくとも１つの実施例では、車両間通信リンクは、車両８００の近傍の車両（たとえば、車両８００の前方、側方、及び／又は後方の車両）に関する情報を車両８００に提供し得る。少なくとも１つの実施例では、そのような前述の機能性は、車両８００の協調型適応走行制御機能性の一部であり得る。
少なくとも１つの実施例では、ネットワーク・インターフェース８２４は、変調及び復調機能性を提供し、（１つ又は複数の）コントローラ８３６がワイヤレス・ネットワークを介して通信することを可能にする、ＳｏＣを含み得る。少なくとも１つの実施例では、ネットワーク・インターフェース８２４は、ベースバンドから無線周波数へのアップ・コンバージョン、及び無線周波数からベースバンドへのダウン・コンバージョンのための無線周波数フロント・エンドを含み得る。少なくとも１つの実施例では、周波数コンバージョンは、任意の技術的に実現可能な様式で実施され得る。たとえば、周波数コンバージョンは、よく知られているプロセスを通して、及び／又はスーパー・ヘテロダイン・プロセスを使用して実施され得る。少なくとも１つの実施例では、無線周波数フロント・エンド機能性は、別個のチップによって提供され得る。少なくとも１つの実施例では、ネットワーク・インターフェースは、ＬＴＥ、ＷＣＤＭＡ（登録商標）、ＵＭＴＳ、ＧＳＭ、ＣＤＭＡ２０００、Ｂｌｕｅｔｏｏｔｈ、Ｂｌｕｅｔｏｏｔｈ ＬＥ、Ｗｉ－Ｆｉ、Ｚ波、ＺｉｇＢｅｅ、ＬｏＲａＷＡＮ、及び／又は他のワイヤレス・プロトコルを介して通信するためのワイヤレス機能性を含み得る。
少なくとも１つの実施例では、車両８００は、（１つ又は複数の）データ・ストア８２８をさらに含み得、（１つ又は複数の）データ・ストア８２８は、限定はしないが、オフチップ（たとえば、（１つ又は複数の）ＳｏＣ８０４上にない）ストレージを含み得る。少なくとも１つの実施例では、（１つ又は複数の）データ・ストア８２８は、限定はしないが、ＲＡＭ、ＳＲＡＭ、ダイナミック・ランダム・アクセス・メモリ（「ＤＲＡＭ」）、ビデオ・ランダム・アクセス・メモリ（「ＶＲＡＭ」：ｖｉｄｅｏ ｒａｎｄｏｍ－ａｃｃｅｓｓ ｍｅｍｏｒｙ）、フラッシュ・メモリ、ハード・ディスク、並びに／或いは、少なくとも１ビットのデータを記憶し得る他の構成要素及び／又はデバイスを含む、１つ又は複数のストレージ要素を含み得る。
少なくとも１つの実施例では、車両８００は、マッピング、知覚、占有グリッド生成、及び／又は経路計画機能を支援するために、（１つ又は複数の）ＧＮＳＳセンサ８５８（たとえば、ＧＰＳ及び／又は補助ＧＰＳセンサ）をさらに含み得る。少なくとも１つの実施例では、たとえば、限定はしないが、イーサネット－シリアル（たとえば、ＲＳ－２３２）ブリッジをもつユニバーサル・シリアル・バス（「ＵＳＢ」：Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）コネクタを使用するＧＰＳを含む、任意の数のＧＮＳＳセンサ８５８が使用され得る。
少なくとも１つの実施例では、車両８００は、（１つ又は複数の）ＲＡＤＡＲセンサ８６０をさらに含み得る。少なくとも１つの実施例では、（１つ又は複数の）ＲＡＤＡＲセンサ８６０は、暗闇及び／又は厳しい気象条件においてさえ、長距離車両検出のために車両８００によって使用され得る。少なくとも１つの実施例では、ＲＡＤＡＲの機能的安全性レベルは、ＡＳＩＬ Ｂであり得る。少なくとも１つの実施例では、（１つ又は複数の）ＲＡＤＡＲセンサ８６０は、いくつかの実例では、未加工のデータにアクセスするためのイーサネット・チャネルへのアクセスとともに、制御のために（たとえば、（１つ又は複数の）ＲＡＤＡＲセンサ８６０によって生成されたデータを送信するために）、及び物体追跡データにアクセスするために、ＣＡＮバス及び／又はバス８０２を使用し得る。少なくとも１つの実施例では、多種多様なＲＡＤＡＲセンサ・タイプが使用され得る。たとえば、限定はしないが、（１つ又は複数の）ＲＡＤＡＲセンサ８６０は、前方、後方、及び側方のＲＡＤＡＲ使用に好適であり得る。少なくとも１つの実施例では、（１つ又は複数の）ＲＡＤＡＲセンサ８６０のうちの１つ又は複数のセンサは、パルス・ドップラＲＡＤＡＲセンサである。
少なくとも１つの実施例では、（１つ又は複数の）ＲＡＤＡＲセンサ８６０は、狭視野の長距離、広視野の短距離、短距離側方カバレージなど、異なる構成を含み得る。少なくとも１つの実施例では、長距離ＲＡＤＡＲは、適応走行制御機能性のために使用され得る。少なくとも１つの実施例では、長距離ＲＡＤＡＲシステムは、２５０ｍ（メートル）範囲内などの、２つ又はそれ以上の独立した走査によって実現される広い視野を提供し得る。少なくとも１つの実施例では、（１つ又は複数の）ＲＡＤＡＲセンサ８６０は、静的物体と移動している物体とを区別するのを助け得、緊急ブレーキ支援及び前方衝突警告のためにＡＤＡＳシステム８３８によって使用され得る。少なくとも１つの実施例では、長距離ＲＡＤＡＲシステム中に含まれる（１つ又は複数の）センサ８６０は、限定はしないが、複数の（たとえば、６つ又はそれ以上の）固定ＲＡＤＡＲアンテナ、並びに高速ＣＡＮ及びＦｌｅｘＲａｙインターフェースをもつモノスタティック・マルチモーダルＲＡＤＡＲを含み得る。少なくとも１つの実施例では、６つのアンテナがある場合、中央の４アンテナは、隣接する車線におけるトラフィックからの干渉が最小の状態で、より高速で車両８００の周囲を記録するように設計された、集束ビーム・パターンを作成し得る。少なくとも１つの実施例では、別の２つのアンテナは、視野を拡大し、これは、車両８００の車線に入るか又はそこを出る車両を迅速に検出することを可能にし得る。
少なくとも１つの実施例では、中距離ＲＡＤＡＲシステムは、一実例として、最高１６０ｍ（前方）又は８０ｍ（後方）の範囲と、最高４２度（前方）又は１５０度（後方）の視野とを含み得る。少なくとも１つの実施例では、短距離ＲＡＤＡＲシステムは、限定はしないが、後方バンパの両端部に設置されるように設計された任意の数のＲＡＤＡＲセンサ８６０を含み得る。後方バンパの両端部に設置されたとき、少なくとも１つの実施例では、ＲＡＤＡＲセンサ・システムは、後方向及び車両の隣の死角を常に監視する２本のビームを作成し得る。少なくとも１つの実施例では、短距離ＲＡＤＡＲシステムは、死角検出及び／又は車線変更支援のために、ＡＤＡＳシステム８３８において使用され得る。
少なくとも１つの実施例では、車両８００は、（１つ又は複数の）超音波センサ８６２をさらに含み得る。少なくとも１つの実施例では、車両８００の前方、後方、及び／又は側方ロケーションにおいて位置決めされ得る（１つ又は複数の）超音波センサ８６２は、駐車支援のために、並びに／又は占有グリッドを作成及び更新するために、使用され得る。少なくとも１つの実施例では、多種多様な（１つ又は複数の）超音波センサ８６２が使用され得、異なる検出範囲（たとえば、２．５ｍ、４ｍ）について（１つ又は複数の）異なる超音波センサ８６２が使用され得る。少なくとも１つの実施例では、（１つ又は複数の）超音波センサ８６２は、機能的安全性レベルのＡＳＩＬ Ｂにおいて動作し得る。
少なくとも１つの実施例では、車両８００は、（１つ又は複数の）ＬＩＤＡＲセンサ８６４を含み得る。少なくとも１つの実施例では、（１つ又は複数の）ＬＩＤＡＲセンサ８６４は、物体及び歩行者検出、緊急ブレーキ、衝突回避、並びに／又は他の機能のために使用され得る。少なくとも１つの実施例では、（１つ又は複数の）ＬＩＤＡＲセンサ８６４は、機能的安全性レベルＡＳＩＬ Ｂにおいて動作し得る。少なくとも１つの実施例では、車両８００は、複数のＬＩＤＡＲセンサ８６４（たとえば、２つ、４つ、６つなど）を含み得、それらのＬＩＤＡＲセンサ８６４は、（たとえば、データをギガビット・イーサネット・スイッチに提供するために）イーサネット・チャネルを使用し得る。
少なくとも１つの実施例では、（１つ又は複数の）ＬＩＤＡＲセンサ８６４は、３６０度の視野について、物体及びそれらの距離のリストを提供することが可能であり得る。少なくとも１つの実施例では、（１つ又は複数の）市販のＬＩＤＡＲセンサ８６４は、たとえば、２ｃｍ～３ｃｍの精度をもつ、及び８０Ｍｂｐｓのイーサネット接続のサポートをもつ、ほぼ８０ｍの宣伝された範囲を有し得る。少なくとも１つの実施例では、１つ又は複数の非突出型ＬＩＤＡＲセンサが使用され得る。そのような実施例では、（１つ又は複数の）ＬＩＤＡＲセンサ８６４は、車両８００の前方、後方、側方、及び／又は角ロケーションに組み込まれ得る小さいデバイスを含み得る。少なくとも１つの実施例では、（１つ又は複数の）ＬＩＤＡＲセンサ８６４は、そのような実施例において、最高１２０度の水平視野と、３５度の垂直視野とを、低反射性物体についてさえ２００ｍの範囲で提供し得る。少なくとも１つの実施例では、（１つ又は複数の）前方に取り付けられたＬＩＤＡＲセンサ８６４は、４５度から１３５度の間の水平視野のために構成され得る。
少なくとも１つの実施例では、３ＤフラッシュＬＩＤＡＲなどのＬＩＤＡＲ技術も使用され得る。少なくとも１つの実施例では、３ＤフラッシュＬＩＤＡＲは、レーザのフラッシュを送信ソースとして使用して、車両８００の周囲を最高でほぼ２００ｍまで照射する。少なくとも１つの実施例では、フラッシュＬＩＤＡＲユニットは、限定はしないが、レセプタを含み、レセプタは、レーザ・パルスの通過時間と各ピクセル上での反射光とを記録し、それらは、車両８００から物体までの範囲に対応する。少なくとも１つの実施例では、フラッシュＬＩＤＡＲは、非常に正確でゆがみのない周囲画像が、レーザのフラッシュごとに生成されることを可能にし得る。少なくとも１つの実施例では、４つのフラッシュＬＩＤＡＲセンサが、車両８００の各側面において１つ導入され得る。少なくとも１つの実施例では、３ＤフラッシュＬＩＤＡＲシステムは、限定はしないが、ファン以外に可動部品のないソリッド・ステート３Ｄ凝視アレイ（ｓｔａｒｉｎｇ ａｒｒａｙ）ＬＩＤＡＲカメラ（たとえば、非走査型ＬＩＤＡＲデバイス）を含む。少なくとも１つの実施例では、フラッシュＬＩＤＡＲデバイスは、フレーム当たり５ナノ秒のクラスＩ（眼に安全な）レーザ・パルスを使用し得、３Ｄ範囲のポイント・クラウド及び位置同期された（ｃｏ－ｒｅｇｉｓｔｅｒｅｄ）強度データとして反射レーザ光をキャプチャし得る。
少なくとも１つの実施例では、車両８００は、（１つ又は複数の）ＩＭＵセンサ８６６をさらに含み得る。少なくとも１つの実施例では、（１つ又は複数の）ＩＭＵセンサ８６６は、車両８００の後方車軸の中央に位置し得る。少なくとも１つの実施例では、（１つ又は複数の）ＩＭＵセンサ８６６は、たとえば、限定はしないが、（１つ又は複数の）加速度計、（１つ又は複数の）磁力計、（１つ又は複数の）ジャイロスコープ、磁気コンパス、複数の磁気コンパス、及び／又は他のセンサ・タイプを含み得る。６軸の用途においてなど、少なくとも１つの実施例では、（１つ又は複数の）ＩＭＵセンサ８６６は、限定はしないが、加速度計とジャイロスコープとを含み得る。９軸の用途においてなど、少なくとも１つの実施例では、（１つ又は複数の）ＩＭＵセンサ８６６は、限定はしないが、加速度計と、ジャイロスコープと、磁力計とを含み得る。
少なくとも１つの実施例では、（１つ又は複数の）ＩＭＵセンサ８６６は、微小電気機械システム（「ＭＥＭＳ」：ｍｉｃｒｏ－ｅｌｅｃｔｒｏ－ｍｅｃｈａｎｉｃａｌ ｓｙｓｔｅｍｓ）慣性センサ、高感度ＧＰＳ受信機、及び先進Ｋａｌｍａｎフィルタリング・アルゴリズムを組み合わせて、位置、速度、及び姿勢の推定値を提供する、小型の高性能ＧＰＳ補強型慣性航法システム（「ＧＰＳ／ＩＮＳ」：ＧＰＳ－Ａｉｄｅｄ Ｉｎｅｒｔｉａｌ Ｎａｖｉｇａｔｉｏｎ Ｓｙｓｔｅｍ）として実装され得る。少なくとも１つの実施例では、（１つ又は複数の）ＩＭＵセンサ８６６は、車両８００が、速度の変化を直接観察し、それを、ＧＰＳから（１つ又は複数の）ＩＭＵセンサ８６６に相関させることによって、磁気センサからの入力を必要とせずに車両８００の方位を推定することを可能にし得る。少なくとも１つの実施例では、（１つ又は複数の）ＩＭＵセンサ８６６と（１つ又は複数の）ＧＮＳＳセンサ８５８とは、単一の統合されたユニットにおいて組み合わせられ得る。
少なくとも１つの実施例では、車両８００は、車両８００の中及び／又はその周りに置かれた（１つ又は複数の）マイクロフォン８９６を含み得る。少なくとも１つの実施例では、（１つ又は複数の）マイクロフォン８９６は、とりわけ、緊急車両検出及び識別のために使用され得る。
少なくとも１つの実施例では、車両８００は、（１つ又は複数の）ステレオ・カメラ８６８、（１つ又は複数の）広角カメラ８７０、（１つ又は複数の）赤外線カメラ８７２、（１つ又は複数の）周囲カメラ８７４、（１つ又は複数の）長距離カメラ８９８、（１つ又は複数の）中距離カメラ８７６、及び／又は他のカメラ・タイプを含む、任意の数のカメラ・タイプをさらに含み得る。少なくとも１つの実施例では、カメラは、車両８００の全周辺の周りで画像データをキャプチャするために使用され得る。少なくとも１つの実施例では、どのタイプのカメラが使用されるかは、車両８００に依存する。少なくとも１つの実施例では、車両８００の周りで必要なカバレージを提供するために、カメラ・タイプの任意の組合せが使用され得る。少なくとも１つの実施例では、導入されるカメラの数は、実施例に応じて異なり得る。たとえば、少なくとも１つの実施例では、車両８００は、６台のカメラ、７台のカメラ、１０台のカメラ、１２台のカメラ、又は別の数のカメラを含むことができる。少なくとも１つの実施例では、カメラは、一実例として、限定はしないが、ギガビット・マルチメディア・シリアル・リンク（「ＧＭＳＬ」：Ｇｉｇａｂｉｔ Ｍｕｌｔｉｍｅｄｉａ Ｓｅｒｉａｌ Ｌｉｎｋ）及び／又はギガビット・イーサネット通信をサポートし得る。少なくとも１つの実施例では、各カメラは、図８Ａ及び図８Ｂに関して本明細書でより詳細に前に説明されたようなものであり得る。
少なくとも１つの実施例では、車両８００は、（１つ又は複数の）振動センサ８４２をさらに含み得る。少なくとも１つの実施例では、（１つ又は複数の）振動センサ８４２は、（１つ又は複数の）車軸など、車両８００の構成要素の振動を測定し得る。たとえば、少なくとも１つの実施例では、振動の変化は、路面の変化を示し得る。少なくとも１つの実施例では、２つ又はそれ以上の振動センサ８４２が使用されるとき、路面の摩擦又はすべり量を決定するために振動の差が使用され得る（たとえば、振動の差が動力駆動車軸と自由回転車軸との間のものであるとき）。
少なくとも１つの実施例では、車両８００は、ＡＤＡＳシステム８３８を含み得る。少なくとも１つの実施例では、ＡＤＡＳシステム８３８は、限定はしないが、いくつかの実例では、ＳｏＣを含み得る。少なくとも１つの実施例では、ＡＤＡＳシステム８３８は、限定はしないが、任意の数及び組合せの自律／適応／自動走行制御（「ＡＣＣ」：ａｕｔｏｎｏｍｏｕｓ／ａｄａｐｔｉｖｅ／ａｕｔｏｍａｔｉｃ ｃｒｕｉｓｅ ｃｏｎｔｒｏｌ）システム、協調型適応走行制御（「ＣＡＣＣ」：ｃｏｏｐｅｒａｔｉｖｅ ａｄａｐｔｉｖｅ ｃｒｕｉｓｅ ｃｏｎｔｒｏｌ）システム、正面クラッシュ警告（「ＦＣＷ」：ｆｏｒｗａｒｄ ｃｒａｓｈ ｗａｒｎｉｎｇ）システム、自動緊急ブレーキ（「ＡＥＢ」）システム、車線逸脱警告（「ＬＤＷ」）システム、車線維持支援（「ＬＫＡ」：ｌａｎｅ ｋｅｅｐ ａｓｓｉｓｔ）システム、死角警告（「ＢＳＷ」：ｂｌｉｎｄ ｓｐｏｔ ｗａｒｎｉｎｇ）システム、後方クロス・トラフィック警告（「ＲＣＴＷ」：ｒｅａｒ ｃｒｏｓｓ－ｔｒａｆｆｉｃ ｗａｒｎｉｎｇ）システム、衝突警告（「ＣＷ」：ｃｏｌｌｉｓｉｏｎ ｗａｒｎｉｎｇ）システム、車線センタリング（「ＬＣ」：ｌａｎｅ ｃｅｎｔｅｒｉｎｇ）システム、並びに／或いは他のシステム、特徴、及び／又は機能性を含み得る。
少なくとも１つの実施例では、ＡＣＣシステムは、（１つ又は複数の）ＲＡＤＡＲセンサ８６０、（１つ又は複数の）ＬＩＤＡＲセンサ８６４、及び／又は任意の数のカメラを使用し得る。少なくとも１つの実施例では、ＡＣＣシステムは、縦方向ＡＣＣシステム及び／又は横方向ＡＣＣシステムを含み得る。少なくとも１つの実施例では、縦方向ＡＣＣシステムは、車両８００の直前の別の車両までの距離を監視及び制御し、車両８００のスピードを自動的に調節して、前の車両からの安全な距離を維持する。少なくとも１つの実施例では、横方向ＡＣＣシステムは、距離の維持を実施し、必要なときに車線を変更するよう車両８００に忠告する。少なくとも１つの実施例では、横方向ＡＣＣは、ＬＣ及びＣＷなど、他のＡＤＡＳ用途に関係する。
少なくとも１つの実施例では、ＣＡＣＣシステムは、他の車両からの情報を使用し、この情報は、ワイヤレス・リンクを介して、又は間接的に、ネットワーク接続を介して（たとえば、インターネットを介して）、他の車両からネットワーク・インターフェース８２４及び／又は（１つ又は複数の）ワイヤレス・アンテナ８２６を介して受信され得る。少なくとも１つの実施例では、直接リンクは車両間（「Ｖ２Ｖ」：ｖｅｈｉｃｌｅ－ｔｏ－ｖｅｈｉｃｌｅ）通信リンクによって提供され得、間接リンクはインフラストラクチャ車両間（「Ｉ２Ｖ」：ｉｎｆｒａｓｔｒｕｃｔｕｒｅ－ｔｏ－ｖｅｈｉｃｌｅ）通信リンクによって提供され得る。一般に、Ｖ２Ｖ通信は、直前の先行車両（たとえば、車両８００の直前で同じ車線にいる車両）に関する情報を提供し、Ｉ２Ｖ通信は、さらにその前の交通に関する情報を提供する。少なくとも１つの実施例では、ＣＡＣＣシステムは、Ｉ２Ｖ情報ソースとＶ２Ｖ情報ソースのいずれか又は両方を含み得る。少なくとも１つの実施例では、車両８００の前の車両の情報があれば、ＣＡＣＣシステムは、より信頼できるものとなり得、それは、交通の流れの円滑さを改善し、道路上での渋滞を低減する可能性を有する。
少なくとも１つの実施例では、ＦＣＷシステムは、危険物についてドライバにアラートするように設計され、それにより、そのようなドライバは是正アクションをとり得る。少なくとも１つの実施例では、ＦＣＷシステムは、ディスプレイ、スピーカー、及び／又は振動構成要素など、ドライバ・フィードバックを提供するように電気的に結合された専用プロセッサ、デジタル信号プロセッサ（「ＤＳＰ」）、ＦＰＧＡ、及び／又はＡＳＩＣに結合された、正面カメラ及び／又は（１つ又は複数の）ＲＡＤＡＲセンサ８６０を使用する。少なくとも１つの実施例では、ＦＣＷシステムは、音、視覚的警告、振動及び／又はクイック・ブレーキ・パルスなどの形態で警告を提供し得る。
少なくとも１つの実施例では、ＡＥＢシステムは、別の車両又は他の物体との差し迫った前方衝突を検出し、指定された時間又は距離パラメータ内にドライバが是正アクションをとらない場合、自動的にブレーキをかけ得る。少なくとも１つの実施例では、ＡＥＢシステムは、専用プロセッサ、ＤＳＰ、ＦＰＧＡ、及び／又はＡＳＩＣに結合された（１つ又は複数の）正面カメラ及び／又は（１つ又は複数の）ＲＡＤＡＲセンサ８６０を使用し得る。少なくとも１つの実施例では、ＡＥＢシステムが危険物を検出したとき、ＡＥＢシステムは、通常、最初に、是正アクションをとって衝突を回避するようにドライバにアラートし、そのドライバが是正アクションをとらない場合、そのＡＥＢシステムは、予測される衝突を防ぐか、又は少なくともその衝撃を軽減するために、自動的にブレーキをかけ得る。少なくとも１つの実施例では、ＡＥＢシステムは、動的ブレーキ・サポート及び／又はクラッシュ直前ブレーキなどの技法を含み得る。
少なくとも１つの実施例では、ＬＤＷシステムは、車両８００が車線の目印に交差したときにドライバにアラートするために、ハンドル又は座席の振動など、視覚的、聴覚的、及び／又は触覚的警告を提供する。少なくとも１つの実施例では、ＬＤＷシステムは、ドライバが方向指示器をアクティブ化することなどによって意図的な車線逸脱を示すとき、アクティブ化しない。少なくとも１つの実施例では、ＬＤＷシステムは、ディスプレイ、スピーカー、及び／又は振動構成要素など、ドライバ・フィードバックを提供するように電気的に結合された専用プロセッサ、ＤＳＰ、ＦＰＧＡ、及び／又はＡＳＩＣに結合された、正面向きのカメラを使用し得る。少なくとも１つの実施例では、ＬＫＡシステムは、ＬＤＷシステムの変形形態である。少なくとも１つの実施例では、ＬＫＡシステムは、車両８００が車両８００の車線から出始めた場合に車両８００を是正するために操縦入力又はブレーキ制御を提供する。
少なくとも１つの実施例では、ＢＳＷシステムは、自動車の死角にある車両を検出し、その車両についてドライバに警告する。少なくとも１つの実施例では、ＢＳＷシステムは、合流すること又は車線を変更することが安全ではないことを示すために、視覚的、聴覚的、及び／又は触覚的なアラートを提供し得る。少なくとも１つの実施例では、ＢＳＷシステムは、ドライバが方向指示器を使用したときに追加の警告を提供し得る。少なくとも１つの実施例では、ＢＳＷシステムは、ディスプレイ、スピーカー、及び／又は振動構成要素など、ドライバ・フィードバックに電気的に結合された専用プロセッサ、ＤＳＰ、ＦＰＧＡ、及び／又はＡＳＩＣに結合された、（１つ又は複数の）背面向きのカメラ及び／又は（１つ又は複数の）ＲＡＤＡＲセンサ８６０を使用し得る。
少なくとも１つの実施例では、ＲＣＴＷシステムは、車両８００が後退しているときに物体が後方カメラの範囲外で検出されたとき、視覚的、聴覚的、及び／又は触覚的な通知を提供し得る。少なくとも１つの実施例では、ＲＣＴＷシステムは、クラッシュを回避するために車両ブレーキがかけられることを確実にするためのＡＥＢシステムを含む。少なくとも１つの実施例では、ＲＣＴＷシステムは、ディスプレイ、スピーカー、及び／又は振動構成要素など、ドライバ・フィードバックを提供するように電気的に結合された専用プロセッサ、ＤＳＰ、ＦＰＧＡ、及び／又はＡＳＩＣに結合された、１つ又は複数の背面ＲＡＤＡＲセンサ８６０を使用し得る。
少なくとも１つの実施例では、従来のＡＤＡＳシステムは、偽陽性結果を出しがちなことがあり、これは、ドライバにとって迷惑であり、気が散るものであり得るが、従来のＡＤＡＳシステムが、ドライバにアラートし、そのドライバが、安全条件が本当に存在するかどうかを判定し、それに応じて行動することを可能にするので、通常は大したことにはならない。少なくとも１つの実施例では、車両８００自体が、矛盾する結果の場合、１次コンピュータ（たとえば、コントローラ８３６のうちの第１のコントローラ）からの結果に従うのか、２次コンピュータ（たとえば、コントローラ８３６のうちの第２のコントローラ）からの結果に従うのかを判定する。たとえば、少なくとも１つの実施例では、ＡＤＡＳシステム８３８は、バックアップ・コンピュータ合理性モジュールに知覚情報を提供するためのバックアップ及び／又は２次コンピュータであり得る。少なくとも１つの実施例では、バックアップ・コンピュータ合理性モニタが、ハードウェア構成要素上の冗長な多様なソフトウェアを稼働して、知覚及び動的運転タスクの障害を検出し得る。少なくとも１つの実施例では、ＡＤＡＳシステム８３８からの出力は、監督ＭＣＵ（ｓｕｐｅｒｖｉｓｏｒｙ ＭＣＵ）に提供され得る。少なくとも１つの実施例では、１次コンピュータからの出力と２次コンピュータからの出力とが矛盾する場合、監督ＭＣＵが、安全な動作を確実にするために矛盾をどのように調和させるかを決定する。
少なくとも１つの実施例では、１次コンピュータは、選定された結果における１次コンピュータの信頼性を示す信頼性スコアを監督ＭＣＵに提供するように構成され得る。少なくとも１つの実施例では、その信頼性スコアがしきい値を超える場合、その２次コンピュータが、矛盾する又は一貫性のない結果を提供するかどうかにかかわらず、監督ＭＣＵは、その１次コンピュータの指示に従い得る。少なくとも１つの実施例では、信頼性スコアがしきい値を満たさない場合、及び１次コンピュータと２次コンピュータとが異なる結果（たとえば、矛盾）を示す場合、監督ＭＣＵは、コンピュータ間で調停して、適切な帰結を決定し得る。
少なくとも１つの実施例では、監督ＭＣＵは、２次コンピュータが誤アラームを提供する条件を、１次コンピュータからの出力と２次コンピュータからの出力とに少なくとも部分的に基づいて決定するように訓練及び構成された（１つ又は複数の）ニューラル・ネットワークを稼働するように構成され得る。少なくとも１つの実施例では、監督ＭＣＵ中の（１つ又は複数の）ニューラル・ネットワークは、２次コンピュータの出力がいつ信用でき得るかと、それがいつ信用できないかとを学習し得る。たとえば、少なくとも１つの実施例では、その２次コンピュータがＲＡＤＡＲベースのＦＣＷシステムであるとき、その監督ＭＣＵ中の（１つ又は複数の）ニューラル・ネットワークは、アラームをトリガする排水溝格子又はマンホール・カバーなど、実際には危険物ではない金属物体をＦＣＷシステムがいつ識別しているかを学習し得る。少なくとも１つの実施例では、２次コンピュータがカメラ・ベースのＬＤＷシステムであるとき、監督ＭＣＵ中のニューラル・ネットワークは、自転車又は歩行者が存在し、車線逸脱が実際には最も安全な操作であるときにＬＤＷを無効にするように学習し得る。少なくとも１つの実施例では、監督ＭＣＵは、（１つ又は複数の）ニューラル・ネットワークを、関連するメモリとともに稼働するのに好適なＤＬＡ又はＧＰＵのうちの少なくとも１つを含み得る。少なくとも１つの実施例では、監督ＭＣＵは、（１つ又は複数の）ＳｏＣ８０４の構成要素を備え、及び／又はその構成要素として含められ得る。
少なくとも１つの実施例では、ＡＤＡＳシステム８３８は、コンピュータ・ビジョンの従来のルールを使用してＡＤＡＳ機能性を実施する２次コンピュータを含み得る。少なくとも１つの実施例では、その２次コンピュータは、従来のコンピュータ・ビジョン・ルール（ｉｆ－ｔｈｅｎ）を使用し得、監督ＭＣＵ中の（１つ又は複数の）ニューラル・ネットワークの存在が、信頼性、安全性及び性能を改善し得る。たとえば、少なくとも１つの実施例では、多様な実装及び意図的な非同一性が、システム全体を、特にソフトウェア（又はソフトウェアとハードウェアのインターフェース）機能性によって引き起こされる障害に対して、より障害耐性のあるものにする。たとえば、少なくとも１つの実施例では、１次コンピュータ上で稼働しているソフトウェアにおいてソフトウェア・バグ又はエラーがあり、２次コンピュータ上で稼働している非同一のソフトウェア・コードが、一貫性のある全体的な結果を提供する場合、監督ＭＣＵは、全体的な結果が正しく、その１次コンピュータ上のソフトウェア又はハードウェアにおけるバグが重大なエラーを引き起こしていないという、より高い信頼性を有し得る。
少なくとも１つの実施例では、ＡＤＡＳシステム８３８の出力は、１次コンピュータの知覚ブロック及び／又は１次コンピュータの動的運転タスク・ブロックにフィードされ得る。たとえば、少なくとも１つの実施例では、ＡＤＡＳシステム８３８が、直前の物体により正面クラッシュ警告を示す場合、知覚ブロックは、物体を識別するときにこの情報を使用し得る。少なくとも１つの実施例では、２次コンピュータは、本明細書で説明されるように、訓練された、したがって偽陽性のリスクを低減する、それ自体のニューラル・ネットワークを有し得る。
少なくとも１つの実施例では、車両８００は、インフォテイメントＳｏＣ８３０（たとえば、車両内インフォテイメント・システム（ＩＶＩ：ｉｎ－ｖｅｈｉｃｌｅ ｉｎｆｏｔａｉｎｍｅｎｔ））をさらに含み得る。ＳｏＣとして示され、説明されるが、インフォテイメント・システムＳｏＣ８３０は、少なくとも１つの実施例では、ＳｏＣでないことがあり、限定はしないが、２つ又はそれ以上の個別の構成要素を含み得る。少なくとも１つの実施例では、インフォテイメントＳｏＣ８３０は、限定はしないが、ハードウェアとソフトウェアとの組合せを含み得、この組合せは、オーディオ（たとえば、音楽、パーソナル・デジタル・アシスタント、ナビゲーション命令、ニュース、ラジオなど）、ビデオ（たとえば、ＴＶ、映画、ストリーミングなど）、電話（たとえば、ハンズフリー通話）、ネットワーク接続性（たとえば、ＬＴＥ、Ｗｉ－Ｆｉなど）、及び／又は情報サービス（たとえば、ナビゲーション・システム、後方駐車支援、無線データ・システム、燃料レベル、合計走行距離、ブレーキ燃料レベル、オイル・レベル、ドアの開閉、空気フィルタ情報などの車両関係情報など）を車両８００に提供するために使用され得る。たとえば、インフォテイメントＳｏＣ８３０は、ラジオ、ディスク・プレーヤ、ナビゲーション・システム、ビデオ・プレーヤ、ＵＳＢ及びＢｌｕｅｔｏｏｔｈ接続性、カーピュータ、車内エンタテイメント、Ｗｉ－Ｆｉ、ハンドル・オーディオ制御、ハンズフリー・ボイス制御、ヘッドアップ・ディスプレイ（「ＨＵＤ」：ｈｅａｄｓ－ｕｐ ｄｉｓｐｌａｙ）、ＨＭＩディスプレイ８３４、テレマティックス・デバイス、（たとえば、様々な構成要素、特徴、及び／又はシステムを制御し、及び／又はそれらと対話するための）制御パネル、及び／又は他の構成要素を含むことができる。少なくとも１つの実施例では、インフォテイメントＳｏＣ８３０は、ＡＤＡＳシステム８３８からの情報、計画された車両操作、軌道などの自律運転情報、周囲環境情報（たとえば、交差点情報、車両情報、道路情報など）、及び／又は他の情報など、（たとえば、視覚的及び／又は聴覚的な）情報を車両８００の（１人又は複数の）ユーザに提供するために、さらに使用され得る。
少なくとも１つの実施例では、インフォテイメントＳｏＣ８３０は、任意の量及びタイプのＧＰＵ機能性を含み得る。少なくとも１つの実施例では、インフォテイメントＳｏＣ８３０は、バス８０２を介して、車両８００の他のデバイス、システム、及び／又は構成要素と通信し得る。少なくとも１つの実施例では、インフォテイメントＳｏＣ８３０は監督ＭＣＵに結合され得、それにより、（１つ又は複数の）１次コントローラ８３６（たとえば、車両８００の１次及び／又はバックアップ・コンピュータ）が故障した場合、インフォテイメント・システムのＧＰＵが、いくつかの自己運転機能を実施し得る。少なくとも１つの実施例では、インフォテイメントＳｏＣ８３０は、本明細書で説明されるように、車両８００を運転手－安全停止モードにし得る。
少なくとも１つの実施例では、車両８００は、計器クラスタ８３２（たとえば、デジタル・ダッシュボード、電子計器クラスタ、デジタル計器パネルなど）をさらに含み得る。少なくとも１つの実施例では、計器クラスタ８３２は、限定はしないが、コントローラ及び／又はスーパーコンピュータ（たとえば、個別のコントローラ又はスーパーコンピュータ）を含み得る。少なくとも１つの実施例では、計器クラスタ８３２は、限定はしないが、スピードメータ、燃料レベル、油圧、タコメータ、オドメータ、方向インジケータ、シフトレバー位置インジケータ、（１つ又は複数の）シート・ベルト警告灯、（１つ又は複数の）駐車ブレーキ警告灯、（１つ又は複数の）エンジン故障灯、補助拘束システム（たとえば、エアバッグ）情報、ライティング制御、安全システム制御、ナビゲーション情報など、任意の数及び組合せの計装セットを含み得る。いくつかの実例では、情報は表示され、及び／又は、インフォテイメントＳｏＣ８３０と計器クラスタ８３２との間で共有され得る。少なくとも１つの実施例では、計器クラスタ８３２は、インフォテイメントＳｏＣ８３０の一部として含められ得、その逆もまた同様である。
いくつかの実施例では、推論及び／又は訓練論理９１５は、上記で説明されたように生成され得る変換された画像データを使用して推論及び／又は訓練動作を実施するために使用される。
図８Ｄは、少なくとも１つの実施例による、（１つ又は複数の）クラウド・ベースのサーバと図８Ａの自律車両８００との間の通信のためのシステム８７８の図である。少なくとも１つの実施例では、システム８７８は、限定はしないが、（１つ又は複数の）サーバ８７８と、（１つ又は複数の）ネットワーク８９０と、車両８００を含む任意の数及びタイプの車両とを含み得る。少なくとも１つの実施例では、（１つ又は複数の）サーバ８７８は、限定はしないが、（総称して、本明細書ではＧＰＵ８８４と呼ばれる）複数のＧＰＵ８８４（Ａ）～１０８４（Ｈ）、（総称して、本明細書ではＰＣＩｅスイッチ８８２と呼ばれる）ＰＣＩｅスイッチ８８２（Ａ）～８８２（Ｄ）、及び／又は（総称して、本明細書ではＣＰＵ８８０と呼ばれる）ＣＰＵ８８０（Ａ）～８８０（Ｂ）を含み得る。少なくとも１つの実施例では、ＧＰＵ８８４と、ＣＰＵ８８０と、ＰＣＩｅスイッチ８８２とは、たとえば、限定はしないが、ＮＶＩＤＩＡによって開発されたＮＶＬｉｎｋインターフェース８８８及び／又はＰＣＩｅ接続８８６など、高速相互接続で相互接続され得る。少なくとも１つの実施例では、ＧＰＵ８８４は、ＮＶＬｉｎｋ及び／又はＮＶＳｗｉｔｃｈ ＳｏＣを介して接続され、ＧＰＵ８８４とＰＣＩｅスイッチ８８２とは、ＰＣＩｅ相互接続を介して接続される。８つのＧＰＵ８８４と、２つのＣＰＵ８８０と、４つのＰＣＩｅスイッチ８８２とが示されているが、これは限定するものではない。少なくとも１つの実施例では、（１つ又は複数の）サーバ８７８の各々は、限定はしないが、任意の数のＧＰＵ８８４、ＣＰＵ８８０、及び／又はＰＣＩｅスイッチ８８２を任意の組合せで含み得る。たとえば、少なくとも１つの実施例では、（１つ又は複数の）サーバ８７８は、各々、８つ、１６個、３２個、及び／又はそれ以上のＧＰＵ８８４を含むことができる。
少なくとも１つの実施例では、（１つ又は複数の）サーバ８７８は、最近始まった道路工事など、予想外の又は変更された道路状態（ｒｏａｄ ｃｏｎｄｉｔｉｏｎ）を示す画像を表す画像データを、（１つ又は複数の）ネットワーク８９０を介して、車両から受信し得る。少なくとも１つの実施例では、（１つ又は複数の）サーバ８７８は、更新された又はそうではないニューラル・ネットワーク８９２、及び／或いは、限定はしないが、交通及び道路状態に関する情報を含む、地図情報８９４を、（１つ又は複数の）ネットワーク８９０を介して、車両に送信し得る。少なくとも１つの実施例では、地図情報８９４の更新は、限定はしないが、建築現場、穴、迂回路、洪水、及び／又は他の障害物に関する情報など、ＨＤ地図８２２についての更新を含み得る。少なくとも１つの実施例では、ニューラル・ネットワーク８９２及び／又は地図情報８９４は、環境中の任意の数の車両から受信されたデータにおいて表された新しい訓練及び／又は経験から、並びに／或いは、データ・センタにおいて（たとえば、（１つ又は複数の）サーバ８７８及び／又は他のサーバを使用して）実施された訓練に少なくとも部分的に基づいて、生じていることがある。
少なくとも１つの実施例では、（１つ又は複数の）サーバ８７８は、訓練データに少なくとも部分的に基づいて機械学習モデル（たとえば、ニューラル・ネットワーク）を訓練するために使用され得る。少なくとも１つの実施例では、訓練データは、車両によって生成され得、及び／又はシミュレーションにおいて（たとえば、ゲーム・エンジンを使用して）生成され得る。少なくとも１つの実施例では、任意の量の訓練データが、（たとえば、関連するニューラル・ネットワークが教師あり学習から恩恵を受ける場合）タグ付けされ、及び／又は他の前処理を受ける。少なくとも１つの実施例では、任意の量の訓練データが、（たとえば、関連するニューラル・ネットワークが教師あり学習を必要としない場合）タグ付けされず、及び／又は前処理されない。少なくとも１つの実施例では、機械学習モデルが訓練されると、機械学習モデルは、車両によって使用（たとえば、（１つ又は複数の）ネットワーク８９０を介して車両に送信）され得、及び／又は、機械学習モデルは、車両をリモートで監視するために（１つ又は複数の）サーバ８７８によって使用され得る。
少なくとも１つの実施例では、（１つ又は複数の）サーバ８７８は、車両からデータを受信し、リアルタイム・インテリジェント推論のために最新のリアルタイム・ニューラル・ネットワークにデータを適用し得る。少なくとも１つの実施例では、（１つ又は複数の）サーバ８７８は、ＮＶＩＤＩＡによって開発されたＤＧＸ及びＤＧＸステーション・マシンなど、（１つ又は複数の）ＧＰＵ８８４によって動く深層学習スーパーコンピュータ及び／又は専用ＡＩコンピュータを含み得る。しかしながら、少なくとも１つの実施例では、（１つ又は複数の）サーバ８７８は、ＣＰＵによって動くデータ・センタを使用する深層学習インフラストラクチャを含み得る。
少なくとも１つの実施例では、（１つ又は複数の）サーバ８７８の深層学習インフラストラクチャは、高速リアルタイム推論が可能であり得、その能力を使用して、車両８００中のプロセッサ、ソフトウェア、及び／又は関連するハードウェアの健全性を評定及び確認し得る。たとえば、少なくとも１つの実施例では、深層学習インフラストラクチャは、一連の画像、及び／又は（たとえば、コンピュータ・ビジョン及び／又は他の機械学習物体分類技法を介して）その一連の画像において車両８００が位置を特定した物体など、周期的な更新を車両８００から受信し得る。少なくとも１つの実施例では、深層学習インフラストラクチャは、それ自体のニューラル・ネットワークを稼働して物体を識別し、それらを、車両８００によって識別された物体と比較し得、結果がマッチせず、車両８００中のＡＩが故障していると深層学習インフラストラクチャが結論付けた場合、（１つ又は複数の）サーバ８７８は、車両８００のフェイル・セーフ・コンピュータに、制御を掌握し、乗客に通知し、安全な駐車操作を完了するように命令する信号を、車両８００に送信し得る。
少なくとも１つの実施例では、（１つ又は複数の）サーバ８７８は、（１つ又は複数の）ＧＰＵ８８４と、１つ又は複数のプログラマブル推論アクセラレータ（たとえば、ＮＶＩＤＩＡのＴｅｎｓｏｒＲＴ３デバイス）とを含み得る。少なくとも１つの実施例では、ＧＰＵによって動くサーバと推論の加速との組合せが、リアルタイム応答を可能にし得る。性能がそれほど重要ではない場合など、少なくとも１つの実施例では、ＣＰＵ、ＦＰＧＡ、及び他のプロセッサによって動くサーバが、推論のために使用され得る。
図９Ａは、（たとえば、方法４００による出力として、変換された画像データを使用して）１つ又は複数の実施例に関連付けられた推論及び／又は訓練動作を実施するために使用される推論及び／又は訓練論理（ハードウェア構造）９１５を示す。推論及び／又は訓練論理９１５に関する詳細は、図９Ａ及び／又は図９Ｂと併せて以下で提供される。
少なくとも１つの実施例では、推論及び／又は訓練論理９１５は、限定はしないが、１つ又は複数の実施例の態様において推論するために訓練及び／又は使用されるニューラル・ネットワークのニューロン又は層を構成するための順方向及び／若しくは出力の重み及び／又は入力／出力データ、並びに／或いは他のパラメータを記憶するためのコード及び／又はデータ・ストレージ９０１を含み得る。少なくとも１つの実施例では、訓練論理９１５は、タイミング及び／又は順序を制御するためのグラフ・コード又は他のソフトウェアを記憶するためのコード及び／又はデータ・ストレージ９０１を含むか、又はそれに結合され得、コード及び／又はデータ・ストレージ９０１において、整数及び／又は浮動小数点ユニット（総称して、算術論理ユニット（ＡＬＵ：ａｒｉｔｈｍｅｔｉｃ ｌｏｇｉｃ ｕｎｉｔ））を含む論理を構成するために、重み及び／又は他のパラメータ情報がロードされるべきである。少なくとも１つの実施例では、グラフ・コードなどのコードは、コードが対応するニューラル・ネットワークのアーキテクチャに基づいて、重み又は他のパラメータ情報をプロセッサＡＬＵにロードする。少なくとも１つの実施例では、コード及び／又はデータ・ストレージ９０１は、１つ又は複数の実施例の態様を使用する訓練及び／又は推論中の入力／出力データ及び／又は重みパラメータの順方向伝搬中に１つ又は複数の実施例と併せて訓練又は使用されるニューラル・ネットワークの各層の重みパラメータ及び／又は入力／出力データを記憶する。少なくとも１つの実施例では、コード及び／又はデータ・ストレージ９０１の任意の部分は、プロセッサのＬ１、Ｌ２、又はＬ３キャッシュ或いはシステム・メモリを含む、他のオンチップ又はオフチップ・データ・ストレージとともに含められ得る。
少なくとも１つの実施例では、コード及び／又はデータ・ストレージ９０１の任意の部分は、１つ又は複数のプロセッサ或いは他のハードウェア論理デバイス又は回路の内部又は外部にあり得る。少なくとも１つの実施例では、コード及び／又はコード及び／又はデータ・ストレージ９０１は、キャッシュ・メモリ、動的なランダムにアドレス指定可能なメモリ（「ＤＲＡＭ」：ｄｙｎａｍｉｃ ｒａｎｄｏｍｌｙ ａｄｄｒｅｓｓａｂｌｅ ｍｅｍｏｒｙ）、静的なランダムにアドレス指定可能なメモリ（「ＳＲＡＭ」：ｓｔａｔｉｃ ｒａｎｄｏｍｌｙ ａｄｄｒｅｓｓａｂｌｅ ｍｅｍｏｒｙ）、不揮発性メモリ（たとえば、フラッシュ・メモリ）、又は他のストレージであり得る。少なくとも１つの実施例では、コード及び／又はコード及び／又はデータ・ストレージ９０１が、たとえばプロセッサの内部にあるのか外部にあるのか、或いは、ＤＲＡＭ、ＳＲＡＭ、フラッシュ又は何らかの他のストレージ・タイプからなるかどうかの選定が、利用可能なストレージ、オンチップ対オフチップ、実施されている訓練及び／又は推論機能のレイテンシ要件、ニューラル・ネットワークの推論及び／又は訓練において使用されるデータのバッチ・サイズ、或いはこれらのファクタの何らかの組合せに依存し得る。
少なくとも１つの実施例では、推論及び／又は訓練論理９１５は、限定はしないが、１つ又は複数の実施例の態様において推論するために訓練及び／又は使用されるニューラル・ネットワークのニューロン又は層に対応する逆方向及び／若しくは出力の重み及び／又は入力／出力データを記憶するためのコード及び／又はデータ・ストレージ９０５を含み得る。少なくとも１つの実施例では、コード及び／又はデータ・ストレージ９０５は、１つ又は複数の実施例の態様を使用する訓練及び／又は推論中の入力／出力データ及び／又は重みパラメータの逆方向伝搬中に１つ又は複数の実施例と併せて訓練又は使用されるニューラル・ネットワークの各層の重みパラメータ及び／又は入力／出力データを記憶する。少なくとも１つの実施例では、訓練論理９１５は、タイミング及び／又は順序を制御するためのグラフ・コード又は他のソフトウェアを記憶するためのコード及び／又はデータ・ストレージ９０５を含むか、又はそれに結合され得、コード及び／又はデータ・ストレージ９０５において、整数及び／又は浮動小数点ユニット（総称して、算術論理ユニット（ＡＬＵ））を含む論理を構成するために、重み及び／又は他のパラメータ情報がロードされるべきである。少なくとも１つの実施例では、グラフ・コードなどのコードは、コードが対応するニューラル・ネットワークのアーキテクチャに基づいて、重み又は他のパラメータ情報をプロセッサＡＬＵにロードする。少なくとも１つの実施例では、コード及び／又はデータ・ストレージ９０５の任意の部分は、プロセッサのＬ１、Ｌ２、又はＬ３キャッシュ或いはシステム・メモリを含む、他のオンチップ又はオフチップ・データ・ストレージとともに含められ得る。少なくとも１つの実施例では、コード及び／又はデータ・ストレージ９０５の任意の部分は、１つ又は複数のプロセッサ或いは他のハードウェア論理デバイス又は回路の内部又は外部にあり得る。少なくとも１つの実施例では、コード及び／又はデータ・ストレージ９０５は、キャッシュ・メモリ、ＤＲＡＭ、ＳＲＡＭ、不揮発性メモリ（たとえば、フラッシュ・メモリ）、又は他のストレージであり得る。少なくとも１つの実施例では、コード及び／又はデータ・ストレージ９０５が、たとえばプロセッサの内部にあるのか外部にあるのか、或いは、ＤＲＡＭ、ＳＲＡＭ、フラッシュ又は何らかの他のストレージ・タイプからなるかどうかの選定が、利用可能なストレージ、オンチップ対オフチップ、実施されている訓練及び／又は推論機能のレイテンシ要件、ニューラル・ネットワークの推論及び／又は訓練において使用されるデータのバッチ・サイズ、或いはこれらのファクタの何らかの組合せに依存し得る。
少なくとも１つの実施例では、コード及び／又はデータ・ストレージ９０１と、コード及び／又はデータ・ストレージ９０５とは、別個のストレージ構造であり得る。少なくとも１つの実施例では、コード及び／又はデータ・ストレージ９０１と、コード及び／又はデータ・ストレージ９０５とは、同じストレージ構造であり得る。少なくとも１つの実施例では、コード及び／又はデータ・ストレージ９０１と、コード及び／又はデータ・ストレージ９０５とは、部分的に同じストレージ構造であり、部分的に別個のストレージ構造であり得る。少なくとも１つの実施例では、コード及び／又はデータ・ストレージ９０１並びにコード及び／又はデータ・ストレージ９０５の任意の部分は、プロセッサのＬ１、Ｌ２、又はＬ３キャッシュ或いはシステム・メモリを含む、他のオンチップ又はオフチップ・データ・ストレージとともに含められ得る。
少なくとも１つの実施例では、推論及び／又は訓練論理９１５は、限定はしないが、訓練及び／又は推論コード（たとえば、グラフ・コード）に少なくとも部分的に基づく、又はそれによって示される論理演算及び／又は数学演算を実施するための、整数及び／又は浮動小数点ユニットを含む、１つ又は複数の算術論理ユニット（「ＡＬＵ」）９１０を含み得、その結果が、アクティブ化ストレージ９２０に記憶されるアクティブ化（たとえば、ニューラル・ネットワーク内の層又はニューロンからの出力値）を作り出し得、これらのアクティブ化は、コード及び／又はデータ・ストレージ９０１並びに／或いはコード及び／又はデータ・ストレージ９０５に記憶される入力／出力及び／又は重みパラメータ・データの関数である。少なくとも１つの実施例では、アクティブ化ストレージ９２０に記憶されるアクティブ化は、命令又は他のコードを実施したことに応答して（１つ又は複数の）ＡＬＵ９１０によって実施される線形代数及び又は行列ベースの数学に従って生成され、コード及び／又はデータ・ストレージ９０５並びに／或いはコード及び／又はデータ・ストレージ９０１に記憶された重み値は、バイアス値、勾配情報、運動量値などの他の値、或いは他のパラメータ又はハイパーパラメータとともにオペランドとして使用され、これらのいずれか又はすべてが、コード及び／若しくはデータ・ストレージ９０５又はコード及び／若しくはデータ・ストレージ９０１、或いはオンチップ又はオフチップの別のストレージに記憶され得る。
少なくとも１つの実施例では、（１つ又は複数の）ＡＬＵ９１０は、１つ又は複数のプロセッサ或いは他のハードウェア論理デバイス又は回路内に含まれるが、別の実施例では、（１つ又は複数の）ＡＬＵ９１０は、それらを使用するプロセッサ或いは他のハードウェア論理デバイス又は回路（たとえば、コプロセッサ）の外部にあり得る。少なくとも１つの実施例では、ＡＬＵ９１０は、プロセッサの実行ユニット内に含まれるか、或いはさもなければ、同じプロセッサ内にあるか又は異なるタイプの異なるプロセッサ（たとえば、中央処理ユニット、グラフィックス処理ユニット、固定機能ユニットなど）間で分散されているかのいずれかであるプロセッサの実行ユニットによってアクセス可能なＡＬＵのバンク内に含まれ得る。少なくとも１つの実施例では、コード及び／又はデータ・ストレージ９０１と、コード及び／又はデータ・ストレージ９０５と、アクティブ化ストレージ９２０とは、同じプロセッサ或いは他のハードウェア論理デバイス又は回路上にあり得るが、別の実施例では、それらは、異なるプロセッサ又は他のハードウェア論理デバイス若しくは回路中にあるか、或いは、同じプロセッサ又は他のハードウェア論理デバイス若しくは回路と、異なるプロセッサ又は他のハードウェア論理デバイス若しくは回路との何らかの組合せ中にあり得る。少なくとも１つの実施例では、アクティブ化ストレージ９２０の任意の部分は、プロセッサのＬ１、Ｌ２、又はＬ３キャッシュ或いはシステム・メモリを含む、他のオンチップ又はオフチップ・データ・ストレージとともに含められ得る。さらに、推論及び／又は訓練コードが、プロセッサ或いは他のハードウェア論理又は回路にアクセス可能な他のコードとともに記憶され、プロセッサのフェッチ、復号、スケジューリング、実行、退去（ｒｅｔｉｒｅｍｅｎｔ）及び／又は他の論理回路を使用してフェッチ及び／又は処理され得る。
少なくとも１つの実施例では、アクティブ化ストレージ９２０は、キャッシュ・メモリ、ＤＲＡＭ、ＳＲＡＭ、不揮発性メモリ（たとえば、フラッシュ・メモリ）、又は他のストレージであり得る。少なくとも１つの実施例では、アクティブ化ストレージ９２０は、完全に又は部分的に、１つ又は複数のプロセッサ又は他の論理回路内にあるか、又はその外部にあり得る。少なくとも１つの実施例では、アクティブ化ストレージ９２０が、たとえばプロセッサの内部にあるのか外部にあるのか、或いは、ＤＲＡＭ、ＳＲＡＭ、フラッシュ又は何らかの他のストレージ・タイプからなるかどうかの選定が、利用可能なストレージ、オンチップ対オフチップ、実施されている訓練及び／又は推論機能のレイテンシ要件、ニューラル・ネットワークの推論及び／又は訓練において使用されるデータのバッチ・サイズ、或いはこれらのファクタの何らかの組合せに依存し得る。少なくとも１つの実施例では、図９Ａに示されている推論及び／又は訓練論理９１５は、ＧｏｏｇｌｅからのＴｅｎｓｏｒｆｌｏｗ（登録商標）処理ユニット、Ｇｒａｐｈｃｏｒｅ（商標）からの推論処理ユニット（ＩＰＵ：ｉｎｆｅｒｅｎｃｅ ｐｒｏｃｅｓｓｉｎｇ ｕｎｉｔ）、又はＩｎｔｅｌ ＣｏｒｐからのＮｅｒｖａｎａ（登録商標）（たとえば、「Ｌａｋｅ Ｃｒｅｓｔ」）プロセッサなど、特定用途向け集積回路（「ＡＳＩＣ」）と併せて使用され得る。少なくとも１つの実施例では、図９Ａに示されている推論及び／又は訓練論理９１５は、中央処理ユニット（「ＣＰＵ」）ハードウェア、グラフィックス処理ユニット（「ＧＰＵ」）ハードウェア、又は、フィールド・プログラマブル・ゲート・アレイ（「ＦＰＧＡ」）などの他のハードウェアと併せて使用され得る。
図９Ｂは、少なくとも１つ又は複数の実施例による、推論及び／又は訓練論理９１５を示す。少なくとも１つの実施例では、推論及び／又は訓練論理９１５は、限定はしないが、ハードウェア論理を含み得、このハードウェア論理において、算出リソース（ｃｏｍｐｕｔａｔｉｏｎａｌ ｒｅｓｏｕｒｃｅ）が専用であるか、或いはさもなければ、ニューラル・ネットワーク内のニューロンの１つ又は複数の層に対応する重み値又は他の情報と併せてのみ使用される。少なくとも１つの実施例では、図９Ｂに示されている推論及び／又は訓練論理９１５は、ＧｏｏｇｌｅからのＴｅｎｓｏｒｆｌｏｗ（登録商標）処理ユニット、Ｇｒａｐｈｃｏｒｅ（商標）からの推論処理ユニット（ＩＰＵ）、又はＩｎｔｅｌ ＣｏｒｐからのＮｅｒｖａｎａ（登録商標）（たとえば、「Ｌａｋｅ Ｃｒｅｓｔ」）プロセッサなど、特定用途向け集積回路（ＡＳＩＣ）と併せて使用され得る。少なくとも１つの実施例では、図９Ｂに示されている推論及び／又は訓練論理９１５は、中央処理ユニット（ＣＰＵ）ハードウェア、グラフィックス処理ユニット（ＧＰＵ）ハードウェア、又は、フィールド・プログラマブル・ゲート・アレイ（ＦＰＧＡ）などの他のハードウェアと併せて使用され得る。少なくとも１つの実施例では、推論及び／又は訓練論理９１５は、限定はしないが、コード及び／又はデータ・ストレージ９０１とコード及び／又はデータ・ストレージ９０５とを含み、それらは、コード（たとえば、グラフ・コード）、重み値、並びに／或いは、バイアス値、勾配情報、運動量値、及び／又は他のパラメータ若しくはハイパーパラメータ情報を含む他の情報を記憶するために使用され得る。図９Ｂに示されている少なくとも１つの実施例では、コード及び／又はデータ・ストレージ９０１並びにコード及び／又はデータ・ストレージ９０５の各々は、それぞれ、算出ハードウェア９０２及び算出ハードウェア９０６など、専用算出リソースに関連する。少なくとも１つの実施例では、算出ハードウェア９０２及び算出ハードウェア９０６の各々は、線形代数関数などの数学関数を、それぞれコード及び／又はデータ・ストレージ９０１並びにコード及び／又はデータ・ストレージ９０５に記憶された情報に対してのみ実施する１つ又は複数のＡＬＵを備え、その結果が、アクティブ化ストレージ９２０に記憶される。
少なくとも１つの実施例では、コード及び／又はデータ・ストレージ９０１及び９０５の各々と、対応する算出ハードウェア９０２及び９０６とは、それぞれ、ニューラル・ネットワークの異なる層に対応し、それにより、コード及び／又はデータ・ストレージ９０１と算出ハードウェア９０２との１つの「ストレージ／算出ペア９０１／９０２」から生じたアクティブ化は、ニューラル・ネットワークの概念的組織化をミラーリングするために、コード及び／又はデータ・ストレージ９０５と算出ハードウェア９０６との「ストレージ／算出ペア９０５／９０６」への入力として提供される。少なくとも１つの実施例では、ストレージ／算出ペア９０１／９０２及び９０５／９０６の各々は、２つ以上のニューラル・ネットワーク層に対応し得る。少なくとも１つの実施例では、ストレージ算出ペア９０１／９０２及び９０５／９０６の後に、又はそれらと並列に、追加のストレージ／算出ペア（図示せず）が、推論及び／又は訓練論理９１５中に含められ得る。
図１０は、少なくとも１つの実施例が使用され得る例示的なデータ・センタ１０００を示す。少なくとも１つの実施例では、データ・センタ１０００は、データ・センタ・インフラストラクチャ層１０１０と、フレームワーク層１０２０と、ソフトウェア層１０３０と、アプリケーション層１０４０とを含む。
少なくとも１つの実施例では、図１０に示されているように、データ・センタ・インフラストラクチャ層１０１０は、リソース・オーケストレータ１０１２と、グループ化されたコンピューティング・リソース１０１４と、ノード・コンピューティング・リソース（「ノードＣ．Ｒ．」：ｎｏｄｅ ｃｏｍｐｕｔｉｎｇ ｒｅｓｏｕｒｃｅ）１０１６（１）～１０１６（Ｎ）とを含み得、ここで、「Ｎ」は、任意のすべての正の整数を表す。少なくとも１つの実施例では、ノードＣ．Ｒ．１０１６（１）～１０１６（Ｎ）は、限定はしないが、任意の数の中央処理ユニット（「ＣＰＵ」）又は（アクセラレータ、フィールド・プログラマブル・ゲート・アレイ（ＦＰＧＡ）、グラフィックス・プロセッサなどを含む）他のプロセッサ、メモリ・デバイス（たとえば、動的読取り専用メモリ）、ストレージ・デバイス（たとえば、ソリッド・ステート又はディスク・ドライブ）、ネットワーク入力／出力（「ＮＷ Ｉ／Ｏ」：ｎｅｔｗｏｒｋ ｉｎｐｕｔ／ｏｕｔｐｕｔ）デバイス、ネットワーク・スイッチ、仮想機械（「ＶＭ」）、電力モジュール、及び冷却モジュールなどを含み得る。少なくとも１つの実施例では、ノードＣ．Ｒ．１０１６（１）～１０１６（Ｎ）の中からの１つ又は複数のノードＣ．Ｒ．は、上述のコンピューティング・リソースのうちの１つ又は複数を有するサーバであり得る。
少なくとも１つの実施例では、グループ化されたコンピューティング・リソース１０１４は、１つ又は複数のラック（図示せず）内に格納されたノードＣ．Ｒ．の別個のグループ化、又は様々な地理的ロケーション（同じく図示せず）においてデータ・センタ中に格納された多くのラックを含み得る。グループ化されたコンピューティング・リソース１０１４内のノードＣ．Ｒ．の別個のグループ化は、１つ又は複数のワークロードをサポートするように構成されるか又は割り振られ得る、グループ化されたコンピュート・リソース、ネットワーク・リソース、メモリ・リソース、又はストレージ・リソースを含み得る。少なくとも１つの実施例では、ＣＰＵ又はプロセッサを含むいくつかのノードＣ．Ｒ．は、１つ又は複数のワークロードをサポートするためのコンピュート・リソースを提供するために１つ又は複数のラック内でグループ化され得る。少なくとも１つの実施例では、１つ又は複数のラックはまた、任意の数の電力モジュール、冷却モジュール、及びネットワーク・スイッチを、任意の組合せで含み得る。
少なくとも１つの実施例では、リソース・オーケストレータ１０１２は、１つ又は複数のノードＣ．Ｒ．１０１６（１）～１０１６（Ｎ）及び／又はグループ化されたコンピューティング・リソース１０１４を構成するか、又はさもなければ、制御し得る。少なくとも１つの実施例では、リソース・オーケストレータ１０１２は、データ・センタ１０００のためのソフトウェア設計インフラストラクチャ（「ＳＤＩ」：ｓｏｆｔｗａｒｅ ｄｅｓｉｇｎ ｉｎｆｒａｓｔｒｕｃｔｕｒｅ）管理エンティティを含み得る。少なくとも１つの実施例では、リソース・オーケストレータは、ハードウェア、ソフトウェア、又はそれらの何らかの組合せを含み得る。
少なくとも１つの実施例では、図１０に示されているように、フレームワーク層１０２０は、ジョブ・スケジューラ１０２２と、構成マネージャ１０２４と、リソース・マネージャ１０２６と、分散型ファイル・システム１０２８とを含む。少なくとも１つの実施例では、フレームワーク層１０２０は、ソフトウェア層１０３０のソフトウェア１０３２、及び／又はアプリケーション層１０４０の１つ又は複数のアプリケーション１０４２をサポートするためのフレームワークを含み得る。少なくとも１つの実施例では、ソフトウェア１０３２又は（１つ又は複数の）アプリケーション１０４２は、それぞれ、アマゾン・ウェブ・サービス、Ｇｏｏｇｌｅ Ｃｌｏｕｄ、及びＭｉｃｒｏｓｏｆｔ Ａｚｕｒｅによって提供されるものなど、ウェブ・ベースのサービス・ソフトウェア又はアプリケーションを含み得る。少なくとも１つの実施例では、フレームワーク層１０２０は、限定はしないが、大規模データ処理（たとえば、「ビック・データ」）のために分散型ファイル・システム１０２８を利用し得るＡｐａｃｈｅ Ｓｐａｒｋ（商標）（以下「Ｓｐａｒｋ」）など、無料でオープンソースのソフトウェア・ウェブ・アプリケーション・フレームワークのタイプであり得る。少なくとも１つの実施例では、ジョブ・スケジューラ１０２２は、データ・センタ１０００の様々な層によってサポートされるワークロードのスケジューリングを容易にするために、Ｓｐａｒｋドライバを含み得る。少なくとも１つの実施例では、構成マネージャ１０２４は、ソフトウェア層１０３０、並びに大規模データ処理をサポートするためのＳｐａｒｋ及び分散型ファイル・システム１０２８を含むフレームワーク層１０２０など、異なる層を構成することが可能であり得る。少なくとも１つの実施例では、リソース・マネージャ１０２６は、分散型ファイル・システム１０２８及びジョブ・スケジューラ１０２２をサポートするようにマッピングされたか又は割り振られた、クラスタ化された又はグループ化されたコンピューティング・リソースを管理することが可能であり得る。少なくとも１つの実施例では、クラスタ化された又はグループ化されたコンピューティング・リソースは、データ・センタ・インフラストラクチャ層１０１０において、グループ化されたコンピューティング・リソース１０１４を含み得る。少なくとも１つの実施例では、リソース・マネージャ１０２６は、リソース・オーケストレータ１０１２と協調して、これらのマッピングされた又は割り振られたコンピューティング・リソースを管理し得る。
少なくとも１つの実施例では、ソフトウェア層１０３０中に含まれるソフトウェア１０３２は、ノードＣ．Ｒ．１０１６（１）～１０１６（Ｎ）、グループ化されたコンピューティング・リソース１０１４、及び／又はフレームワーク層１０２０の分散型ファイル・システム１０２８の少なくとも部分によって使用されるソフトウェアを含み得る。１つ又は複数のタイプのソフトウェアは、限定はしないが、インターネット・ウェブ・ページ検索ソフトウェアと、電子メール・ウイルス・スキャン・ソフトウェアと、データベース・ソフトウェアと、ストリーミング・ビデオ・コンテンツ・ソフトウェアとを含み得る。
少なくとも１つの実施例では、アプリケーション層１０４０中に含まれる（１つ又は複数の）アプリケーション１０４２は、ノードＣ．Ｒ．１０１６（１）～１０１６（Ｎ）、グループ化されたコンピューティング・リソース１０１４、及び／又はフレームワーク層１０２０の分散型ファイル・システム１０２８の少なくとも部分によって使用される１つ又は複数のタイプのアプリケーションを含み得る。１つ又は複数のタイプのアプリケーションは、限定はしないが、任意の数のゲノミクス・アプリケーション、コグニティブ・コンピュート、及び、訓練又は推論ソフトウェア、機械学習フレームワーク・ソフトウェア（たとえば、ＰｙＴｏｒｃｈ、ＴｅｎｓｏｒＦｌｏｗ、Ｃａｆｆｅなど）を含む、機械学習アプリケーション、又は、１つ又は複数の実施例と併せて使用される他の機械学習アプリケーションを含み得る。
少なくとも１つの実施例では、構成マネージャ１０２４、リソース・マネージャ１０２６、及びリソース・オーケストレータ１０１２のいずれかが、任意の技術的に実現可能な様式で獲得された任意の量及びタイプのデータに基づいて、任意の数及びタイプの自己修正アクションを実装し得る。少なくとも１つの実施例では、自己修正アクションは、データ・センタ１０００のデータ・センタ・オペレータを、不良の恐れのある構成を判定し、十分に利用されていない及び／又は性能の低いデータ・センタの部分を場合によっては回避することから解放し得る。
少なくとも１つの実施例では、データ・センタ１０００は、１つ又は複数の機械学習モデルを訓練するか、或いは、本明細書で説明される１つ又は複数の実施例による１つ又は複数の機械学習モデルを使用して情報を予測又は推論するためのツール、サービス、ソフトウェア又は他のリソースを含み得る。たとえば、少なくとも１つの実施例では、機械学習モデルは、データ・センタ１０００に関して上記で説明されたソフトウェア及びコンピューティング・リソースを使用して、ニューラル・ネットワーク・アーキテクチャに従って重みパラメータを計算することによって、訓練され得る。少なくとも１つの実施例では、１つ又は複数のニューラル・ネットワークに対応する訓練された機械学習モデルは、本明細書で説明される１つ又は複数の訓練技法を通して計算された重みパラメータを使用することによって、データ・センタ１０００に関して上記で説明されたリソースを使用して、情報を推論又は予測するために使用され得る。
少なくとも１つの実施例では、データ・センタは、上記で説明されたリソースを使用して訓練及び／又は推論を実施するために、ＣＰＵ、特定用途向け集積回路（ＡＳＩＣ）、ＧＰＵ、ＦＰＧＡ、又は他のハードウェアを使用し得る。その上、上記で説明された１つ又は複数のソフトウェア及び／又はハードウェア・リソースは、画像認識、音声認識、又は他の人工知能サービスなど、ユーザが、情報を訓練するか又は情報の推論を実施することを可能にするためのサービスとして構成され得る。
いくつかの実施例では、推論及び／又は訓練論理９１５は、上記で記載されたように生成された変換された画像データを使用して推論及び／又は訓練動作を実施するために使用される。
図１１は、例示的なコンピュータ・システムを示すブロック図であり、例示的なコンピュータ・システムは、少なくとも１つの実施例による、命令を実行するための実行ユニットを含み得るプロセッサとともに形成された、相互接続されたデバイス及び構成要素、システム・オン・チップ（ＳＯＣ）又はそれらの何らかの組合せをもつシステム１１００であり得る。少なくとも１つの実施例では、コンピュータ・システム１１００は、限定はしないが、本明細書で説明される実施例などにおいて、本開示による、プロセス・データのためのアルゴリズムを実施するための論理を含む実行ユニットを採用するための、プロセッサ１１０２などの構成要素を含み得る。少なくとも１つの実施例では、コンピュータ・システム１１００は、カリフォルニア州サンタクララのＩｎｔｅｌ Ｃｏｒｐｏｒａｔｉｏｎから入手可能なＰＥＮＴＩＵＭ（登録商標）プロセッサ・ファミリー、Ｘｅｏｎ（商標）、Ｉｔａｎｉｕｍ（登録商標）、ＸＳｃａｌｅ（商標）及び／又はＳｔｒｏｎｇＡＲＭ（商標）、Ｉｎｔｅｌ（登録商標）Ｃｏｒｅ（商標）、又はＩｎｔｅｌ（登録商標）Ｎｅｒｖａｎａ（商標）マイクロプロセッサなどのプロセッサを含み得るが、（他のマイクロプロセッサ、エンジニアリング・ワークステーション、セット・トップ・ボックスなどを有するＰＣを含む）他のシステムも使用され得る。少なくとも１つの実施例では、コンピュータ・システム１１００は、ワシントン州レドモンドのＭｉｃｒｏｓｏｆｔ Ｃｏｒｐｏｒａｔｉｏｎから入手可能なＷＩＮＤＯＷＳ（登録商標）オペレーティング・システムのあるバージョンを実行し得るが、他のオペレーティング・システム（たとえば、ＵＮＩＸ（登録商標）及びＬｉｎｕｘ（登録商標））、組み込みソフトウェア、及び／又はグラフィカル・ユーザ・インターフェースも使用され得る。
実施例は、ハンドヘルド・デバイス及び組み込みアプリケーションなど、他のデバイスにおいて使用され得る。ハンドヘルド・デバイスのいくつかの実例は、セルラー・フォン、インターネット・プロトコル・デバイス、デジタル・カメラ、パーソナル・デジタル・アシスタント（「ＰＤＡ」）、及びハンドヘルドＰＣを含む。少なくとも１つの実施例では、組み込みアプリケーションは、マイクロコントローラ、デジタル信号プロセッサ（「ＤＳＰ」）、システム・オン・チップ、ネットワーク・コンピュータ（「ＮｅｔＰＣ」：ｎｅｔｗｏｒｋ ｃｏｍｐｕｔｅｒ）、セット・トップ・ボックス、ネットワーク・ハブ、ワイド・エリア・ネットワーク（「ＷＡＮ」：ｗｉｄｅ ａｒｅａ ｎｅｔｗｏｒｋ）スイッチ、又は少なくとも１つの実施例による１つ又は複数の命令を実施し得る任意の他のシステムを含み得る。
少なくとも１つの実施例では、コンピュータ・システム１１００は、限定はしないが、プロセッサ１１０２を含み得、プロセッサ１１０２は、限定はしないが、本明細書で説明される技法による機械学習モデル訓練及び／又は推論を実施するための１つ又は複数の実行ユニット１１０８を含み得る。少なくとも１つの実施例では、コンピュータ・システム１１００は、シングル・プロセッサ・デスクトップ又はサーバ・システムであるが、別の実施例では、コンピュータ・システム１１００は、マルチプロセッサ・システムであり得る。少なくとも１つの実施例では、プロセッサ１１０２は、限定はしないが、複合命令セット・コンピュータ（「ＣＩＳＣ」：ｃｏｍｐｌｅｘ ｉｎｓｔｒｕｃｔｉｏｎ ｓｅｔ ｃｏｍｐｕｔｅｒ）マイクロプロセッサ、縮小命令セット・コンピューティング（「ＲＩＳＣ」）マイクロプロセッサ、超長命令語（「ＶＬＩＷ」）マイクロプロセッサ、命令セットの組合せを実装するプロセッサ、又は、たとえばデジタル信号プロセッサなど、任意の他のプロセッサ・デバイスを含み得る。少なくとも１つの実施例では、プロセッサ１１０２は、プロセッサ・バス１１１０に結合され得、プロセッサ・バス１１１０は、プロセッサ１１０２とコンピュータ・システム１１００中の他の構成要素との間でデータ信号を送信し得る。
少なくとも１つの実施例では、プロセッサ１１０２は、限定はしないが、レベル１（「Ｌ１」）の内部キャッシュ・メモリ（「キャッシュ」）１１０４を含み得る。少なくとも１つの実施例では、プロセッサ１１０２は、単一の内部キャッシュ又は複数のレベルの内部キャッシュを有し得る。少なくとも１つの実施例では、キャッシュ・メモリは、プロセッサ１１０２の外部に存在し得る。他の実施例は、特定の実装形態及び必要性に応じて、内部キャッシュと外部キャッシュの両方の組合せをも含み得る。少なくとも１つの実施例では、レジスタ・ファイル１１０６は、限定はしないが、整数レジスタ、浮動小数点レジスタ、ステータス・レジスタ、及び命令ポインタ・レジスタを含む様々なレジスタに、異なるタイプのデータを記憶し得る。
少なくとも１つの実施例では、限定はしないが、整数演算及び浮動小数点演算を実施するための論理を含む実行ユニット１１０８も、プロセッサ１１０２中に存在する。少なくとも１つの実施例では、プロセッサ１１０２は、いくつかのマクロ命令のためのマイクロコードを記憶するマイクロコード（「ｕコード」）読取り専用メモリ（「ＲＯＭ」）をも含み得る。少なくとも１つの実施例では、実行ユニット１１０８は、パック命令セット１１０９に対処するための論理を含み得る。少なくとも１つの実施例では、パック命令セット１１０９を、命令を実行するための関連する回路要素とともに汎用プロセッサ１１０２の命令セットに含めることによって、多くのマルチメディア・アプリケーションによって使用される演算が、汎用プロセッサ１１０２中のパック・データを使用して実施され得る。１つ又は複数の実施例では、多くのマルチメディア・アプリケーションが、パック・データの演算を実施するためにプロセッサのデータ・バスの全幅を使用することによって加速され、より効率的に実行され得、これは、一度に１つのデータ要素ずつ１つ又は複数の演算を実施するために、プロセッサのデータ・バスにわたってより小さい単位のデータを転送する必要をなくし得る。
少なくとも１つの実施例では、実行ユニット１１０８はまた、マイクロコントローラ、組み込みプロセッサ、グラフィックス・デバイス、ＤＳＰ、及び他のタイプの論理回路において使用され得る。少なくとも１つの実施例では、コンピュータ・システム１１００は、限定はしないが、メモリ１１２０を含み得る。少なくとも１つの実施例では、メモリ１１２０は、ダイナミック・ランダム・アクセス・メモリ（「ＤＲＡＭ」）デバイス、スタティック・ランダム・アクセス・メモリ（「ＳＲＡＭ」）デバイス、フラッシュ・メモリ・デバイス、又は他のメモリ・デバイスとして実装され得る。少なくとも１つの実施例では、メモリ１１２０は、プロセッサ１１０２によって実行され得るデータ信号によって表される（１つ又は複数の）命令１１１９及び／又はデータ１１２１を記憶し得る。
少なくとも１つの実施例では、システム論理チップが、プロセッサ・バス１１１０及びメモリ１１２０に結合され得る。少なくとも１つの実施例では、システム論理チップは、限定はしないが、メモリ・コントローラ・ハブ（「ＭＣＨ」：ｍｅｍｏｒｙ ｃｏｎｔｒｏｌｌｅｒ ｈｕｂ）１１１６を含み得、プロセッサ１１０２は、プロセッサ・バス１１１０を介してＭＣＨ１１１６と通信し得る。少なくとも１つの実施例では、ＭＣＨ１１１６は、命令及びデータ・ストレージのための、並びにグラフィックス・コマンド、データ及びテクスチャのストレージのための、高帯域幅メモリ経路１１１８をメモリ１１２０に提供し得る。少なくとも１つの実施例では、ＭＣＨ１１１６は、プロセッサ１１０２と、メモリ１１２０と、コンピュータ・システム１１００中の他の構成要素との間でデータ信号をダイレクトし、プロセッサ・バス１１１０と、メモリ１１２０と、システムＩ／Ｏ１１２２との間でデータ信号をブリッジし得る。少なくとも１つの実施例では、システム論理チップは、グラフィックス・コントローラに結合するためのグラフィックス・ポートを提供し得る。少なくとも１つの実施例では、ＭＣＨ１１１６は、高帯域幅メモリ経路１１１８を通してメモリ１１２０に結合され得、グラフィックス／ビデオ・カード１１１２は、アクセラレーテッド・グラフィックス・ポート（「ＡＧＰ」：Ａｃｃｅｌｅｒａｔｅｄ Ｇｒａｐｈｉｃｓ Ｐｏｒｔ）相互接続１１１４を通してＭＣＨ１１１６に結合され得る。
少なくとも１つの実施例では、コンピュータ・システム１１００は、ＭＣＨ１１１６をＩ／Ｏコントローラ・ハブ（「ＩＣＨ」：Ｉ／Ｏ ｃｏｎｔｒｏｌｌｅｒ ｈｕｂ）１１３０に結合するためのプロプライエタリ・ハブ・インターフェース・バスである、システムＩ／Ｏ１１２２を使用し得る。少なくとも１つの実施例では、ＩＣＨ１１３０は、ローカルＩ／Ｏバスを介していくつかのＩ／Ｏデバイスに直接接続を提供し得る。少なくとも１つの実施例では、ローカルＩ／Ｏバスは、限定はしないが、周辺機器をメモリ１１２０、チップセット、及びプロセッサ１１０２に接続するための高速Ｉ／Ｏバスを含み得る。実例は、限定はしないが、オーディオ・コントローラ１１２９と、ファームウェア・ハブ（「フラッシュＢＩＯＳ」）１１２８と、ワイヤレス・トランシーバ１１２６と、データ・ストレージ１１２４と、ユーザ入力及びキーボード・インターフェース１１２５を含んでいるレガシーＩ／Ｏコントローラ１１２３と、ユニバーサル・シリアル・バス（「ＵＳＢ」）などのシリアル拡張ポート１１２７と、ネットワーク・コントローラ１１３４とを含み得る。データ・ストレージ１１２４は、ハード・ディスク・ドライブ、フロッピー・ディスク・ドライブ、ＣＤ－ＲＯＭデバイス、フラッシュ・メモリ・デバイス、又は他の大容量ストレージ・デバイスを備え得る。
少なくとも１つの実施例では、図１１は、相互接続されたハードウェア・デバイス又は「チップ」を含むシステムを示すが、他の実施例では、図１１は、例示的なシステム・オン・チップ（「ＳｏＣ」）を示し得る。少なくとも１つの実施例では、デバイスは、プロプライエタリ相互接続、標準相互接続（たとえば、ＰＣＩｅ）又はそれらの何らかの組合せで相互接続され得る。少なくとも１つの実施例では、コンピュータ・システム１１００の１つ又は複数の構成要素は、コンピュート・エクスプレス・リンク（ＣＸＬ：ｃｏｍｐｕｔｅ ｅｘｐｒｅｓｓ ｌｉｎｋ）相互接続を使用して相互接続される。
いくつかの実施例では、推論及び／又は訓練論理９１５は、上記で説明されたように生成された変換された画像データを使用して推論及び／又は訓練動作を実施するために使用される。推論及び／又は訓練論理９１５に関する詳細は、図９Ａ及び／又は図９Ｂと併せて以下で提供される。少なくとも１つの実施例では、推論及び／又は訓練論理９１５は、本明細書で説明されるニューラル・ネットワーク訓練動作、ニューラル・ネットワーク機能及び／又はアーキテクチャ、或いはニューラル・ネットワーク使用事例を使用して計算された重みパラメータに少なくとも部分的に基づいて、推論又は予測動作のために図１１のシステムにおいて使用され得る。
そのような構成要素は、ネットワーク訓練プロセスにおける障害事例を模倣する合成データを生成するために使用され得、これは、過剰適合（ｏｖｅｒｆｉｔｔｉｎｇ）を回避するために合成データの量を制限しながらネットワークの性能を改善するのを助けることができる。
図１２は、少なくとも１つの実施例による、プロセッサ１２１０を利用するための電子デバイス１２００を示すブロック図である。少なくとも１つの実施例では、電子デバイス１２００は、たとえば、限定はしないが、ノートブック、タワー・サーバ、ラック・サーバ、ブレード・サーバ、ラップトップ、デスクトップ、タブレット、モバイル・デバイス、電話、組み込みコンピュータ、又は任意の他の好適な電子デバイスであり得る。
少なくとも１つの実施例では、システム１２００は、限定はしないが、任意の好適な数又は種類の構成要素、周辺機器、モジュール、又はデバイスに通信可能に結合されたプロセッサ１２１０を含み得る。少なくとも１つの実施例では、プロセッサ１２１０は、１℃バス、システム管理バス（「ＳＭＢｕｓ」：Ｓｙｓｔｅｍ Ｍａｎａｇｅｍｅｎｔ Ｂｕｓ）、ロー・ピン・カウント（ＬＰＣ：Ｌｏｗ Ｐｉｎ Ｃｏｕｎｔ）バス、シリアル周辺インターフェース（「ＳＰＩ」：Ｓｅｒｉａｌ Ｐｅｒｉｐｈｅｒａｌ Ｉｎｔｅｒｆａｃｅ）、高精細度オーディオ（「ＨＤＡ」：Ｈｉｇｈ Ｄｅｆｉｎｉｔｉｏｎ Ａｕｄｉｏ）バス、シリアル・アドバンス・テクノロジー・アタッチメント（「ＳＡＴＡ」：Ｓｅｒｉａｌ Ａｄｖａｎｃｅ Ｔｅｃｈｎｏｌｏｇｙ Ａｔｔａｃｈｍｅｎｔ）バス、ユニバーサル・シリアル・バス（「ＵＳＢ」）（バージョン１、２、３）、又はユニバーサル非同期受信機／送信機（「ＵＡＲＴ」：Ｕｎｉｖｅｒｓａｌ Ａｓｙｎｃｈｒｏｎｏｕｓ Ｒｅｃｅｉｖｅｒ／Ｔｒａｎｓｍｉｔｔｅｒ）バスなど、バス又はインターフェースを使用して結合した。少なくとも１つの実施例では、図１２は、相互接続されたハードウェア・デバイス又は「チップ」を含むシステムを示すが、他の実施例では、図１２は、例示的なシステム・オン・チップ（「ＳｏＣ」）を示し得る。少なくとも１つの実施例では、図１２に示されているデバイスは、プロプライエタリ相互接続、標準相互接続（たとえば、ＰＣＩｅ）又はそれらの何らかの組合せで相互接続され得る。少なくとも１つの実施例では、図１２の１つ又は複数の構成要素は、コンピュート・エクスプレス・リンク（ＣＸＬ）相互接続を使用して相互接続される。
少なくとも１つの実施例では、図１２は、ディスプレイ１２２４、タッチ・スクリーン１２２５、タッチ・パッド１２３０、ニア・フィールド通信ユニット（「ＮＦＣ」：Ｎｅａｒ Ｆｉｅｌｄ Ｃｏｍｍｕｎｉｃａｔｉｏｎ）１２４５、センサ・ハブ１２４０、熱センサ１２４６、エクスプレス・チップセット（「ＥＣ」：Ｅｘｐｒｅｓｓ Ｃｈｉｐｓｅｔ）１２３５、トラステッド・プラットフォーム・モジュール（「ＴＰＭ」：Ｔｒｕｓｔｅｄ Ｐｌａｔｆｏｒｍ Ｍｏｄｕｌｅ）１２３８、ＢＩＯＳ／ファームウェア／フラッシュ・メモリ（「ＢＩＯＳ、ＦＷフラッシュ」：ＢＩＯＳ／ｆｉｒｍｗａｒｅ／ｆｌａｓｈ ｍｅｍｏｒｙ）１２２２、ＤＳＰ１２６０、ソリッド・ステート・ディスク（「ＳＳＤ」：Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｉｓｋ）又はハード・ディスク・ドライブ（「ＨＤＤ」：Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）などのドライブ１２２０、ワイヤレス・ローカル・エリア・ネットワーク・ユニット（「ＷＬＡＮ」：ｗｉｒｅｌｅｓｓ ｌｏｃａｌ ａｒｅａ ｎｅｔｗｏｒｋ）１２５０、Ｂｌｕｅｔｏｏｔｈユニット１２５２、ワイヤレス・ワイド・エリア・ネットワーク・ユニット（「ＷＷＡＮ」：Ｗｉｒｅｌｅｓｓ Ｗｉｄｅ Ａｒｅａ Ｎｅｔｗｏｒｋ）１２５６、全地球測位システム（ＧＰＳ：Ｇｌｏｂａｌ Ｐｏｓｉｔｉｏｎｉｎｇ Ｓｙｓｔｅｍ）１２５５、ＵＳＢ３．０カメラなどのカメラ（「ＵＳＢ３．０カメラ」）１２５４、及び／或いは、たとえばＬＰＤＤＲ３規格において実装された低電力ダブル・データ・レート（「ＬＰＤＤＲ」：Ｌｏｗ Ｐｏｗｅｒ Ｄｏｕｂｌｅ Ｄａｔａ Ｒａｔｅ）メモリ・ユニット（「ＬＰＤＤＲ３」）１２１５を含み得る。これらの構成要素は、各々、任意の好適な様式で実装され得る。
少なくとも１つの実施例では、上記で説明された構成要素を通して、他の構成要素がプロセッサ１２１０に通信可能に結合され得る。少なくとも１つの実施例では、加速度計１２４１と、周囲光センサ（「ＡＬＳ」：Ａｍｂｉｅｎｔ Ｌｉｇｈｔ Ｓｅｎｓｏｒ）１２４２と、コンパス１２４３と、ジャイロスコープ１２４４とが、センサ・ハブ１２４０に通信可能に結合され得る。少なくとも１つの実施例では、熱センサ１２３９と、ファン１２３７と、キーボード１２４６と、タッチ・パッド１２３０とが、ＥＣ１２３５に通信可能に結合され得る。少なくとも１つの実施例では、スピーカー１２６３と、ヘッドフォン１２６４と、マイクロフォン（「ｍｉｃ」）１２６５とが、オーディオ・ユニット（「オーディオ・コーデック及びクラスｄアンプ」）１２６２に通信可能に結合され得、オーディオ・ユニット１２６２は、ＤＳＰ１２６０に通信可能に結合され得る。少なくとも１つの実施例では、オーディオ・ユニット１２６４は、たとえば、限定はしないが、オーディオ・コーダ／デコーダ（「コーデック」）及びクラスＤ増幅器を含み得る。少なくとも１つの実施例では、ＳＩＭカード（「ＳＩＭ」）１２５７は、ＷＷＡＮユニット１２５６に通信可能に結合され得る。少なくとも１つの実施例では、ＷＬＡＮユニット１２５０及びＢｌｕｅｔｏｏｔｈユニット１２５２などの構成要素、並びにＷＷＡＮユニット１２５６は、次世代フォーム・ファクタ（「ＮＧＦＦ」：Ｎｅｘｔ Ｇｅｎｅｒａｔｉｏｎ Ｆｏｒｍ Ｆａｃｔｏｒ）において実装され得る。
１つ又は複数の実施例に関連付けられた推論及び／又は訓練動作を実施するために、推論及び／又は訓練論理９１５が使用される。推論及び／又は訓練論理９１５に関する詳細は、図９Ａ及び／又は図９Ｂと併せて以下で提供される。少なくとも１つの実施例では、推論及び／又は訓練論理９１５は、本明細書で説明されるニューラル・ネットワーク訓練動作、ニューラル・ネットワーク機能及び／又はアーキテクチャ、或いはニューラル・ネットワーク使用事例を使用して計算された重みパラメータに少なくとも部分的に基づいて、推論又は予測動作のために図１２のシステムにおいて使用され得る。
そのような構成要素は、ネットワーク訓練プロセスにおける障害事例を模倣する合成データを生成するために使用され得、これは、過剰適合を回避するために合成データの量を制限しながらネットワークの性能を改善するのを助けることができる。
図１３は、少なくとも１つの実施例による、処理システムのブロック図である。少なくとも１つの実施例では、システム１３００は、１つ又は複数のプロセッサ１３０２と１つ又は複数のグラフィックス・プロセッサ１３０８とを含み、単一プロセッサ・デスクトップ・システム、マルチプロセッサ・ワークステーション・システム、或いは多数のプロセッサ１３０２又はプロセッサ・コア１３０７を有するサーバ・システムであり得る。少なくとも１つの実施例では、システム１３００は、モバイル・デバイス、ハンドヘルド・デバイス、又は組み込みデバイスにおいて使用するためのシステム・オン・チップ（ＳｏＣ）集積回路内に組み込まれた処理プラットフォームである。
少なくとも１つの実施例では、システム１３００は、サーバ・ベースのゲーミング・プラットフォーム、ゲーム及びメディア・コンソールを含むゲーム・コンソール、モバイル・ゲーミング・コンソール、ハンドヘルド・ゲーム・コンソール、又はオンライン・ゲーム・コンソールを含むことができるか、或いはそれらの内部に組み込まれ得る。少なくとも１つの実施例では、システム１３００は、モバイル・フォン、スマート・フォン、タブレット・コンピューティング・デバイス又はモバイル・インターネット・デバイスである。少なくとも１つの実施例では、処理システム１３００はまた、スマート・ウォッチ・ウェアラブル・デバイス、スマート・アイウェア・デバイス、拡張現実デバイス、又は仮想現実デバイスなどのウェアラブル・デバイスを含むことができるか、それらと結合することができるか、又はそれらの内部に組み込まれ得る。少なくとも１つの実施例では、処理システム１３００は、１つ又は複数のプロセッサ１３０２と、１つ又は複数のグラフィックス・プロセッサ１３０８によって生成されるグラフィカル・インターフェースとを有するテレビ又はセット・トップ・ボックス・デバイスである。
少なくとも１つの実施例では、１つ又は複数のプロセッサ１３０２は、各々、実行されたときにシステム及びユーザ・ソフトウェアのための動作を実施する命令を処理するための１つ又は複数のプロセッサ・コア１３０７を含む。少なくとも１つの実施例では、１つ又は複数のプロセッサ・コア１３０７の各々は、特定の命令セット１３０９を処理するように構成される。少なくとも１つの実施例では、命令セット１３０９は、複合命令セット・コンピューティング（ＣＩＳＣ）、縮小命令セット・コンピューティング（ＲＩＳＣ）、又は超長命令語（ＶＬＩＷ）を介したコンピューティングを容易にし得る。少なくとも１つの実施例では、プロセッサ・コア１３０７は、各々、異なる命令セット１３０９を処理し得、命令セット１３０９は、他の命令セットのエミュレーションを容易にするための命令を含み得る。少なくとも１つの実施例では、プロセッサ・コア１３０７はまた、デジタル信号プロセッサ（ＤＳＰ）などの他の処理デバイスを含み得る。
少なくとも１つの実施例では、プロセッサ１３０２はキャッシュ・メモリ１３０４を含む。少なくとも１つの実施例では、プロセッサ１３０２は、単一の内部キャッシュ又は複数のレベルの内部キャッシュを有することができる。少なくとも１つの実施例では、キャッシュ・メモリは、プロセッサ１３０２の様々な構成要素の間で共有される。少なくとも１つの実施例では、プロセッサ１３０２はまた、外部キャッシュ（たとえば、レベル３（Ｌ３）キャッシュ又はラスト・レベル・キャッシュ（ＬＬＣ：Ｌａｓｔ Ｌｅｖｅｌ Ｃａｃｈｅ））（図示せず）を使用し、外部キャッシュは、知られているキャッシュ・コヒーレンシ技法を使用してプロセッサ・コア１３０７の間で共有され得る。少なくとも１つの実施例では、追加として、レジスタ・ファイル１３０６がプロセッサ１３０２中に含まれ、レジスタ・ファイル１３０６は、異なるタイプのデータを記憶するための異なるタイプのレジスタ（たとえば、整数レジスタ、浮動小数点レジスタ、ステータス・レジスタ、及び命令ポインタ・レジスタ）を含み得る。少なくとも１つの実施例では、レジスタ・ファイル１３０６は、汎用レジスタ又は他のレジスタを含み得る。
少なくとも１つの実施例では、１つ又は複数のプロセッサ１３０２は、アドレス、データ、又は制御信号などの通信信号を、プロセッサ１３０２とシステム１３００中の他の構成要素との間で送信するために、１つ又は複数のインターフェース・バス１３１０と結合される。少なくとも１つの実施例では、１つの実施例におけるインターフェース・バス１３１０は、ダイレクト・メディア・インターフェース（ＤＭＩ：Ｄｉｒｅｃｔ Ｍｅｄｉａ Ｉｎｔｅｒｆａｃｅ）バスのバージョンなどのプロセッサ・バスであり得る。少なくとも１つの実施例では、インターフェース１３１０は、ＤＭＩバスに限定されず、１つ又は複数の周辺構成要素相互接続バス（たとえば、ＰＣＩ、ＰＣＩ Ｅｘｐｒｅｓｓ）、メモリ・バス、又は他のタイプのインターフェース・バスを含み得る。少なくとも１つの実施例では、（１つ又は複数の）プロセッサ１３０２は、統合されたメモリ・コントローラ１３１６と、プラットフォーム・コントローラ・ハブ１３３０とを含む。少なくとも１つの実施例では、メモリ・コントローラ１３１６は、メモリ・デバイスとシステム１３００の他の構成要素との間の通信を容易にし、プラットフォーム・コントローラ・ハブ（ＰＣＨ：ｐｌａｔｆｏｒｍ ｃｏｎｔｒｏｌｌｅｒ ｈｕｂ）１３３０は、ローカルＩ／Ｏバスを介してＩ／Ｏデバイスへの接続を提供する。
少なくとも１つの実施例では、メモリ・デバイス１３２０は、ダイナミック・ランダム・アクセス・メモリ（ＤＲＡＭ）デバイス、スタティック・ランダム・アクセス・メモリ（ＳＲＡＭ）デバイス、フラッシュ・メモリ・デバイス、相変化メモリ・デバイス、又はプロセス・メモリとして働くのに好適な性能を有する何らかの他のメモリ・デバイスであり得る。少なくとも１つの実施例では、メモリ・デバイス１３２０は、１つ又は複数のプロセッサ１３０２がアプリケーション又はプロセスを実行するときの使用のためのデータ１３２２及び命令１３２１を記憶するために、システム１３００のためのシステム・メモリとして動作することができる。少なくとも１つの実施例では、メモリ・コントローラ１３１６はまた、随意の外部グラフィックス・プロセッサ１３１２と結合し、外部グラフィックス・プロセッサ１３１２は、グラフィックス動作及びメディア動作を実施するために、プロセッサ１３０２中の１つ又は複数のグラフィックス・プロセッサ１３０８と通信し得る。少なくとも１つの実施例では、ディスプレイ・デバイス１３１１は、（１つ又は複数の）プロセッサ１３０２に接続することができる。少なくとも１つの実施例では、ディスプレイ・デバイス１３１１は、モバイル電子デバイス又はラップトップ・デバイスの場合のような内部ディスプレイ・デバイス、或いは、ディスプレイ・インターフェース（たとえば、ＤｉｓｐｌａｙＰｏｒｔなど）を介して取り付けられた外部ディスプレイ・デバイスのうちの１つ又は複数を含むことができる。少なくとも１つの実施例では、ディスプレイ・デバイス１３１１は、仮想現実（ＶＲ）アプリケーション又は拡張現実（ＡＲ）アプリケーションにおいて使用するための立体ディスプレイ・デバイスなどの頭部装着型ディスプレイ（ＨＭＤ：ｈｅａｄ ｍｏｕｎｔｅｄ ｄｉｓｐｌａｙ）を含むことができる。
少なくとも１つの実施例では、プラットフォーム・コントローラ・ハブ１３３０は、周辺機器が高速Ｉ／Ｏバスを介してメモリ・デバイス１３２０及びプロセッサ１３０２に接続することを可能にする。少なくとも１つの実施例では、Ｉ／Ｏ周辺機器は、限定はしないが、オーディオ・コントローラ１３４６と、ネットワーク・コントローラ１３３４と、ファームウェア・インターフェース１３２８と、ワイヤレス・トランシーバ１３２６と、タッチ・センサ１３２５と、データ・ストレージ・デバイス１３２４（たとえば、ハード・ディスク・ドライブ、フラッシュ・メモリなど）とを含む。少なくとも１つの実施例では、データ・ストレージ・デバイス１３２４は、ストレージ・インターフェース（たとえば、ＳＡＴＡ）を介して、又は周辺構成要素相互接続バス（たとえば、ＰＣＩ、ＰＣＩ Ｅｘｐｒｅｓｓ）などの周辺バスを介して、接続することができる。少なくとも１つの実施例では、タッチ・センサ１３２５は、タッチ・スクリーン・センサ、圧力センサ、又は指紋センサを含むことができる。少なくとも１つの実施例では、ワイヤレス・トランシーバ１３２６は、Ｗｉ－Ｆｉトランシーバ、Ｂｌｕｅｔｏｏｔｈトランシーバ、或いは３Ｇ、４Ｇ、又はロング・ターム・エボリューション（ＬＴＥ）トランシーバなどのモバイル・ネットワーク・トランシーバであり得る。少なくとも１つの実施例では、ファームウェア・インターフェース１３２８は、システム・ファームウェアとの通信を可能にし、たとえば、ユニファイド・エクステンシブル・ファームウェア・インターフェース（ＵＥＦＩ：ｕｎｉｆｉｅｄ ｅｘｔｅｎｓｉｂｌｅ ｆｉｒｍｗａｒｅ ｉｎｔｅｒｆａｃｅ）であり得る。少なくとも１つの実施例では、ネットワーク・コントローラ１３３４は、ワイヤード・ネットワークへのネットワーク接続を可能にすることができる。少なくとも１つの実施例では、高性能ネットワーク・コントローラ（図示せず）は、インターフェース・バス１３１０と結合する。少なくとも１つの実施例では、オーディオ・コントローラ１３４６は、マルチチャネル高精細度オーディオ・コントローラである。少なくとも１つの実施例では、システム１３００は、レガシー（たとえば、パーソナル・システム２（ＰＳ／２：Ｐｅｒｓｏｎａｌ Ｓｙｓｔｅｍ ２））デバイスをシステムに結合するための随意のレガシーＩ／Ｏコントローラ１３４０を含む。少なくとも１つの実施例では、プラットフォーム・コントローラ・ハブ１３３０は、キーボードとマウス１３４３との組合せ、カメラ１３４４、又は他のＵＳＢ入力デバイスなど、１つ又は複数のユニバーサル・シリアル・バス（ＵＳＢ）コントローラ１３４２接続入力デバイスにも接続することができる。
少なくとも１つの実施例では、メモリ・コントローラ１３１６及びプラットフォーム・コントローラ・ハブ１３３０のインスタンスが、外部グラフィックス・プロセッサ１３１２などの慎重な外部グラフィックス・プロセッサに組み込まれ得る。少なくとも１つの実施例では、プラットフォーム・コントローラ・ハブ１３３０及び／又はメモリ・コントローラ１３１６は、１つ又は複数のプロセッサ１３０２の外部にあり得る。たとえば、少なくとも１つの実施例では、システム１３００は、外部のメモリ・コントローラ１３１６とプラットフォーム・コントローラ・ハブ１３３０とを含むことができ、それらは、（１つ又は複数の）プロセッサ１３０２と通信しているシステム・チップセット内のメモリ・コントローラ・ハブ及び周辺コントローラ・ハブとして構成され得る。
１つ又は複数の実施例に関連付けられた推論及び／又は訓練動作を実施するために、推論及び／又は訓練論理９１５が使用される。推論及び／又は訓練論理５１５に関する詳細は、図９Ａ及び／又は図９Ｂと併せて以下で提供される。少なくとも１つの実施例では、推論及び／又は訓練論理９１５の部分又はすべてが、グラフィックス・プロセッサ１３１２に組み込まれ得る。たとえば、少なくとも１つの実施例では、本明細書で説明される訓練及び／又は推論技法は、グラフィックス・プロセッサにおいて具体化されたＡＬＵのうちの１つ又は複数を使用し得る。その上、少なくとも１つの実施例では、本明細書で説明される推論及び／又は訓練動作は、図９Ａ又は図９Ｂに示されている論理以外の論理を使用して行われ得る。少なくとも１つの実施例では、重みパラメータは、本明細書で説明される１つ又は複数の機械学習アルゴリズム、ニューラル・ネットワーク・アーキテクチャ、使用事例、又は訓練技法を実施するためのグラフィックス・プロセッサのＡＬＵを構成する（示されている又は示されていない）オンチップ又はオフチップ・メモリ及び／又はレジスタに記憶され得る。
そのような構成要素は、ネットワーク訓練プロセスにおける障害事例を模倣する合成データを生成するために使用され得、これは、過剰適合を回避するために合成データの量を制限しながらネットワークの性能を改善するのを助けることができる。
図１４は、少なくとも１つの実施例による、１つ又は複数のプロセッサ・コア１４０２Ａ～１２０２Ｎと、統合されたメモリ・コントローラ１４１４と、統合されたグラフィックス・プロセッサ１４０８とを有するプロセッサ１４００のブロック図である。少なくとも１つの実施例では、プロセッサ１４００は、破線ボックスによって表される追加コア１４０２Ｎまでの追加コアを含むことができる。少なくとも１つの実施例では、プロセッサ・コア１４０２Ａ～１００２Ｎの各々は、１つ又は複数の内部キャッシュ・ユニット１４０４Ａ～１４０４Ｎを含む。少なくとも１つの実施例では、各プロセッサ・コアはまた、１つ又は複数の共有キャッシュド・ユニット１４０６へのアクセスを有する。
少なくとも１つの実施例では、内部キャッシュ・ユニット１４０４Ａ～１４０４Ｎと共有キャッシュ・ユニット１４０６とは、プロセッサ１４００内のキャッシュ・メモリ階層を表す。少なくとも１つの実施例では、キャッシュ・メモリ・ユニット１４０４Ａ～１４０４Ｎは、各プロセッサ・コア内の命令及びデータ・キャッシュの少なくとも１つのレベル、及びレベル２（Ｌ２）、レベル３（Ｌ３）、レベル４（Ｌ４）などの共有中間レベル・キャッシュの１つ又は複数のレベル、又はキャッシュの他のレベルを含み得、ここで、外部メモリの前の最高レベルのキャッシュは、ＬＬＣとして分類される。少なくとも１つの実施例では、キャッシュ・コヒーレンシ論理は、様々なキャッシュ・ユニット１４０６及び１４０４Ａ～１４０４Ｎ間でコヒーレンシを維持する。
少なくとも１つの実施例では、プロセッサ１４００は、１つ又は複数のバス・コントローラ・ユニット１４１６とシステム・エージェント・コア１４１０とのセットをも含み得る。少なくとも１つの実施例では、１つ又は複数のバス・コントローラ・ユニット１４１６は、１つ又は複数のＰＣＩ又はＰＣＩエクスプレス・バスなどの周辺バスのセットを管理する。少なくとも１つの実施例では、システム・エージェント・コア１４１０は、様々なプロセッサ構成要素のための管理機能性を提供する。少なくとも１つの実施例では、システム・エージェント・コア１４１０は、様々な外部メモリ・デバイス（図示せず）へのアクセスを管理するための１つ又は複数の統合されたメモリ・コントローラ１４１４を含む。
少なくとも１つの実施例では、プロセッサ・コア１４０２Ａ～１４０２Ｎのうちの１つ又は複数は、同時マルチスレッディングのサポートを含む。少なくとも１つの実施例では、システム・エージェント・コア１４１０は、マルチスレッド処理中にコア１４０２Ａ～１４０２Ｎを協調させ、動作させるための構成要素を含む。少なくとも１つの実施例では、システム・エージェント・コア１４１０は、追加として、電力制御ユニット（ＰＣＵ：ｐｏｗｅｒ ｃｏｎｔｒｏｌ ｕｎｉｔ）を含み得、ＰＣＵは、プロセッサ・コア１４０２Ａ～１４０２Ｎ及びグラフィックス・プロセッサ１４０８の１つ又は複数の電力状態を調節するための論理及び構成要素を含む。
少なくとも１つの実施例では、プロセッサ１４００は、追加として、グラフィックス処理動作を実行するためのグラフィックス・プロセッサ１４０８を含む。少なくとも１つの実施例では、グラフィックス・プロセッサ１４０８は、共有キャッシュ・ユニット１４０６、及び１つ又は複数の統合されたメモリ・コントローラ１４１４を含むシステム・エージェント・コア１４１０と結合する。少なくとも１つの実施例では、システム・エージェント・コア１４１０は、１つ又は複数の結合されたディスプレイへのグラフィックス・プロセッサ出力を駆動するためのディスプレイ・コントローラ１４１１をも含む。少なくとも１つの実施例では、ディスプレイ・コントローラ１４１１はまた、少なくとも１つの相互接続を介してグラフィックス・プロセッサ１４０８と結合された別個のモジュールであり得るか、又はグラフィックス・プロセッサ１４０８内に組み込まれ得る。
少なくとも１つの実施例では、プロセッサ１４００の内部構成要素を結合するために、リング・ベースの相互接続ユニット１４１２が使用される。少なくとも１つの実施例では、ポイントツーポイント相互接続、切替え相互接続、又は他の技法などの代替相互接続ユニットが使用され得る。少なくとも１つの実施例では、グラフィックス・プロセッサ１４０８は、Ｉ／Ｏリンク１４１３を介してリング相互接続１４１２と結合する。
少なくとも１つの実施例では、Ｉ／Ｏリンク１４１３は、様々なプロセッサ構成要素と、ｅＤＲＡＭモジュールなどの高性能組み込みメモリ・モジュール１４１８との間の通信を容易にするオン・パッケージＩ／Ｏ相互接続を含む、複数の種類のＩ／Ｏ相互接続のうちの少なくとも１つを表す。少なくとも１つの実施例では、プロセッサ・コア１４０２Ａ～１４０２Ｎの各々と、グラフィックス・プロセッサ１４０８とは、共有ラスト・レベル・キャッシュとして組み込みメモリ・モジュール１４１８を使用する。
少なくとも１つの実施例では、プロセッサ・コア１４０２Ａ～１４０２Ｎは、共通の命令セット・アーキテクチャを実行する同種のコアである。少なくとも１つの実施例では、プロセッサ・コア１４０２Ａ～１４０２Ｎは、命令セット・アーキテクチャ（ＩＳＡ：ｉｎｓｔｒｕｃｔｉｏｎ ｓｅｔ ａｒｃｈｉｔｅｃｔｕｒｅ）という観点から異種であり、ここで、プロセッサ・コア１４０２Ａ～１４０２Ｎのうちの１つ又は複数は、共通の命令セットを実行し、プロセッサ・コア１４０２Ａ～１４０２Ｎのうちの１つ又は複数の他のコアは、共通の命令セットのサブセット、又は異なる命令セットを実行する。少なくとも１つの実施例では、プロセッサ・コア１４０２Ａ～１４０２Ｎは、マイクロアーキテクチャという観点から異種であり、ここで、電力消費量が比較的高い１つ又は複数のコアは、電力消費量がより低い１つ又は複数の電力コアと結合する。少なくとも１つの実施例では、プロセッサ１４００は、１つ又は複数のチップ上に、又はＳｏＣ集積回路として実装され得る。
いくつかの実施例では、推論及び／又は訓練論理９１５は、（たとえば、ＲＧＢ－ＩＲカメラによって生成され、次いで、ライティング条件に基づいて処理された）変換された画像データを使用して推論及び／又は訓練動作を実施するために使用される。推論及び／又は訓練論理９１５に関する詳細は、図９Ａ及び／又は図９Ｂと併せて以下で提供される。少なくとも１つの実施例では、推論及び／又は訓練論理９１５の部分又はすべてが、プロセッサ１４００に組み込まれ得る。たとえば、少なくとも１つの実施例では、本明細書で説明される訓練及び／又は推論技法は、グラフィックス・プロセッサ１１２、（１つ又は複数の）グラフィックス・コア１４０２Ａ～１４０２Ｎ、又は図１４中の他の構成要素において具体化されたＡＬＵのうちの１つ又は複数を使用し得る。その上、少なくとも１つの実施例では、本明細書で説明される推論及び／又は訓練動作は、図９Ａ又は図９Ｂに示されている論理以外の論理を使用して行われ得る。少なくとも１つの実施例では、重みパラメータは、本明細書で説明される１つ又は複数の機械学習アルゴリズム、ニューラル・ネットワーク・アーキテクチャ、使用事例、又は訓練技法を実施するためのグラフィックス・プロセッサのＡＬＵを構成する（示されている又は示されていない）オンチップ又はオフチップ・メモリ及び／又はレジスタに記憶され得る。
そのような構成要素は、ネットワーク訓練プロセスにおける障害事例を模倣する合成データを生成するために使用され得、これは、過剰適合を回避するために合成データの量を制限しながらネットワークの性能を改善するのを助けることができる。
他の変形形態は、本開示の範囲内にある。したがって、開示される技法は、様々な修正及び代替構築が可能であるが、それらのいくつかの例示的な実施例が図面に示され、上記で詳細に説明された。しかしながら、特定の１つ又は複数の開示された形態に本開示を限定する意図はなく、その反対に、添付の特許請求の範囲において定義されるように、開示の趣旨及び範囲に入るすべての修正形態、代替構築、及び等価物を網羅することを意図していることが理解されるべきである。
開示される実施例を説明する文脈において（特に、以下の特許請求の範囲の文脈において）「ａ」及び「ａｎ」及び「ｔｈｅ」という用語、並びに同様の指示語を使用することは、本明細書に別段の記載のない限り、又は文脈によって明らかに否定されない限り、単数と複数の両方を網羅すると解釈されるべきであり、用語の定義であると解釈されるべきではない。「含む、備える（ｃｏｍｐｒｉｓｉｎｇ）」、「有する（ｈａｖｉｎｇ）」、「含む（ｉｎｃｌｕｄｉｎｇ）」、「含んでいる（ｃｏｎｔａｉｎｉｎｇ）」という用語は、別段の記載のない限り、オープンエンドの用語（「限定はしないが、～を含む（ｉｎｃｌｕｄｉｎｇ， ｂｕｔ ｎｏｔ ｌｉｍｉｔｅｄ ｔｏ，）」を意味する）と解釈されるべきである。「接続される」という用語は、修飾されず、物理的接続を指しているとき、何か介在するものがある場合でも、部分的に又は完全に中に含まれているか、取り付けられるか、又は互いに接合されるものとして解釈されるべきである。本明細書で値の範囲を詳述することは、本明細書に別段の記載のない限り、及び各別個の値が、本明細書に個々に詳述されているかのように明細書に組み込まれていない限り、範囲内に入る各別個の値を個々に参照する簡潔な方法として働くことを単に意図しているにすぎない。「セット」（たとえば、「項目のセット」）又は「サブセット」という用語の使用は、文脈によって別段の記載がないか又は否定されない限り、１つ又は複数の部材を備える空ではない集合として解釈されるべきである。さらに、文脈によって別段の記載がないか又は否定されない限り、対応するセットの「サブセット」という用語は、対応するセットの厳密なサブセットを必ずしも指すとは限らず、サブセットと、対応するセットとは、等しくなり得る。
「Ａ、Ｂ、及びＣのうちの少なくとも１つ」又は「Ａ、Ｂ及びＣのうちの少なくとも１つ」という形態の言い回しなどの結合語は、別段の具体的な記載がないか又はさもなければ文脈によって明確に否定されない限り、別様に、項目、用語などが、Ａ又はＢ又はＣのいずれか、或いはＡとＢとＣとのセットの任意の空でないサブセットであり得ることを提示するために一般に使用される文脈で、理解される。たとえば、３つの部材を有するセットの説明的な実例では、「Ａ、Ｂ、及びＣのうちの少なくとも１つ」並びに「Ａ、Ｂ及びＣのうちの少なくとも１つ」という結合句は、次のセットのいずれかを指す：｛Ａ｝、｛Ｂ｝、｛Ｃ｝、｛Ａ、Ｂ｝、｛Ａ、Ｃ｝、｛Ｂ、Ｃ｝、｛Ａ、Ｂ、Ｃ｝。したがって、そのような結合語は、いくつかの実施例が、Ａのうちの少なくとも１つ、Ｂのうちの少なくとも１つ、及びＣのうちの少なくとも１つの各々が存在することを必要とすることを全体的に暗示するものではない。さらに、別段の記載がないか又は文脈によって否定されない限り、「複数（ｐｌｕｒａｌｉｔｙ）」という用語は、複数である状態を示す（たとえば、「複数の項目（ａ ｐｌｕｒａｌｉｔｙ ｏｆ ｉｔｅｍｓ）」は複数の項目（ｍｕｌｔｉｐｌｅ ｉｔｅｍｓ）を示す）。複数（ｐｌｕｒａｌｉｔｙ）は、少なくとも２つの項目であるが、明示的に、又は文脈によってのいずれかでそのように示されているとき、それよりも多いことがある。さらに、別段の記載がないか又はさもなければ文脈から明らかでない限り、「～に基づいて」という言い回しは、「少なくとも部分的に～に基づいて」を意味し、「～のみに基づいて」を意味しない。
本明細書で説明されるプロセスの動作は、本明細書に別段の記載がないか又はさもなければ文脈によって明確に否定されない限り、任意の好適な順序で実施され得る。少なくとも１つの実施例では、本明細書で説明されるプロセス（又はその変形形態及び／又は組合せ）などのプロセスは、実行可能命令で構成された１つ又は複数のコンピュータ・システムの制御下で実施され、１つ又は複数のプロセッサ上で、ハードウェアによって、又はそれらの組合せによって集合的に実行するコード（たとえば、実行可能命令、１つ又は複数のコンピュータ・プログラム、又は１つ又は複数のアプリケーション）として実装される。少なくとも１つの実施例では、コードは、たとえば、１つ又は複数のプロセッサによって実行可能な複数の命令を備えるコンピュータ・プログラムの形態で、コンピュータ可読記憶媒体に記憶される。少なくとも１つの実施例では、コンピュータ可読記憶媒体は、一時的信号（たとえば、伝搬する一時的な電気又は電磁送信）を除外するが、一時的信号のトランシーバ内の非一時的データ・ストレージ回路要素（たとえば、バッファ、キャッシュ、及びキュー）を含む非一時的コンピュータ可読記憶媒体である。少なくとも１つの実施例では、コード（たとえば、実行可能コード又はソース・コード）は、１つ又は複数の非一時的コンピュータ可読記憶媒体のセットに記憶され、この記憶媒体は、コンピュータ・システムの１つ又は複数のプロセッサによって実行されたときに（すなわち、実行された結果として）、コンピュータ・システムに本明細書で説明される動作を実施させる実行可能命令を記憶している（又は、実行可能命令を記憶するための他のメモリを有する）。非一時的コンピュータ可読記憶媒体のセットは、少なくとも１つの実施例では、複数の非一時的コンピュータ可読記憶媒体を備え、複数の非一時的コンピュータ可読記憶媒体の個々の非一時的記憶媒体のうちの１つ又は複数は、コードのすべてがないが、複数の非一時的コンピュータ可読記憶媒体は、集合的にコードのすべてを記憶している。少なくとも１つの実施例では、実行可能命令は、異なる命令が異なるプロセッサによって実行されるように実行され、たとえば、非一時的コンピュータ可読記憶媒体は命令を記憶し、メイン中央処理ユニット（「ＣＰＵ」）は命令のいくつかを実行し、グラフィックス処理ユニット（「ＧＰＵ」）は他の命令を実行する。少なくとも１つの実施例では、コンピュータ・システムの異なる構成要素は、別個のプロセッサを有し、異なるプロセッサが命令の異なるサブセットを実行する。
したがって、少なくとも１つの実施例では、コンピュータ・システムは、本明細書で説明されるプロセスの動作を単独で又は集合的に実施する１つ又は複数のサービスを実装するように構成され、そのようなコンピュータ・システムは、動作の実施を可能にする適用可能なハードウェア及び／又はソフトウェアで構成される。さらに、本開示の少なくとも１つの実施例を実装するコンピュータ・システムは、単一のデバイスであり、別の実施例では、分散型コンピュータ・システムが本明細書で説明される動作を実施するように、及び単一のデバイスがすべての動作を実施しないように、異なるやり方で動作する複数のデバイスを備える分散型コンピュータ・システムである。
本明細書で提供されるあらゆる実例、又は例示的な言葉（たとえば、「など、などの（ｓｕｃｈ ａｓ）」）の使用は、本開示の実施例をより明らかにすることのみを意図しており、別段の主張のない限り、本開示の範囲に制限を加えるものではない。本明細書のいかなる言葉も、特許請求されていない任意の要素を、本開示の実践に不可欠なものとして示すと解釈されるべきではない。
本明細書で引用される出版物、特許出願、及び特許を含むすべての参考文献は、各参考文献が参照により組み込まれることが個別に明確に示され、その全体が本明細書に記載されたかのように、それと同程度まで参照により本明細書に組み込まれる。
明細書及び特許請求の範囲において、「結合される」及び「接続される」という用語が、その派生語とともに使用され得る。これらの用語は、互いに同義語として意図されていないことがあることが理解されるべきである。むしろ、特定の実例では、「接続される」又は「結合される」は、２つ又はそれ以上の要素が物理的又は電気的に互いに直接又は間接的に接触していることを示すために使用され得る。「結合される」はまた、２つ又はそれ以上の要素が直接互いに接触していないが、それでもなお互いに連動又は対話することを意味し得る。
別段の具体的な記載がない限り、明細書全体を通して、「処理する（ｐｒｏｃｅｓｓｉｎｇ）」、「算出する（ｃｏｍｐｕｔｉｎｇ）」、「計算する（ｃａｌｃｕｌａｔｉｎｇ）」、又は「決定する（ｄｅｔｅｒｍｉｎｉｎｇ）」などの用語は、コンピューティング・システムのレジスタ及び／又はメモリ内の、電子的などの物理的な量として表されるデータを、コンピューティング・システムのメモリ、レジスタ又は他のそのような情報ストレージ、送信、若しくはディスプレイ・デバイス内の物理的な量として同様に表される他のデータになるように操作及び／又は変換する、コンピュータ又はコンピューティング・システム、或いは同様の電子コンピューティング・デバイスのアクション及び／又はプロセスを指すことが諒解され得る。
同様に、「プロセッサ」という用語は、レジスタ及び／又はメモリからの電子データを処理し、その電子データを、レジスタ及び／又はメモリに記憶され得る他の電子データに変換する任意のデバイス、又はデバイスの一部分を指し得る。非限定的な実例として、「プロセッサ」は、ＣＰＵ、ＧＰＵ、ＤＰＵ、又はハードウェア・アクセラレータであり得る。「コンピューティング・プラットフォーム」は、１つ又は複数のプロセッサを備え得る。本明細書で使用される「ソフトウェア」プロセスは、たとえば、タスク、スレッド、及び知的エージェントなど、経時的にワークを実施するソフトウェア及び／又はハードウェア・エンティティを含み得る。また、各プロセスは、命令を直列で又は並列で、連続的に又は断続的に行うための複数のプロセスを指し得る。「システム」及び「方法」という用語は、１つ又は複数の方法をシステムが具体化し得、方法がシステムと考えられ得る場合に限り、本明細書において交換可能に使用される。
本明細書では、アナログ・データ又はデジタル・データを取得すること、獲得すること、受信すること、或いはそれらをサブシステム、コンピュータ・システム、又はコンピュータ実装機械に入力することに言及し得る。アナログ・データ及びデジタル・データを取得すること、獲得すること、受信すること、又は入力することは、関数コール、又はアプリケーション・プログラミング・インターフェースへのコールのパラメータとしてデータを受信することによってなど、様々なやり方で実現され得る。いくつかの実装形態では、アナログ・データ又はデジタル・データを取得する、獲得する、受信する、又は入力するプロセスは、直列又は並列インターフェースを介してデータを転送することによって実現され得る。別の実装形態では、アナログ・データ又はデジタル・データを取得する、獲得する、受信する、又は入力するプロセスは、提供するエンティティから獲得するエンティティにコンピュータ・ネットワークを介してデータを転送することによって実現され得る。アナログ・データ又はデジタル・データを提供すること、出力すること、送信すること、送出すること、又は提示することにも言及し得る。様々な実例では、アナログ・データ又はデジタル・データを提供する、出力する、送信する、送出する、又は提示するプロセスは、関数コールの入力又は出力パラメータ、アプリケーション・プログラミング・インターフェース又はプロセス間通信機構のパラメータとしてデータを転送することによって実現され得る。
上記の説明は、説明された技法の例示的な実装形態について述べているが、他のアーキテクチャが、説明された機能性を実装するために使用され得、本開示の範囲内にあることが意図される。さらに、説明を目的として、責任の具体的な分散が上記で定義されたが、様々な機能及び責任は、状況に応じて異なるやり方で分散及び分割され得る。
さらに、主題は、構造的特徴及び／又は方法論的行為に特有の言語で説明されたが、添付の特許請求の範囲で特許請求される主題は、説明された特有の特徴又は行為に必ずしも限定されるとは限らないことが理解されるべきである。むしろ、特有の特徴及び行為は、特許請求の範囲を実装する例示的な形態として開示される。
前の詳細な説明のいくつかの部分は、コンピュータ・メモリ内のデータ・ビットに対する動作のアルゴリズム及び記号表現に関して提示された。これらのアルゴリズム説明及び表現は、データ処理技術の当業者によって、彼らのワークの内容を他の当業者に最も効果的に伝達するために使用されるやり方である。アルゴリズムは、ここで、及び概して、所望の結果につながる動作の自己矛盾のないシーケンスであると考えられる。動作は、物理的な分量の物理的操作を必要とするものである。通常、必ずしもそうとは限らないが、これらの分量は、記憶され、組み合わせられ、比較され、さもなければ、操作されることが可能な、電気信号又は磁気信号の形態をとる。時々、主に一般的な用法という理由で、ビット、値、要素、シンボル、文字、用語、数などとしてこれらの信号を指すことは好都合であることが判明している。
しかしながら、これら及び同様の用語のすべては、適切な物理的な分量に関連付けられるべきであり、これらの分量に適用される好都合なラベルであるにすぎないことを念頭に置かれたい。本開示は、コンピュータ・システム、又は同様の電子コンピューティング・デバイスのアクション及びプロセスを指すことがあり、コンピュータ・システム、又は同様の電子コンピューティング・デバイスは、コンピュータ・システムのレジスタ及びメモリ内の物理的な（電子的な）分量として表されるデータを操作し、それを、コンピュータ・システム・メモリ又はレジスタ又は他のそのような情報ストレージ・システム内の物理的な分量として同様に表される他のデータに変換する。
本開示はまた、本明細書の動作を実施するための装置に関する。この装置は、意図された目的のために特別に構築され得るか、或いは、それは、コンピュータに記憶されたコンピュータ・プログラムによって選択的にアクティブ化又は再構成される汎用コンピュータを含むことができる。そのようなコンピュータ・プログラムは、限定はしないが、コンピュータ・システム・バスに各々結合される、フロッピー・ディスク、光ディスク、ＣＤ－ＲＯＭ、及び磁気光ディスクを含む任意のタイプのディスク、読取り専用メモリ（ＲＯＭ）、ランダム・アクセス・メモリ（ＲＡＭ：ｒａｎｄｏｍ ａｃｃｅｓｓ ｍｅｍｏｒｙ）、ＥＰＲＯＭ、ＥＥＰＲＯＭ、磁気又は光カード、或いは電子命令を記憶するのに好適な任意のタイプの媒体など、コンピュータ可読記憶媒体に記憶され得る。
本明細書で提示されるアルゴリズム及びディスプレイは、特定のコンピュータ又は他の装置に本質的に関係しない。様々な汎用システムが、本明細書の教示によるプログラムとともに使用され得るか、又は、方法を実施するためのより特殊な装置を構築することが好都合であると判明することがある。様々なこれらのシステムのための構造は、以下の説明に記載されているように現れることになる。さらに、本開示は、特定のプログラミング言語に関して説明されない。本明細書で説明される本開示の教示を実装するために、様々なプログラミング言語が使用され得ることが諒解されよう。
本開示は、本開示に従ってプロセスを実施するようにコンピュータ・システム（又は他の電子デバイス）をプログラムするために使用され得る、命令を記憶した機械可読媒体を含むことができる、コンピュータ・プログラム製品、又はソフトウェアとして提供され得る。機械可読媒体は、機械（たとえば、コンピュータ）によって可読な形式で情報を記憶するための機構を含む。いくつかの実施例では、機械可読（たとえば、非一時的コンピュータ可読）媒体は、読取り専用メモリ（「ＲＯＭ」）、ランダム・アクセス・メモリ（「ＲＡＭ」）、磁気ディスク・ストレージ媒体、光記憶媒体、フラッシュ・メモリ構成要素など、機械（たとえば、コンピュータ）可読記憶媒体を含む。
上記の仕様では、本開示の実施例が、それらの特定の例示的な実施例に関して説明された。以下の特許請求の範囲に記載されている本開示の実施例のより広い趣旨及び範囲から逸脱することなく、様々な修正が、それらに対して行われ得ることが明らかであろう。したがって、明細書及び図面は、限定的な意味ではなく例示的な意味と見なされるべきである。

Claims (21)

  1. 赤外線値と可視光線値とを含む画像データを受信し、
    前記画像データについてのシーン検出値であって、前記赤外線値と前記可視光線値との間の比較に基づくシーン検出値を算出し、
    前記シーン検出値に基づいて、前記画像データに適用するための赤外線補正の量を制御する１つ又は複数の分量を決定し、
    前記１つ又は複数の分量に基づいて前記画像データを変換する
    １つ又は複数の処理ユニット
    を備える、プロセッサ。
  2. 前記画像データが、赤色、青色、緑色、及び赤外線（ＲＧＢ－ＩＲ）のためのピクセル・センサを含む画像センサの生画像データを含み、前記赤外線値が、赤外線ピクセル値を含み、前記可視光線値が、赤色ピクセル値、青色ピクセル値、及び緑色ピクセル値を含む、請求項１に記載のプロセッサ。
  3. 前記シーン検出値が、前記画像データ中に存在する前記赤外線値と前記可視光線値との間の関係に基づき、前記画像データに適用するための赤外線補正の量を制御し、前記赤外線補正の量が、前記シーン検出値に対する逆関係を有する、請求項１に記載のプロセッサ。
  4. 前記シーン検出値が、前記赤外線値の強度と前記可視光線値の強度との間の比を含む、請求項１に記載のプロセッサ。
  5. 前記可視光線値の前記強度が、緑色ピクセル値の強度に少なくとも部分的に基づいて決定される、請求項４に記載のプロセッサ。
  6. 前記１つ又は複数の処理ユニットが、
    前記赤外線値の強度を表す第１の値であって、前記画像データ中の複数の赤外線ピクセル値の平均を含む第１の値を算出し、
    前記可視光線値の強度を表す第２の値であって、前記画像データ中の複数の緑色ピクセル値の平均を含む第２の値を算出し、
    前記第１の値及び前記第２の値に基づいて前記シーン検出値を生成する、
    請求項１に記載のプロセッサ。
  7. 前記１つ又は複数の処理ユニットが、前記シーン検出値に基づいて、赤外線減算のための分量、ホワイト・バランスのための分量、色修正のための分量、又は飽和のための分量のうちの少なくとも１つを計算することによって、前記１つ又は複数の分量を決定する、請求項１に記載のプロセッサ。
  8. 前記１つ又は複数の処理ユニットが、前記１つ又は複数の分量を分量のセットから選択するためのインデックスとして前記シーン検出値を使用することによって、前記１つ又は複数の分量を決定する、請求項１に記載のプロセッサ。
  9. 前記１つ又は複数の分量が、赤外線減算ファクタを含み、前記１つ又は複数の処理ユニットが、前記シーン検出値に基づいて、
    前記赤外線値の前記可視光線値に対する第１の比に基づいて第１のシーン検出値を算出したことに応答して、赤外線に起因する第１の量を前記可視光線値から減算させる第１の赤外線減算ファクタを決定し、
    前記赤外線値の前記可視光線値に対する前記第１の比よりも高い、前記赤外線値の前記可視光線値に対する第２の比に基づいて第２のシーン検出値を算出したことに応答して、赤外線に起因する第２の量であって、前記第１の量よりも少ない第２の量を前記可視光線値から減算させる第２の赤外線減算ファクタを決定する
    ことによって、前記１つ又は複数の分量を決定する、請求項１に記載のプロセッサ。
  10. 前記１つ又は複数の分量が、さらに、色補正ファクタ、色飽和ファクタ、又はホワイト・バランス・ファクタのうちの少なくとも１つを含み、前記１つ又は複数の処理ユニットが、前記シーン検出値に基づいて、
    前記第１のシーン検出値を算出したことに応答して、第１の色補正ファクタ、第１の色飽和ファクタ、又は、赤外線に起因する前記可視光線値の第１の残りを考慮する第１のホワイト・バランス・ファクタのうちの少なくとも１つを決定し、
    前記第２のシーン検出値を算出したことに応答して、第２の色補正ファクタ、第２の色飽和ファクタ、又は、赤外線に起因する前記可視光線値の第２の残りを考慮する第２のホワイト・バランス・ファクタのうちの少なくとも１つを決定する
    ことによって、前記１つ又は複数の分量を決定する、請求項９に記載のプロセッサ。
  11. 前記１つ又は複数の分量が、赤外線減算ファクタを含み、前記１つ又は複数の処理ユニットが、前記シーン検出値に基づいて、シーン検出値を赤外線減算ファクタに関係付けるルックアップ・テーブルを使用してルックアップを実施することによって、前記１つ又は複数の分量を決定する、請求項１に記載のプロセッサ。
  12. 前記１つ又は複数の処理ユニットが、前記画像データを第１の色モデルから第２の色モデルに変換し、前記第１の色モデルが、赤色成分、緑色成分、及び青色成分を含み、前記第２の色モデルが、ルミナンス成分及びクロミナンス成分を含む、請求項１に記載のプロセッサ。
  13. 前記１つ又は複数の処理ユニットが、さらに、
    入力画像データに基づいて、予測、推定、又は分類のうちの少なくとも１つを出力するように訓練された機械学習モデルを使用して、前記変換された画像データを処理し、
    前記変換された画像データの入力に基づいて生成された出力が、前記画像データの入力に基づいて生成された出力の精度よりも高い、
    請求項１に記載のプロセッサ。
  14. 赤外線値と可視光線値とを含む画像データを生成するように構成された１つ又は複数の画像センサと、
    前記画像データを受信し、
    前記画像データについてのシーン検出値であって、前記赤外線値と前記可視光線値との間の比較に基づくシーン検出値を算出し、
    前記シーン検出値に基づいて、前記画像データに適用するための赤外線補正の量を制御する１つ又は複数の分量を決定し、
    前記１つ又は複数の分量に基づいて前記画像データを変換する
    １つ又は複数の処理ユニットと
    を備える、システム。
  15. 前記変換された画像データを表示するためのディスプレイ・デバイス
    をさらに備える、請求項１４に記載のシステム。
  16. 前記１つ又は複数の画像センサが、車両の内部の前記画像データを生成するように構成され、前記ディスプレイ・デバイスが、前記車両の計器パネルに配設される、請求項１５に記載のシステム。
  17. 前記シーン検出値が、前記画像データ中に存在する前記赤外線値と前記可視光線値との間の関係に基づき、前記画像データに適用するための赤外線補正の量を制御し、前記赤外線補正の量が、前記シーン検出値に対する逆関係を有する、請求項１４に記載のシステム。
  18. 前記シーン検出値が、前記赤外線値の強度と前記可視光線値の強度との間の比を含む、請求項１４に記載のシステム。
  19. 前記１つ又は複数の分量が、赤外線減算ファクタを含み、前記１つ又は複数の処理ユニットが、前記シーン検出値に基づいて、
    前記赤外線値の前記可視光線値に対する第１の比に基づいて第１のシーン検出値を算出したことに応答して、赤外線に起因する第１の量を前記可視光線値から減算させる第１の赤外線減算ファクタを決定し、
    前記赤外線値の前記可視光線値に対する前記第１の比よりも高い、前記赤外線値の前記可視光線値に対する第２の比に基づいて第２のシーン検出値を算出したことに応答して、赤外線に起因する第２の量であって、前記第１の量よりも少ない第２の量を前記可視光線値から減算させる第２の赤外線減算ファクタを決定する
    ことによって、前記１つ又は複数の分量を決定する、請求項１４に記載のシステム。
  20. 前記システムが、
    自律的若しくは半自律的機械のための制御システム、
    自律的若しくは半自律的機械のための知覚システム、
    自律的若しくは半自律的機械のためのドライバ監視システム、
    自律的若しくは半自律的機械のための乗員監視システム、
    シミュレーション動作を実施するためのシステム、
    デジタル・ツイン動作を実施するためのシステム、
    深層学習動作を実施するためのシステム、
    エッジ・デバイスを使用して実装されるシステム、
    ロボットを使用して実装されるシステム、
    １つ若しくは複数の仮想機械（ＶＭ）を組み込んだシステム、
    少なくとも部分的にデータ・センタにおいて実装されるシステム、
    ３次元（３Ｄ）コンテンツのための共同作成プラットフォームを含むシステム、又は
    少なくとも部分的にクラウド・コンピューティング・リソースを使用して実装されるシステム
    のうちの少なくとも１つに含まれる、請求項１４に記載のシステム。
  21. 赤外線値と可視光線値とを含む画像データを受信するステップと、
    前記画像データについてのシーン検出値を算出するステップであって、前記シーン検出値が、前記赤外線値と前記可視光線値との間の比較に基づく、ステップと、
    前記シーン検出値に基づいて１つ又は複数の分量を決定するステップであって、前記１つ又は複数の分量が、前記画像データに適用するための赤外線補正の量を制御する、ステップと、
    前記１つ又は複数の分量に基づいて前記画像データを変換するステップと
    を含む、方法。
JP2022090067A 2022-05-04 2022-06-02 自律システム及びアプリケーションのためのｒｇｂ－ｉｒデータ処理 Pending JP2023166308A (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US17/736,648 2022-05-04
US17/736,648 US20230360178A1 (en) 2022-05-04 2022-05-04 Rgb-ir data processing for autonomous systems and applications

Publications (1)

Publication Number Publication Date
JP2023166308A true JP2023166308A (ja) 2023-11-21

Family

ID=88414348

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2022090067A Pending JP2023166308A (ja) 2022-05-04 2022-06-02 自律システム及びアプリケーションのためのｒｇｂ－ｉｒデータ処理

Country Status (4)

Country Link
US (1) US20230360178A1 (ja)
JP (1) JP2023166308A (ja)
CN (1) CN117082360A (ja)
DE (1) DE102023111240A1 (ja)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20250231048A1 (en) * 2024-01-16 2025-07-17 GM Global Technology Operations LLC Tunnel detection system
DE102024127402A1 (de) * 2024-09-23 2025-07-10 Bayerische Motoren Werke Aktiengesellschaft Verfahren und vorrichtung zum optischen erfassen eines innenraums eines fahrzeugs, und fahrzeug und computerprogrammprodukt
CN118967491B (zh) * 2024-10-21 2025-01-28 浙江德方数据科技有限公司 一种动态渲染调节方法、设备及存储介质

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101531709B1 (ko) * 2008-10-17 2015-07-06 삼성전자 주식회사 고감도 컬러 영상을 제공하기 위한 영상 처리 장치 및 방법
JP2010103740A (ja) * 2008-10-23 2010-05-06 Panasonic Corp デジタルカメラ
US10091439B2 (en) * 2009-06-03 2018-10-02 Flir Systems, Inc. Imager with array of multiple infrared imaging modules
US10152811B2 (en) * 2015-08-27 2018-12-11 Fluke Corporation Edge enhancement for thermal-visible combined images and cameras
JP6441771B2 (ja) * 2015-08-27 2018-12-19 クラリオン株式会社 撮像装置
US10275855B2 (en) * 2017-01-11 2019-04-30 Microsoft Technology Licensing, Llc Image demosaicing for hybrid optical sensor arrays
JP2018117309A (ja) * 2017-01-20 2018-07-26 ソニーセミコンダクタソリューションズ株式会社 撮像装置、画像処理方法および画像処理システム

Also Published As

Publication number Publication date
US20230360178A1 (en) 2023-11-09
CN117082360A (zh) 2023-11-17
DE102023111240A1 (de) 2023-11-09

Similar Documents

Publication Publication Date Title
US12141986B2 (en) Shape fusion for image analysis
US20240303836A1 (en) Multi-object tracking using correlation filters in video analytics applications
US20230017261A1 (en) Domain restriction of neural networks through synthetic data pre-training
US11592828B2 (en) Using neural networks to perform fault detection in autonomous driving applications
US20230110027A1 (en) Visibility distance estimation using deep learning in autonomous machine applications
US12332614B2 (en) Combining rule-based and learned sensor fusion for autonomous systems and applications
US12026955B2 (en) Assigning obstacles to lanes using neural networks for autonomous machine applications
US20230177839A1 (en) Deep learning based operational domain verification using camera-based inputs for autonomous systems and applications
US20230360178A1 (en) Rgb-ir data processing for autonomous systems and applications
US20240071064A1 (en) Object detection using deep learning for real-time streaming applications
US20230186593A1 (en) Glare mitigation using image contrast analysis for autonomous systems and applications
US20230130478A1 (en) Hybrid solution for stereo imaging
US20250123605A1 (en) Combining rule-based and learned sensor fusion for autonomous systems and applications
US20250068960A1 (en) Refining machine learning models to mitigate adversarial attacks in autonomous systems and applications
CN118055333A (zh) 用于自主系统和应用的图像处理管线中的延迟颜色校正
US20240362897A1 (en) Synthetic data generation using viewpoint augmentation for autonomous systems and applications
US12187187B1 (en) Scene illumination detection for autonomous systems and applications
US12373960B2 (en) Dynamic object detection using LiDAR data for autonomous machine systems and applications
US20250142207A1 (en) Infrared illumination control for visible and infrared imaging modes
US20250142208A1 (en) Selective operating mode switching for visible and infrared imaging
US20230260136A1 (en) Dynamic object detection using lidar data for autonomous machine systems and applications
US20250022288A1 (en) Child presence detection for in-cabin monitoring systems and applications
US20250244724A1 (en) Combining rule-based and learned sensor fusion for autonomous systems and applications
US20250173996A1 (en) Object boundary detection for autonomous systems and applications
US20240312187A1 (en) Feature tracking for autonomous systems and applications

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20250305