[go: up one dir, main page]

KR102554643B1 - 동적 범위를 확장하기 위한 다수의 동작 모드들 - Google Patents

동적 범위를 확장하기 위한 다수의 동작 모드들 Download PDF

Info

Publication number
KR102554643B1
KR102554643B1 KR1020227014480A KR20227014480A KR102554643B1 KR 102554643 B1 KR102554643 B1 KR 102554643B1 KR 1020227014480 A KR1020227014480 A KR 1020227014480A KR 20227014480 A KR20227014480 A KR 20227014480A KR 102554643 B1 KR102554643 B1 KR 102554643B1
Authority
KR
South Korea
Prior art keywords
image sensor
image
scene
luminance
vehicle
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
KR1020227014480A
Other languages
English (en)
Other versions
KR20220058974A (ko
Inventor
안드레아스 웬델
제레미 디트머
브렌든 헤르말린
벤자민 잉그램
Original Assignee
웨이모 엘엘씨
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 웨이모 엘엘씨 filed Critical 웨이모 엘엘씨
Publication of KR20220058974A publication Critical patent/KR20220058974A/ko
Application granted granted Critical
Publication of KR102554643B1 publication Critical patent/KR102554643B1/ko
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/45—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from two or more image sensors being of different type or operating in different modes, e.g. with a CMOS sensor for moving images in combination with a charge-coupled device [CCD] for still images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/61—Control of cameras or camera modules based on recognised objects
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R11/00—Arrangements for holding or mounting articles, not otherwise provided for
    • B60R11/04—Mounting of cameras operative during drive; Arrangement of controls thereof relative to the vehicle
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50—Control of the SSIS exposure
    • H04N25/57—Control of the dynamic range
    • H04N25/58—Control of the dynamic range involving two or more exposures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/72—Combination of two or more compensation controls
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/73—Circuitry for compensating brightness variation in the scene by influencing the exposure time
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/741—Circuitry for compensating brightness variation in the scene by increasing the dynamic range of the image compared to the dynamic range of the electronic image sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/745—Detection of flicker frequency or suppression of flicker wherein the flicker is caused by illumination, e.g. due to fluorescent tube illumination or pulsed LED illumination
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/75—Circuitry for compensating brightness variation in the scene by influencing optical camera components
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/76—Circuitry for compensating brightness variation in the scene by influencing the image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50—Control of the SSIS exposure
    • H04N25/57—Control of the dynamic range
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Medical Informatics (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Mechanical Engineering (AREA)
  • Traffic Control Systems (AREA)
  • Studio Devices (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)
  • Exposure Control For Cameras (AREA)
  • Transition And Organic Metals Composition Catalysts For Addition Polymerization (AREA)
  • Medicines Containing Antibodies Or Antigens For Use As Internal Diagnostic Agents (AREA)
  • Steroid Compounds (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

예시적인 실시예들은 동적 범위를 확장하기 위한 다수의 동작 모드들에 관한 것이다. 예시적인 실시예는 카메라 시스템을 포함한다. 카메라 시스템은 장면에서 제1 휘도 레벨 범위에 대응하는 제1 동적 범위를 갖는 제1 이미지 센서를 포함할 수 있다. 시스템은 또한 장면에서 제2 휘도 레벨 범위에 대응하는 제2 동적 범위를 갖는 제2 이미지 센서를 포함할 수 있다. 카메라 시스템은 제1 이미지 센서 및 제2 이미지 센서에 커플링된 프로세서를 추가로 포함할 수 있다. 프로세서는 제1 이미지 센서에 의해 캡처된 장면의 제1 이미지에서 제1 타입의 객체들을 식별하고, 제2 이미지 센서에 의해 캡처된 장면의 제2 이미지에서 제2 객체 타입의 객체들을 식별하기 위한 명령어들을 실행하도록 구성될 수 있다.

Description

동적 범위를 확장하기 위한 다수의 동작 모드들{MULTIPLE OPERATING MODES TO EXPAND DYNAMIC RANGE}
<관련 출원들에 대한 상호 참조>
본 출원은 본 명세서에서 미국 가특허 출원 제62/508,467호의 우선권을 주장하는 미국 특허 출원 제15/613,546호를 참조로 포함한다. 본 출원은 또한 2017년 12월 28일자로 출원된 미국 가특허 출원 제62/611,206호의 우선권을 주장하는 미국 특허 출원 제16/199,998호의 우선권을 주장하며, 이들 각각의 내용은 본 명세서에서 참조로 포함된다.
카메라들 및 이미지 센서들은 장면의 이미지들을 캡처하는 데 사용되는 디바이스들이다. 일부 카메라들(예를 들어, 필름 카메라들)은 필름 상에 이미지를 화학적으로 캡처한다. 다른 카메라들(예를 들어, 디지털 카메라들)은 (예를 들어, 전하-결합 디바이스(charge-coupled device)(CCD) 또는 상보성 금속-산화물-반도체(complementary metal-oxide-semiconductor)(CMOS) 센서들을 사용하여) 이미지 데이터를 전기적으로 캡처한다. 카메라들에 의해 캡처된 이미지들은 그들의 컨텐츠를 결정하기 위해 분석될 수 있다. 예를 들어, 프로세서는 객체들의 형상들, 컬러들, 사이즈들 등을 포함하는 이전에 분류된 객체들의 라이브러리에 기초하여 장면에서 객체들을 식별하기 위해 머신-러닝 알고리즘을 실행할 수 있다(예를 들어, 이러한 머신-러닝 알고리즘은 로봇 공학 또는 기타 응용 분야들의 컴퓨터 비전에 적용될 수 있다).
카메라들은 하나의 카메라를 다른 카메라와 구별할 수 있는 다양한 피처들을 가질 수 있다. 예를 들어, 카메라들 및/또는 카메라들에 의해 캡처된 이미지들은 애퍼처 사이즈, f-수, 노출 지속 시간/셔터 스피드, 심도, 초점 거리, ISO(International Organization for Standardization) 감도(또는 이득), 픽셀 사이즈, 센서 해상도, 노출 거리 등과 같은 값들에 의해 식별될 수 있다. 이러한 피처들은 카메라의 렌즈, 이미지 센서 및/또는 추가 패싯들에 기초할 수 있다. 또한, 이러한 피처들은 또한 단일 카메라 내에서 조정 가능할 수도 있다(예를 들어, 카메라 상의 렌즈의 애퍼처는 사진들 사이에서 조정될 수 있다).
일부 응용 분야들은 넓은 동적 범위를 갖는 카메라들로부터 이익을 얻는다. 예를 들어, 가장 밝은 객체(예를 들어, 한낮의 태양 또는 긴급 차량 조명들)의 휘도 및 가장 어두운 객체(예를 들어, 한밤중의 검은 고양이)의 휘도는 서로 자릿수가 달라질 수 있다(예를 들어, 105nit 내지 10-2nit, 즉, 105cd/m2 내지 10-2cd/m2의 범위). 이러한 넓은 동적 범위의 양쪽 끝에서 이미지들을 캡처할 수 있는 것은, 예를 들어, 자율-주행 차량들에서의 내비게이션 및 객체 검출 및 회피에 중요할 수 있다. 차량 모션으로 인해 자율-주행 차량 응용 분야들에서는 넓은 동적 범위가 달성되기 어려울 수 있다. 예를 들어, 차량이 상대적으로 높은 속도로 이동하고 있는 경우, 모션 블러를 방지하기 위해 노출 지속 시간이 상대적으로 짧게 유지되어, 최대 노출 지속 시간이 제한될 수 있다. 또한, 적절한 노출 설정을 갖는 이미지 센서에 의해 특정 범위의 휘도 값들이 캡처되지 않는 경우, 이미지들 내의 컬러들이 왜곡될 수 있다(예를 들어, 적색 채널이 포화되어 클리핑을 시작할 때, 포화된 캡처된 이미지들에서 적색들이 황색들로서 나타날 수 있다). 플레어들, 눈부심 또는 다른 형태들의 비정상 광도 캡처된 이미지들의 품질을 손상시킬 수 있다.
예시적인 시스템들 및 방법들은 다수의 동작 모드들을 사용하여 동적 범위의 확장을 허용할 수 있다. 상이한 노출 설정들을 갖는 다수의 이미지 센서들을 사용함으로써, 더 넓은 동적 범위가 달성될 수 있다. 일 실시예에서, (예를 들어, 연관된 중성-농도 필터를 포함하는) 하나의 이미지 센서는 장면의 밝기에 상관없이 변하지 않는 고정 노출 설정을 가질 수 있는 반면, 다른 이미지 센서는 장면의 밝기에 기초하여 변하는 가변 노출 설정을 가질 수 있다. 그러면, 제1 이미지 센서 및 제2 이미지 센서에 의해 캡처된 이미지들은 프로세서에 의해 실행되는 객체-인식 알고리즘에 공급될 수 있다. 캡처된 2개의 이미지 중 하나에서는 특정 타입들의 객체들이 보다 쉽게 식별 가능할 수 있다. 예를 들어, 밝은 객체들(예를 들어, 능동적으로 조명되는 객체들)은 "밝은 이미지"에서는 과다 노출될 수 있지만 "어두운 이미지"에서는 적절하게 노출될 수 있으므로, "어두운 이미지"에서 쉽게 식별할 수 있다. 임의의 단일 이미지보다 넓은 동적 범위에 걸쳐 있는 2개 이상의 이미지를 가짐으로써, (예를 들어, 자율-주행 차량 내에서) 객체 식별 및 회피가 향상될 수 있다. 상이한 노출 설정들 및 관점들을 갖는 2개의 카메라를 사용하는 추가 응용들 또한 본 명세서에서 설명된다.
일 양태에서는, 카메라 시스템이 제공된다. 카메라 시스템은 장면에서 제1 휘도 레벨 범위에 대응하는 제1 동적 범위를 갖는 제1 이미지 센서를 포함한다. 카메라 시스템은 또한 장면에서 제2 휘도 레벨 범위에 대응하는 제2 동적 범위를 갖는 제2 이미지 센서를 포함한다. 제2 이미지 센서는 중성-농도 필터(neutral-density filter)를 통해 장면으로부터 광을 수신한다. 제2 휘도 레벨 범위는 제1 휘도 레벨 범위보다 높은 휘도 레벨들을 포함한다. 또한, 카메라 시스템은 제1 이미지 센서 및 제2 이미지 센서에 커플링된 프로세서를 포함한다. 프로세서는 제1 이미지 센서에 의해 캡처된 장면의 제1 이미지에서 제1 객체 타입의 객체들을 식별하기 위한 명령어들을 실행하도록 구성된다. 제1 객체 타입은 제1 휘도 레벨 범위 내에서 예상되는 휘도를 갖는다. 프로세서는 또한 제2 이미지 센서에 의해 캡처된 장면의 제2 이미지에서 제2 객체 타입의 객체들을 식별하기 위한 명령어들을 실행하도록 구성된다. 제2 객체 타입은 제2 휘도 레벨 범위 내에서 예상되는 휘도를 갖는다.
다른 양태에서는, 방법이 제공된다. 방법은, 장면에서 제1 휘도 레벨 범위에 대응하는 제1 동적 범위를 갖는 제1 이미지 센서에 의해, 장면의 제1 이미지를 캡처하는 단계를 포함한다. 방법은 또한, 장면에서 제2 휘도 레벨 범위에 대응하는 제2 동적 범위를 갖는 제2 이미지 센서에 의해, 장면의 제2 이미지를 캡처하는 단계를 포함한다. 제2 이미지 센서는 중성-농도 필터를 통해 장면의 제2 이미지를 캡처한다. 제2 휘도 레벨 범위는 제1 휘도 레벨 범위보다 높은 휘도 레벨들을 포함한다. 또한, 방법은, 제1 이미지 센서 및 제2 이미지 센서에 커플링된 프로세서에 의해, 제1 이미지에서 제1 객체 타입의 제1 객체를 식별하는 단계를 포함한다. 제1 객체 타입은 제1 휘도 레벨 범위 내에서 예상되는 휘도를 갖는다. 또한, 방법은, 프로세서에 의해, 제2 이미지에서 제2 객체 타입의 제2 객체를 식별하는 단계를 포함한다. 제2 객체 타입은 제2 휘도 레벨 범위 내에서 예상되는 휘도를 갖는다.
또 다른 양태에서는, 명령어들이 저장된 비-일시적 컴퓨터 판독 가능 매체가 제공된다. 명령어들은, 프로세서에 의해 실행될 때, 장면에서 제1 휘도 레벨 범위에 대응하는 제1 동적 범위를 갖는 제1 이미지 센서로부터, 장면의 제1 이미지를 수신하는 명령어들을 포함한다. 장면의 제1 이미지는 제1 이미지 센서에 의해 캡처되었다. 명령어들은, 프로세서에 의해 실행될 때, 장면에서 제2 휘도 레벨 범위에 대응하는 제2 동적 범위를 갖는 제2 이미지 센서로부터, 장면의 제2 이미지를 수신하는 명령어들을 포함한다. 장면의 제2 이미지는 중성-농도 필터를 통해 제2 이미지 센서에 의해 캡처되었다. 제2 휘도 레벨 범위는 제1 휘도 레벨 범위보다 높은 휘도 레벨들을 포함한다. 또한, 명령어들은, 프로세서에 의해 실행될 때, 제1 이미지에서 제1 객체 타입의 제1 객체를 식별하는 명령어들을 포함한다. 제1 객체 타입은 제1 휘도 레벨 범위 내에서 예상되는 휘도를 갖는다. 또한, 명령어들은, 프로세서에 의해 실행될 때, 제2 이미지에서 제2 객체 타입의 제2 객체를 식별하는 명령어들을 포함한다. 제2 객체 타입은 제2 휘도 레벨 범위 내에서 예상되는 휘도를 갖는다.
또 다른 양태에서는, 시스템이 제공된다. 시스템은, 장면에서 제1 휘도 레벨 범위에 대응하는 제1 동적 범위를 갖는 제1 이미지 센서에 의해, 장면의 제1 이미지를 캡처하기 위한 수단을 포함한다. 시스템은 또한, 장면에서 제2 휘도 레벨 범위에 대응하는 제2 동적 범위를 갖는 제2 이미지 센서에 의해, 장면의 제2 이미지를 캡처하기 위한 수단을 포함한다. 제2 이미지 센서는 중성-농도 필터를 통해 장면의 제2 이미지를 캡처한다. 제2 휘도 레벨 범위는 제1 휘도 레벨 범위보다 높은 휘도 레벨들을 포함한다. 또한, 시스템은, 제1 이미지 센서 및 제2 이미지 센서에 커플링된 프로세서에 의해, 제1 이미지에서 제1 객체 타입의 제1 객체를 식별하기 위한 수단을 포함한다. 제1 객체 타입은 제1 휘도 레벨 범위 내에서 예상되는 휘도를 갖는다. 또한, 시스템은, 프로세서에 의해, 제2 이미지에서 제2 객체 타입의 제2 객체를 식별하기 위한 수단을 포함한다. 제2 객체 타입은 제2 휘도 레벨 범위 내에서 예상되는 휘도를 갖는다.
이들 및 다른 양태들, 이점들 및 대안들은, 적절한 경우, 첨부 도면들을 참조하여 하기 상세한 설명을 읽음으로써 본 기술분야의 통상의 기술자에게 명백해질 것이다.
도 1은 예시적인 실시예들에 따른 차량을 예시하는 기능 블록도이다.
도 2는 예시적인 실시예들에 따른 차량의 물리적 구성의 예시이다.
도 3은 예시적인 실시예들에 따른 자율-주행 차량과 관련된 다양한 컴퓨팅 시스템들 간의 무선 통신의 개념도이다.
도 4a는 예시적인 실시예들에 따른 카메라 시스템의 예시이다.
도 4b는 예시적인 실시예들에 따른 카메라 시스템의 동적 범위의 예시이다.
도 4c는 예시적인 실시예들에 따른 카메라 시스템의 예시이다.
도 4d는 예시적인 실시예들에 따른 카메라 시스템의 예시이다.
도 5는 예시적인 실시예들에 따른 카메라 시스템의 예시이다.
도 6a는 예시적인 실시예들에 따른 카메라 시스템의 예시이다.
도 6b는 예시적인 실시예들에 따른 카메라 시스템의 이미지 센서에 의해 캡처된 이미지의 예시이다.
도 6c는 예시적인 실시예들에 따른 카메라 시스템의 이미지 센서에 의해 캡처된 이미지의 예시이다.
도 7은 예시적인 실시예들에 따른 카메라 시스템의 예시이다.
도 8a는 예시적인 실시예들에 따른 카메라 시스템의 예시이다.
도 8b는 예시적인 실시예들에 따른 카메라 시스템의 동적 범위의 예시이다.
도 9a는 예시적인 실시예들에 따른 카메라 시스템의 예시이다.
도 9b는 예시적인 실시예들에 따른 카메라 시스템의 예시이다.
도 9c는 예시적인 실시예들에 따른 카메라 시스템의 예시이다.
도 9d는 예시적인 실시예들에 따른 카메라 시스템의 예시이다.
도 10은 예시적인 실시예들에 따른 방법의 흐름도이다.
예시적인 방법들 및 시스템들이 본 명세서에서 설명된다. 본 명세서에서 설명되는 임의의 예시적인 실시예 또는 피처는 다른 실시예들 또는 피처들보다 바람직하거나 또는 유리한 것으로 해석될 필요는 없다. 본 명세서에서 설명되는 예시적인 실시예들은 제한적인 것을 의미하지 않는다. 개시된 시스템들 및 방법들의 특정 양태들은 매우 다양한 상이한 구성들로 배열되고 조합될 수 있으며, 이들 모두 본 명세서에서 고려된다는 것이 쉽게 이해될 것이다.
또한, 도면들에 도시된 특정 배열들은 제한적인 것으로 간주되어서는 안된다. 다른 실시예들은 주어진 도면에 도시된 각각의 엘리먼트를 다소 포함할 수 있다는 것이 이해되어야 한다. 또한, 예시된 엘리먼트들 중 일부는 결합 또는 생략될 수 있다. 또한, 예시적인 실시예는 도면들에 예시되지 않은 엘리먼트들을 포함할 수 있다.
I. 개요
예시적인 실시예들은 2개의 이미지 센서(또는 일부 실시예들에서는, 더 많음)의 세트에 관한 것이다. 일부 실시예들에서, 이미지 센서들은 수직으로 (예를 들어, 하나가 다른 것 위에) 정렬될 수 있다. 이미지 센서들은 동일한 장면의 상이한 이미지들을 캡처할 수 있다. 일부 실시예들에서는, 상이한 이미지들이 동시에 캡처될 수 있다. 또한, 제1 이미지 센서는 가변 노출 레벨(예를 들어, 카메라 상의 자동-노출 설정으로서, 카메라 제어기가 적절한 노출 레벨을 결정하고, 결정된 적절한 노출 레벨을 달성하기 위해 셔터 스피드, 렌즈 애퍼처 및/또는 ISO 감도를 조작함)을 가질 수 있는 반면, 제2 이미지 센서는 (예를 들어, 셔터 스피드, 애퍼처 사이즈 및 ISO 감도에 기초하여) 고정된(즉, 미리 정의된) 노출 레벨을 가질 수 있다. 가변 노출 레벨로 인해, 제1 이미지 센서는 주변 광 레벨(예를 들어, 낮 대 밤)에 기초하여 적절한 노출 레벨로 조정 가능할 수 있다.
제1 이미지 센서는 가변 노출 레벨을 갖고 제2 이미지 센서는 고정 노출 레벨을 갖기 때문에, 각각의 이미지 센서들은 상이한 시간 도메인들을 서브샘플링하는 것이 가능할 수 있다. 예를 들어, 가변 노출 레벨은 (예를 들어, 조정 가능한 셔터 스피드에 기초하여) 가변 노출 지속 시간에 대응할 수 있는 반면, 고정 노출 레벨은 (예를 들어, 미리 정의된 셔터 스피드에 기초하여) 고정 노출 지속 시간에 대응할 수 있다. 각각의 이미지 센서가 상이한 노출 지속 시간을 갖는 경우, 특정 이벤트들은 이미지 센서들 중 하나에 의해서만 캡처될 수 있다. 예를 들어, 빠르게 이동하는 객체(예를 들어, 70시간 당 마일(miles-per-hour)(mph)로 이동하는 자동차)는 충분히 짧은 노출 지속 시간을 갖는 이미지 센서에 의해 캡처된 이미지를 사용해서만 식별 가능할 수 있는데, 왜냐하면 더 긴 노출 지속 시간을 갖는 이미지 센서에서는 이미지 블러가 발생할 것이기 때문이다. 그러나, 블링킹 객체(예를 들어, 도로 표지판 또는 또는 후미등과 같은 펄스-폭 변조 소스)는 더 긴 노출 지속 시간을 갖는 이미지 센서에 의해서만 캡처될 수 있는데, 왜냐하면 짧은 노출 지속 시간을 갖는 이미지 센서는 블링킹 객체가 조명되는 시간을 누락시킬 수 있기 때문이다.
더 긴 노출 지속 시간은 더 긴 캡처 시간에 대응하기 때문에, 더 긴 노출 지속 시간이 블링킹 객체를 캡처할 확률은 더 짧은 노출 지속 시간보다 크다. 일부 경우들에서, 충분히 긴 노출 지속 시간(예를 들어, 블링킹 객체, 예를 들어, 도로 표지판에 사용되는 최소 주파수와 연관된 기간보다 긴 노출 지속 시간)이 주어지면, 블링킹 디스플레이를 캡처하는 것이 확실한 것으로 간주될 수 있다. 이 최소 또는 하한 주파수는 인간들이 블링킹을 인식하지 못하는 데 도움을 주거나 또는 이를 보장하는 데 사용되는 주파수일 수 있다. 많은 경우들에서, 짧은 노출 지속 시간은 무시할만한 검출 확률에 대응할 수 있다. 예를 들어, 차량 후미등은 1% 듀티 사이클로 100Hz에서 펄스-폭 변조(pulse-width modulated)(PWM)될 수 있다. 랜덤하게 시간 설정된 0.5ms 노출 지속 시간을 갖는 차량 후미등을 감지하려고 시도하는 경우, 활성 PWM 기간의 임의의 부분이 노출과 중첩될 가능성은 6%에 불과할 수 있다. 그러나, 문제를 악화시키기 위해, 이미지 센서들과 연관된 노출 주파수들은 통상적으로 랜덤하게 시간 설정되지 않는다. 따라서, 이미지 센서가 PWM-구동 조명들이 시간의 6% 미만에서 이미징되는(예를 들어, 결코 이미징되지 않는) 노출 케이던스에 고정될 가능성은 0이 아니다.
추가적으로 또는 대안적으로, 이미지 센서들 중 하나(예를 들어, 제2 이미지 센서)는 해당 이미지 센서에 의해 캡처된 장면에 대응하는 조도를 제한하는 광학 엘리먼트(예를 들어, 중성-농도 필터, 컬러 필터, 편광자 등)를 포함할 수 있다. 일부 실시예들에서는, 다수의 이미지 센서들 대신, 다수의 독립 센서 영역들을 갖는 단일 이미지 센서가 사용될 수 있다(예를 들어, 각각이 복수의 픽셀들을 포함하는 다수의 이미지 센서 영역들로서, 이미지 센서 영역의 픽셀들의 수는 대응하는 이미지 센서 영역의 감도에 대응함). 일부 실시예들에서, 다수의 이미지 센서 영역들을 갖는 단일 이미지 센서는 다양한 수의 픽셀들의 영역들에 더하여 또는 그 대신에 다양한 사이즈의 픽셀들의 영역들을 포함할 수 있다.
3개의 이미지 센서를 갖는 실시예들에서, 제3 이미지 센서는 제1 이미지 센서의 가변 노출 레벨과 상이한 가변 노출 레벨을 가질 수 있다(예를 들어, 제3 이미지 센서 상의 자동-노출 설정은 제3 이미지 센서의 노출 레벨이 제1 이미지 센서와 상이하게 되도록 카메라 제어기에 의해 결정될 수 있고, 카메라 제어기는 제3 이미지 센서의 결정된 노출 레벨을 달성하기 위해 셔터 스피드/노출 지속 시간, 애퍼처 사이즈 및/또는 ISO 감도를 조작할 수 있다). 예를 들어, 제3 이미지 센서의 노출 지속 시간은 제1 이미지 센서의 노출 지속 시간보다 길 수 있어서, 제3 이미지 센서는 장면에서 낮은 휘도 객체들에 더 민감하다.
2개의 이미지 센서를 갖는 실시예들에서는, 제1 이미지 센서가 장면의 제1 이미지를 캡처하고 제2 이미지 센서가 장면의 제2 이미지를 캡처한 후에, 명령어들을 실행하는 프로세서가 제1 이미지 및/또는 제2 이미지에 존재하는 하나 이상의 객체를 식별하기 위해 (예를 들어, 이미지들의 라이브러리를 사용하여 트레이닝된 머신-러닝 알고리즘에 기초하여) 이미지 분석을 수행할 수 있다. 일부 실시예들에서, 제1 이미지를 사용하여 식별된 객체들은 제1 휘도 범위 내에 있을 수 있고, 제2 이미지를 사용하여 식별된 객체들은 제2 휘도 범위 내에 있을 수 있다. 제2 휘도 범위는 적어도 부분적으로 제1 휘도 범위보다 높을 수 있다. 더 밝은 객체들은 식별 가능해지고 더 어두운 객체들은 식별 불가능하게 될 수 있도록, 중성-농도 필터를 사용함으로써 또는 장면을 어둡게 하도록 노출 설정들을 변경함으로써 더 높은 휘도 범위가 달성될 수 있다.
유사하게, 중성-농도 필터 없이 이미지 센서로부터 생성되는 이미지에서는, 노출 레벨이 (예를 들어, 미리 정의된 애퍼처 사이즈, 셔터 스피드/노출 지속 시간, 또는 ISO 감도를 증가시킴으로써) 증가될 수 있다. 따라서, 대응하는 이미지에서 높은 휘도의 객체들은 과다 노출/워시될 수 있지만, 더 낮은 휘도의 객체들(예를 들어, 밤에 어두운 도로 상의 검은 고양이)은 식별될 수 있다.
두 이미지에서 상이한 타입들의 객체들(예를 들어, 밝은 객체 대 어두운 객체)을 식별하는 이러한 기술은 계산 시간을 절약하고/하거나, 전체적으로 식별될 수 있는 객체들의 수를 증가시킬 수 있다. 예를 들어, 프로세서는 두 이미지 각각에서 개별적으로 또는 조합하여 객체 식별을 수행하기 위해 머신-러닝 모델(예를 들어, 딥 컨볼루션 신경망(deep convolutional neural network))을 사용할 수 있다. 계산 시간을 절약하기 위해, 프로세서는 더 어두운 이미지(예를 들어, 대응하는 중성-농도 필터를 갖는 제2 이미지 센서로부터 발생되는 제2 이미지)에서는 능동적으로 조명되는 객체들(예를 들어, 후미등들, 교통 신호등들, 발광 다이오드(light-emitting diode)(LED) 도로 표지판들 등)만을 식별하려고 시도할 수 있고, 더 밝은 이미지(예를 들어, 제1 이미지 센서로부터 발생되는 제1 이미지)에서는 수동적으로 조명되는 객체들(예를 들어, 보행자들, 나무들, 정지 표지판들, 동물들 등과 같이 광을 반사 또는 굴절시킴으로써 조명되는 객체들), 주변 광으로부터 조명되는 객체들 및/또는 비-조명 객체들만을 식별하려고 시도할 수 있다.
위에서 설명된 2-이미지-센서 방식에 더하여, (중성-농도 필터의 유무에 관계없이) 하나 이상의 추가 이미지 센서가 추가될 수 있다. 추가 이미지 센서들은 추가 노출 설정들을 사용하여 동일한 장면의 추가 이미지들을 캡처할 수 있다. 이러한 방식으로, 추가 이미지들에서의 객체들의 휘도 값들은 (예를 들어, 부분적으로 또는 전체적으로 제2 휘도 범위보다 높은, 부분적으로 또는 전체적으로 제1 휘도 범위보다 낮은, 부분적으로 또는 전체적으로 제2 휘도 범위 내지 제1 휘도 범위의, 또는 부분적으로 또는 전체적으로 제1 및/또는 제2 휘도 범위와 중첩되는) 추가 휘도 범위들에 있을 수 있다. 이것은 훨씬 더 극단적인 휘도 값들의 추가 객체들이 이미지 센서 세트들에 의해 캡처된 이미지들을 사용하여 프로세서에 의해 쉽게 식별 가능하게 할 수 있다.
일부 실시예들에서, 카메라 시스템에는 다수의 이미지 센서들이 있을 수 있다. 예를 들어, 일 실시예에서는, 자율-주행 또는 반자율-주행 차량 주위에 마운팅된 다수의 센서 세트들이 존재할 수 있다. 일부 실시예들에서, 센서들은 상이한 방향들로 향할 수 있다. 각각의 세트는 각각의 센서 세트의 방위에 기초하여 장면의 주어진 관점에 배치되는 객체들을 식별하는 데 사용될 수 있다. 또한, 자율-주행 차량 주위의 이미지 센서 서브시스템들 중 일부는 2개의 이미지 센서만을 포함할 수 있는 반면, 다른 일부는 3개의 이미지 센서를 포함할 수 있다. 예를 들어, 3개의 전방-주시 이미지 센서 서브시스템들(예를 들어, 요(yaw)가 0°, -45° 및 45°로 향하는 것들로서, 여기서 0°는 바로 앞을 향함)은 도로 바로 앞의 객체들을 더 잘 식별하기 위해 3개의 이미지 센서를 포함할 수 있는 반면, 나머지 이미지 센서 서브시스템들은 계산 자원들을 절약하기 위해 2개의 이미지 센서만을 포함할 수 있다.
위에서 설명된 이점들에 더하여, 객체 식별을 위한 2개의 이미지 센서 시스템은 추가 이점들을 가질 수 있다. 예를 들어, 장면이 적어도 2개의 약간 상이한 관점으로부터 캡처되고 있기 때문에, 특정 오차 보정들이 (예를 들어, 명령어들을 실행하는 프로세서에 의해) 수행될 수 있다. 하나의 보정은 객체가 잘못 식별되었는지 여부를 결정하는 것을 포함할 수 있다. 예를 들어, 객체는 제1 이미지 및 제2 이미지 모두를 사용하여 식별 가능한 범위 내에 배치되는 휘도를 가질 수 있다. 객체가 두 이미지를 사용하여 식별 가능하되, 2개의 이미지 중 하나에서만 식별되거나 또는 식별에 어느 이미지가 사용되는지에 따라 상이한 객체인 것으로 식별되는 경우, 객체가 장면에 실제로 존재했는지 여부 또는 2개의 식별된 객체 가능성 중 어느 것이 더 정확할 가능성이 있는지를 결정하기 위해 리던던시 시스템(예를 들어, 보팅 시스템(voting system) 또는 베이지안 추론(Bayesian inference)을 포함하는 시스템)이 구현될 수 있다. 객체가 장면에 존재하거나 또는 존재하지 않는 것으로 궁극적으로 결정되는 경우, 이는 이미지 센서들 중 하나에 문제가 있음을 나타낼 수 있다(예를 들어, 렌즈에 금이 가거나 더러워짐, 이미지 센서가 파손됨, 장면이 이미지 센서 상의 잔해에 의해 폐색됨 등). 이미지 센서들 중 하나에 문제가 있음을 검출한 후에는, 이러한 이슈가 고려되거나 또는 보정될 수 있다.
추가적으로 또는 대안적으로, 제1 이미지 센서 및 제2 이미지 센서는 각각 (예를 들어, 비점수차 렌즈 또는 다중 렌즈들을 사용하여) 상이한 초점 거리들과 연관될 수 있다. 이와 같이, 2개의 이미지 센서에 의해 캡처된 2개의 이미지는 상이한 초점 거리들을 가질 수 있다. 그 후, 이 2개의 이미지는 (예를 들어, 각각의 이미지에서 어떤 객체들에 초점을 맞추고 있는지 또는 맞추고 있지 않은지에 기초하여) 이미지 센서들로부터 장면의 하나 이상의 객체까지의 거리를 결정하는 데 사용될 수 있다.
2개의 이미지는 거리를 결정하는 데 사용되는 것에 더하여, 2개의 실제 초점 거리 사이의 중간 초점 거리를 갖는 이미지들을 시뮬레이션하기 위해 합성되거나 또는 다른 방식으로 결합될 수 있다. 2개의 이미지 센서 중 하나의 것의 앞에 배치된 다른 광학 엘리먼트들을 사용하면 장면/환경의 다른 피처들을 조사할 수도 있다(예를 들어, 컬러가 크로마틱 필터들 또는 편광 필터들을 사용하는 편광을 사용하여 조사될 수 있다).
또 다른 실시예들에서는, 2개 이상의 이미지 센서가 약간 상이한 위치들에 (예를 들어, 하나가 다른 하나보다 약간 앞에) 위치 결정될 수 있기 때문에, 장면에 대한 2개의 이미지 센서의 관점들이 약간 상이하다. 이는 장면 자체의 아티팩트들로 인해 발생하는 미광 및 산란을 보정하는 데 사용될 수 있다. 예를 들어, 태양이 식별될 객체 바로 뒤에 있는 경우, 해당 객체의 캡처된 이미지는 태양의 존재로 인해 블로운아웃(blown out)되거나, 과다 노출되거나, 왜곡되거나 또는 포화될 수 있다. 그러나, 장면의 약간 상이한 관점에서는, 태양이 객체의 포지션으로부터 제거될 만큼 충분히 멀리 있기 때문에, 이것은 이슈가 되지 않을 수 있다. 이와 같이, 태양이 객체 뒤에 위치되지 않는 이미지는 객체를 식별하는 데 사용될 수 있다. 다수의 관점들을 사용하는 것이 고려될 수 있는 미광 및 산란의 다른 예들은 능동적으로 조명되는 소스들(예를 들어, 후미등들 또는 교통 신호등들)로부터의 루버(louver)들 또는 (예를 들어, 객체가 장면의 특정 관점으로부터 보여지는 것이 차단되는 장애물로부터 발생되는) 가려짐을 포함한다.
II. 예시적인 차량 시스템들 및 동작들
본 개시내용의 범위 내에 있는 예시적인 시스템들이 이제 보다 상세하게 설명될 것이다. 예시적인 시스템은 자동차에서 구현될 수도 있고 또는 그 형태를 취할 수도 있다. 그러나, 예시적인 시스템은 또한 자동차들, 트럭들, 오토바이들, 버스들, 보트들, 비행기들, 헬리콥터들, 잔디 깎는 기계들, 토공 기계들, 보트들, 스노우 모바일들, 항공기, 레저용 차량들, 놀이 공원 차량들, 농기구, 건설 장비, 트램들, 골프 카트들, 기차들, 트롤리들 및 로봇 디바이스들과 같은 다른 차량들에서 구현될 수도 있고, 또는 그 형태를 취할 수도 있다. 다른 차량들도 가능하다. 또한, 일부 실시예들에서, 예시적인 시스템들은 차량을 포함하지 않을 수 있다.
이제 도면들을 참조하면, 도 1은 자율-주행 모드에서 전체적으로 또는 부분적으로 동작하도록 구성될 수 있는 예시적인 차량(100)을 예시하는 기능 블록도이다. 보다 구체적으로, 차량(100)은 컴퓨팅 시스템으로부터 제어 지시들을 수신하는 것을 통해 인간 상호 작용 없이 자율-주행 모드에서 동작할 수 있다. 자율-주행 모드에서 동작하는 것의 일부로서, 차량(100)은 안전한 내비게이션을 가능하게 하도록 주변 환경의 객체들을 검출하고 가능하게는 식별하기 위해 센서들을 사용할 수 있다. 일부 실시예들에서, 차량(100)은 또한 운전자가 차량(100)의 동작들을 제어할 수 있게 하는 서브시스템들을 포함할 수 있다.
도 1에 도시된 바와 같이, 차량(100)은 추진 시스템(102), 센서 시스템(104), 제어 시스템(106), 하나 이상의 주변 장치(108), 전원(110), 컴퓨터 시스템(112)(컴퓨팅 시스템이라고도 지칭될 수 있음), 데이터 스토리지(114) 및 사용자 인터페이스(116)와 같은 다양한 서브시스템들을 포함할 수 있다. 다른 예들에서, 차량(100)은 각각 다수의 엘리먼트들을 포함할 수 있는 더 많거나 더 적은 서브시스템들을 포함할 수 있다. 차량(100)의 서브시스템들 및 컴포넌트들은 다양한 방식들로 상호 연결될 수 있다. 또한, 본 명세서에서 설명되는 차량(100)의 기능들은 추가적인 기능적 또는 물리적 컴포넌트들로 분할될 수도 있고, 또는 실시예들 내에서 더 적은 기능적 또는 물리적 컴포넌트들로 결합될 수도 있다. 예를 들어, 제어 시스템(106) 및 컴퓨터 시스템(112)은 다양한 동작들에 따라 차량(100)을 동작시키는 단일 시스템으로 결합될 수 있다.
추진 시스템(102)은 차량(100)에 전력 모션을 제공하도록 동작 가능한 하나 이상의 컴포넌트를 포함할 수 있고, 다른 가능한 컴포넌트들 중에서도 엔진/모터(118), 에너지 소스(119), 변속기(120) 및 휠들/타이어들(121)을 포함할 수 있다. 예를 들어, 엔진/모터(118)는 에너지 소스(119)를 기계적 에너지로 변환하도록 구성될 수 있고, 다른 가능한 옵션들 중에서도 내연 엔진, 전기 모터, 증기 엔진 또는 스털링 엔진 중 하나 또는 이들의 조합에 대응할 수 있다. 예를 들어, 일부 실시예들에서, 추진 시스템(102)은 가솔린 엔진 및 전기 모터와 같은 다수의 타입들의 엔진들 및/또는 모터들을 포함할 수 있다.
에너지 소스(119)는 차량(100)의 하나 이상의 시스템(예를 들어, 엔진/모터(118))에 전체적으로 또는 부분적으로 전력을 공급할 수 있는 에너지 소스를 나타낸다. 예를 들어, 에너지 소스(119)는 가솔린, 디젤, 기타 석유계 연료들, 프로판, 기타 압축 가스계 연료, 에탄올, 태양 전지판들, 배터리들 및/또는 다른 전력 소스들에 대응할 수 있다. 일부 실시예들에서, 에너지 소스(119)는 연료 탱크들, 배터리들, 캐패시터들 및/또는 플라이휠들의 조합을 포함할 수 있다.
변속기(120)는 엔진/모터(118)로부터 휠들/타이어들(121) 및/또는 차량(100)의 다른 가능한 시스템들로 기계적 동력을 전달할 수 있다. 이와 같이, 변속기(120)는 다른 가능한 컴포넌트들 중에서도 기어박스, 클러치, 차동 장치 및 구동 샤프트를 포함할 수 있다. 구동 샤프트는 하나 이상의 휠/타이어(121)에 연결되는 차축들을 포함할 수 있다.
차량(100)의 휠들/타이어들(121)은 예시적인 실시예들 내에서 다양한 구성들을 가질 수 있다. 예를 들어, 차량(100)은 다른 가능한 구성들 중에서도 외발 자전거, 자전거/오토바이, 삼륜차 또는 자동차/트럭의 4륜 포맷으로 존재할 수 있다. 이와 같이, 휠들/타이어들(121)은 다양한 방식들로 차량(100)에 연결될 수 있고, 금속 및 고무와 같은 상이한 재료들로 존재할 수 있다.
센서 시스템(104)은 다른 가능한 센서들 중에서도 글로벌 위치결정 시스템(Global Positioning System)(GPS)(122), 관성 측정 유닛(inertial measurement unit)(IMU)(124), 레이더(radar)(126), 레이저 거리 측정기/LIDAR(128), 카메라(130), 스티어링 센서(123) 및 스로틀/브레이크 센서(125)와 같은 다양한 타입들의 센서들을 포함할 수 있다. 일부 실시예들에서, 센서 시스템(104)은 또한 차량(100)의 내부 시스템들(예를 들어, O2 모니터, 연료 게이지, 엔진 오일 온도, 브레이크 마모)을 모니터링하도록 구성되는 센서들을 포함할 수 있다.
GPS(122)는 지구에 대한 차량(100)의 포지션에 관한 정보를 제공하도록 동작 가능한 송수신기를 포함할 수 있다. IMU(124)는 하나 이상의 가속도계 및/또는 자이로스코프를 사용하는 구성을 가질 수 있고, 관성 가속도에 기초하여 차량(100)의 포지션 및 방위 변화들을 감지할 수 있다. 예를 들어, IMU(124)는 차량(100)이 정지되거나 움직이고 있는 동안 차량(100)의 피치 및 요(yaw)를 검출할 수 있다.
레이더(126)는 차량(100)의 로컬 환경 내에서 객체들의 스피드 및 가는 방향을 포함하여 객체들을 감지하기 위해 라디오 신호들을 사용하도록 구성되는 하나 이상의 시스템을 나타낼 수 있다. 따라서, 레이더(126)는 라디오 신호들을 송신 및 수신하도록 구성되는 안테나들을 포함할 수 있다. 일부 실시예들에서, 레이더(126)는 차량(100)의 주변 환경의 측정치들을 획득하도록 구성되는 마운팅 가능형 레이더 시스템에 대응할 수 있다.
레이저 거리 측정기/LIDAR(128)는 다른 시스템 컴포넌트들 중에서도 하나 이상의 레이저 소스, 레이저 스캐너 및 하나 이상의 검출기를 포함할 수 있고, 코히어런트 모드(예를 들어, 헤테로다인 검출 사용) 또는 비코히어런트 검출 모드에서 동작할 수 있다. 카메라(130)는 차량(100)의 환경의 이미지들을 캡처하도록 구성되는 하나 이상의 디바이스(예를 들어, 스틸 카메라 또는 비디오 카메라)를 포함할 수 있다.
스티어링 센서(123)는 차량(100)의 스티어링 각도를 감지할 수 있고, 이는 스티어링 휠의 각도를 측정하거나 또는 스티어링 휠의 각도를 나타내는 전기 신호를 측정하는 것을 포함할 수 있다. 일부 실시예들에서, 스티어링 센서(123)는 차량(100)의 전방 축에 대한 휠들의 각도를 검출하는 것과 같이 차량(100)의 휠들의 각도를 측정할 수 있다. 스티어링 센서(123)는 또한 스티어링 휠의 각도, 스티어링 휠의 각도를 나타내는 전기 신호, 및 차량(100)의 휠들의 각도의 조합(또는 서브세트)을 측정하도록 구성될 수 있다.
스로틀/브레이크 센서(125)는 차량(100)의 스로틀 포지션 또는 브레이크 포지션 중 어느 것의 포지션을 검출할 수 있다. 예를 들어, 스로틀/브레이크 센서(125)는 가스 페달(스로틀) 및 브레이크 페달 모두의 각도를 측정할 수도 있고, 또는, 예를 들어, 가스 페달(스로틀)의 각도 및/또는 브레이크 페달의 각도를 나타낼 수 있는 전기 신호를 측정할 수도 있다. 스로틀/브레이크 센서(125)는 또한 차량(100)의 스로틀 본체의 각도를 측정할 수도 있고, 이는 엔진/모터(118)(예를 들어, 버터 플라이 밸브 또는 기화기)에 에너지 소스(119)의 변조를 제공하는 물리적 메커니즘의 일부를 포함할 수 있다. 또한, 스로틀/브레이크 센서(125)는 차량(100)의 로우터에 대한 하나 이상의 브레이크 패드의 압력 또는 가스 페달(스로틀) 및 브레이크 페달의 각도의 조합(또는 서브세트), 가스 페달(스로틀) 및 브레이크 페달의 각도를 나타내는 전기 신호, 스로틀 본체의 각도, 및 적어도 하나의 브레이크 패드가 차량(100)의 로우터에 인가하고 있는 압력을 측정할 수 있다. 다른 실시예들에서, 스로틀/브레이크 센서(125)는 스로틀 또는 브레이크 페달과 같은 차량의 페달에 인가되는 압력을 측정하도록 구성될 수 있다.
제어 시스템(106)은 스티어링 유닛(132), 스로틀(134), 브레이크 유닛(136), 센서 융합 알고리즘(138), 컴퓨터 비전 시스템(140), 내비게이션/경로 시스템(142), 및 장애물 회피 시스템(144)과 같이 차량(100)의 내비게이션에 도움을 주도록 구성되는 컴포넌트들을 포함할 수 있다. 보다 구체적으로, 스티어링 유닛(132)은 차량(100)의 가는 방향을 조정하도록 동작 가능할 수 있고, 스로틀(134)은 차량(100)의 가속도를 제어하기 위해 엔진/모터(118)의 동작 스피드를 제어할 수 있다. 브레이크 유닛(136)은 차량(100)을 감속시킬 수 있고, 이는 휠들/타이어들(121)을 감속시키기 위해 마찰을 사용하는 것을 포함할 수 있다. 일부 실시예들에서, 브레이크 유닛(136)은 차량(100)의 시스템 또는 시스템들에 의한 후속 사용을 위해 휠들/타이어들(121)의 운동 에너지를 전류로 변환할 수 있다.
센서 융합 알고리즘(138)은 칼만 필터(Kalman filter), 베이지안 네트워크(Bayesian network), 또는 센서 시스템(104)으로부터의 데이터를 프로세싱할 수 있는 다른 알고리즘들을 포함할 수 있다. 일부 실시예들에서, 센서 융합 알고리즘(138)은 개별 객체들 및/또는 피처들의 평가들, 특정 상황의 평가들, 및/또는 주어진 상황 내에서의 잠재적인 영향들의 평가들과 같이 입력 센서 데이터에 기초한 평가들을 제공할 수 있다.
컴퓨터 비전 시스템(140)은 객체들, 환경 객체들(예를 들어, 교통 신호등들, 도로 경계들 등) 및 장애물들을 결정하기 위한 노력으로 이미지들을 프로세싱 및 분석하도록 동작 가능한 하드웨어 및 소프트웨어를 포함할 수 있다. 따라서, 컴퓨터 비전 시스템(140)은, 예를 들어, 객체들을 인식하고, 환경을 매핑하고, 객체들을 추적하고, 객체들의 스피드를 추정하는 등을 위해 객체 인식, SFM(Structure From Motion), 비디오 추적, 및 컴퓨터 비전에서 사용되는 다른 알고리즘들을 사용할 수 있다.
내비게이션/경로 시스템(142)은 차량(100)에 대한 주행 경로를 결정할 수 있고, 이는 동작 동안 내비게이션을 동적으로 조정하는 것을 포함할 수 있다. 이와 같이, 내비게이션/경로 시스템(142)은 차량(100)을 내비게이션하기 위해 다른 소스들 중에서도 센서 융합 알고리즘(138), GPS(122) 및 맵들로부터의 데이터를 사용할 수 있다. 장애물 회피 시스템(144)은 센서 데이터에 기초하여 잠재적 장애물들을 평가하고, 차량(100)의 시스템들로 하여금 잠재적 장애물들을 피하거나 또는 다른 방식으로 빠져나가게 할 수 있다.
도 1에 도시된 바와 같이, 차량(100)은 또한 무선 통신 시스템(146), 터치 스크린(148), 마이크로폰(150) 및/또는 스피커(152)와 같은 주변 장치(108)들을 포함할 수 있다. 주변 장치들(108)은 사용자가 사용자 인터페이스(116)와 상호 작용하기 위한 컨트롤들 또는 다른 엘리먼트들을 제공할 수 있다. 예를 들어, 터치 스크린(148)은 차량(100)의 사용자들에게 정보를 제공할 수 있다. 사용자 인터페이스(116)는 또한 터치 스크린(148)을 통해 사용자로부터의 입력을 수용할 수 있다. 주변 장치들(108)은 또한 차량(100)이 다른 차량 디바이스들과 같은 디바이스들과 통신할 수 있게 할 수 있다.
무선 통신 시스템(146)은 직접적으로 또는 통신 네트워크를 통해 하나 이상의 디바이스와 무선으로 통신할 수 있다. 예를 들어, 무선 통신 시스템(146)은 CDMA, EVDO, GSM/GPRS, 또는 WiMAX 또는 LTE와 같은 4G 셀룰러 통신과 같은 3G 셀룰러 통신을 사용할 수 있다. 대안적으로, 무선 통신 시스템(146)은 WiFi 또는 다른 가능한 연결들을 사용하여 무선 근거리 네트워크(wireless local area network)(WLAN)와 통신할 수 있다. 무선 통신 시스템(146)은 또한, 예를 들어, 적외선 링크, 블루투스 또는 지그비를 사용하여 디바이스와 직접 통신할 수 있다. 다양한 차량 통신 시스템들과 같은 다른 무선 프로토콜들도 본 개시내용의 맥락 내에서 가능하다. 예를 들어, 무선 통신 시스템(146)은 차량들 및/또는 도로변 통신 기기(roadside station)들 사이의 공공 및/또는 개인 데이터 통신을 포함할 수 있는 하나 이상의 전용 단거리 통신(dedicated short-range communications)(DSRC) 디바이스를 포함할 수 있다.
차량(100)은 컴포넌트들에 전력을 공급하기 위한 전원(110)을 포함할 수 있다. 전원(110)은 일부 실시예들에서 재충전 가능한 리튬-이온 또는 납-산 배터리를 포함할 수 있다. 예를 들어, 전원(110)은 전력을 제공하도록 구성되는 하나 이상의 배터리를 포함할 수 있다. 차량(100)은 또한 다른 타입들의 전원들을 사용할 수 있다. 예시적인 실시예에서, 전원(110) 및 에너지 소스(119)는 단일 에너지 소스로 통합될 수 있다.
차량(100)은 또한 본 명세서에서 설명되는 동작들과 같은 동작들을 수행하기 위한 컴퓨터 시스템(112)을 포함할 수 있다. 따라서, 컴퓨터 시스템(112)은 데이터 스토리지(114)와 같은 비-일시적 컴퓨터 판독 가능 매체에 저장된 명령어들(115)을 실행하도록 동작 가능한 적어도 하나의 프로세서(113)(이는 적어도 하나의 마이크로프로세서를 포함할 수 있음)를 포함할 수 있다. 일부 실시예들에서, 컴퓨터 시스템(112)은 분산 방식으로 차량(100)의 개별 컴포넌트들 또는 서브시스템들을 제어하는 역할을 할 수 있는 복수의 컴퓨팅 디바이스들을 나타낼 수 있다.
일부 실시예들에서, 데이터 스토리지(114)는 도 1과 관련하여 위에서 설명된 것들을 포함하여 차량(100)의 다양한 기능들을 실행하기 위해 프로세서(113)에 의해 실행 가능한 명령어들(115)(예를 들어, 프로그램 로직)을 포함할 수 있다. 데이터 스토리지(114)는 추진 시스템(102), 센서 시스템(104), 제어 시스템(106) 및 주변 장치들(108) 중 하나 이상으로 데이터를 송신하고, 이들로부터 데이터를 수신하고, 이들과 상호 작용하고/하거나 이들을 제어하기 위한 명령어들뿐만 아니라 추가 명령어들도 포함할 수 있다.
명령어들(115)에 더하여, 데이터 스토리지(114)는 다른 정보 중에서도 도로 맵들, 경로 정보와 같은 데이터를 저장할 수 있다. 이러한 정보는 자율-주행, 반자율-주행 및/또는 수동-주행 모드들에서의 차량(100)의 동작 동안 차량(100) 및 컴퓨터 시스템(112)에 의해 사용될 수 있다.
차량(100)은 차량(100)의 사용자에게 정보를 제공하거나 또는 이로부터 입력을 수신하기 위한 사용자 인터페이스(116)를 포함할 수 있다. 사용자 인터페이스(116)는 터치 스크린(148) 상에 디스플레이될 수 있는 상호 작용형 이미지들의 컨텐츠 및/또는 레이아웃을 제어하거나 또는 이들의 제어를 가능하게 할 수 있다. 또한, 사용자 인터페이스(116)는 무선 통신 시스템(146), 터치 스크린(148), 마이크로폰(150) 및 스피커(152)와 같은 주변 장치들(108)의 세트 내에 하나 이상의 입력/출력 디바이스를 포함할 수 있다.
컴퓨터 시스템(112)은 다양한 서브시스템들(예를 들어, 추진 시스템(102), 센서 시스템(104) 및 제어 시스템(106))뿐만 아니라 사용자 인터페이스(116)로부터 수신된 입력들에 기초하여 차량(100)의 기능을 제어할 수 있다. 예를 들어, 컴퓨터 시스템(112)은 추진 시스템(102) 및 제어 시스템(106)에 의해 생성된 출력을 추정하기 위해 센서 시스템(104)으로부터의 입력을 활용할 수 있다. 실시예에 따라, 컴퓨터 시스템(112)은 차량(100) 및 그 서브시스템들의 많은 양태들을 모니터링하도록 동작 가능할 수 있다. 일부 실시예들에서, 컴퓨터 시스템(112)은 센서 시스템(104)으로부터 수신된 신호들에 기초하여 차량(100)의 일부 또는 모든 기능들을 디스에이블할 수 있다.
차량(100)의 컴포넌트들은 그들 각각의 시스템들 내부 또는 외부의 다른 컴포넌트들과 상호 연결된 방식으로 동작하도록 구성될 수 있다. 예를 들어, 예시적인 실시예에서, 카메라(130)는 자율-주행 모드에서 동작하는 차량(100)의 환경의 상태에 관한 정보를 나타낼 수 있는 복수의 이미지들을 캡처할 수 있다. 환경의 상태는 차량이 동작하고 있는 도로의 파라미터들을 포함할 수 있다. 예를 들어, 컴퓨터 비전 시스템(140)은 도로의 복수의 이미지들에 기초하여 경사(등급) 또는 다른 피처들을 인식 가능할 수 있다. 또한, GPS(122)와 컴퓨터 비전 시스템(140)에 의해 인식된 피처들의 조합이 특정 도로 파라미터들을 결정하기 위해 데이터 스토리지(114)에 저장된 맵 데이터와 함께 사용될 수 있다. 또한, 레이더 유닛(126)은 차량의 주변에 관한 정보를 제공할 수도 있다.
다시 말해서, 다양한 센서들(입력-표시 및 출력-표시 센서들로 명명될 수 있음)과 컴퓨터 시스템(112)의 조합은 차량을 제어하기 위해 제공된 입력의 표시 또는 차량 주변의 표시를 제공하기 위해 상호 작용할 수 있다.
일부 실시예들에서, 컴퓨터 시스템(112)은 라디오 시스템 이외의 시스템들에 의해 제공되는 데이터에 기초하여 다양한 객체들에 관한 결정을 내릴 수 있다. 예를 들어, 차량(100)은 차량의 시야 내의 객체들을 감지하도록 구성되는 레이저 또는 다른 광학 센서들을 가질 수 있다. 컴퓨터 시스템(112)은 차량의 시야 내의 객체들에 관한 정보를 결정하기 위해 다양한 센서들로부터의 출력들을 사용할 수 있고, 다양한 객체들에 대한 거리 및 방향 정보를 결정할 수 있다. 컴퓨터 시스템(112)은 또한 다양한 센서들로부터의 출력들에 기초하여 객체들이 바람직한지 또는 바람직하지 않은지를 결정할 수 있다.
도 1은 차량(100)의 다양한 컴포넌트들(즉, 무선 통신 시스템(146), 컴퓨터 시스템(112), 데이터 스토리지(114) 및 사용자 인터페이스(116))을 차량(100)에 통합되어 있는 것으로 도시하지만, 이들 컴포넌트들 중 하나 이상은 차량(100)과 별도로 마운팅되거나 연관될 수 있다. 예를 들어, 데이터 스토리지(114)는 부분적으로 또는 전체적으로 차량(100)과 별도로 존재할 수 있다. 따라서, 차량(100)은 별도로 또는 함께 위치될 수 있는 디바이스 엘리먼트들의 형태로 제공될 수 있다. 차량(100)을 구성하는 디바이스 엘리먼트들은 유선 및/또는 무선 방식으로 통신 가능하게 함께 커플링될 수 있다.
도 2는 도 1을 참조하여 설명된 차량(100)의 하나의 가능한 물리적 구성을 나타낼 수 있는 차량(200)의 예시적인 물리적 구성을 도시한다. 실시예에 따르면, 차량(200)은 다른 가능한 컴포넌트들 중에서도 센서 유닛(202), 무선 통신 시스템(204), 라디오 유닛(206), 디플렉터들(208) 및 카메라(210)를 포함할 수 있다. 예를 들어, 차량(200)은 도 1에서 설명된 컴포넌트들의 엘리먼트들 중 일부 또는 전부를 포함할 수 있다. 차량(200)은 도 2에 자동차로서 도시되어 있지만, 차량(200)은 다른 가능한 예들 중에서도 트럭, 밴, 세미-트레일러 트럭, 오토바이, 골프 카트, 오프-로드 차량 또는 농장 차량과 같이 예들 내의 다른 구성들을 가질 수 있다.
센서 유닛(202)은 차량(200)의 주변 환경의 정보를 캡처하도록 구성되는 하나 이상의 센서를 포함할 수 있다. 예를 들어, 센서 유닛(202)은 다른 가능한 타입들의 센서들 중에서도 카메라들, 레이더들, LIDAR들, 거리 측정기들, 라디오 디바이스들(예를 들어, 블루투스 및/또는 802.11) 및 음향 센서들의 임의의 조합을 포함할 수 있다. 일부 실시예들에서, 센서 유닛(202)은 센서 유닛(202)에서의 센서들의 방위를 조정하도록 동작 가능한 하나 이상의 이동식 마운트를 포함할 수 있다. 예를 들어, 이동식 마운트는 차량(200) 주위의 각각의 방향으로부터 정보를 획득하기 위해 센서들을 스캔할 수 있는 회전 플랫폼을 포함할 수 있다. 센서 유닛(202)의 이동식 마운트는 또한 특정 범위의 각도들 및/또는 방위각들 내에서 스캐닝 방식으로 이동 가능할 수 있다.
일부 실시예들에서, 센서 유닛(202)은 센서 유닛(202)이 자동차의 지붕 상부에 마운팅될 수 있게 하는 기계적 구조물들을 포함할 수 있다. 또한, 다른 마운팅 위치들도 예들 내에서 가능하다.
무선 통신 시스템(204)은 도 2에 도시된 바와 같이 차량(200)에 대한 위치를 가질 수 있지만, 실시예들 내에서 상이한 위치들을 가질 수도 있다. 무선 통신 시스템(200)은 다른 외부 또는 내부 디바이스들과 통신할 수 있는 하나 이상의 무선 송신기 및 하나 이상의 수신기를 포함할 수 있다. 예를 들어, 무선 통신 시스템(204)은 다른 가능한 엔티티들 중에서도 사용자의 디바이스, 다른 차량들 및 도로 엘리먼트들(예를 들어, 표지판들, 교통 신호등들)과 통신하기 위한 하나 이상의 송수신기를 포함할 수 있다. 이와 같이, 차량(200)은 전용 단거리 통신(DSRC), 라디오 주파수 식별(radio frequency identification)(RFID), 및 지능형 전송 시스템들을 향해 지향되는 다른 제안된 통신 표준들과 같이 통신을 용이하게 하기 위한 하나 이상의 차량 통신 시스템을 포함할 수 있다.
카메라(210)는 차량(200)의 앞 윈드실드 상의 위치와 같은 차량(200)에 대한 다양한 포지션들을 가질 수 있다. 따라서, 카메라(210)는 차량(200)의 환경의 이미지들을 캡처할 수 있다. 도 2에 예시된 바와 같이, 카메라(210)는 차량(200)에 대한 전방-관측(전방-주시) 뷰로부터 이미지들을 캡처할 수 있지만, 카메라(210)의 다른 마운팅 위치들(이동식 마운트들 포함) 및 시야각들도 실시예들 내에서 가능하다. 예를 들어, 카메라(210)는 카메라가 차량(200)의 윈드실드를 통해 차량(200)의 환경의 이미지들을 캡처하도록 차량 내에 위치 결정될 수 있다.
일부 예들에서, 카메라(210)는 하나 이상의 가시광 카메라에 대응할 수 있다. 대안적으로 또는 추가적으로, 카메라(210)는 적외선 감지 능력들을 포함할 수 있다. 카메라(210)는 또한 조정 가능한 시야를 제공할 수 있는 광학기들을 포함할 수 있다. 다른 예들도 가능하다.
도 3은 예시적인 실시예들에 따른 자율-주행 차량과 관련된 다양한 컴퓨팅 시스템들 간의 무선 통신의 개념도이다. 특히, 무선 통신은 네트워크(304)를 통해 원격 컴퓨팅 시스템(302)과 차량(200) 사이에서 발생할 수 있다. 무선 통신은 또한 서버 컴퓨팅 시스템(306)과 원격 컴퓨팅 시스템(302) 사이, 및 서버 컴퓨팅 시스템(306)과 차량(200) 사이에서 발생할 수 있다.
차량(200)은 위치들 사이에서 승객들 또는 객체들을 운송할 수 있는 다양한 타입들의 차량들에 대응할 수 있고, 위에서 논의된 차량들 중 임의의 하나 이상의 것의 형태를 취할 수 있다. 일부 예들에서, 차량(200)은 제어 시스템이 센서 측정치들을 사용하여 목적지들 사이에서 차량(200)을 안전하게 내비게이션할 수 있게 하는 자율-주행 모드에서 동작할 수 있다. 자율-주행 모드에서 동작할 때, 차량(200)은 승객들의 유무에 관계없이 내비게이션할 수 있다. 결과적으로, 차량(200)은 원하는 목적지들 사이에서 승객들을 픽업 및 드롭할 수 있다.
원격 컴퓨팅 시스템(302)은 본 명세서에서 설명된 것들을 포함하되, 이에 제한되지 않는 원격 지원 기술들과 관련된 임의의 타입의 디바이스를 나타낼 수 있다. 예들 내에서, 원격 컴퓨팅 시스템(302)은 (i) 차량(200)과 관련된 정보를 수신하고, (ii) 인간 오퍼레이터가 차례로 정보를 인식하고 정보와 관련된 응답을 입력할 수 있는 인터페이스를 제공하고, (iii) 차량(200) 또는 다른 디바이스들에 응답을 송신하도록 구성되는 임의의 타입의 디바이스를 나타낼 수 있다. 원격 컴퓨팅 시스템(302)은 워크 스테이션, 데스크탑 컴퓨터, 랩탑, 태블릿, 모바일폰(예를 들어, 스마트폰) 및/또는 서버와 같은 다양한 형태들을 취할 수 있다. 일부 예들에서, 원격 컴퓨팅 시스템(302)은 네트워크 구성에서 함께 동작하는 다수의 컴퓨팅 디바이스들을 포함할 수 있다.
원격 컴퓨팅 시스템(302)은 차량(200)의 서브시스템들 및 컴포넌트들과 유사하거나 동일한 하나 이상의 서브시스템 및 컴포넌트를 포함할 수 있다. 최소한, 원격 컴퓨팅 시스템(302)은 본 명세서에서 설명되는 다양한 동작들을 수행하도록 구성되는 프로세서를 포함할 수 있다. 일부 실시예들에서, 원격 컴퓨팅 시스템(302)은 또한 터치 스크린 및 스피커와 같은 입력/출력 디바이스들을 포함하는 사용자 인터페이스를 포함할 수 있다. 다른 예들도 가능하다.
네트워크(304)는 원격 컴퓨팅 시스템(302)과 차량(200) 사이의 무선 통신을 가능하게 하는 인프라스트럭처를 나타낸다. 네트워크(304)는 또한 서버 컴퓨팅 시스템(306)과 원격 컴퓨팅 시스템(302) 사이, 및 서버 컴퓨팅 시스템(306)과 차량(200) 사이의 무선 통신을 가능하게 한다.
원격 컴퓨팅 시스템(302)의 포지션은 예들 내에서 변할 수 있다. 예를 들어, 원격 컴퓨팅 시스템(302)은 네트워크(304)를 통한 무선 통신을 갖는 차량(200)으로부터의 원격 포지션을 가질 수 있다. 다른 예에서, 원격 컴퓨팅 시스템(302)은 차량(200)과는 별도이지만, 이에 의해 인간 오퍼레이터가 차량(200)의 승객 또는 운전자와 상호 작용할 수 있는 차량(200) 내의 컴퓨팅 디바이스에 대응할 수 있다. 일부 예들에서, 원격 컴퓨팅 시스템(302)은 차량(200)의 승객에 의해 동작 가능한 터치 스크린을 갖는 컴퓨팅 디바이스일 수 있다.
일부 실시예들에서, 원격 컴퓨팅 시스템(302)에 의해 수행되는 본 명세서에서 설명되는 동작들은 차량(200)에 의해(즉, 차량(200)의 임의의 시스템(들) 또는 서브시스템(들)에 의해) 추가적으로 또는 대안적으로 수행될 수 있다. 다시 말해서, 차량(200)은 차량의 운전자 또는 승객이 상호 작용할 수 있는 원격 지원 메커니즘을 제공하도록 구성될 수 있다.
서버 컴퓨팅 시스템(306)은 네트워크(304)를 통해 원격 컴퓨팅 시스템(302) 및 차량(200)과 무선으로 (또는 아마도 원격 컴퓨팅 시스템(302) 및/또는 차량(200)과 직접적으로) 통신하도록 구성될 수 있다. 서버 컴퓨팅 시스템(306)은 차량(200) 및 그 원격 지원에 관한 정보를 수신, 저장, 결정 및/또는 전송하도록 구성되는 임의의 컴퓨팅 디바이스를 나타낼 수 있다. 따라서, 서버 컴퓨팅 시스템(306)은 원격 컴퓨팅 시스템(302) 및/또는 차량(200)에 의해 수행되는 것으로 본 명세서에서 설명되는 임의의 동작(들) 또는 이러한 동작(들)의 일부들을 수행하도록 구성될 수 있다. 원격 지원과 관련된 무선 통신의 일부 실시예들은 서버 컴퓨팅 시스템(306)을 활용할 수 있지만, 다른 것들은 그렇지 않을 수 있다.
서버 컴퓨팅 시스템(306)은 본 명세서에서 설명되는 다양한 동작들을 수행하도록 구성되는 프로세서, 및 원격 컴퓨팅 시스템(302) 및 차량(200)으로부터 정보를 수신하고 이에 정보를 제공하기 위한 무선 통신 인터페이스와 같이, 원격 컴퓨팅 시스템(302) 및/또는 차량(200)의 서브시스템들 및 컴포넌트들과 유사하거나 동일한 하나 이상의 서브시스템 및 컴포넌트를 포함할 수 있다.
위에서 설명된 다양한 시스템들은 다양한 동작들을 수행할 수 있다. 이러한 동작들 및 관련 피처들이 이제 설명될 것이다.
상기 논의에 따라, 컴퓨팅 시스템(예를 들어, 원격 컴퓨팅 시스템(302), 또는 아마도 서버 컴퓨팅 시스템(306), 또는 차량(200)에 로컬인 컴퓨팅 시스템)은 자율-주행 차량의 환경의 이미지들을 캡처하기 위해 카메라를 사용하도록 동작할 수 있다. 일반적으로, 적어도 하나의 컴퓨팅 시스템은 이미지들을 분석하고, 가능하게는 자율-주행 차량을 제어할 수 있을 것이다.
일부 실시예들에서, 자율-주행 동작을 용이하게 하기 위해, 차량(예를 들어, 차량(200))은 차량이 동작하는 환경 내의 객체들을 나타내는 데이터(본 명세서에서는, "환경 데이터"로도 지칭됨)를 다양한 방식들로 수신할 수 있다. 차량 상의 센서 시스템은 환경의 객체들을 나타내는 환경 데이터를 제공할 수 있다. 예를 들어, 차량은 카메라, 레이더 유닛, 레이저 거리 측정기, 마이크로폰, 라디오 유닛 및 기타 센서들을 포함하는 다양한 센서들을 가질 수 있다. 이들 센서들 각각은 각각의 개별 센서가 수신하는 정보에 관해 환경 데이터를 차량의 프로세서로 통신할 수 있다.
일례에서, 카메라는 정지 이미지들 및/또는 비디오를 캡처하도록 구성될 수 있다. 일부 실시예들에서, 차량은 상이한 방위들로 위치 결정된 2개 이상의 카메라를 가질 수 있다. 또한, 일부 실시예들에서, 카메라는 상이한 방향들에서 이미지들 및/또는 비디오를 캡처하도록 이동 가능할 수 있다. 카메라는 차량의 프로세싱 시스템에 의한 추후 프로세싱을 위해 캡처된 이미지들 및 비디오를 메모리에 저장하도록 구성될 수 있다. 캡처된 이미지들 및/또는 비디오는 환경 데이터일 수 있다. 또한, 카메라는 본 명세서에서 설명된 이미지 센서를 포함할 수 있다.
다른 예에서, 레이더 유닛은 차량 근처의 다양한 객체들에 의해 반사될 전자기 신호를 송신한 다음, 객체들에서 반사되는 전자기 신호들을 캡처하도록 구성될 수 있다. 캡처된 반사된 전자기 신호들은 레이더 시스템(또는 프로세싱 시스템)이 전자기 신호를 반사한 객체들에 관한 다양한 결정들을 내리게 할 수 있다. 예를 들어, 다양한 반사 객체들까지의 거리 및 포지션이 결정될 수 있다. 일부 실시예들에서, 차량은 상이한 방위들에서 2개 이상의 레이더를 가질 수 있다. 레이더 시스템은 차량의 프로세싱 시스템에 의한 추후 프로세싱을 위해 캡처된 정보를 메모리에 저장하도록 구성될 수 있다. 레이더 시스템에 의해 캡처된 정보는 환경 데이터일 수 있다.
다른 예에서, 레이저 거리 측정기는 차량 근처의 타겟 객체들에 의해 반사될 전자기 신호(예를 들어, 가스 또는 다이오드 레이저 또는 다른 가능한 광원으로부터의 것과 같은 광)를 송신하도록 구성될 수 있다. 레이저 거리 측정기는 반사된 전자기(예를 들어, 레이저) 신호들을 캡처 가능할 수 있다. 캡처된 반사된 전자기 신호들은 거리-측정 시스템(또는 프로세싱 시스템)이 다양한 객체들에 대한 거리를 결정할 수 있게 한다. 거리-측정 시스템은 또한 타겟 객체들의 속도 또는 스피드를 결정하고, 이를 환경 데이터로서 저장 가능할 수 있다.
또한, 예에서, 마이크로폰은 차량을 둘러싼 환경의 오디오를 캡처하도록 구성될 수 있다. 마이크로폰에 의해 캡처된 사운드들은 긴급 차량 사이렌들 및 다른 차량들의 사운드들을 포함할 수 있다. 예를 들어, 마이크로폰은 긴급 차량의 사이렌의 사운드를 캡처할 수 있다. 프로세싱 시스템은 캡처된 오디오 신호가 긴급 차량을 나타내는 것을 식별할 수 있다. 다른 예에서, 마이크로폰은 오토바이로부터의 것과 같은 다른 차량의 배기가스 사운드를 캡처할 수 있다. 프로세싱 시스템은 캡처된 오디오 신호가 오토바이를 나타내는 것을 식별할 수 있다. 마이크로폰에 의해 캡처된 데이터는 환경 데이터의 일부를 형성할 수 있다.
또 다른 예에서, 라디오 유닛은 블루투스 신호, 802.11 신호 및/또는 다른 라디오 기술 신호의 형태를 취할 수 있는 전자기 신호를 송신하도록 구성될 수 있다. 제1 전자기 방사선 신호는 라디오 유닛 내에 위치된 하나 이상의 안테나를 통해 송신될 수 있다. 또한, 제1 전자기 방사선 신호는 많은 상이한 라디오-시그널링 모드들 중 하나로 송신될 수 있다. 그러나, 일부 실시예들에서는, 자율-주행 차량 근처에 위치된 디바이스들로부터 응답을 요청하는 시그널링 모드로 제1 전자기 방사선 신호를 송신하는 것이 바람직하다. 프로세싱 시스템은 라디오 유닛으로 다시 통신된 응답들에 기초하여 근처의 디바이스들을 검출하고, 이 통신된 정보를 환경 데이터의 일부로서 사용 가능할 수 있다.
일부 실시예들에서, 프로세싱 시스템은 차량의 환경에 대해 추가로 결정을 내리기 위해 다양한 센서들로부터의 정보를 결합할 수 있다. 예를 들어, 프로세싱 시스템은 다른 차량 또는 보행자가 자율-주행 차량 앞에 있는지 여부를 결정하기 위해 레이더 정보 및 캡처된 이미지 둘 다로부터의 데이터를 결합할 수 있다. 다른 실시예들에서는, 센서 데이터의 다른 결합들이 환경에 관한 결정들을 내리기 위해 프로세싱 시스템에 의해 사용될 수 있다.
차량은 자율-주행 모드에서 동작하는 동안, 인간의 입력이 거의 없거나 전혀 없는 상태에서 그 동작을 제어할 수 있다. 예를 들어, 인간 오퍼레이터는 차량에 주소를 입력할 수 있고, 차량은 인간으로부터의 추가 입력 없이(예를 들어, 인간이 브레이크/가스 페달들을 스티어링하거나 터치할 필요가 없음) 특정 목적지까지 주행할 수 있다. 또한, 차량이 자율적으로 동작하고 있는 동안, 센서 시스템은 환경 데이터를 수신하고 있을 수 있다. 차량의 프로세싱 시스템은 다양한 센서들로부터 수신된 환경 데이터에 기초하여 차량의 제어를 변경할 수 있다. 일부 예들에서, 차량은 다양한 센서들로부터의 환경 데이터에 응답하여 차량의 속도를 변경할 수 있다. 차량은 장애물들을 피하고 교통 법규들을 준수하는 등을 위해 속도를 변경할 수 있다. 차량의 프로세싱 시스템이 차량 근처의 객체들을 식별할 때, 차량은 속도를 변경할 수도 있고, 또는 다른 방식으로 이동을 변경할 수도 있다.
차량이 객체를 검출하지만 객체의 검출에 대해 높은 확신이 없는 경우, 차량은 인간 오퍼레이터(또는 더 강력한 컴퓨터)가 (i) 객체가 실제로 환경에 존재하는지 여부(예를 들어, 실제로 정지 표지판이 있는지 여부 또는 실제로 정지 표지판이 존재하지 않는지 여부)에 대한 컨펌, (ii) 객체의 차량 식별이 올바른지 여부에 대한 컨펌, (iii) 식별이 부정확한 경우, 식별에 대한 보정, 및/또는 (iv) 자율-주행 차량을 위한 보완 지시 제공(또는 현재 지시 수정)과 같은 하나 이상의 원격 지원 태스크를 수행하도록 요청할 수 있다. 원격 지원 태스크들은 또한 인간 오퍼레이터가 차량의 동작을 제어하기 위한 지시를 제공하는 것(예를 들어, 인간 오퍼레이터가 객체가 정지 표지판이라고 결정하는 경우, 차량이 정지 표지판에서 정지하도록 지시하는 것)을 포함할 수 있지만, 일부 시나리오들에서는, 차량 자체적으로 객체의 식별에 관한 인간 오퍼레이터의 피드백에 기초하여 그 자신의 동작을 제어할 수 있다.
이를 용이하게 하기 위해, 차량은 환경의 객체들을 나타내는 환경 데이터를 분석하여 임계값 아래의 검출 신뢰도를 갖는 적어도 하나의 객체를 결정할 수 있다. 차량의 프로세서는 다양한 센서들로부터의 환경 데이터에 기초하여 환경의 다양한 객체들을 검출하도록 구성될 수 있다. 예를 들어, 일 실시예에서, 프로세서는 차량이 인식하는 데 중요할 수 있는 객체들을 검출하도록 구성될 수 있다. 이러한 객체들은 보행자들, 도로 표지판들, 다른 차량들, 다른 차량들의 지시 신호들, 및 캡처된 환경 데이터에서 검출된 다른 다양한 객체들을 포함할 수 있다.
검출 신뢰도는 결정된 객체가 환경에서 정확하게 식별되거나, 또는 환경에 존재할 가능성을 나타낼 수 있다. 예를 들어, 프로세서는 수신된 환경 데이터에서 이미지 데이터 내의 객체들의 객체 검출을 수행하고, 임계값보다 높은 검출 신뢰도를 갖는 객체를 식별할 수 없는 것에 기초하여 적어도 하나의 객체가 임계값보다 낮은 검출 신뢰도를 갖는다고 결정할 수 있다. 객체의 객체 검출 또는 객체 인식 결과가 결정적이지 않은 경우, 검출 신뢰도는 낮거나 또는 설정된 임계값 아래일 수 있다.
차량은 환경 데이터의 소스에 따라 다양한 방식으로 환경의 객체들을 검출할 수 있다. 일부 실시예들에서, 환경 데이터는 카메라로부터 오고, 이미지 또는 비디오 데이터일 수 있다. 다른 실시예들에서, 환경 데이터는 LIDAR 유닛으로부터 올 수 있다. 차량은 캡처된 이미지 또는 비디오 데이터를 분석하여 이미지 또는 비디오 데이터 내의 객체들을 식별할 수 있다. 방법들 및 장치들은 환경의 객체들의 존재에 대한 이미지 및/또는 비디오 데이터를 모니터링하도록 구성될 수 있다. 다른 실시예들에서, 환경 데이터는 레이더, 오디오 또는 다른 데이터일 수 있다. 차량은 레이더, 오디오 또는 다른 데이터에 기초하여 환경의 객체들을 식별하도록 구성될 수 있다.
일부 실시예들에서, 차량이 객체들을 검출하기 위해 사용하는 기술들은 공지된 데이터의 세트에 기초할 수 있다. 예를 들어, 환경 객체들과 관련된 데이터는 차량에 위치된 메모리에 저장될 수 있다. 차량은 객체들을 결정하기 위해 수신된 데이터를 저장된 데이터와 비교할 수 있다. 다른 실시예들에서, 차량은 데이터의 컨텍스트에 기초하여 객체들을 결정하도록 구성될 수 있다. 예를 들어, 건설과 관련된 도로 표지판들은 일반적으로 오렌지색 컬러를 가질 수 있다. 따라서, 차량은 오렌지색이면서 도로들의 측면 근처에 건설-관련 도로 표지판들로서 위치되는 객체들을 검출하도록 구성될 수 있다. 또한, 차량의 프로세싱 시스템이 캡처된 데이터에서 객체들을 검출할 때, 각각의 객체에 대한 신뢰도를 계산할 수도 있다.
또한, 차량은 또한 신뢰도 임계값을 가질 수 있다. 신뢰도 임계값은 검출되는 객체의 타입에 따라 달라질 수 있다. 예를 들어, 다른 차량의 브레이크등들과 같이 차량으로부터의 빠른 응답 액션을 요구할 수 있는 객체에 대해서는 신뢰도 임계값이 더 낮을 수 있다. 그러나, 다른 실시예들에서는, 신뢰도 임계값이 모든 검출된 객체들에 대해 동일할 수 있다. 검출된 객체와 연관된 신뢰도가 신뢰도 임계값보다 클 때, 차량은 객체가 정확하게 인식되었다고 가정하고, 이에 응답하여 해당 가정에 기초하여 차량의 제어를 조정할 수 있다.
검출된 객체와 연관된 신뢰도가 신뢰도 임계값보다 작을 때, 차량이 취하는 액션들은 달라질 수 있다. 일부 실시예들에서, 차량은 낮은 신뢰도 레벨에도 불구하고 검출된 객체가 존재하는 것처럼 반응할 수 있다. 다른 실시예들에서, 차량은 검출된 객체가 존재하지 않는 것처럼 반응할 수 있다.
차량이 환경의 객체를 검출할 때, 이것은 특정 검출된 객체와 연관된 신뢰도를 계산할 수도 있다. 신뢰도는 실시예에 따라 다양한 방식들로 계산될 수 있다. 일례에서, 차량은 환경의 객체들을 검출할 때, 환경 데이터를 공지된 객체들과 관련된 미리 결정된 데이터와 비교할 수 있다. 환경 데이터와 미리 결정된 데이터 간의 매치가 가까울수록, 신뢰도는 높아진다. 다른 실시예들에서, 차량은 객체들과 연관된 신뢰도를 결정하기 위해 환경 데이터의 수학적 분석을 사용할 수 있다.
객체가 임계값보다 낮은 검출 신뢰도를 갖는다는 결정에 응답하여, 차량은 객체의 식별에 대한 원격 지원 요청을 원격 컴퓨팅 시스템으로 송신할 수 있다. 위에서 논의된 바와 같이, 원격 컴퓨팅 시스템은 다양한 형태들을 취할 수 있다. 예를 들어, 원격 컴퓨팅 시스템은 차량과 별도이지만, 원격 지원 정보를 디스플레이하기 위한 터치스크린 인터페이스와 같이 인간 오퍼레이터가 차량의 승객 또는 운전자와 상호 작용할 수 있는 차량 내의 컴퓨팅 디바이스일 수 있다. 추가적으로 또는 대안적으로, 다른 예로서, 원격 컴퓨팅 시스템은 차량 근처에 있지 않은 위치에 위치되는 원격 컴퓨터 단말기 또는 다른 디바이스일 수 있다.
원격 지원 요청은 이미지 데이터, 오디오 데이터 등과 같은 객체를 포함하는 환경 데이터를 포함할 수 있다. 차량은 네트워크(예를 들어, 네트워크(304))를 통해, 일부 실시예들에서는, 서버(예를 들어, 서버 컴퓨팅 시스템(306))를 통해 원격 컴퓨팅 시스템에 환경 데이터를 송신할 수 있다. 원격 컴퓨팅 시스템의 인간 오퍼레이터는 차례로 환경 데이터를 요청에 응답하기 위한 기초로서 사용할 수 있다.
일부 실시예들에서, 객체가 신뢰도 임계값보다 낮은 신뢰도를 갖는 것으로 검출될 때, 객체에는 예비 식별이 제공될 수 있고, 차량은 예비 식별에 응답하여 차량의 동작을 조정하도록 구성될 수 있다. 이러한 동작 조정은 다른 가능한 조정들 중에서도 차량 정지, 차량을 인간-제어 모드로 전환, 차량 속도(예를 들어, 스피드 및/또는 방향) 변경의 형태를 취할 수 있다.
다른 실시예들에서, 차량이 임계값을 충족하거나 또는 이를 초과하는 신뢰도를 갖는 객체를 검출하더라도, 차량은 검출된 객체에 따라 동작할 수도 있고(예를 들어, 객체가 정지 표지판으로서 높은 신뢰도를 갖고 식별되는 경우, 정지하게 될 수 있고), 차량이 검출된 객체에 따라 동작할 때와 동일한 시간에(또는 그로부터 나중에) 원격 지원을 요청하도록 구성될 수도 있다.
III. 예시적인 이미지 감지 시스템들
카메라(130), 컴퓨터 비전 시스템(140), 센서 유닛(202) 및/또는 카메라(210)에 더하여 또는 이에 대안적으로, 또는 아마도 카메라(130), 컴퓨터 비전 시스템(140), 센서 유닛(202) 및/또는 카메라(210)의 일부로서, 예시적인 차량들은 도 4a에 예시된 바와 같은 하나 이상의 카메라 시스템(400)을 포함할 수 있다. 카메라 시스템(400)은 내비게이션뿐만 아니라 객체 검출 및 회피를 위해 자율-주행 차량에 의해 사용될 수 있다. 도 4a에 예시된 바와 같이, 카메라 시스템(400)은 제1 이미지 센서(410) 및 제2 이미지 센서(420)를 포함할 수 있다. 제1 이미지 센서(410) 및 제2 이미지 센서(420)는 장면(402)의 이미지들을 캡처하도록 구성될 수 있다. 또한, 제1 이미지 센서(410) 및 제2 이미지 센서(420)는 프로세서(430)에 개별적으로 통신 가능하게 커플링될 수 있다. 대안적인 실시예들에서는, 프로세서(430)와 제1 이미지 센서(410) 및 제2 이미지 센서(420) 각각 사이의 개별적인 통신 커플링들보다는, 프로세서(430)와 카메라 시스템(400) 사이에 단일 통신 커플링이 있을 수 있다.
장면(402)은 객체들을 검출하도록 제1 이미지 센서(410) 및 제2 이미지 센서(420)에 의해 캡처된 이미지들을 분석하기 위해 명령어들을 실행하는 프로세서에 의해 식별 가능한 하나 이상의 객체를 포함할 수 있다. 전반에 걸쳐 사용된 바와 같이, 객체는 장면에 존재하는 것의 임의의 서브세트를 포함할 수 있다. 예를 들어, 객체는 차량(예를 들어, 구급차), 차량의 일부(예를 들어, 타이어, 문, 윈드실드 등), 자연의 피처(예를 들어, 나무, 다람쥐, 잔디, 구름, 비, 눈 등), 자연의 피처의 일부(예를 들어, 줄기, 다람쥐 머리 등), 표지판(예를 들어, 정지 표지판, 공사 표지판, 스피드 제한 표지판 등), 도로 상의 마킹(예를 들어, 도로의 중심선 또는 갓길), 단어(예를 들어, "STOP"), 단어의 일부(예를 들어, "S"와 같은 문자), 또는 본 명세서에 개시된 바와 같은 또는 본 기술분야의 통상의 기술자에 의해 이해되는 바와 같은 수많은 객체-인식 알고리즘들 중 임의의 것을 통해 식별 가능한 장면의 임의의 다른 컴포넌트를 포함할 수 있다. 객체들 각각은 대응하는 휘도 레벨(즉, 밝기 레벨)을 가질 수 있다. 예를 들어, 교통 신호등의 휘도 레벨은 검은 고양이의 휘도 레벨보다 높을 수 있다. 휘도 레벨들은, 예를 들어, 제곱 미터 당 칸델라 단위로 측정될 수 있다. 또한, 전체 장면은 복합 휘도 레벨에 의해 정의될 수 있다(예를 들어, 제곱 미터 당 칸델라 또는 nit). 복합 휘도 레벨은 장면(402) 내의 모든 객체들의 휘도 값들의 합, 중앙값, 최대값 또는 주어진 백분위 수(예를 들어, 90번째 백분위 수)일 수 있다. 대안적으로, 복합 휘도 레벨은 장면(402)의 특정 영역 내의 모든 객체들의 휘도 값들의 합, 중앙값, 최대값 또는 주어진 백분위 수(예를 들어, 90번째 백분위 수)일 수 있다. 또한, 일부 실시예들에서, 장면(402) 내의 하나 이상의 객체는 2개 이상의 휘도 값(예를 들어, 객체의 상이한 부분들에 대한 상이한 휘도 값들)을 가질 수 있다. 예를 들어, 역반사기들이 장착된 자전거는 역반사기들에 대한 하나의 휘도 값(예를 들어, 높은 휘도 값) 및 자전거의 나머지에 대한 다른 휘도 값(예를 들어, 더 낮은 휘도 값)을 가질 수 있다.
또한, 장면(402) 내의 일부 객체들은 능동적으로 조명될 수 있다. 능동적으로 조명되는 객체들은 객체를 관찰하는 데 사용되는 광을 스스로 생성하는 객체들이다. 예를 들어, 가로등들, 후미등들, 교통 신호등들, 긴급 플래셔들, 조명되는 도로 표지판들(예를 들어, 임시 공사 표지판) 등은 모두 능동적으로 조명되는 객체들을 포함할 수 있다. 능동적으로 조명되는 객체들은 (예를 들어, 펄스-폭 변조에 따라) 간헐적으로 광을 생성할 수 있다. 일례는 단어의 철자를 나타내기 위해 표지판 상의 문자들을 순차적으로 조명하고 있는 공사 표지판이다. 다른 예는 랜덤 또는 의사-랜덤 연속 방식으로(예를 들어, 픽셀 단위 또는 심볼 단위로 랜덤하게) 문자들 및/또는 심볼들을 조명하는 공사 표지판 또는 다른 표지판일 수 있다. 다른 예들은 오버헤드형 스피드 표지판들 또는 전자식 우회전-금지 디스플레이들을 포함한다. 능동적으로 조명되는 객체의 펄스-폭 변조는 대응하는 이미지 센서의 셔터 스피드(및 대응하는 노출 지속 시간)와 유사하거나 또는 이보다 느린 레이트인 연관된 변조 시간을 가질 수 있다. 이러한 방식에서는, 펄스-폭 변조의 조명 부분(즉, 듀티 사이클의 "온" 부분)이 연관된 셔터 스피드/노출 지속 시간에서 캡처된 이미지 내에서 완전히 캡처되지 않을 수 있다. 예를 들어, 1% 듀티 사이클로 10Hz에서 능동적으로 조명되는 객체의 경우, 이미지 센서가 능동적으로 조명되는 객체와 위상이 일치하지 않으면, 10ms의 노출 지속 시간을 갖고 10Hz의 레이트로 이미지들을 캡처하는 이미지 센서는 1% 듀티 사이클의 "온" 부분을 전혀 캡처하지 못할 수 있다.
그러나, 능동적으로 조명되는 객체의 펄스-폭 변조가 대응하는 이미지 센서의 셔터 스피드(및 대응하는 노출 지속 시간)보다 빠른(예를 들어, 셔터 스피드/노출 지속 시간보다 한 자릿수 빠른, 셔터 스피드/노출 지속 시간보다 10% 빠른, 셔터 스피드/노출 지속 시간보다 1% 빠른 등) 연관된 변조 시간을 갖는 경우, 펄스-폭 변조 기간은 연관된 셔터 스피드(및 대응하는 노출 지속 시간)로 캡처된 이미지 내에서 완전히 캡처될 수 있다. 예를 들어, 이미지 센서의 셔터 스피드/노출 지속 시간이 단어의 철자를 나타내기 위해 표지판 상의 문자들을 순차적으로 조명하고 있는 공사 표지판의 변조 스피드보다 느린 경우, 더 느린 셔터 스피드/노출 지속 시간을 갖는 이미지 센서에 의해 캡처된 이미지 내에 전체 단어가 캡처될 수 있다.
추가적으로 또는 대안적으로, 장면(402) 내의 일부 객체들은 수동적으로 조명될 수 있다. 수동적으로 조명되는 객체들은 객체를 관찰하는 데 사용되는 광을 생성하지 않는 객체들이다. 대신, 수동적으로 조명되는 객체들은 다른 소스들(예를 들어, 태양, 헤드라이트들, 가로등들 등)에 의해 생성된 광을 반사시킬 수 있다. 예를 들어, 반사기들, 바위들, 나무들, 철책들, 기둥들, 덤불들, 보행자들, 동물들, 중심선들, 도로들, 반사식 도로 표지판들(예를 들어, 정지 표지판), (예를 들어, 주간 이동 동안) 그들의 조명들이 없는 차량들 등은 모두 수동적으로 조명되는 객체들을 포함할 수 있다.
장면(402) 내의 객체가 능동적으로 조명되는지 또는 수동적으로 조명되는지에 관계없이, 객체들은 카메라 시스템(400)에 대해 모션 중일 수 있다. 이러한 객체들은 셔터 스피드/노출 지속 시간에 비해 높은 속도(예를 들어, 주어진 대응하는 셔터 스피드/노출 지속 시간에 대해 취해진 객체의 사진이 흐릿하게 보이게 되도록 하는 스피드) 또는 셔터 스피드/노출 지속 시간에 비해 낮거나 또는 이와 유사한 속도(예를 들어, 주어진 대응하는 셔터 스피드/노출 지속 시간에 대해 취해진 객체의 사진이 흐릿하게 보이지 않게 되도록 하는 스피드)를 가질 수 있다.
예시된 바와 같이, 제2 이미지 센서(420)는 광학 중성-농도 필터(422)(예를 들어, ND2, ND4, ND8, ND16, ND32, ND64, ND100, ND128, ND128, ND256, ND400, ND512, ND1024, ND2048, ND4096, ND6310, ND8192, ND10000, 또는 ND100000 필터)를 통해 장면(402)의 이미지를 캡처할 수 있다. 중성-농도 필터(422)는 (예를 들어, 단지 중성-농도 필터(422)에 입사되는 광의 일부를 투과시킴으로써) 제2 이미지 센서(420)에 도달하는 장면(402)으로부터의 광의 강도를 감소시킬 수 있다. 중성-농도 필터(422)는 이미지 센서(420)에 의해 감지되는 파장 범위에 걸쳐 제2 센서(420)에 도달하는 광의 강도를 균일하게(또는 대략 균일하게) 감소시킬 수 있다. 예를 들어, 센서(420)가 가시 스펙트럼에서의 파장들을 감지하도록 구성되는 경우, 장면(402)으로부터의 가시 스펙트럼에서의 각각의 파장은 제2 이미지 센서(420)에 도달하기 전에 동일하거나 또는 실질적으로 동일한 양/백분율만큼 강도가 감소될 수 있다. 이는 일부 파장들이 다른 것들보다 더 많이 감쇠되는 크로마틱 광학 필터와 상이하다. 예를 들어, 모노크로마틱 광학 필터에서는, 주어진 컬러에 대응하는 좁은 범위의 파장들(예를 들어, 오렌지 또는 527nm±10nm)만이 필터에 의해 투과될 수 있다.
대안적인 실시예들에서, 카메라 시스템(400)은 추가 중성-농도 필터들 또는 다른 필터들(예를 들어, 점진식 중성-농도 필터들, 크로마틱 광학 필터들 또는 편광 필터들)을 포함할 수 있다. 또한, 일부 실시예들에서, 카메라 시스템(400)은 중성-농도 필터 또는 다른 광학 필터 이외에 제2 이미지 센서(420)에 도달하는 광의 강도를 감소시키는 추가적인 또는 대안적인 고정 메커니즘들을 포함할 수 있다. 예를 들어, 이미지 센서의 고정 애퍼처 또는 고정 감도 설정이 중성-농도 필터 또는 다른 광학 필터 대신 사용될 수 있다.
또 다른 실시예들에서, 제2 이미지 센서(420)는 제2 이미지 센서(420)에 도달하는 광의 강도를 감소시키는 고정 메커니즘들을 포함하지 않을 수 있다. 예를 들어, 제2 이미지 센서(420)의 노출은 캡처되는 장면에 관한 이전 데이터에 기초하여 변경될 수 있다. 예를 들어, 카메라 시스템(400)이 (예를 들어, 이전 데이터에 의해 지시된 바와 같이) 매우 높은 밝기 또는 매우 낮은 밝기를 갖는 교통 신호등을 이미징하고 있는 경우, 제2 이미지 센서(420)의 노출 설정들은 그에 따라 설정될 수 있다. 이전 데이터에 기초한 노출 설정들의 조정은 장면 내의 주변 광에 기초하여 제2 이미지 센서(420)의 노출 설정들의 조정에 더하여 또는 그 대신에 이루어질 수 있다. 제2 이미지 센서(420)의 노출 설정들을 변화시키는 다른 비-고정식 방법들도 가능하다.
또한, 도 4a에 예시된 바와 같이, 제1 이미지 센서(410) 및 제2 이미지 센서(420)는 서로 수직으로 정렬될 수 있다. 이러한 방식으로, 장면(402) 내의 객체들의 방위는 제2 이미지 센서(420)에 의해 캡처된 이미지와 제1 이미지 센서(410)에 의해 캡처된 이미지에 대해 동일하거나 또는 대략 동일할 수 있다. 일부 실시예들에서, 제1 이미지 센서(410)와 제2 이미지 센서(420) 사이의 수직 분리는 제1 이미지 센서(410)의 관점과 제2 이미지 센서(420)의 관점이 최대한 유사하도록 최소화될 수 있다. 또한, 일부 실시예들에서, 제1 이미지 센서(410) 및 제2 이미지 센서(420)는 이미지들을 실질적으로 동시에 캡처하도록 구성될 수 있다. 추가적으로 또는 대안적으로, 제1 이미지 센서(410) 및 제2 이미지 센서(420)는 수평으로 정렬될 수 있다(예를 들어, 장면(402) 내의 객체들의 방위가 제2 이미지 센서(420)에 의해 캡처된 이미지와 제1 이미지 센서(410)에 의해 캡처된 이미지에 대해 동일하거나 또는 대략 동일할 수 있도록 다시 보장한다).
일부 실시예들에서, 제1 이미지 센서(410) 및/또는 제2 이미지 센서(420)는 각각 하나 이상의 렌즈를 가질 수 있고, 이를 통해 장면(402)으로부터의 광이 각각의 이미지 센서로 들어갈 수 있다. 이러한 렌즈들은 각각의 이미지 센서 상의 장면(402)의 배율을 수정하고, 각각의 이미지 센서에 대한 심도를 수정하고, 및/또는 (예를 들어, 하나 이상의 렌즈 중 하나 이상의 것의 초점 거리를 조정함으로써) 이미지 센서의 초점을 수정하도록 조정될 수 있다. 추가적으로 또는 대안적으로, 제1 이미지 센서(410) 및/또는 제2 이미지 센서(420)는 하나 이상의 애퍼처를 가질 수 있고, 이를 통해 장면(402)으로부터의 광이 각각의 이미지 센서로 들어갈 수 있다. 이러한 애퍼처들은 장면(402)으로부터 각각의 이미지 센서에 도달하는 광량을 제어하고, 각각의 이미지 센서에 대한 심도를 수정하고, 및/또는 각각의 이미지 센서에 의해 캡처되는 주어진 이미지에 대해 각각의 이미지 센서에 도달하는 광에 기초하여 가능한 노출 지속 시간들의 범위를 수정하도록 조정될 수 있다.
일부 실시예들에서, 제1 이미지 센서(410)는 장면(402)의 복합 휘도 레벨(장면에 기초한 고정 값)에 기초하여 조정될 수 있다. 예를 들어, 제1 이미지 센서(410)는 제1 이미지 센서(410) 상의 조도 값을 감지하고, 제1 이미지 센서(410)의 제어기에 조도 값을 송신할 수 있다. 조도 값에 기초하여, 제1 이미지 센서(410) 상의 조도 값(노출 설정들에 기초한 수정 가능한 값)이 임계 허용 가능 범위 내에 있을 때까지, 제어기는 제1 이미지 센서(410)에 대응하는 노출 설정들(예를 들어, 이미지 센서의 노출 지속 시간/셔터 스피드, 애퍼처 사이즈, 하나 이상의 렌즈의 초점 거리, ISO 감도 등)을 수정할 수 있다. 이러한 방식으로, 제1 이미지 센서(410)는 조도 값에 기초하여 제어기에 의해 조정되는 가변 노출을 가질 수 있다. 이는 일부 카메라들(예를 들어, DSLR(digital single-lens reflex) 카메라)에서의 "자동 노출" 설정과 유사할 수 있다.
일부 실시예들에서, 제2 이미지 센서(420)는 또한 제2 이미지 센서(420) 상의 조도 값이 임계 허용 가능 범위 내에 있을 때까지 제2 이미지 센서(420)에 대응하는 노출 설정들을 수정할 수 있다. 그러나, 대안적인 실시예들에서, 제2 이미지 센서(420)는 고정 노출 설정들을 가질 수 있다. 제2 이미지 센서(420)는 중성-농도 필터(422)를 통해 장면(402)으로부터 광을 수신하기 때문에, 제2 이미지 센서(420)가 조도 값에 기초하여 조정되지 않는 경우, 제2 이미지 센서(420)는 더 낮은 전체 강도로 장면(402)의 이미지들을 캡처할 수 있다. 노출 설정들(예를 들어, 노출 지속 시간, 애퍼처 사이즈 등)을 수정함으로써 중성-농도 필터(422)를 보상하지 않고 중성-농도 필터(422)를 통해 이미지들을 캡처하면 밝은 객체들(예를 들어, 구급차 상의 긴급 신호와 같은 능동적으로 조명되는 객체)이 과다 노출되지 않고 관찰될 수 있다. 또한, 더 낮은 전체 강도로 이미지들을 캡처하면 캡처된 이미지들 내의 미광, 눈부심 및 플레어 아티팩트들을 감소시킬 수 있다.
부분적으로 제2 이미지 센서(420)는 중성-농도 필터(422)를 포함하고 제1 이미지 센서(410)는 포함하지 않고, 더 낮은 조도 값이 존재할 때 제2 이미지 센서(420)는 노출 설정들을 보상할 수 없는 반면, 제1 이미지 센서(410)는 보상할 수 있기 때문에, 제1 이미지 센서(410) 및 제2 이미지 센서(420)는 각각 대응하는(가능하게는 상이한) 동적 범위를 가질 수 있다. 도 4b에 예시된 바와 같이, 제1 동적 범위(414)는 제1 이미지 센서(410)에 대응할 수 있고, 제2 동적 범위(424)는 제2 이미지 센서(420)에 대응할 수 있다.
동적 범위들(414/424) 각각은 장면(402) 내의 휘도 레벨의 범위에 대응할 수 있다(휘도에 대한 로그 스케일을 사용하여 도 4b에 예시됨). 도 4b에 예시된 바와 같이, 제2 동적 범위(424)는 제1 동적 범위(414)보다 높은 휘도 레벨 범위에 대응할 수 있다. 따라서, 제2 이미지 센서(420)는 제1 이미지 센서(410)보다 높은 휘도를 갖는 객체들을 검출/식별하는 데 사용될 수 있다. 예를 들어, 제2 이미지 센서(420)에 의해 캡처된 이미지는 교통 신호등을 식별하는 데 사용될 수 있는 반면, 제1 이미지 센서(410)에 의해 캡처된 이미지는 보행자를 식별하는 데 사용될 수 있다. 추가적인 예로서, 도 4c에 예시된 바와 같이, 제2 이미지 센서(420)에 의해 캡처된 이미지는 차량의 후미등들(452)(또는 다른 능동적으로 조명되는 객체)를 식별하기 위해 사용될 수 있고, 제1 이미지 센서(410)에 의해 캡처된 이미지는 도로를 횡단하는 보행자(450)(또는 다른 수동적으로 조명되는 객체)를 식별하는 데 사용될 수 있다. 이러한 보행자(450)는, 예를 들어, 카메라 시스템(400)과 후미등들(452)을 갖는 차량 사이의 도로를 횡단하고 있을 수 있다.
또한, (제1 동적 범위(414)로부터 연장되는 화살표들에 의해) 도 4b에 예시된 바와 같이, 제1 이미지 센서(410)는 제1 이미지 센서(410)에 의해 감지된 조도 값들에 기초하여 그 노출 설정들을 조정할 수 있기 때문에, 대응하는 제1 동적 범위(414)는 더 높거나 또는 더 낮은 휘도 값들을 포함하도록 변경될 수 있다. 또한, 제2 동적 범위(424)는 제1 동적 범위(414)보다 높은 하나 이상의 휘도 레벨을 포함할 수 있다. 예시된 바와 같이, 제1 동적 범위(414)의 휘도 레벨들 중 적어도 일부는 제2 동적 범위(424)의 휘도 레벨들 중 일부와 중첩될 수 있다.
대안적인 실시예들에서, 제1 동적 범위(414)는 제2 동적 범위(424)와 중첩되지 않을 수 있다(예를 들어, 제1 동적 범위(414)의 모든 휘도 레벨은 제2 동적 범위(424)의 모든 휘도 레벨보다 낮을 수 있다). 예를 들어, 제1 동적 범위(414) 또는 제2 동적 범위(424) 중 어느 것에 의해 커버되지 않는 제1 동적 범위(414)와 제2 동적 범위(424) 사이의 휘도 레벨 범위가 존재할 수 있다. 또 다른 실시예들에서, 제1 동적 범위(414)의 일부 또는 전체는 제2 동적 범위(424)의 모든 휘도 레벨들보다 높은 휘도 레벨들을 포함할 수 있다.
일부 대안적인 HDR(high-dynamic-range) 이미징 접근법들에서는, 연속적인 휘도 레벨들이 완전한 합성 이미지를 생성하기 위해 사용된다(예를 들어, 단일 이미지 센서를 사용하는 HDR 이미징 접근법들). 그러나, 일부 대안적인 HDR 이미징 접근법들은 동적 범위에서의 갭을 허용하지 않는다. 따라서, 관찰/검출될 필요가 없는 객체들을 포함하는 휘도 레벨 범위가 존재하는 실시예들에서는, 해당 휘도 레벨들이 스킵될 수 있다. 이로 인해, 예를 들어, 동적 범위에서의 갭을 허용하지 않는 HDR 이미징 접근법들과 비교할 때, 데이터 저장 및 계산 시간을 절약시킬 수 있다. 대안적으로, 본 명세서에 개시된 일부 실시예들에서, 제1 동적 범위(414)는 제2 동적 범위(424)를 완전히 포함할 수도 있고, 또는 그 반대일 수도 있다.
도 4b에 예시된 바와 같이, 카메라 시스템(400)에 의해 걸쳐 있는 집합적인 동적 범위(제1 동적 범위(414) 및 제2 동적 범위(424) 포함)는 개별적인 제1 동적 범위(414) 또는 제2 동적 범위(424) 중 어느 것보다 크다.
위에서 설명된 바와 같은 기술을 사용하면 이미지 센서들 자체를 반드시 수정하지 않고도 카메라의 동적 범위를 효과적으로 확장할 수 있다. 이미지 센서들이 반드시 수정될 필요는 없기 때문에, 이러한 기술은 특화된(및 잠재적으로 고가의) 카메라들/이미지 센서들에 대한 필요 없이 동적 범위의 향상으로 이어질 수 있다.
또한, 제1 이미지 센서(410) 및 제2 이미지 센서(420) 각각은 (예를 들어, 도 1에 예시된 프로세서(113)와 유사한) 프로세서(430)에 연결될 수 있다. 프로세서(430)는 메모리(예를 들어, 도 1에 예시된 데이터 스토리지(114)) 상에 저장된 명령어들(예를 들어, 도 1에 예시된 명령어들(115))을 실행하는 컴퓨팅 디바이스(예를 들어, 도 1에 예시된 컴퓨터 시스템(112))의 일부일 수 있다. 프로세서(430)는 제1 이미지 센서(410)로부터의 제1 캡처된 이미지 및/또는 제2 센서(420)로부터의 제2 캡처된 이미지를 수신할 수 있다. 그 후, 프로세서(430)는 (예를 들어, 명령어들 내에 저장된 객체-인식/객체-식별 알고리즘 및/또는 로컬리제이션 알고리즘을 사용하여) 이미지들 중 어느 하나 또는 둘 다 내에서 객체들을 식별하거나 또는 로컬리제이션하려고 시도할 수 있다. 프로세서(430) 및/또는 연관된 제어 시스템(예를 들어, 도 1에 예시된 제어 시스템(106))은 식별된 객체들의 아이덴티티 및 위치(예를 들어, 서로에 대한 위치 및/또는 차량에 대한 위치)를 사용하여, 차량의 다양한 컴포넌트들의 거동을 지시할 수 있다(예를 들어, 스티어링 유닛(132)을 사용하여 차량의 코스를 변경할 수 있고, 스로틀(134)을 사용하여 차량의 스피드를 변경할 수 있고, 방향 지시등을 턴온할 수 있고, 기타 등등을 행할 수 있다).
계산 시간을 절약하기 위해, 프로세서(430)는 제2 이미지 센서(420)에 의해 캡처된 이미지들을 사용하여서만 능동적으로 조명되는 객체들(예를 들어, 후미등들, 교통 신호등들 등)을 식별하려고 시도할 수 있고, 제1 이미지 센서(410)에 의해 캡처된 이미지들을 사용하여서만 수동적으로 조명되는 객체들(예를 들어, 보행자들, 나무들, 정지 표지판들 등과 같이 광을 반사 또는 굴절시킴으로써 조명되는 객체들)을 식별하려고 시도할 수 있다.
추가적으로 또는 대안적으로, 계산 시간을 절약하기 위해, 프로세서(430)는 제1 이미지 센서(410)에 의해 캡처된 이미지 내에서 제1 이미지 센서(410)의 셔터 스피드/노출 지속 시간에 비해 높은 속도를 갖는 카메라 시스템(400)에 대해 모션 중인 객체들만을 식별하려고 시도할 수 있다(예를 들어, 비와 같은 날씨 효과들). 또한, 계산 시간을 절약하기 위해, 프로세서(430)는 제1 이미지 센서(410)에 의해 캡처된 이미지 내에서 제1 이미지 센서(410)의 셔터 스피드/노출 지속 시간보다 빠른 레이트들로 변조되는 능동적으로 조명되는 객체들만을 식별하려고 시도할 수 있다(예를 들어, 공사 표지판들).
유사하게, 계산 시간을 절약하기 위해, 프로세서(430)는 제2 이미지 센서(420)에 의해 캡처된 이미지 내에서 제1 이미지 센서(410)의 셔터 스피드/노출 지속 시간에 비해 낮은 속도 또는 이와 유사한 속도를 갖는 카메라 시스템에 대해 모션 중인 객체들만을 식별하려고 시도할 수 있다(예를 들어, 보행자). 또한, 계산 시간을 절약하기 위해, 프로세서(430)는 제2 이미지 센서(420)에 의해 캡처된 이미지 내에서 제1 이미지 센서(410)의 셔터 스피드/노출 지속 시간과 유사하거나 또는 이보다 더 느린 레이트들로 변조되는 능동적으로 조명되는 객체들만을 식별하려고 시도할 수 있다(예를 들어, 점멸 방향 지시등).
또한, 일부 실시예들에서, 제1 이미지 센서(410) 및 제2 이미지 센서(420)는 각각 특정 타입들의 객체들(예를 들어, 고속-이동 객체 대 저속-이동 객체 또는 능동적으로 조명되는 객체 대 수동적으로 조명되는 객체)을 캡처하도록 구성될 수 있기 때문에, 주어진 이미지 센서의 하드웨어는 주어진 휘도 레벨 범위 및/또는 시간에 따른 변화들에 특화될 수 있다. 예를 들어, 제2 이미지 센서(420)는 수동적으로 조명되는 객체들을 검출하기 위해 특화된 하드웨어(예를 들어, 제1 이미지 센서(410)와 상이한 렌즈들, 제1 이미지 센서(410)와 비교하여 하나 이상의 추가 필터 등과 같이 중성-농도 필터(422)에 추가하여 특화된 하드웨어)를 가질 수 있다.
장면(402)의 캡처된 이미지들을 컴퓨팅 디바이스로 송신하기 전에, 제1 이미지 센서(410) 및 제2 이미지 센서(420)는 캡처된 이미지들을 압축할 수 있다. 추가적으로 또는 대안적으로, 컴퓨팅 디바이스는 캡처된 이미지들을 제1 이미지 센서(410) 및 제2 이미지 센서(420)로부터 수신한 후 이들을 압축할 수 있다.
또한, 일부 객체-식별 알고리즘들(예를 들어, 이미지 내의 객체들을 식별하기 위해 프로세서에 의해 실행 가능한 메모리 내에 저장된 명령어들)이 제1 이미지 센서(410) 및 제2 이미지 센서(420)에 의해 캡처된 이미지들에 적용될 수 있다. 객체-식별 알고리즘들은 HDR 24-비트 이미지들(즉, 다음의 컬러들: 적색, 녹색 및 청색 각각에 대해 8-비트 숫자로 각각의 픽셀을 나타내는 HDR 이미지들)에 대해 최적화될 수 있다. 따라서, 제1 이미지 센서(410) 및 제2 이미지 센서(420)에 의해 캡처된 이미지들이 각각 24-비트 이미지들인 경우, 제1 이미지 센서(410) 및 제2 이미지 센서(420)에 의해 캡처된 이미지들은 결합된 이미지가 HDR 24-비트 이미지들에 최적화된 객체-식별 알고리즘들 중 하나에 의해 프로세싱될 수 있도록 단일 HDR 24-비트 이미지로 결합될 수 있다. 다른 실시예들에서, 객체-식별 알고리즘은 대신 다른 타입들의 이미지들(예를 들어, 30-비트 이미지들, 36-비트 이미지들, 42-비트 이미지들, 48-비트 이미지들 등)에 대해 최적화될 수 있다.
2개의 캡처된 이미지를 단일 HDR 24-비트 이미지로 결합하는 단계는 톤 매핑을 수행하는 단계(즉, HDR을 근사화시키기 위해 개별 캡처된 이미지들 각각의 컬러 세트들을 결합된 이미지의 새로운 전역적 컬러 세트로 재매핑하는 단계)를 포함할 수 있다. 이를 통해 객체-식별 알고리즘들의 확장된 라이브러리(예를 들어, HDR 24-비트 이미지들에 대해 최적화되는 객체-식별 알고리즘들)를 사용하는 것이 허용될 수 있지만, 톤 매핑은 제1 이미지 센서(410) 및 제2 이미지 센서(420)에 의해 캡처된 개별 이미지들 전반에 걸쳐 포함되는 물리적 휘도 레벨들 및 전역적 콘트라스트에 관한 고유 데이터를 희생시킬 수 있다.
일부 실시예들에서는, 물리적 휘도 레벨들 및 전역적 콘트라스트에 관한 고유 데이터를 보존하기 위해, 개별 이미지들 각각이 (예를 들어, 프로세서에 의해 실행 가능하고 메모리 내에 저장되는) 별도의 객체-식별 알고리즘으로 공급될 수 있다. 이러한 별도의 객체-식별 알고리즘들은 주어진 동적 범위(예를 들어, 주어진 휘도 레벨 범위)에 대해 스스로 공동으로 및/또는 개별적으로 최적화될 수 있다.
또 다른 실시예들에서는, 물리적 휘도 레벨들 및 전역적 콘트라스트에 관한 이러한 고유 데이터를 보존하기 위해, 개별 이미지들 각각이 두 이미지를 공동으로 핸들링하도록 설계되는 단일의 결합된 객체-식별 알고리즘으로 공급될 수 있다. 예를 들어, 결합된 객체-식별 알고리즘은 컨볼루션 신경망과 같은 머신-러닝 알고리즘일 수 있다. 컨볼루션 신경망은 결합된 이미지들이 정규 3색(적색, 녹색, 청색)과 대조적으로 6색을 갖는 것처럼 이들을 취급할 수 있다. 컨볼루션 신경망은, 예를 들어, 픽셀 당 4개 이상의 컬러 값(예를 들어, 6개의 컬러 값)을 추적하는 중간 뉴런 층을 사용하여 6개의 컬러 채널을 해석할 수 있다.
프로세서는 이러한 결합된 객체-식별 알고리즘, 또는 본 명세서에 설명된 다른 알고리즘들을 사용하여, 단일 캡처된 이미지만을 사용하는 것과 대조적으로, 캡처된 이미지들을 모두 사용하여 객체의 객체 식별을 수행할 수 있다. 예를 들어, 밤에 긴급 차량은 높은 휘도 레벨들(예를 들어, 긴급 차량의 비상등들) 및 낮은 휘도 레벨들(예를 들어, 긴급 차량의 타이어들 또는 페인팅된 본체) 모두를 포함할 수 있다. 따라서, 제1 이미지 센서(410)에 의해 캡처된 이미지 및 제2 이미지 센서(420)에 의해 캡처된 이미지 모두의 부분들이 객체를 구급차, 소방차 또는 경찰 차량으로서 식별하는 데 사용될 수 있다. 이러한 실시예는 도 4d에 예시되어 있다. 예시된 바와 같이, 제2 이미지 센서(420)는 긴급 차량(예를 들어, 구급차)의 조명들(460)을 향해 지향될 수 있고, 제1 이미지 센서(410)는 긴급 차량의 페인팅된 본체(462)(예를 들어, 긴급 차량 상의 적색 줄무늬들, 긴급 차량 상의 적색 체크 무늬 패턴 또는 긴급 차량 상의 적색 십자가)를 향해 지향될 수 있다. 두 이미지 센서에 의해 캡처된 이미지들을 사용하여, 긴급 차량이 식별될 수 있다. 예를 들어, 제1 이미지에 적색 십자가를 포함하고 제2 이미지에 적색 및 백색 비상등들을 포함하는 식별된 본체 페인트의 결합은 식별된 객체가 긴급 차량(예를 들어, 구급차)임을 나타낼 수 있다. 또한, 예를 들어, 적색 및 백색 비상등들이 점멸하는지 여부에 기초하여, 긴급 차량이 액티브 이머전시(active emergency)로의/로부터의 도중에 있는지 여부가 결정될 수 있다.
도 4a에 예시된 바와 같이, 제1 이미지 센서(410) 및 제2 이미지 센서(420)는 거리만큼 서로에 대해 오프셋될 수 있다(예를 들어, 도 4a에서는, 거리만큼 수직으로 오프셋될 수 있다). 예를 들어, 제1 이미지 센서(410)는 장면(402)에 대해 제2 이미지 센서(420)의 위에, 아래에, 좌측에, 우측에, 앞에, 뒤에, 또는 위, 아래, 좌측, 우측, 앞 및 뒤의 일부 중첩된 부분에 있을 수 있다. 오프셋 거리로 인해, 카메라 시스템(400)에 연결된 프로세서는, 객체가 제1 이미지 센서(410)에 의해 캡처된 이미지에서 적절하게 식별될 수 있는지 또는 제2 이미지 센서(420)에 의해 캡처된 이미지에서 적절하게 식별될 수 있는지에 관계없이, 양안 거리 계산들을 수행하도록 구성될 수 있다. 거리는 (제1 이미지 센서(410)와 제2 이미지 센서(420) 사이의 알려진 오프셋 거리를 고려하여) 제1 이미지 센서(410)에 의해 캡처된 이미지 내의 객체의 위치와 제2 이미지 센서(420)에 의해 캡처된 이미지 내의 객체의 위치 사이의 시차를 계산하기 위해 명령어들을 실행하는 프로세서에 의해 결정될 수 있다.
동일한 장면에 대해 별도의 동적 범위들을 갖는 2개의 이미지를 캡처하는 보다 통상적인 방법은 (2개의 이미지 센서 대신) 단일 이미지 센서만을 갖는 카메라를 사용하는 단계를 포함한다. 단일 이미지 센서를 갖는 카메라를 사용하면, (예를 들어, ISO, 센서 감도, 노출 지속 시간/셔터 스피드, 애퍼처 사이즈 등과 같은 노출 설정들에 따라) 제1 동적 범위에서 장면에 대해 이미지가 캡처될 수 있다. 그 후, (예를 들어, 셔터 스피드/노출 지속 시간 또는 애퍼처 사이즈를 수정함으로써) 단일 이미지 센서의 노출 설정들이 변경될 수 있고, 제2 동적 범위에서의 장면의 제2 이미지가 캡처될 수 있다.
그러나, 다수의 이미지들이 동일한 이미지 센서에 의해 캡처되고 있기 때문에, 캡처 이벤트들 사이에서의 노출 설정들의 수정으로 인해, 두 이미지가 실질적으로 동시에 캡처되지 않을 수 있다. 따라서, (예를 들어, 객체 인식 및/또는 오차 체크에서의 리던던시에 대해) 나중에 2개의 이미지가 서로 비교될 경우, 장면의 관점이 두 이미지들을 캡처하는 것 사이에서 실질적으로 변경되었을 수 있다. 이것은 정지 장면들(예를 들어, 인물 사진들)에 대해서는 허용 가능할 수 있지만, 이것은 이동하는 장면들에 대해서는 이슈들을 생성할 수 있다. 예를 들어, 단일 이미지 센서가 이동하는 차량 상에 마운팅되는 경우, 이미지 캡처 이벤트들 사이의 노출 설정들을 수정하기 위해 50ms만이 요구될지라도, 이미지 캡처 이벤트들 사이에서 관점이 실질적으로 상이할 수 있다(예를 들어, 이동하는 차량이 50mph로 이동하고 있는 경우, 50ms는 1.1m의 병진 운동에 대응하며, 이는 무시할 수 없을 정도일 수 있다).
또한, 장면의 이미지들은 이미지 캡처 이벤트들 사이에서 노출 설정들을 수정하고 있는 단일 이미지 센서에 의해 실질적으로 동시에 캡처되지 않기 때문에, 장면의 이미지들은 또한 객체 분석을 수행하는 컴퓨팅 디바이스에 실질적으로 동시에 송신되지 않을 수 있다. 이것은 단일 이미지 센서의 카메라가 한 번에 하나의 캡처된 이미지만을 로컬로 저장하기에 충분한 온보드 메모리를 갖는 경우에 문제가 될 수 있다. 컴퓨팅 디바이스의 프로세서는 캡처된 이미지들 각각을 순차적으로 프로세싱할 수도 있고, 또는 카메라가 그 로컬 메모리 내에 2개의 이미지를 저장할 수 있도록 캡처된 이미지의 해상도를 감소시킨 후, 두 이미지를 컴퓨팅 디바이스에 송신할 수도 있다. 그러나, 이것은 또한 문제를 일으킬 수 있는데, 왜냐하면 제1 이미지가 캡처된 때와 컴퓨팅 디바이스가 제1 이미지에 대한 이미지 분석을 수행하고 있는 때 사이에 상당한 지연이 존재할 수 있기 때문이다. 따라서, 컴퓨팅 디바이스가 캡처된 제1 이미지를 프로세싱하고 있을 때까지, 캡처된 제1 이미지에 기초하여 의미있는 제어 결정들을 하기에는 너무 늦을 수 있다.
3개의 이전 단락에서 설명된 잠재적 이슈들은 본 명세서에서 설명되는 카메라 시스템들의 사용을 통해 완화되거나 또는 완전히 제거될 수 있다.
도 5는 예시적인 실시예들에 따른 카메라 시스템(500)을 예시한다. 예시된 바와 같이, 카메라 시스템(500)은 이미지 센서(510), 중성-농도 필터(522), 제1 렌즈(514) 및 제2 렌즈(524)를 포함할 수 있다. 제1 렌즈(514)는 장면(402)의 시야를 이미지 센서(510)의 제1 독립 영역으로 지향시킬 수 있다. 유사하게, 제2 렌즈(524)는 장면(402)의 시야를 이미지 센서(510)의 제2 독립 영역으로 지향시킬 수 있다. 예시된 바와 같이, 제2 렌즈(524)는 장면(402)의 시야를 중성-농도 필터(522)를 통해 이미지 센서의 제2 독립 영역으로 지향시킬 수 있다. 다른 실시예들에서는, 다른 광학 컴포넌트들(예를 들어, 렌즈들 이외의 자유-공간 광학기들)이 장면(402)의 시야를 제1 이미지 센서(510)의 독립 센서 영역들로 지향시키기 위해 제1 렌즈(514) 및 제2 렌즈(524)에 더하여 또는 이에 대안적으로 사용될 수 있다. 일부 실시예들에서, 카메라 시스템(500)은 또한 이미지 센서(510)에 통신 가능하게 커플링되고 (예를 들어, 메모리 내에 저장된 명령어들을 실행함으로써) 객체 인식을 수행하도록 구성되는 (예를 들어, 도 4a에 예시된 프로세서(430)와 유사한) 프로세서를 포함할 수 있다.
일부 실시예들에서, 이미지 센서(510)는 두 독립 센서 영역 전반에 걸쳐 가변 노출을 가질 수 있다. 가변 노출은 두 독립 센서 영역에 의해 감지된 복합 조도에 기초하여(예를 들어, 제1 센서 영역의 조도 및 제2 센서 영역의 조도의 평균에 기초하여) 다양한 노출 설정들(예를 들어, 노출 지속 시간, ISO 감도 등)을 조정함으로써 제어기에 의해 제어될 수 있다. 다른 실시예들에서, 두 독립 센서 영역 전반에 걸친 노출 설정들은 고정될 수 있다. 또 다른 실시예들에서, 두 독립 센서 영역의 노출 설정들은 개별적으로 제어 가능할 수 있다. 예를 들어, 상부 독립 센서 영역은 상부 독립 센서 영역 상에서 감지된 조도에 기초하여 제어기에 의해 그 감도가 조정되게 할 수 있는 반면, 하부 독립 센서 영역은 하부 독립 센서 영역 상에서 감지된 조도에 관계없이 고정 노출 설정들을 가질 수 있다.
도 5의 카메라 시스템(500)을 사용하면, 단일 이미지 센서가 합성 이미지를 캡처하는 데 사용될 수 있다. 합성 이미지는 다수의 영역들을 포함할 수 있으며, 각각의 영역은 주어진 시야 및 관점을 갖는 장면(402)의 전체 재생을 포함한다. 일부 실시예들에서, 시야 및 관점은 각각의 영역에 대해 동일할 수 있다. 그럼에도 불구하고, 합성 이미지의 영역들 각각은 상이한 조도로 캡처될 수 있다. 이러한 방식으로, 캡처된 이미지의 상이한 영역들이 상이한 동적 범위들 내의 객체들을 식별하기 위해 분석될 수 있다. 도 5의 예를 취하면, 대응하는 캡처된 합성 이미지의 상부 영역은 더 낮은 상대 휘도 값들을 갖는 객체들(예를 들어, 수동적으로 조명되는 객체)을 (예를 들어, 객체-식별 알고리즘을 실행하는 프로세서에 의해) 식별하는 데 사용될 수 있고, 대응하는 캡처된 합성 이미지의 하부 영역은 더 높은 상대 휘도 값들을 갖는 객체들(예를 들어, 능동적으로 조명되는 객체들)을 (예를 들어, 객체-식별 알고리즘을 실행하는 프로세서에 의해) 식별하는 데 사용될 수 있다.
대안적인 실시예들에서, 독립 센서 영역들은 상부 및 하부가 아니라 좌측 및 우측에 배열될 수 있다. 또 다른 실시예들에서는, 3개 이상의 독립 센서 영역이 존재할 수 있다. 예를 들어, 일 실시예에서는, 4개의 독립 센서 영역이 있을 수 있다: 중성-농도 필터가 없는 하나의 독립 센서 영역, 하나의 중성-농도 필터(예를 들어, ND8 중성-농도 필터)에 의해 커버되는 하나의 독립 센서 영역, 다른 중성-농도 필터(예를 들어, ND128 중성-농도 필터)에 의해 커버되는 하나의 독립 센서 영역, 및 또 다른 중성-농도 필터(예를 들어, ND4096 중성-농도 필터)에 의해 커버되는 하나의 독립 센서 영역.
도 6a는 예시적인 실시예들에 따른 카메라 시스템(400)의 예시이다. 카메라 시스템(400)은, 예를 들어, 도 4a에 예시된 것과 동일한 카메라 시스템(400)일 수 있다. 도 6a에서, 카메라 시스템(400)은 장면(600)의 이미지들을 캡처하는 데 사용되고 있다. 도 4a에 예시된 카메라 시스템(400)에서와 같이, 제1 이미지 센서(410) 및 제2 이미지 센서(420)는 어느 거리만큼 서로로부터 수직으로 오프셋될 수 있다. 이와 같이, 장면(600)에 대한 제1 이미지 센서(410)의 관점은 장면(600)에 대한 제2 이미지 센서(420)의 관점과 상이할 수 있다. 일부 실시예들에서, 카메라 시스템(400)은 또한 제1 이미지 센서(410) 및 제2 이미지 센서(420)에 통신 가능하게 커플링되고 (예를 들어, 메모리 내에 저장된 명령어들을 실행함으로써) 객체 인식을 수행하도록 구성되는 (도 4a에 예시된 프로세서(430)와 유사한) 프로세서를 포함할 수 있다.
이미지 센서들은 장면(600)에 대해 상이한 관점들에 있기 때문에, 각각의 이미지 센서들에 의해 캡처된 이미지들은 상이하게 나타날 수 있다. 예를 들어, 제1 이미지 센서(410)에 의해 캡처된 장면(600)의 제1 이미지(610)는 도 6b에 예시되어 있다. 유사하게, 제2 이미지 센서(420)에 의해 캡처된 장면(600)의 제2 이미지(620)는 도 6c에 예시되어 있다. 도 6a에서의 점선뿐만 아니라, 도 6b 및 도 6c의 제1 이미지(610)와 제2 이미지(620) 사이의 차이 각각에 의해 예시된 바와 같이, 장면(600)의 일부 객체들은 모든 관점들로부터 관찰 가능하지는 않을 수 있다. 예를 들어, 장면(600)의 다람쥐는 제1 이미지 센서(410)에 의해서는 관찰 가능하지 않지만, 제2 이미지 센서(420)에 의해서는 관찰 가능할 수 있다.
또한, 장면(600) 내의 객체가 제1 동적 범위(414) 및 제2 동적 범위(424) 모두 내에 있는 휘도 값을 갖는 경우, 객체가 각각의 이미지 센서(410/420)에 대한 장면(600)의 각각의 관점 내에 존재하면, 두 이미지 센서에 의해 캡처된 이미지들이 (예를 들어, 프로세서에 의해 실행되는 객체 식별 알고리즘에 의해) 객체를 식별하는 데 사용될 수 있다.
제1 이미지 센서(410) 및 제2 이미지 센서(420)에 의해 기록된 이미지들 내에서 객체가 식별 가능하기 때문에, 객체 식별은 오차 보정 및 리던던시를 포함할 수 있다. 예를 들어, 장면에 대해 상이한 관점에 있는 2개의 이미지 센서 각각은 장면 내의 아티팩트들로 인한 미광 및 산란을 보정하는 데 사용될 수 있다. 태양과 같은 밝은 객체가 식별될 객체 바로 뒤에 있는 경우, 해당 객체는 태양의 존재로 인해 제1 이미지 센서(410) 및 제2 이미지 센서(420)에 의해 각각 캡처된 2개의 이미지 중 하나에서 블로운아웃되거나, 과다 노출되거나, 왜곡되거나 또는 포화될 수 있다. 그러나, 두 이미지 중 다른 이미지에서는, 태양이 식별될 객체에 대해 상이하게 위치 결정될 수 있으며, 따라서 블로운아웃되는 피처들, 과다-노출, 왜곡 및 포화 이슈와 같은 이슈들을 제거한다. 따라서, 태양이 식별될 객체 바로 뒤에 위치 결정되지 않는 이미지가 객체를 식별하기 위해 (예를 들어, 메모리 내에 저장된 객체-식별 알고리즘을 실행하는 프로세서에 의해) 사용될 수 있다. 추가적인 또는 대안적인 타입들의 미광, 산란 및 폐색은 다수의 관점들에서 이미지 센서들을 사용하는 것이 고려될 수 있다(예를 들어, 능동적으로 조명되는 광원들로부터의 루버들).
도 6a의 예를 사용하면, 제1 이미지 센서(410)가 제1 이미지(610)를 캡처하는 경우, 제1 이미지 센서(410)의 시야 내에 다람쥐가 존재하지 않기 때문에, 프로세서는 제1 이미지(610)를 분석하여 다람쥐를 식별할 수 없다. 그러나, 제2 이미지 센서(420)에 의해 캡처된 제2 이미지(620)를 사용하면, 제2 이미지 센서(420)의 시야 내에 다람쥐가 존재하기 때문에, 프로세서는 정지 표지판 근처의 다람쥐를 식별할 수 있다. 또한, 다람쥐가 이미지들 중 하나에서만 식별되었더라도, 대응하는 제어 시스템은 (예를 들어, 스티어링 유닛(132)을 사용하여 다람쥐를 피함으로써) 여전히 장면 내의 그 각각의 위치에서 다람쥐의 존재를 고려할 수 있다.
또한, 주어진 객체가 도 6a와 달리 제1 이미지 센서(410) 및 제2 이미지 센서(420) 모두의 관점에 있고, 객체가 제1 동적 범위(414) 및 제2 동적 범위(424) 모두 내에서 휘도 값을 갖는 경우, 객체는 제1 이미지 센서(410) 및 제2 이미지 센서(420) 모두에 의해 캡처된 이미지들 내에서 식별 가능해야 한다. 그러나, 객체가 두 이미지 중 하나에서만 식별되거나 또는 두 이미지 내에서 상이한 객체인 것으로 식별되는 경우, 객체 식별을 수행하는 대응하는 컴퓨팅 디바이스는 이를 다양한 방식들로 바로잡을 수 있다. 예를 들어, (객체가 2개의 이미지 내에서 상이한 객체인 것으로 식별된 경우) 객체가 실제로 장면에 존재했는지 또는 2개의 식별된 객체 가능성 중 어느 것이 더 정확할 가능성이 있는지를 결정하기 위해 (예를 들어, 주어진 객체 식별을 위해 식별되는 신뢰도 레벨들에 기초하여) 보팅 시스템이 구현될 수 있다. 또한, 객체가 센서들 중 하나에 의해 캡처된 이미지들에서만 식별 가능한 경우, 객체가 식별 가능한 센서의 동적 범위(예를 들어, 제1 동적 범위(414) 또는 제2 동적 범위(424))는 객체의 휘도 범위를 식별하는 데 사용될 수 있다.
객체가 컴퓨팅 디바이스에 의해 식별되지 않거나 또는 잘못 식별되는 경우, 컴퓨팅 디바이스는 잘못 식별되거나 또는 식별 부족이 발생한 이미지에 대응하는 이미지 센서가 기능 장애라는 경고를 출력할 수 있다. 추가적으로 또는 대안적으로, 컴퓨팅 디바이스 및/또는 대응하는 제어 시스템은 기능 장애를 보정하려는 시도의 액션을 수행할 수 있다(예를 들어, 와이퍼 블레이드로 잔해를 제거함으로써 및/또는 액체 세제를 도포함으로써 렌즈를 세정하거나, 또는 객체 식별 알고리즘에 보정 캘리브레이션 팩터를 적용한다).
또한, 리던던시 및 오차 보정은 식별된 객체들에서의 차이들 이외에 캡처된 이미지들 내의 차이들에 기초할 수 있다. 예를 들어, 제1 이미지 센서(410)에 의해 캡처된 이미지와 제2 이미지 센서(420)에 의해 캡처된 이미지 사이의 선명도가 비교될 수 있다. 캡처된 이미지들 중 하나가 덜 선명한 경우, 제2 이미지 센서(420)의 광 경로에서의 폐색 및/또는 제2 이미지 센서(420)의 오정렬이 검출될 수 있다. 이러한 폐색은, 예를 들어, 제2 이미지 센서(420) 또는 연관된 렌즈 상의 잔해 또는 제2 이미지 센서(420)의 렌즈 상의 얼룩을 포함할 수 있다. 선명도 이외의 다른 차이들도 다양한 실시예들에서 비교될 수 있다. 예를 들어, 콘트라스트도 비교될 수 있다. 추가적으로 또는 대안적으로, (예를 들어, 하나의 이미지 센서 중 50% 이상이 잔해에 의해 폐색된 경우) 심각한 폐색도 식별될 수 있다.
또 다른 실시예들에서, 오차 체크 및/또는 오차 보정은 전체 이미지들의 컨텐츠들을 비교함으로써 수행될 수 있다. 일부 실시예들에서, 이미지 내의 모든 픽셀들에 걸쳐 계산된 그라디언트 또는 그라디언트 합이 이미지들 사이에서 비교될 수 있다. 예를 들어, 제1 이미지 센서(410) 및 제2 이미지 센서(420)에 의해 캡처된 이미지들 내에 교통 신호등(또는 다른 능동적으로 조명되는 객체)이 존재하는 경우, 교통 신호등에 대응하는 픽셀들은 교통 신호등을 둘러싼 픽셀들에 비해 밝기 값이 급격히 증가된 것에 대응할 수 있다. 밝기 값들의 이러한 급격한 증가는 가능하게는 두 이미지에서 교통 신호등에 대응하는 픽셀들의 원시 밝기 값들에 관계없이 두 이미지 모두에 존재할 수 있다. 따라서, 두 이미지에 걸쳐 계산된 밝기 그라디언트 합들은 이러한 교통 신호등이 두 이미지에 실제로 존재하는 것을 컨펌하기 위해 비교될 수 있다. 밝기 그라디언트 합들 외에, 전체 이미지들에 걸쳐 계산된 다른 통계들도 오차 체크 및/또는 오차 보정을 위해 비교될 수 있다. 예를 들어, 선명도 그라디언트 합들, 컬러 그라디언트 합들, 색조 그라디언트 합들 등이 비교될 수 있다.
도 7은 카메라 시스템(700)을 예시한다. 일부 실시예들에서, 카메라 시스템(700)은 자율-주행 차량 상에 마운팅될 수 있고, 내비게이션뿐만 아니라 객체 검출 및 회피를 위해 사용될 수 있다. 카메라 시스템(700)은 도 4a에 예시된 카메라 시스템(400)과 유사할 수 있다. 예를 들어, 카메라 시스템(700)은 제1 이미지 센서(710) 및 제2 이미지 센서(720)를 포함할 수 있고, 제2 이미지 센서(720)는 중성-농도 필터(722) 또는 유사한 메커니즘을 통해 장면(402)으로부터 광을 수신할 수 있다. 그러나, 도 4의 카메라 시스템(400)과 달리, 도 7에 예시된 카메라 시스템(700)은 도 5에 예시된 제1 렌즈(514) 및 제2 렌즈(524)와 다소 유사한 제1 렌즈(714) 및 제2 렌즈(724)를 포함한다. 대안적인 실시예들에서, 제1 이미지 센서(710)는 또한 중성-농도 필터를 통해 장면(402)으로부터 광을 수신할 수 있다. 또 다른 실시예들에서는, 제1 이미지 센서(710)도 제2 이미지 센서(720)도 중성-농도 필터를 통해 장면(402)으로부터 광을 수신할 수 없다. 일부 실시예들에서, 카메라 시스템(700)은 또한 제1 이미지 센서(710) 및 제2 이미지 센서(720)에 통신 가능하게 커플링되고 (예를 들어, 메모리 내에 저장된 명령어들을 실행함으로써) 객체 인식을 수행하도록 구성되는 (예를 들어, 도 4a에 예시된 프로세서(430)와 유사한) 프로세서를 포함할 수 있다.
또한, 다양한 실시예들에서, 제1 이미지 센서(710) 및/또는 제2 이미지 센서(720)는 (예를 들어, 제1 이미지 센서(710) 및/또는 제2 이미지 센서(720)에 의해 감지된 조도 값들에 기초하여 카메라 제어기에 의해 조정 가능한) 가변 노출 설정들을 가질 수 있다. 추가적으로 또는 대안적으로, 제1 이미지 센서(710) 및/또는 제2 이미지 센서(720)는 고정 노출 설정들을 가질 수 있다.
제1 렌즈(714)는 장면(402)으로부터 제1 이미지 센서(710)로 광을 지향시키고, 제2 렌즈(724)는 장면(402)으로부터 제2 이미지 센서(720)로 광을 지향시킨다. 대안적인 실시예들에서는, 장면(402)으로부터 이미지 센서들로 광을 지향시키는 2개 이상의 렌즈/광학 엘리먼트가 존재할 수 있다. 예를 들어, 장면(402)으로부터 광을 지향시키기 위해 하나 이상의 미러가 카메라 시스템(700) 내에 포함될 수 있다.
예시된 바와 같이, 제1 렌즈(714) 및 제2 렌즈(724)는 상이한 초점 거리들을 가질 수 있다. 일부 실시예들에서, 제1 렌즈(714)의 초점 거리는 제2 렌즈(724)의 초점 거리보다 클 수 있다. 다른 실시예들에서, 제1 렌즈(714)의 초점 거리는 제2 렌즈(724)의 초점 거리보다 작을 수 있다. 또 다른 실시예들에서, 제1 렌즈(714) 및 제2 렌즈(724)는 동일한 초점 거리를 가질 수 있다.
일부 실시예들에서, 제1 렌즈(714) 및 제2 렌즈(724)의 최상의 초점의 초점 거리 및/또는 포지션은 상이하기 때문에, 제1 이미지 센서(710)에 의해 캡처된 이미지들은 제2 이미지 센서(720)에 의해 캡처된 이미지들과 상이한 줌 레벨을 가질 수 있다. 추가적으로 또는 대안적으로, 제1 렌즈(714)와 제2 렌즈(724)의 초점 거리가 상이하기 때문에, 제1 이미지 센서(710)에 의해 캡처된 장면(402)의 이미지는 제2 이미지 센서(720)에 의해 캡처된 장면(402)의 이미지와 초점이 상이한 객체들을 가질 수 있다. 예를 들어, 제1 렌즈(714)가 제2 렌즈(724)보다 작은 초점 거리를 갖는 경우, 제1 이미지 센서(710)에 의해 캡처된 이미지들의 경우에는 장면(402)의 전경에서의 객체에 초점이 맞춰질 수 있는 반면, 제2 이미지 센서(720)에 의해 캡처된 이미지들의 경우에는 장면(402)의 배경에서의 객체들에 초점이 맞춰질 수 있다. 일부 실시예들에서는, 어떤 객체들에 초점이 맞춰지는지가 제1 렌즈(714)/제2 렌즈(724)의 초점 거리들과 무관할 수 있다. 또한, 어떤 객체들에 초점이 맞춰지는지는 초점 거리 외에 이미지 센서들과 연관된 다른 광학 특성들을 수정함으로써 조정 가능할 수 있다.
제1 이미지 센서(710)에 의해 캡처된 이미지들 및 제2 이미지 센서(720)에 의해 캡처된 이미지들은 초점이 맞춰진 것들 및 맞춰지지 않은 것들의 상이한 객체들을 가질 수 있기 때문에, 이미지 센서들 각각에 의해 동시에 캡처된 이미지들의 결합은 깊이를 결정하는 데 사용될 수 있다. 예를 들어, 객체가 제1 이미지 센서(710) 및 제2 이미지 센서(720) 모두의 동적 범위 내에 있다고 가정하면, 객체에 적절하게 초점이 맞춰진 경우, 객체는 (예를 들어, 카메라 시스템(700)에 커플링된 프로세서에 의해 실행되는 객체-식별 알고리즘을 사용하여) 제1 이미지 센서(710) 및 제2 이미지 센서(720) 모두에 의해 캡처된 이미지들 내에서 식별될 수 있다. 그러나, 식별 가능한 객체가 장면(402)의 전경 또는 배경에 있는 경우, 제1 렌즈(714)와 제2 렌즈(724) 간의 초점 거리들의 차이를 고려하면, 객체는 단지 제1 이미지 센서(710)에 의해 캡처된 이미지 또는 제2 이미지 센서(720)에 의해 캡처된 이미지에서만 적절하게 초점이 맞춰질 수 있다(둘 다에 의해 캡처된 이미지들에서는 그렇지 않다).
객체가 식별되는 이미지를 캡처한 이미지 센서를 위한 렌즈의 연관된 초점 거리에 기초하여, 장면(402) 내에서 식별된 객체와 카메라 시스템(700) 사이의 거리가 결정되거나 또는 추정될 수 있다. 장면(402) 내의 객체와 카메라 시스템(700) 사이의 거리의 결정은 제1 초점 거리, 제2 초점 거리, 장면(402)의 제1 이미지 내에서의 객체의 초점 및/또는 장면(402)의 제2 이미지 내에서의 객체의 초점에 기초할 수 있다. 대안적인 실시예들에서, 카메라 시스템(700)은 각각이 각각의 초점 거리를 갖는 각각의 렌즈를 갖는 2개의 이미지 센서 대신에, 복수의 이미지 센서들의 어레이를 포함할 수 있으며, 이들 각각은 어레이 내의 다른 렌즈들에 대해 고유한 초점 거리를 갖는 각각의 렌즈를 갖는다.
연관된 렌즈의 초점 거리에 기초하여 식별된 초점이 맞는 객체까지의 거리를 결정하는 것 외에, 두 이미지에서 초점이 맞지 않는 객체들까지의 거리들이 계산될 수 있다. 예를 들어, 객체가 제1 이미지 센서(710) 및 제2 이미지 센서(720) 모두의 동적 범위 내에 있다고 가정하면, 객체는 제1 이미지 센서(710) 및 제2 이미지 센서(720) 모두에 의해 캡처된 이미지들 내에서 캡처될 수 있다. 객체가 (예를 들어, 객체-식별 알고리즘을 사용하여) 주어진 이미지에서 식별 가능하지 않을 수 있더라도, 객체까지의 거리는 (예를 들어, 로컬리제이션 알고리즘을 사용하여) 이러한 이미지들에서 여전히 결정 가능할 수 있다.
객체-인식 알고리즘(예를 들어, 머신-러닝 객체 인식 알고리즘)을 실행하는 프로세서는 초점이 맞는 객체들을 식별하는 것 외에 초점이 맞지 않는 객체들을 식별하는 것이 가능할 수 있다. 예를 들어, 정지 표지판이 캡처된 이미지들 중 어느 것에서는 초점이 맞지 않더라도, 객체 인식 알고리즘을 실행하는 프로세서는 제1 이미지 센서(710) 및 제2 이미지 센서(720) 모두에 의해 캡처된 장면(402)의 이미지들 내에서 정지 표지판을 검출하는 것이 가능할 수 있다. 캡처된 이미지들 각각에서 정지 표지판이 얼마나 초점이 맞지 않는지에 기초하여, 객체-인식 알고리즘을 실행하는 프로세서는 카메라 시스템(700)으로부터 정지 표지판까지의 거리를 결정하는 것이 가능할 수 있다. 대안적으로, 정지 표지판이 캡처된 이미지들 각각에서 얼마나 초점이 맞지 않는지에 기초하여, 프로세서는 이미지들 각각에서의 정지 표지판 사이에서 선명도의 차이를 식별할 수 있다. 이러한 선명도의 차이는 카메라 시스템(700)으로부터 정지 표지판까지의 거리를 결정하는 데 사용될 수 있다.
카메라 시스템(700)과 연관된 프로세서는 카메라 시스템(700)으로부터 객체까지의 거리를 결정하는 것 외에, 메모리 내에 저장된 명령어들을 실행하여, 제1 이미지 센서(710)에 의해 캡처된 이미지 및 제2 이미지 센서(720)에 의해 캡처된 이미지에 기초하여 합성 이미지를 생성할 수 있다. 합성 이미지는 장면 내의 모든 객체들을 갖는 이미지일 수 있고, 각각의 객체는 초점이 맞는 또는 대략적으로 초점이 맞는 각각의 깊이에 있다. 예를 들어, 명령어들을 실행하는 프로세서는 제1 이미지 센서(710)에 의해 캡처된 이미지로부터 장면(402)의 전경에 있는 객체들에 대응하는 영역들을 추출할 수 있는데, 왜냐하면 제1 렌즈(714)는 제2 렌즈(724)보다 짧은 초점 거리를 갖기 때문이다. 유사하게, 명령어들을 실행하는 프로세서는 제2 이미지 센서(720)에 의해 캡처된 이미지로부터 장면(402)의 배경에 있는 객체들에 대응하는 영역들을 추출할 수 있는데, 왜냐하면 제2 렌즈(724)는 제1 렌즈(714)보다 긴 초점 거리를 갖기 때문이다. 그 후, 명령어들을 실행하는 프로세서는 이들 영역들을 다수의 초점 거리들을 나타내는 단일 합성 이미지로 결합할 수 있다.
추가적으로 또는 대안적으로, 카메라 시스템(700)과 연관된 프로세서는 메모리 내에 저장된 명령어들을 실행하여, 시뮬레이션된 초점 깊이들을 갖는 하나 이상의 이미지 및/또는 시뮬레이션된 초점 거리들을 갖는 시뮬레이션된 렌즈들을 생성할 수 있다. 예를 들어, 장면(402)의 제1 이미지 센서(710)에 의해 캡처된 장면(402)의 이미지는 (예를 들어, 제1 렌즈(714)의 초점 거리에 기초하여) 최소 초점 거리에 대응할 수 있고, 제2 이미지 센서(720)에 의해 캡처된 장면(402)의 이미지는 (예를 들어, 제2 렌즈(724)의 초점 거리에 기초하여) 최대 초점 거리에 대응할 수 있다. 잠재적인 초점 거리들의 범위의 에지들을 정의하기 위해 2개의 이미지를 사용하면, 명령어들을 실행하는 프로세서는 최소 초점 거리와 최대 초점 거리 사이의 중간 초점 거리들을 갖는 이미지들을 시뮬레이션(예를 들어, 생성, 저장 및/또는 송신)할 수 있다. 대안적으로, 이들 2개의 이미지를 사용하면, 명령어들을 실행하는 프로세서는 다양한 초점 깊이들을 갖는 이미지들을 시뮬레이션(예를 들어, 생성, 저장 및/또는 송신)할 수 있다. 이는 이미지들 중 어느 하나의 특정 영역들을 선명하게 하고, 이미지들 중 어느 하나의 특정 영역들을 흐리게 하고, 및/또는 이미지들 중 어느 하나의 원본, 선명한 또는 흐릿한 영역들을 합성함으로써 수행될 수 있다.
일부 실시예들에서, 별도의 렌즈들(예를 들어, 제1 렌즈(714) 및 제2 렌즈(724))을 사용하는 대신에, 단일 비점수차 렌즈가 장면(402)으로부터 제1 이미지 센서(710) 및 제2 이미지 센서(720) 모두에 광을 제공하는 데 사용될 수 있다. 제1 이미지 센서(710)와 제2 이미지 센서(720)는 거리만큼 서로 오프셋될 수 있기 때문에, 비점수차 렌즈는 상이한 초점 거리들에서 장면으로부터 이미지 센서들 각각에 광을 제공할 수 있다. 대안적인 실시예에서, 각각의 이미지 센서는 개별적으로 각각의 비점수차 렌즈(예를 들어, 제1 이미지 센서(710)를 위한 제1 비점수차 렌즈 및 제2 이미지 센서(720)를 위한 제2 비점수차 렌즈)를 가질 수 있다. 이러한 방식으로, 제1 이미지 센서(710)에 의해 캡처된 이미지 및/또는 제2 이미지 센서(720)에 의해 캡처된 이미지는 그 자체로 상이한 초점 거리들에서 캡처된 장면(402)의 다양한 영역들을 포함할 수 있다. 비점수차 렌즈들은 또한 각각의 이미지 센서들에 대해 병진되거나 또는 회전될 수 있으며, 그 결과 각각의 이미지 센서에 의해 캡처되는 추가적인 초점 거리들이 생성된다.
제1 이미지 센서(710) 및 제2 이미지 센서(720)는 상이한 초점 거리들의 렌즈들을 갖는 것에 더하여 또는 이에 대안적으로, 일부 실시예들에서, 각각 상이한 사이즈들의 연관된 애퍼처들을 가질 수 있다. 일부 실시예들에서, 이러한 애퍼처들은 (예를 들어, 제어기에 의해) 사이즈가 조정 가능할 수 있다. 다른 실시예들에서, 이러한 애퍼처들은 사이즈가 고정될 수 있다. 상이한 사이즈들의 애퍼처들을 사용함으로써, 이미지 센서들 각각은 상이한 심도를 캡처할 수 있다. 카메라 시스템(700)에 대한 객체의 거리들을 결정하고/하거나 다양한 심도들 및/또는 초점 거리들을 갖는 장면(402)의 이미지들을 시뮬레이션하기 위해 (예를 들어, 메모리 내에 저장된 명령어들을 실행하는 카메라 시스템(700)에 커플링된 프로세서에 의해) 상이한 심도들이 사용될 수 있다.
또한, 렌즈들 및 애퍼처들에 더하여 또는 이에 대안적으로, 다른 광학 엘리먼트들이 제1 이미지 센서(710) 및/또는 제2 이미지 센서(720) 앞에 배치될 수 있다. 다른 광학 엘리먼트들은 장면(402)의 다른 피처들을 평가/연구하는 데 사용될 수 있다(예를 들어, 크로마틱 필터들을 사용하는 컬러 또는 편광 필터들을 사용하는 편광).
도 8a는 카메라 시스템(800)을 예시한다. 일부 실시예들에서, 카메라 시스템(800)은 자율-주행 차량 상에 마운팅될 수 있고, 내비게이션뿐만 아니라 객체 검출 및 회피를 위해 사용될 수 있다. 카메라 시스템(800)은 도 4a에 예시된 카메라 시스템(400)과 유사하게, 제1 이미지 센서(810), 및 중성-농도 필터(822)를 통해 장면(402)으로부터 광을 수신하는 제2 이미지 센서(820)를 포함할 수 있다. 그러나, 도 4의 카메라 시스템(400)과 달리, 도 8a에 예시된 카메라 시스템(800)은 또한 제3 이미지 센서(830)를 포함할 수 있다. 대안적인 실시예들에서, 제1 이미지 센서(810) 및/또는 제3 이미지 센서(830)는 또한 중성-농도 필터를 통해 장면(402)으로부터 광을 수신할 수 있다. 또 다른 실시예들에서는, 제1 이미지 센서(810), 제2 이미지 센서(820) 또는 제3 이미지 센서(830) 중 어느 것도 중성-농도 필터를 통해 장면(402)으로부터 광을 수신할 수 없다. 이미지 센서들과 중성-농도 필터들의 다른 결합들도 가능하다. 일부 실시예들에서, 카메라 시스템(800)은 또한 제1 이미지 센서(810), 제2 이미지 센서(820) 및 제3 이미지 센서(830)에 통신 가능하게 커플링되고 (예를 들어, 메모리 내에 저장된 명령어들을 실행함으로써) 객체 인식을 수행하도록 구성되는 (예를 들어, 도 4a에 예시된 프로세서(430)와 유사한) 프로세서를 포함할 수 있다.
도 4a에 대해 위에서 설명된 제1 이미지 센서(410)와 유사하게, 일부 실시예들에서, 제1 이미지 센서(810)는 장면(402)의 복합 휘도 레벨에 기초하여 조정될 수 있다. 예를 들어, 제1 이미지 센서(810)는 제1 이미지 센서(810) 상의 조도 값을 감지하고, 제1 이미지 센서(810)의 제어기로 조도 값을 송신할 수 있다. 조도 값에 기초하여, 제1 이미지 센서(810) 상의 조도 값이 임계 허용 가능 범위 내에 있을 때까지, 제어기는 제1 이미지 센서(810)에 대응하는 노출 설정들(예를 들어, 이미지 센서의 노출 지속 시간/셔터 스피드, 애퍼처 사이즈, 하나 이상의 렌즈의 초점 거리, ISO 감도 등)을 수정할 수 있다. 이러한 방식으로, 제1 이미지 센서(810)는 조도 값에 기초하여 제어기에 의해 조정되는 가변 노출을 가질 수 있다. 이는 일부 카메라들(예를 들어, DSLR 카메라)에서의 "자동 노출" 설정과 유사할 수 있다.
추가적으로 또는 대안적으로, 일부 실시예들에서, 제3 이미지 센서(830)는 장면(402)의 복합 휘도 레벨에 기초하여 조정 가능할 수 있다. 예를 들어, 제3 이미지 센서(830)는 제3 이미지 센서(830) 상의 조도 값을 감지하고, 제3 이미지 센서(830)의 제어기로 조도 값을 송신할 수 있다. 다양한 실시예들에서, 제3 이미지 센서(830)의 제어기는 제1 이미지 센서(810)의 제어기와 동일한 제어기 또는 상이한 제어기일 수 있다. 어쨌든, 제3 이미지 센서(830)는 제1 이미지 센서(810)와 독립적으로 제어될 수 있다. 제3 이미지 센서(830) 상의 조도 값에 기초하여, 제3 이미지 센서(830) 상의 조도 값이 조도에 대한 임계 허용 가능 범위 내에 있을 때까지, 제3 이미지 센서(830)의 제어기는 제3 이미지 센서(830)에 대응하는 노출 설정들(예를 들어, 이미지 센서의 노출 지속 시간/셔터 스피드, 애퍼처 사이즈, 하나 이상의 렌즈의 초점 거리, ISO 감도 등)을 수정할 수 있다.
일부 실시예들에서, 제3 이미지 센서(830)에 대한 조도에 대한 임계 허용 가능 범위는 제1 이미지 센서(810)에 대한 조도에 대한 임계 허용 가능 범위와 상이할 수 있다. 예를 들어, 제3 이미지 센서(830) 상의 조도에 대한 임계 허용 가능 범위는 제1 이미지 센서(810) 상의 조도에 대한 임계 허용 가능 범위 내의 임의의 조도 값들보다 낮은 복수의 조도 값들을 포함할 수 있다. 이러한 실시예에서, 제3 이미지 센서(830)의 노출 레벨은 제1 이미지 센서(810)의 노출 레벨보다 높을 수 있어서, 제3 이미지 센서(830)가 제1 이미지 센서(810)보다 장면(402)에서 낮은 휘도 객체들에 대해 더 민감하게 할 수 있다.
도 4a에 예시되고 위에서 설명된 제2 이미지 센서(420)와 유사하게, 제2 이미지 센서(820)는 (예를 들어, 이미지 센서의 노출 지속 시간/셔터 스피드, 애퍼처 사이즈, 하나 이상의 렌즈의 초점 거리, ISO 감도 등에 기초하여) 고정 노출 설정들을 가질 수 있다. 대안적인 실시예들에서, 제1 이미지 센서(810) 및/또는 제3 이미지 센서(830)는 (가변 노출 설정들이 아닌) 고정 노출 설정들을 가질 수도 있다. 추가적으로 또는 대안적으로, 일부 실시예들에서, 제2 이미지 센서(820)는 대신에 (예를 들어, 제2 이미지 센서(820)의 제어기에 의해 제어되는) 가변 노출 설정들을 가질 수 있다.
도 8b에 예시된 바와 같이, 제1 동적 범위(814)는 제1 이미지 센서(810)에 대응할 수 있고, 제2 동적 범위(824)는 제2 이미지 센서(820)에 대응할 수 있고, 제3 동적 범위(834)는 제3 이미지 센서(830)에 대응할 수 있다. 또한, 예시된 바와 같이, 제1 동적 범위(814), 제2 동적 범위(824) 및 제3 동적 범위(834)를 포함하는 시스템에 의해 걸쳐 있는 집합적인 동적 범위는 개별적인 동적 범위들 중 임의의 것보다 클 수 있다.
동적 범위들(814/824/834) 각각은 (휘도에 대해 로그 스케일을 사용하여 도 8b에 예시된) 장면 내의 휘도 레벨 범위에 대응할 수 있다. 도 8b에 예시된 바와 같이, 제2 동적 범위(824)는 제1 동적 범위(814) 및 제3 동적 범위(834)보다 더 높은 휘도 레벨 범위에 대응할 수 있다. 따라서, 제2 이미지 센서(820)는 제1 이미지 센서(810) 및 제3 이미지 센서(830)보다 높은 휘도를 갖는 객체들을 검출/식별하는 데 사용될 수 있다. 예를 들어, 제2 이미지 센서(820)에 의해 캡처된 이미지는 가로등(능동적으로 조명되는 객체)을 식별하는 데 사용될 수 있는 반면, 제1 이미지 센서(810)에 의해 캡처된 이미지는 보행자(수동적으로 조명되는 객체)를 식별하는 데 사용될 수 있다.
유사하게, 예시된 바와 같이, 제3 동적 범위(834)는 제1 동적 범위(814) 및 제2 동적 범위(824)보다 낮은 휘도 레벨 범위에 대응할 수 있다. 따라서, 제3 이미지 센서(830)는 제1 이미지 센서(810) 및/또는 제2 이미지 센서(820)보다 낮은 휘도를 갖는 객체들을 검출/식별하는 데 사용될 수 있다. 예를 들어, 제2 이미지 센서(820)에 의해 캡처된 이미지는 가로등을 식별하는 데 사용되고, 제1 이미지 센서(810)에 의해 캡처된 이미지는 보행자를 식별하는 데 사용되는 경우, 제3 이미지 센서(834)에 의해 캡처된 이미지는 건물의 그림자 내의 검은 고양이(수동적으로 조명되는 객체)를 식별하는 데 사용될 수 있다. 일부 실시예들에서, 제3 동적 범위(834)의 일부는 제1 동적 범위(814)의 전체와 중첩될 수도 있고 또는 이를 포함할 수도 있다. 추가적으로 또는 대안적으로, 제3 동적 범위(834)의 일부는 제2 동적 범위(824)의 전체와 중첩될 수도 있고 또는 이를 포함할 수도 있다.
제1 동적 범위(814)로부터 연장된 화살표들에 의해 예시된 바와 같이, 제1 이미지 센서(810)는 제1 이미지 센서(810)에 의해 감지된 조도에 기초하여 그 노출 설정들을 조정할 수 있기 때문에, 대응하는 제1 동적 범위(814)는 더 높거나 또는 더 낮은 휘도 값들에 걸쳐 있도록 변화될 수 있다. 유사하게, 다시 제3 동적 범위(834)로부터 연장된 화살표들에 의해 예시된 바와 같이, 제3 이미지 센서(830)는 제3 이미지 센서(830)에 의해 감지된 조도에 기초하여 그 노출 설정들을 조정할 수 있기 때문에, 대응하는 제3 동적 범위(834)는 더 높거나 또는 더 낮은 휘도 값들에 걸쳐 있도록 변경될 수 있다. 대안적인 실시예들에서, 제2 이미지 센서(820)는 또한 제2 이미지 센서(820)에 의한 조도 센서에 기초하여 그 노출 설정들을 조정할 수 있다. 이러한 실시예들에서, 대응하는 제2 동적 범위(824)는 더 높거나 또는 더 낮은 휘도 값들에 걸쳐 있도록 변경될 수 있다.
도 9a는 예시적인 실시예들에 따른 카메라 시스템(900)을 예시한다. 예시된 바와 같이, 카메라 시스템(900)은 (도 2에 예시된 바와 같이) 차량(200)의 센서 유닛(202)에 인접하여(예를 들어, 그 위에) 배치될 수도 있고 또는 그 일부일 수도 있다. 카메라 시스템(900)은 복수의 카메라 서브시스템들을 포함할 수 있다(예를 들어, 각각의 카메라 서브시스템은 도 4a에 예시된 카메라 시스템(400)과 유사하다). 예를 들어, 카메라 시스템(900)은 차량(200)의 전방 이동 방향에 대하여 전방을 향하는 제1 카메라 서브시스템(400A) 및 후방을 향하는 제2 카메라 서브시스템(400B)을 포함할 수 있다. 전방-주시 카메라 서브시스템(400A)은 장면의 제1 관점(902)으로부터 광을 수신할 수 있고, 후방-주시 카메라 서브시스템(400B)은 동일한 장면의 제2 관점(904)으로부터 광을 수신할 수 있다. 일부 실시예들에서, 카메라 시스템(900)은 또한 제1 카메라 서브시스템(400A) 및/또는 제2 카메라 서브시스템(400B)의 이미지 센서들에 통신 가능하게 커플링되고 (예를 들어, 메모리 내에 저장된 명령어들을 실행함으로써) 객체 인식을 수행하도록 구성되는 (예를 들어, 도 4a에 예시된 프로세서(430)와 유사한) 프로세서를 포함할 수 있다.
일부 실시예들에서, 제1 관점(902) 및 제2 관점(904)은 서로 상이한 객체들을 포함할 수 있다(예를 들어, 제1 관점(902)은 나무를 포함할 수 있는 반면, 제2 관점(904)은 정지 표지판을 포함할 수 있다). 추가적으로 또는 대안적으로, 제1 관점(902)은 능동적으로 조명되는 객체들 및/또는 수동적으로 조명되는 객체들을 포함할 수 있다. 유사하게, 제2 관점(904)은 능동적으로 조명되는 객체들 및/또는 수동적으로 조명되는 객체들을 포함할 수 있다. 카메라 시스템(900)을 사용하여, 차량(200)에 대한 다수의 방향들의 객체들(즉, 카메라 시스템(900)의 이미지 센서들 각각의 시야에 기초한 다수의 관점들)이 캡처되고 식별될 수 있다.
복수의 카메라 서브시스템들(400A/400B) 각각은 제1 이미지 센서(410A/410B) 및 제2 이미지 센서(420A/420B)를 포함할 수 있다. 도 4a에 예시된 제1 이미지 센서(410) 및 제2 이미지 센서(420)와 유사하게, 각각의 카메라 서브시스템들(400A/400B)의 제1 이미지 센서(410A/410B)는 제어기에 의해 제어되는 가변 노출 설정들을 가질 수 있고, 각각의 카메라 서브시스템들(400A/400B)의 제2 이미지 센서(420A/420B)는 중성-농도 필터(422A/422B)를 통해 광을 수신하고 고정 노출 설정들을 가질 수 있다. 또한, 도 4a에 예시된 제1 이미지 센서(410) 및 제2 이미지 센서(420)와 유사하게, 각각의 카메라 서브시스템들(400A/400B)의 제1 이미지 센서(410A/410B) 및 제2 이미지 센서(420A/420B)는 서로 수직으로 정렬될 수 있다. 대안적인 실시예들에서, 제1 이미지 센서(410A/410B) 및 제2 이미지 센서(420A/420B)는 카메라 시스템(900) 내의 복수의 카메라 서브시스템들(400A/400B) 전반에 걸쳐 상이하게 및/또는 서로에 대해 상이한 거리들에 정렬될 수 있다.
각각의 카메라 서브시스템들(400A/400B)로부터의 각각의 이미지 센서(410A/410B/420A/420B)에 의해 캡처된 이미지들은 (예를 들어, 메모리 내에 저장된 명령어들을 실행하여 객체 식별을 수행하도록 구성되는 프로세서를 포함하는) 단일 컴퓨팅 디바이스로 송신될 수 있다. 대안적으로, 각각의 카메라 서브시스템들(400A/400B)로부터의 각각의 이미지 센서(410A/410B/420A/420B)에 의해 캡처된 이미지들은 독립적인 각각의 컴퓨팅 디바이스들로 송신될 수 있다.
단일 컴퓨팅 디바이스 또는 복수의 컴퓨팅 디바이스들이 객체 인식/식별을 수행하고 있는지에 관계없이, 컴퓨팅 디바이스(들)는 제1 이미지 센서들(410A/410B)에 의해 캡처된 이미지들에서는 제1 타입의 객체들만을 검색하고 제2 이미지 센서들(420A/420B)에 의해 캡처된 이미지들에서는 제2 타입의 객체들만을 검색함으로써 (예를 들어, 프로세서에 의해 실행되고 메모리 내에 저장된 객체-인식 명령어들에 기초하여) 계산 시간을 절약하려고 시도할 수 있다. 제1 타입의 객체들은 제1 이미지 센서들(410A/410B) 및 제2 이미지 센서들(420A/420B)의 셔터 스피드들/노출 지속 시간들과 비교할 때 느리거나 또는 이와 유사한 변조 시간을 갖는 능동적으로 조명되는 객체들, 수동적으로 조명되는 객체들, 제1 이미지 센서들(410A/410B) 및 제2 이미지 센서들(420A/420B)의 셔터 스피드들/노출 지속 시간들에 비해 높은 속도들로 이동하는 객체들, 또는 장면의 나머지와 비교할 때 낮은 휘도를 갖는 객체들을 포함할 수 있다. 제2 타입의 객체들은 제1 이미지 센서들(410A/410B) 및 제2 이미지 센서들(420A/420B)의 셔터 스피드들/노출 지속 시간들과 비교할 때 빠른 변조 시간을 갖는 능동적으로 조명되는 객체들, 제1 이미지 센서들(410A/410B) 및 제2 이미지 센서들(420A/420B)의 셔터 스피드들/노출 지속 시간들에 비해 느리거나 또는 이와 유사한 속도들로 이동하는 객체들, 또는 장면의 나머지와 비교할 때 높은 휘도를 갖는 객체들을 포함할 수 있다.
도 9b는 복수의 카메라 서브시스템들을 포함하는 대안적인 카메라 시스템(910)을 예시한다(각각의 카메라 서브시스템은 각각의 이미지 센서들을 포함한다). 카메라 시스템(910)은 차량 상에 마운팅될 수 있고, 카메라 시스템(910)의 이미지 센서들에 의해 캡처된 이미지들은 객체 식별 및 회피 및/또는 내비게이션을 위해 사용될 수 있다. 대응하는 차량의 잠재적인 이동 방향은 점선 화살표로 도 9b에 예시되어 있다.
도 9b는 카메라 시스템(910)의 상면도이다. 예시된 카메라 시스템(910)은, 예를 들어, 30° 내지 60°의 각도들만큼 카메라 시스템(910) 주변 주위로 이격된 도 4a에 예시된 8개의 카메라 시스템(400)을 포함한다. 도 9b의 점선들은 각각의 카메라 시스템들(400)의 이미지 센서들에 대한 가능한 시야들을 예시한다. 일부 실시예들에서, 카메라 시스템들(400)의 이미지 센서들은 80° 내지 100°의 시야들을 가질 수 있다. 따라서, 카메라 시스템들(400)의 시야들은 중첩될 수 있다. 예시된 바와 같이, 카메라 시스템들 및 대응하는 이미지 센서들은 링 형상으로 어셈블링될 수 있다. 링 형상은 각각의 개별 카메라 시스템 및 대응하는 이미지 센서들의 각도 및 방위가 사각 지대들을 제거하기 위해 정확하게 위치 결정되도록 설계될 수 있다. 따라서, 카메라 시스템들은 주변 장면의 응집력있는 원형 비전을 형성하기 위해 함께 작동할 수 있다. 대안적인 실시예들에서, 각각의 카메라 시스템들(400)에 대한 시야들은 상이할 수 있다(예를 들어, 15°, 30°, 45°, 60°, 75°, 105°, 120°, 135°, 150°, 165°, 180°, 195°, 210°, 225°, 240°, 255°, 270°, 285°, 300°, 315°, 330°, 345° 또는 360°). 다른 실시예들에서, 카메라 시스템들 및 대응하는 이미지 센서들은 (예를 들어, 차량 지붕의 모서리들에 있는 카메라 시스템들과 함께) 비-링 형상들로 어셈블링될 수 있다.
또한, 일부 실시예들에서는, (예를 들어, 8개의 단일 타입의 카메라 시스템의 사례들이 아닌) 다수의 타입들의 카메라 시스템들이 사용될 수 있다. 상이한 카메라 시스템들은 각각 상이한 대응하는 시야들을 가질 수 있다. 또한, 대안적인 실시예들에서는, 최소 개수의 카메라 시스템들(400)이 차량의 주변에 걸쳐 있도록 사용될 수 있다. 예를 들어, 사용된 카메라 시스템들(400)이 모두 도 9b에서와 같이 서로 동일하고 각각이 80° 내지 100°의 시야를 갖는 이미지 센서들을 포함하는 경우, 4개의 카메라 시스템만이 카메라 시스템(910)에 포함될 수 있다(예를 들어, 360°를 90°로 나눈 값은 4개의 카메라 시스템에 대응한다).
일부 실시예들에서는, 차량 뒤에 있거나 또는 차량에 인접한 것들(예를 들어, 이동 방향에 수직)보다는 차량 앞(즉, 이동 방향)의 객체들을 검출하고 회피하는 것이 더 중요할 수 있다. 이와 같이, 하나의 예시적인 카메라 시스템(920)은, 도 9c에 예시된 바와 같이, 카메라 시스템(920)의 전방-주시 부분 상에 추가 이미지 센서들을 포함할 수 있다. 도 9c에 예시된 바와 같이, 3개의 전방-주시 카메라 서브시스템은 각각 도 8a에 예시된 카메라 시스템(800)일 수 있다. 도 8a에 예시된 바와 같이, 카메라 시스템들(800)은 3개의 이미지 센서를 포함하며, 그 중 하나는 낮은-휘도 객체들(예를 들어, 밤의 검은 고양이)을 감지하도록 구성될 수 있다. 이러한 방식으로, 도 9b에 도시된 카메라 시스템(910)과 비교할 때, 도 9c에 예시된 카메라 시스템(920)의 객체 검출 및 회피 능력들이 향상될 수 있다.
차량의 전방-주시 부분 상에 추가 이미지 센서들이 포함되는 다른 가능한 실시예는 도 9d에 예시된 바와 같은 카메라 시스템(930)이다. 예시된 바와 같이, 카메라 시스템(930)의 전방-주시 부분은, 도 9b 및 도 9c에 예시된 카메라 시스템들(910, 920)과 비교할 때, (예를 들어, 이동 방향에 대해, 40° 내지 50° 및 -40° 내지 -50°의 각도들에 더하여, 20° 내지 25° 및 -20° 내지 -25°의 각도들에서) 추가 카메라 서브시스템들을 포함한다. 또한, 예시된 바와 같이, 추가 전방-주시 카메라 서브시스템들을 갖는 것에 더하여, 전방-주시 카메라 서브시스템들은 낮은-조명 이미지 센서들(예를 들어, 도 8a에 예시된 카메라 시스템(800)의 제3 이미지 센서(830))을 포함할 수 있다. 대안적인 실시예들에서는, 도 8a에 예시된 추가 카메라 시스템들(800)이 차량의 전방-주시 부분에 포함되는 대신에, 도 4a에 예시된 추가 카메라 시스템들(400) 및/또는 다른 추가 카메라 시스템들이 카메라 시스템(930)에 포함될 수 있다.
IV. 예시적인 프로세스들
도 10은 예시적인 실시예들에 따른 방법(1000)의 흐름도이다. 방법(1000)은, 예를 들어, 이미지 감지 시스템을 사용하여 자율-주행 차량의 환경 내에서 하나 이상의 객체를 검출 및/또는 피하기 위해 사용될 수 있다. 방법(1000)은, 예를 들어, 도 4a에 예시된 카메라 시스템(400)을 사용하여 수행될 수 있다. 대안적인 실시예들에서, 방법(1000)은 대안적인 카메라 시스템들을 사용하여 수행될 수 있다.
블록(1002)에서, 방법(1000)은, 장면에서 제1 휘도 레벨 범위에 대응하는 제1 동적 범위를 갖는 제1 이미지 센서에 의해, 장면의 제1 이미지를 캡처하는 단계를 포함한다.
블록(1004)에서, 방법(1000)은, 장면에서 제2 휘도 레벨 범위에 대응하는 제2 동적 범위를 갖는 제2 이미지 센서에 의해, 장면의 제2 이미지를 캡처하는 단계를 포함한다. 제2 이미지 센서는 중성-농도 필터를 통해 장면의 제2 이미지를 캡처한다. 제2 휘도 레벨 범위는 제1 휘도 레벨 범위보다 높은 휘도 레벨들을 포함한다.
블록(1006)에서, 방법(1000)은, 제1 이미지 센서 및 제2 이미지 센서에 커플링된 프로세서에 의해, 제1 이미지에서 제1 객체 타입의 제1 객체를 식별하는 단계를 포함한다. 제1 객체 타입은 제1 휘도 레벨 범위 내에서 예상되는 휘도를 갖는다.
블록(1008)에서, 방법(1000)은, 프로세서에 의해, 제2 이미지에서 제2 객체 타입의 제2 객체를 식별하는 단계를 포함한다. 제2 객체 타입은 제2 휘도 레벨 범위 내에서 예상되는 휘도를 갖는다.
V. 결론
본 개시내용은 본 출원에서 설명된 특정 실시예들의 측면에서 제한되지 않으며, 이들은 다양한 양태들의 예시들로서 의도된다. 본 기술분야의 통상의 기술자에 의해 이해되는 바와 같이, 그 사상 및 범위를 벗어나지 않고 많은 수정들 및 변형들이 이루어질 수 있다. 본 명세서에 열거된 것들 이외에, 본 개시내용의 범위 내에서 기능적으로 동등한 방법들 및 장치들이 전술한 설명들로부터 본 기술분야의 통상의 기술자에게 명백할 것이다. 이러한 수정들 및 변형들은 첨부된 청구 범위의 범위 내에 속하는 것으로 의도된다.
상기 상세한 설명은 첨부된 도면들을 참조하여 개시된 시스템들, 디바이스들 및 방법들의 다양한 피처들 및 기능들을 설명한다. 도면들에서, 문맥상 달리 지시되지 않는 한, 유사한 심볼들은 통상적으로 유사한 컴포넌트들을 식별한다. 본 명세서 및 도면들에서 설명된 예시적인 실시예들은 제한적인 것을 의미하지 않는다. 본 명세서에 제시된 대상의 사상 또는 범위를 벗어나지 않고, 다른 실시예들이 활용될 수 있고, 다른 변경들이 이루어질 수 있다. 본 명세서에서 일반적으로 설명되고 도면들에 예시된 바와 같이, 본 개시내용의 양태들은 매우 다양한 상이한 구성들로 배열, 대체, 결합, 분리 및 설계될 수 있으며, 이들 모두는 본 명세서에서 명시적으로 고려된다는 것이 쉽게 이해될 것이다.
도면들에 도시된 특정 배열들은 제한적인 것으로 간주되어서는 안된다. 다른 실시예들은 주어진 도면에 도시된 각각의 엘리먼트를 다소 포함할 수 있다는 것이 이해되어야 한다. 또한, 예시된 엘리먼트들 중 일부는 결합될 수도 있고 또는 생략될 수도 있다. 또한, 예시적인 실시예는 도면들에 예시되지 않은 엘리먼트들을 포함할 수 있다.
다양한 양태들 및 실시예들이 본 명세서에 개시되었지만, 다른 양태들 및 실시예들도 본 기술분야의 통상의 기술자에게 명백할 것이다. 본 명세서에 개시된 다양한 양태들 및 실시예들은 예시를 위한 것이고 제한적인 것으로 의도되지 않으며, 진정한 범위는 다음의 청구 범위에 의해 나타내어진다.

Claims (20)

  1. 카메라 시스템으로서,
    장면에서 제1 휘도 레벨 범위에 대응하는 제1 동적 범위를 갖는 제1 이미지 센서;
    상기 장면에서 제2 휘도 레벨 범위에 대응하는 제2 동적 범위를 갖는 제2 이미지 센서 - 상기 제2 휘도 레벨 범위는 상기 제1 휘도 레벨 범위보다 높은 휘도 레벨들을 포함함 -; 및
    상기 제1 이미지 센서 및 상기 제2 이미지 센서에 커플링된 프로세서
    를 포함하고,
    상기 프로세서는:
    상기 제1 이미지 센서에 의해 캡처된 상기 장면의 제1 이미지에 기초하여 객체의 제1 부분을 식별하고 - 상기 객체의 상기 제1 부분은 상기 제1 휘도 레벨 범위에 대응하는 제1 휘도를 나타냄 -;
    상기 제2 이미지 센서에 의해 캡처된 상기 장면의 제2 이미지에 기초하여, 상기 제1 부분과 상이한, 상기 객체의 제2 부분을 식별하고 - 상기 객체의 상기 제2 부분은 상기 제2 휘도 레벨 범위에 대응하는 제2 휘도를 나타냄 -;
    상기 식별된 제1 부분 및 제2 부분에 기초하여 상기 객체를 식별하기 위한
    명령어들을 실행하도록 구성되는, 카메라 시스템.
  2. 제1항에 있어서,
    상기 제1 이미지 센서는, 조도에 기초하여 명령어들을 실행하는 제어기에 의해 조정되는 가변 노출을 갖고,
    상기 제2 이미지 센서는 고정 노출을 갖는, 카메라 시스템.
  3. 제2항에 있어서, 휘도에 기초하여 상기 가변 노출을 조정하는 것은 상기 제1 이미지 센서의 노출 지속 시간, 애퍼처 사이즈, 이득 레벨, 또는 ISO 감도를 조정하는 것을 포함하는, 카메라 시스템.
  4. 제2항에 있어서,
    상기 가변 노출은 상기 제1 이미지 센서 상의 셔터와 연관된 셔터 스피드 또는 이득을 수정함으로써 조정되는, 카메라 시스템.
  5. 제1항에 있어서, 상기 장면에서 제3 휘도 레벨 범위에 대응하는 제3 동적 범위를 갖는 제3 이미지 센서를 추가로 포함하고,
    상기 프로세서는 상기 제3 이미지 센서에 커플링되고,
    상기 제3 휘도 레벨 범위는 상기 제1 휘도 레벨 범위보다 낮은 적어도 하나의 휘도 레벨을 포함하고,
    상기 프로세서는 상기 제3 이미지 센서에 의해 캡처된 상기 장면의 제3 이미지에 기초하여 상기 객체를 식별하기 위한 명령어들을 실행하도록 추가로 구성되는, 카메라 시스템.
  6. 제5항에 있어서, 상기 제3 이미지 센서는, 조도에 기초하여 명령어들을 실행하는 제어기에 의해 조정되는 가변 노출을 갖는, 카메라 시스템.
  7. 제6항에 있어서, 휘도에 기초하여 상기 가변 노출을 조정하는 것은 상기 제3 이미지 센서의 노출 지속 시간, 셔터 스피드, 애퍼처 사이즈, 또는 ISO 감도를 조정하는 것을 포함하는, 카메라 시스템.
  8. 제1항에 있어서,
    상기 제1 동적 범위를 갖는 제3 이미지 센서; 및
    상기 제2 동적 범위를 갖는 제4 이미지 센서
    를 추가로 포함하고,
    상기 프로세서는 상기 제3 이미지 센서 및 상기 제4 이미지 센서에 커플링되고,
    상기 프로세서는:
    상기 제3 이미지 센서에 의해 캡처된 상기 장면의 별도의 관점의 제3 이미지에서 제1 객체 타입의 객체들을 식별하고 - 상기 제1 객체 타입은 상기 제1 휘도 레벨 범위 내에서 예상되는 휘도를 가짐 -;
    상기 제4 이미지 센서에 의해 캡처된 상기 장면의 별도의 관점의 제4 이미지에서 제2 객체 타입의 객체들을 식별하기 위한 - 상기 제2 객체 타입은 상기 제2 휘도 레벨 범위 내에서 예상되는 휘도를 가짐 -
    명령어들을 실행하도록 추가로 구성되는, 카메라 시스템.
  9. 제1항에 있어서,
    상기 제1 동적 범위를 갖는 제3 이미지 센서; 및
    상기 제2 동적 범위를 갖는 제4 이미지 센서
    를 추가로 포함하고,
    상기 프로세서는 상기 제3 이미지 센서 및 상기 제4 이미지 센서에 커플링되고,
    상기 프로세서는 상기 제3 이미지 센서에 의해 캡처된 제3 이미지 및 상기 제4 이미지 센서에 의해 캡처된 제4 이미지에 기초하여 상기 객체를 식별하기 위한 명령어들을 실행하도록 추가로 구성되는, 카메라 시스템.
  10. 제9항에 있어서,
    상기 제3 이미지 센서는, 휘도에 기초하여 명령어들을 실행하는 제어기에 의해 조정되는 가변 노출을 갖고,
    상기 제4 이미지 센서는 고정 노출을 갖는, 카메라 시스템.
  11. 제10항에 있어서, 휘도에 기초하여 상기 가변 노출을 조정하는 것은 상기 제3 이미지 센서의 노출 지속 시간, 애퍼처 사이즈, 또는 ISO 감도를 조정하는 것을 포함하는, 카메라 시스템.
  12. 제1항에 있어서,
    상기 제1 이미지 센서에 광학적으로 커플링되고 제1 초점 거리를 갖는 제1 렌즈; 및
    상기 제2 이미지 센서에 광학적으로 커플링되고 제2 초점 거리를 갖는 제2 렌즈
    를 추가로 포함하고,
    상기 제1 초점 거리는 상기 제2 초점 거리와 상이하고,
    이에 대응하여, 상기 장면의 상기 제1 이미지 및 상기 장면의 상기 제2 이미지는 상이한 초점 거리들에서 캡처되는, 카메라 시스템.
  13. 제1항에 있어서,
    상기 제1 이미지 센서에 광학적으로 커플링되고 제1 초점 거리를 갖는 제1 렌즈; 및
    상기 제2 이미지 센서에 광학적으로 커플링되고 제2 초점 거리를 갖는 제2 렌즈
    를 추가로 포함하고,
    상기 제1 초점 거리는 상기 제2 초점 거리와 상이하고,
    이에 대응하여, 상기 장면의 상기 제1 이미지 및 상기 장면의 상기 제2 이미지는 상이한 초점 거리들에서 캡처되고,
    상기 프로세서는,
    상기 제1 초점 거리;
    상기 제2 초점 거리;
    상기 장면의 상기 제1 이미지에서의 상기 객체의 초점; 및
    상기 장면의 상기 제2 이미지에서의 상기 객체의 초점
    에 기초하여 상기 객체의 거리를 결정하기 위한
    명령어들을 실행하도록 추가로 구성되는, 카메라 시스템.
  14. 제1항에 있어서, 상기 제1 이미지 및 상기 제2 이미지는 실질적으로 동시에 캡처되는, 카메라 시스템.
  15. 제1항에 있어서, 상기 제1 이미지 센서 및 상기 제2 이미지 센서는 수직으로 정렬되는, 카메라 시스템.
  16. 제1항에 있어서, 상기 카메라 시스템은 자율-주행 차량 상에 마운팅되고, 객체 검출 및 회피를 위해 사용되는, 카메라 시스템.
  17. 제1항에 있어서, 상기 제2 이미지 센서는 중성-농도 필터(neutral-density filter)를 통해 상기 장면으로부터 광을 수신하는, 카메라 시스템.
  18. 제1항에 있어서,
    상기 제1 휘도를 나타내는 상기 객체의 상기 제1 부분은 광을 조명하는 상기 객체의 상기 제1 부분 또는 광에 의해 조명되는 상기 객체의 상기 제1 부분 중 하나 이상을 포함하고,
    상기 제2 휘도를 나타내는 상기 객체의 상기 제2 부분은 광을 조명하는 상기 객체의 상기 제2 부분 또는 광에 의해 조명되는 상기 객체의 상기 제2 부분 중 하나 이상을 포함하는, 카메라 시스템.
  19. 방법으로서,
    장면에서 제1 휘도 레벨 범위에 대응하는 제1 동적 범위를 갖는 제1 이미지 센서에 의해, 상기 장면의 제1 이미지를 캡처하는 단계;
    상기 장면에서 제2 휘도 레벨 범위에 대응하는 제2 동적 범위를 갖는 제2 이미지 센서에 의해, 상기 장면의 제2 이미지를 캡처하는 단계 - 상기 제2 휘도 레벨 범위는 상기 제1 휘도 레벨 범위보다 높은 휘도 레벨들을 포함함 -;
    상기 제1 이미지 센서 및 상기 제2 이미지 센서에 커플링된 프로세서에 의해, 상기 제1 이미지 센서에 의해 캡처된 상기 장면의 상기 제1 이미지에 기초하여 객체의 제1 부분을 식별하는 단계 - 상기 객체의 상기 제1 부분은 상기 제1 휘도 레벨 범위에 대응하는 제1 휘도를 나타냄 -;
    상기 프로세서에 의해, 상기 제2 이미지 센서에 의해 캡처된 상기 장면의 상기 제2 이미지에 기초하여, 상기 제1 부분과 상이한, 상기 객체의 제2 부분을 식별하는 단계 - 상기 객체의 상기 제2 부분은 상기 제2 휘도 레벨 범위에 대응하는 제2 휘도를 나타냄 -; 및
    상기 프로세서에 의해, 상기 식별된 제1 부분 및 제2 부분에 기초하여 상기 객체를 식별하는, 방법.
  20. 명령어들이 저장된 비-일시적(non-transitory)인 컴퓨터 판독 가능 기록 매체로서,
    상기 명령어들은, 프로세서에 의해 실행될 때,
    장면에서 제1 휘도 레벨 범위에 대응하는 제1 동적 범위를 갖는 제1 이미지 센서로부터, 상기 장면의 제1 이미지를 수신하는 명령어들 - 상기 장면의 상기 제1 이미지는 상기 제1 이미지 센서에 의해 캡처됨 -;
    상기 장면에서 제2 휘도 레벨 범위에 대응하는 제2 동적 범위를 갖는 제2 이미지 센서로부터, 상기 장면의 제2 이미지를 수신하는 명령어들 - 상기 제2 휘도 레벨 범위는 상기 제1 휘도 레벨 범위보다 높은 휘도 레벨들을 포함함 -;
    상기 제1 이미지 센서에 의해 캡처된 상기 장면의 상기 제1 이미지에 기초하여 객체의 제1 부분을 식별하는 명령어들 - 상기 객체의 상기 제1 부분은 상기 제1 휘도 레벨 범위에 대응하는 제1 휘도를 나타냄 -;
    상기 제2 이미지 센서에 의해 캡처된 상기 장면의 상기 제2 이미지에 기초하여, 상기 제1 부분과 상이한, 상기 객체의 제2 부분을 식별하는 명령어들 - 상기 객체의 상기 제2 부분은 상기 제2 휘도 레벨 범위에 대응하는 제2 휘도를 나타냄 -; 및
    상기 식별된 제1 부분 및 제2 부분에 기초하여 상기 객체를 식별하는 명령어들
    을 포함하는, 비-일시적인 컴퓨터 판독 가능 기록 매체.
KR1020227014480A 2017-12-28 2018-11-30 동적 범위를 확장하기 위한 다수의 동작 모드들 Active KR102554643B1 (ko)

Applications Claiming Priority (6)

Application Number Priority Date Filing Date Title
US201762611206P 2017-12-28 2017-12-28
US62/611,206 2017-12-28
US16/199,998 2018-11-26
US16/199,998 US10757320B2 (en) 2017-12-28 2018-11-26 Multiple operating modes to expand dynamic range
KR1020207021526A KR102393845B1 (ko) 2017-12-28 2018-11-30 동적 범위를 확장하기 위한 다수의 동작 모드들
PCT/US2018/063332 WO2019133177A1 (en) 2017-12-28 2018-11-30 Multiple operating modes to expand dynamic range

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
KR1020207021526A Division KR102393845B1 (ko) 2017-12-28 2018-11-30 동적 범위를 확장하기 위한 다수의 동작 모드들

Publications (2)

Publication Number Publication Date
KR20220058974A KR20220058974A (ko) 2022-05-10
KR102554643B1 true KR102554643B1 (ko) 2023-07-12

Family

ID=67058598

Family Applications (2)

Application Number Title Priority Date Filing Date
KR1020207021526A Active KR102393845B1 (ko) 2017-12-28 2018-11-30 동적 범위를 확장하기 위한 다수의 동작 모드들
KR1020227014480A Active KR102554643B1 (ko) 2017-12-28 2018-11-30 동적 범위를 확장하기 위한 다수의 동작 모드들

Family Applications Before (1)

Application Number Title Priority Date Filing Date
KR1020207021526A Active KR102393845B1 (ko) 2017-12-28 2018-11-30 동적 범위를 확장하기 위한 다수의 동작 모드들

Country Status (10)

Country Link
US (5) US10757320B2 (ko)
EP (2) EP3714596B1 (ko)
JP (1) JP7210589B2 (ko)
KR (2) KR102393845B1 (ko)
CN (1) CN111527743A (ko)
AU (2) AU2018397461B2 (ko)
CA (1) CA3087048C (ko)
IL (1) IL275606B2 (ko)
SG (1) SG11202005851QA (ko)
WO (1) WO2019133177A1 (ko)

Families Citing this family (44)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10453208B2 (en) 2017-05-19 2019-10-22 Waymo Llc Camera systems using filters and exposure times to detect flickering illuminated objects
US10536646B2 (en) * 2017-07-28 2020-01-14 Panasonic Intellectual Property Corporation Of America Imaging control device and imaging control method
DE102017215347A1 (de) * 2017-09-01 2019-03-07 Conti Temic Microelectronic Gmbh Verfahren zur vorhersehbaren Belichtungssteuerung zumindest einer ersten Fahrzeugkamera
WO2019064062A1 (en) * 2017-09-26 2019-04-04 Innoviz Technologies Ltd. SYSTEMS AND METHODS FOR DETECTION AND LOCATION BY LIGHT
US10921142B2 (en) 2017-12-14 2021-02-16 Waymo Llc Methods and systems for sun-aware vehicle routing
US10757320B2 (en) * 2017-12-28 2020-08-25 Waymo Llc Multiple operating modes to expand dynamic range
US11181619B2 (en) 2018-06-14 2021-11-23 Waymo Llc Camera ring structure for autonomous vehicles
JP7044694B2 (ja) * 2018-12-27 2022-03-30 ヤンマーパワーテクノロジー株式会社 作業車両用の障害物検知システム
US11810363B2 (en) * 2019-01-31 2023-11-07 Toyota Motor North America, Inc. Systems and methods for image processing using mobile devices
US10771665B1 (en) * 2019-02-27 2020-09-08 Ford Global Technologies, Llc Determination of illuminator obstruction by known optical properties
JP7204551B2 (ja) * 2019-03-19 2023-01-16 株式会社小糸製作所 車両用監視システム
DE112020002604T5 (de) * 2019-05-29 2022-03-03 Mobileye Vision Technologies Ltd. Systeme und verfahren für die fahrzeugnavigation
US11265480B2 (en) * 2019-06-11 2022-03-01 Qualcomm Incorporated Systems and methods for controlling exposure settings based on motion characteristics associated with an image sensor
US11447063B2 (en) * 2019-07-18 2022-09-20 GM Global Technology Operations LLC Steerable scanning and perception system with active illumination
US11367211B2 (en) * 2019-07-29 2022-06-21 Raytheon Company Inertially-assisted target detection
JP2021047353A (ja) * 2019-09-20 2021-03-25 株式会社Ｊｖｃケンウッド 撮像装置および撮像情報生成方法
US12112550B2 (en) * 2020-01-07 2024-10-08 Motional Ad Llc Systems and methods for traffic light detection
US11587314B2 (en) * 2020-04-08 2023-02-21 Micron Technology, Inc. Intelligent correction of vision deficiency
US11584295B2 (en) * 2020-05-07 2023-02-21 Toyota Research Institute, Inc. Dynamic lighting and sensor adjustment for occupant monitoring
JP2021190777A (ja) * 2020-05-27 2021-12-13 ソニーグループ株式会社 光検出装置
CN111666894A (zh) * 2020-06-08 2020-09-15 深圳裹动智驾科技有限公司 交通灯和车灯的检测方法及其感测系统、以及车辆
KR20220014150A (ko) * 2020-07-28 2022-02-04 삼성전자주식회사 이미지 센서와 이미지 시그널 프로세서를 포함하는 전자 장치 및 그의 방법
US11568526B2 (en) 2020-09-04 2023-01-31 Altek Semiconductor Corp. Dual sensor imaging system and imaging method thereof
US11496694B2 (en) 2020-09-04 2022-11-08 Altek Semiconductor Corp. Dual sensor imaging system and imaging method thereof
US11496660B2 (en) 2020-09-04 2022-11-08 Altek Semiconductor Corp. Dual sensor imaging system and depth map calculation method thereof
CN114143443B (zh) * 2020-09-04 2024-04-05 聚晶半导体股份有限公司 双传感器摄像系统及其摄像方法
US11689822B2 (en) 2020-09-04 2023-06-27 Altek Semiconductor Corp. Dual sensor imaging system and privacy protection imaging method thereof
US11418719B2 (en) 2020-09-04 2022-08-16 Altek Semiconductor Corp. Dual sensor imaging system and calibration method which includes a color sensor and an infrared ray sensor to perform image alignment and brightness matching
JP7452341B2 (ja) * 2020-09-11 2024-03-19 株式会社デンソー 洗浄制御装置、洗浄制御方法、洗浄制御プログラム
CN116076078B (zh) * 2020-09-11 2025-04-25 株式会社电装 车辆控制装置、车辆控制方法、车辆控制程序
JP7647424B2 (ja) * 2020-09-11 2025-03-18 株式会社デンソー 車両制御装置、車両制御方法、車両制御プログラム
CN116324827A (zh) * 2020-09-15 2023-06-23 惠普发展公司，有限责任合伙企业 图像中的眩光减少
CN112839181B (zh) * 2020-12-30 2022-10-11 上海掌门科技有限公司 一种用于生成高动态范围图像的方法与设备
KR102374069B1 (ko) * 2021-01-06 2022-03-11 아주대학교산학협력단 Hdr 이미지 생성 장치 및 방법
EP4067818B1 (en) * 2021-03-30 2024-08-28 Hexagon Technology Center GmbH Measuring system with panoramic image acquisition functionality
JP2023527599A (ja) * 2021-04-20 2023-06-30 バイドゥドットコム タイムズ テクノロジー （ベイジン） カンパニー リミテッド 自動運転車両を動作させるためのコンピュータ実施方法、非一時的機械可読媒体、データ処理システムおよびコンピュータプログラム
CN112990225B (zh) * 2021-05-17 2021-08-27 深圳市维度数据科技股份有限公司 一种复杂环境下的图像目标识别方法及装置
FR3123428B1 (fr) * 2021-05-29 2023-05-12 Valeo Systemes Dessuyage Système d’assistance à la conduite, et procédé de traitement d’images associé
CN113411476B (zh) * 2021-06-10 2025-06-27 蔚来汽车科技(安徽)有限公司 图像传感器控制装置、方法、存储介质和可移动对象
EP4440902A4 (en) * 2021-12-29 2025-03-19 Orta Dogu Teknik Universitesi HIGH-PERFORMANCE OBJECT DETECTION SYSTEM USING HDR IMAGES FROM LDR CAMERAS IN AUTONOMOUS VEHICLES
US20250078491A1 (en) * 2021-12-29 2025-03-06 Orta Dogu Teknik Universitesi High-performance object detection system using hdr images obtained from ldr cameras in autonomous vehicles
US11630211B1 (en) * 2022-06-09 2023-04-18 Illuscio, Inc. Systems and methods for LiDAR-based camera metering, exposure adjustment, and image postprocessing
US20240223915A1 (en) * 2022-12-28 2024-07-04 Kodiak Robotics, Inc. Systems and methods for downsampling images
US20240388683A1 (en) * 2023-05-18 2024-11-21 Apple Inc. Synchronizing Image Signal Processing Across Multiple Image Sensors

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100238327A1 (en) * 2009-03-19 2010-09-23 Griffith John D Dual Sensor Camera
US20150350510A1 (en) * 2014-05-29 2015-12-03 Lg Electronics Inc. Camera capable of reducing motion blur in a low luminance environment and vehicle including the same
US20160176348A1 (en) * 2012-10-24 2016-06-23 Honda Motor Co., Ltd. Object recognition in low-lux and high-lux conditions

Family Cites Families (107)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS5948465B2 (ja) 1977-06-29 1984-11-27 株式会社リコー 感応ヘツドの自動復帰装置
JPS6021653Y2 (ja) 1982-09-20 1985-06-27 株式会社東海 ボ−ルペン付きライタ−
EP0387817A3 (en) 1989-03-16 1991-12-11 Konica Corporation Electronic still camera
JPH04214937A (ja) * 1990-06-08 1992-08-05 Mitsubishi Electric Corp 車両用追従走行制御装置
US5929908A (en) 1995-02-03 1999-07-27 Canon Kabushiki Kaisha Image sensing apparatus which performs dynamic range expansion and image sensing method for dynamic range expansion
EP1273180B1 (en) 2000-03-24 2006-02-22 Reality Commerce Corporation Method and apparatus for parallel multi-viewpoint video capturing and compression
JP3269056B2 (ja) 2000-07-04 2002-03-25 松下電器産業株式会社 監視システム
KR100391442B1 (ko) 2000-12-27 2003-07-12 현대자동차주식회사 차선 이탈 방지용 영상 처리방법
US7126630B1 (en) 2001-02-09 2006-10-24 Kujin Lee Method and apparatus for omni-directional image and 3-dimensional data acquisition with data annotation and dynamic range extension method
WO2002076090A1 (en) 2001-03-16 2002-09-26 Vision Robotics Corporation System and method to increase effective dynamic range of image sensors
JP3297040B1 (ja) 2001-04-24 2002-07-02 松下電器産業株式会社 車載カメラの画像合成表示方法及びその装置
JP2003030665A (ja) * 2001-07-10 2003-01-31 Mitsubishi Electric Corp 移動物体検知装置、移動物体検知方法およびその方法をコンピュータに実行させるプログラム
US20030081121A1 (en) 2001-10-30 2003-05-01 Kirmuss Charles Bruno Mobile digital video monitoring with pre-event recording
US7409104B2 (en) 2002-07-18 2008-08-05 .Sightic Vista Ltd Enhanced wide dynamic range in imaging
KR100810310B1 (ko) 2003-08-29 2008-03-07 삼성전자주식회사 조도차가 다른 영상의 재구성 장치 및 방법
US7576767B2 (en) 2004-07-26 2009-08-18 Geo Semiconductors Inc. Panoramic vision system and method
JP2006060425A (ja) * 2004-08-18 2006-03-02 Olympus Corp 画像生成方法および装置
DE102004061998A1 (de) 2004-12-23 2006-07-06 Robert Bosch Gmbh Stereokamera für ein Kraftfahrzeug
US7561731B2 (en) 2004-12-27 2009-07-14 Trw Automotive U.S. Llc Method and apparatus for enhancing the dynamic range of a stereo vision system
US7206136B2 (en) 2005-02-18 2007-04-17 Eastman Kodak Company Digital camera using multiple lenses and image sensors to provide an extended zoom range
JP4766302B2 (ja) 2005-03-22 2011-09-07 オムロン株式会社 画像処理装置および方法、記録媒体、並びにプログラム
JP4807733B2 (ja) * 2005-09-28 2011-11-02 富士重工業株式会社 車外環境認識装置
US7834910B2 (en) 2006-03-01 2010-11-16 David M. DeLorme Method and apparatus for panoramic imaging
DE102006014504B3 (de) * 2006-03-23 2007-11-08 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Bilderfassungssystem für Kraft- und Schienenfahrzeuge sowie Verfahren zur elektronischen Bilderfassung
US20070242141A1 (en) 2006-04-14 2007-10-18 Sony Corporation And Sony Electronics Inc. Adjustable neutral density filter system for dynamic range compression from scene to imaging sensor
US7579593B2 (en) 2006-07-25 2009-08-25 Panasonic Corporation Night-vision imaging apparatus, control method of the same, and headlight module
KR20080029120A (ko) * 2006-09-28 2008-04-03 엘지전자 주식회사 네트워크 디지털 비디오 레코더에서의 분할 표시 제어방법
TW200820123A (en) 2006-10-20 2008-05-01 Primax Electronics Ltd Method and system of generating high dynamic range image corresponding to specific scene
US8471906B2 (en) 2006-11-24 2013-06-25 Trex Enterprises Corp Miniature celestial direction detection system
US8242426B2 (en) * 2006-12-12 2012-08-14 Dolby Laboratories Licensing Corporation Electronic camera having multiple sensors for capturing high dynamic range images and related methods
US7729602B2 (en) 2007-03-09 2010-06-01 Eastman Kodak Company Camera using multiple lenses and image sensors operable in a default imaging mode
US7676146B2 (en) 2007-03-09 2010-03-09 Eastman Kodak Company Camera using multiple lenses and image sensors to provide improved focusing capability
US7683962B2 (en) 2007-03-09 2010-03-23 Eastman Kodak Company Camera using multiple lenses and image sensors in a rangefinder configuration to provide a range map
WO2009026223A2 (en) 2007-08-16 2009-02-26 Gentex Corporation Vehicle rearview assembly including a display for displaying video captured by a camera and user instructions
US8180396B2 (en) * 2007-10-18 2012-05-15 Yahoo! Inc. User augmented reality for camera-enabled mobile devices
JP5040734B2 (ja) * 2008-03-05 2012-10-03 ソニー株式会社 画像処理装置、画像記録方法およびプログラム
JP5018587B2 (ja) * 2008-03-25 2012-09-05 セイコーエプソン株式会社 オブジェクト検出方法、オブジェクト検出装置、オブジェクト検出プログラムおよびオブジェクト検出プログラムを記録したコンピュータ読取可能な記録媒体
JP2009253316A (ja) * 2008-04-01 2009-10-29 Panasonic Corp 車載カメラ及びドライブレコーダ
CN101266132B (zh) 2008-04-30 2011-08-10 西安工业大学 基于mpfg运动矢量的行车障碍检测方法
US8125545B2 (en) * 2008-10-14 2012-02-28 International Business Machines Corporation Photo sensor array using controlled motion
WO2010048524A1 (en) 2008-10-24 2010-04-29 Transvideo, Inc. Method and apparatus for transrating compressed digital video
JP2010154478A (ja) 2008-12-26 2010-07-08 Fujifilm Corp 複眼撮像装置及びその合成画像生成方法
JP5210198B2 (ja) 2009-02-13 2013-06-12 オリンパス株式会社 画像処理装置、画像処理方法、画像処理プログラム
US8698875B2 (en) 2009-02-20 2014-04-15 Google Inc. Estimation of panoramic camera orientation relative to a vehicle coordinate frame
CN201520252U (zh) 2009-09-23 2010-07-07 盛戎华 车载监控录像系统
US8760537B2 (en) 2010-07-05 2014-06-24 Apple Inc. Capturing and rendering high dynamic range images
US8692980B2 (en) 2010-11-01 2014-04-08 Advanced Scientific Concepts, Inc. Flash LADAR collision avoidance system
EP2523163B1 (en) 2011-05-10 2019-10-16 Harman Becker Automotive Systems GmbH Method and program for calibrating a multicamera system
JP2012240530A (ja) * 2011-05-18 2012-12-10 Koito Mfg Co Ltd 画像処理装置
JP5370413B2 (ja) * 2011-06-06 2013-12-18 株式会社デンソー 認識対象検出装置
US20120314069A1 (en) 2011-06-08 2012-12-13 Delphi Technologies, Inc. Vehicle optical sensor system
US10412367B2 (en) * 2011-08-05 2019-09-10 3D Media Ltd Multi-lens camera with a single image sensor
DE102011113265B3 (de) 2011-09-13 2012-11-08 Audi Ag Verfahren zur Bildverarbeitung von mit einem optischen Sensor in einem Kraftfahrzeug aufgenommenen Bilddaten und Kraftfahrzeug
WO2013081985A1 (en) 2011-11-28 2013-06-06 Magna Electronics, Inc. Vision system for vehicle
CN102496294A (zh) 2011-12-08 2012-06-13 中国矿业大学 一种基于3g网络的多功能车载监控调度终端
CN103999458A (zh) 2011-12-16 2014-08-20 索尼公司 图像捕获设备
EP2629506A1 (en) 2012-02-15 2013-08-21 Harman Becker Automotive Systems GmbH Two-step brightness adjustment in around-view systems
JP6197291B2 (ja) 2012-03-21 2017-09-20 株式会社リコー 複眼カメラ装置、及びそれを備えた車両
US9568606B2 (en) * 2012-03-29 2017-02-14 Canon Kabushiki Kaisha Imaging apparatus for distance detection using high and low sensitivity sensors with inverted positional relations
JP2015520582A (ja) * 2012-05-18 2015-07-16 トムソン ライセンシングＴｈｏｍｓｏｎ Ｌｉｃｅｎｓｉｎｇ ネイティブ３色イメージ及びハイダイナミックレンジイメージ
US10390004B2 (en) * 2012-07-09 2019-08-20 Brightway Vision Ltd. Stereo gated imaging system and method
WO2014019602A1 (en) 2012-07-30 2014-02-06 Bayerische Motoren Werke Aktiengesellschaft Method and system for optimizing image processing in driver assistance systems
JP5666538B2 (ja) * 2012-11-09 2015-02-12 富士重工業株式会社 車外環境認識装置
US9633576B2 (en) 2012-12-13 2017-04-25 Alliance Wireless Technologies, Inc. Vehicle activity information system
US9065985B2 (en) 2013-03-15 2015-06-23 Tolo, Inc. Diagonal collection of oblique imagery
KR101439013B1 (ko) 2013-03-19 2014-09-05 현대자동차주식회사 스테레오 영상 처리 장치 및 방법
US9164511B1 (en) 2013-04-17 2015-10-20 Google Inc. Use of detected objects for image processing
US20140347440A1 (en) 2013-05-23 2014-11-27 Sylvester Hatcher Omnidirectional Vehicle Camera System
US9145139B2 (en) 2013-06-24 2015-09-29 Google Inc. Use of environmental information to aid image processing for autonomous vehicles
US9609236B2 (en) 2013-09-16 2017-03-28 Kyle L. Baltz Camera and image processing method
US9467627B2 (en) * 2013-10-26 2016-10-11 The Lightco Inc. Methods and apparatus for use with multiple optical chains
US10284880B2 (en) 2014-03-07 2019-05-07 Eagle Eye Networks Inc Adaptive security camera image compression method of operation
JP2015207861A (ja) * 2014-04-18 2015-11-19 コニカミノルタ株式会社 撮像装置および撮像方法
DE102014208271A1 (de) * 2014-05-02 2015-11-05 Robert Bosch Gmbh Verfahren und Vorrichtung zur bildbasierten Sichtweitenschätzung
KR101579098B1 (ko) * 2014-05-23 2015-12-21 엘지전자 주식회사 스테레오 카메라, 이를 구비한 차량 운전 보조 장치, 및 차량
US9369680B2 (en) * 2014-05-28 2016-06-14 Seth Teller Protecting roadside personnel using a camera and a projection system
US20160019429A1 (en) * 2014-07-17 2016-01-21 Tomoko Ishigaki Image processing apparatus, solid object detection method, solid object detection program, and moving object control system
US10137844B2 (en) 2014-08-04 2018-11-27 Magna Electronics Inc. Vehicle camera having molded interconnect device
CA2902675C (en) 2014-08-29 2021-07-27 Farnoud Kazemzadeh Imaging system and method for concurrent multiview multispectral polarimetric light-field high dynamic range imaging
EP3043202B1 (en) 2015-01-09 2019-07-24 Ricoh Company, Ltd. Moving body system
CN118816908A (zh) 2015-02-10 2024-10-22 御眼视觉技术有限公司 用于自主车辆导航的稀疏地图
US9846919B2 (en) * 2015-02-16 2017-12-19 Samsung Electronics Co., Ltd. Data processing device for processing multiple sensor data and system including the same
US9625582B2 (en) 2015-03-25 2017-04-18 Google Inc. Vehicle with multiple light detection and ranging devices (LIDARs)
DE102015107406A1 (de) * 2015-05-12 2016-11-17 Connaught Electronics Ltd. Kamera für ein Kraftfahrzeug mit zumindest zwei Lichtleitern und einem optischenFilterelement, Fahrerassistenzsystem sowie Kraftfahrzeug
US10244226B2 (en) 2015-05-27 2019-03-26 Google Llc Camera rig and stereoscopic image capture
JP5948465B1 (ja) 2015-06-04 2016-07-06 株式会社ファンクリエイト 映像処理システム及び映像処理方法
US9979907B2 (en) 2015-09-18 2018-05-22 Sony Corporation Multi-layered high-dynamic range sensor
EP3358297A4 (en) 2015-09-29 2019-05-29 Sony Corporation MEASURING DEVICE, MEASURING PROCEDURE AND PROGRAM
EP3400556A1 (en) 2016-01-05 2018-11-14 Mobileye Vision Technologies Ltd. Systems and methods for estimating future paths
CN108604203B (zh) 2016-02-24 2022-03-18 索尼公司 信号处理装置、信号处理方法和存储介质
US9535423B1 (en) 2016-03-29 2017-01-03 Adasworks Kft. Autonomous vehicle with improved visual detection ability
US10142532B2 (en) 2016-04-08 2018-11-27 Magna Electronics Inc. Camera for vehicle vision system
US10477080B2 (en) 2016-07-07 2019-11-12 Magna Electronics Inc. Camera with curled lid and spring element for PCB positioning
WO2018017793A1 (en) 2016-07-21 2018-01-25 Intelligent Technologies International, Inc. System and method for creating, updating, and using maps generated by probe vehicles
EP3300023A1 (en) 2016-09-21 2018-03-28 Autoliv Development AB Vision system and method for a motor vehicle
KR101859040B1 (ko) 2016-09-22 2018-05-17 엘지전자 주식회사 차량용 카메라 장치 및 방법
US20180113462A1 (en) 2016-10-22 2018-04-26 Gopro, Inc. Position-based soft stop for a 3-axis gimbal
US10352870B2 (en) 2016-12-09 2019-07-16 Formfactor, Inc. LED light source probe card technology for testing CMOS image scan devices
EP3572286B1 (en) 2017-01-20 2022-10-12 Kubota Corporation Work vehicle
CN106851122B (zh) * 2017-02-27 2020-02-18 上海兴芯微电子科技有限公司 基于双摄像头系统的自动曝光参数的标定方法和装置
CN107343130B (zh) * 2017-08-17 2019-07-05 中国人民解放军国防科技大学 一种基于dmd动态分光的高动态成像模块
CN107302668A (zh) * 2017-08-17 2017-10-27 中国人民解放军国防科技大学 一种基于转轮动态分光的高动态范围成像模块
US10522887B2 (en) 2017-10-20 2019-12-31 Waymo Llc Communication system for a vehicle comprising a dual channel rotary joint coupled to a plurality of interface waveguides for coupling electromagnetic signals between plural communication chips
US11181816B2 (en) 2017-11-10 2021-11-23 Denso Corporation Windshield-mounted camera module
US10558868B2 (en) 2017-12-18 2020-02-11 GM Global Technology Operations LLC Method and apparatus for evaluating a vehicle travel surface
US10757320B2 (en) * 2017-12-28 2020-08-25 Waymo Llc Multiple operating modes to expand dynamic range
KR102680342B1 (ko) * 2019-09-23 2024-07-03 삼성전자주식회사 복수의 이미지 센서들에 의해 획득되는 이미지 데이터에 기초하여 비디오 hdr 처리를 수행하기 위한 전자 장치

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100238327A1 (en) * 2009-03-19 2010-09-23 Griffith John D Dual Sensor Camera
US20160176348A1 (en) * 2012-10-24 2016-06-23 Honda Motor Co., Ltd. Object recognition in low-lux and high-lux conditions
US20150350510A1 (en) * 2014-05-29 2015-12-03 Lg Electronics Inc. Camera capable of reducing motion blur in a low luminance environment and vehicle including the same

Also Published As

Publication number Publication date
US11917281B2 (en) 2024-02-27
EP4539483A3 (en) 2025-07-02
AU2021200258A1 (en) 2021-03-18
AU2018397461B2 (en) 2020-10-22
KR20220058974A (ko) 2022-05-10
EP3714596B1 (en) 2025-04-02
CA3087048A1 (en) 2019-07-04
AU2018397461A1 (en) 2020-07-30
SG11202005851QA (en) 2020-07-29
US20250184595A1 (en) 2025-06-05
IL275606B1 (en) 2023-04-01
EP3714596A4 (en) 2021-08-18
US10757320B2 (en) 2020-08-25
AU2021200258B2 (en) 2021-10-28
EP4539483A2 (en) 2025-04-16
US20190208111A1 (en) 2019-07-04
US20220060616A1 (en) 2022-02-24
CA3087048C (en) 2023-03-21
WO2019133177A1 (en) 2019-07-04
JP7210589B2 (ja) 2023-01-23
KR20200091951A (ko) 2020-07-31
US12250447B2 (en) 2025-03-11
CN111527743A (zh) 2020-08-11
EP3714596A1 (en) 2020-09-30
US20200351434A1 (en) 2020-11-05
US20240223882A1 (en) 2024-07-04
IL275606B2 (en) 2023-08-01
US11196916B2 (en) 2021-12-07
KR102393845B1 (ko) 2022-05-03
IL275606A (en) 2020-08-31
JP2021509238A (ja) 2021-03-18

Similar Documents

Publication Publication Date Title
KR102554643B1 (ko) 동적 범위를 확장하기 위한 다수의 동작 모드들
US11910099B2 (en) Real-time HDR video for vehicle control
AU2021282441B2 (en) High-speed image readout and processing
KR102077575B1 (ko) 차량 운전 보조 장치 및 차량
EP4521154A1 (en) Foveated imager for automotive applications
US20250200932A1 (en) Multi-channel Dynamic Weather Estimation
JP7522169B2 (ja) 強い背景光からの飽和を回避し、方向制御を達成するために回転カメラ上のフレーム時間を能動的に調整する、制御ウィンドウカメラの方向付け
US20240373142A1 (en) Reducing Auto-Exposure Latency

Legal Events

Date Code Title Description
A107 Divisional application of patent
PA0104 Divisional application for international application

St.27 status event code: A-0-1-A10-A16-div-PA0104

St.27 status event code: A-0-1-A10-A18-div-PA0104

PA0201 Request for examination

St.27 status event code: A-1-2-D10-D11-exm-PA0201

PG1501 Laying open of application

St.27 status event code: A-1-1-Q10-Q12-nap-PG1501

E902 Notification of reason for refusal
PE0902 Notice of grounds for rejection

St.27 status event code: A-1-2-D10-D21-exm-PE0902

P11-X000 Amendment of application requested

St.27 status event code: A-2-2-P10-P11-nap-X000

P13-X000 Application amended

St.27 status event code: A-2-2-P10-P13-nap-X000

P22-X000 Classification modified

St.27 status event code: A-2-2-P10-P22-nap-X000

P22-X000 Classification modified

St.27 status event code: A-2-2-P10-P22-nap-X000

E701 Decision to grant or registration of patent right
PE0701 Decision of registration

St.27 status event code: A-1-2-D10-D22-exm-PE0701

PR0701 Registration of establishment

St.27 status event code: A-2-4-F10-F11-exm-PR0701

PR1002 Payment of registration fee

Fee payment year number: 1

St.27 status event code: A-2-2-U10-U12-oth-PR1002

PG1601 Publication of registration

St.27 status event code: A-4-4-Q10-Q13-nap-PG1601