[go: up one dir, main page]

KR102491563B1 - 자율 주행 차량에 사용되는 센서의 타이밍의 검증 - Google Patents

자율 주행 차량에 사용되는 센서의 타이밍의 검증 Download PDF

Info

Publication number
KR102491563B1
KR102491563B1 KR1020217020177A KR20217020177A KR102491563B1 KR 102491563 B1 KR102491563 B1 KR 102491563B1 KR 1020217020177 A KR1020217020177 A KR 1020217020177A KR 20217020177 A KR20217020177 A KR 20217020177A KR 102491563 B1 KR102491563 B1 KR 102491563B1
Authority
KR
South Korea
Prior art keywords
sensor
time
module
data
sensors
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
KR1020217020177A
Other languages
English (en)
Other versions
KR20210106460A (ko
Inventor
솨이 왕
만장 장
야오밍 선
샹페이 저우
링창 리
셴페이 리
Original Assignee
바이두닷컴 타임즈 테크놀로지(베이징) 컴퍼니 리미티드
바이두 유에스에이 엘엘씨
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 바이두닷컴 타임즈 테크놀로지(베이징) 컴퍼니 리미티드, 바이두 유에스에이 엘엘씨 filed Critical 바이두닷컴 타임즈 테크놀로지(베이징) 컴퍼니 리미티드
Publication of KR20210106460A publication Critical patent/KR20210106460A/ko
Application granted granted Critical
Publication of KR102491563B1 publication Critical patent/KR102491563B1/ko
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04J—MULTIPLEX COMMUNICATION
    • H04J3/00—Time-division multiplex systems
    • H04J3/02—Details
    • H04J3/06—Synchronising arrangements
    • H04J3/0602—Systems characterised by the synchronising information used
    • H04J3/0605—Special codes used as synchronising signal
    • H04J3/0608—Detectors therefor, e.g. correlators, state machines
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/02—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00
    • G01S7/40—Means for monitoring or calibrating
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/04—Monitoring the functioning of the control system
    • B60W50/045—Monitoring control system parameters
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00—Drive control systems specially adapted for autonomous road vehicles
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/86—Combinations of radar systems with non-radar systems, e.g. sonar, direction finder
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/86—Combinations of radar systems with non-radar systems, e.g. sonar, direction finder
    • G01S13/862—Combination of radar systems with sonar systems
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/86—Combinations of radar systems with non-radar systems, e.g. sonar, direction finder
    • G01S13/865—Combination of radar systems with lidar systems
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/86—Combinations of radar systems with non-radar systems, e.g. sonar, direction finder
    • G01S13/867—Combination of radar systems with cameras
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/87—Combinations of radar systems, e.g. primary radar and secondary radar
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S15/00—Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems
    • G01S15/86—Combinations of sonar systems with lidar systems; Combinations of sonar systems with systems not using wave reflection
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S15/00—Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems
    • G01S15/87—Combinations of sonar systems
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S15/00—Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems
    • G01S15/88—Sonar systems specially adapted for specific applications
    • G01S15/93—Sonar systems specially adapted for specific applications for anti-collision purposes
    • G01S15/931—Sonar systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/86—Combinations of lidar systems with systems other than lidar, radar or sonar, e.g. with direction finders
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/87—Combinations of systems using electromagnetic waves other than radio waves
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/93—Lidar systems specially adapted for specific applications for anti-collision purposes
    • G01S17/931—Lidar systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/497—Means for monitoring or calibrating
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/52—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S15/00
    • G01S7/52004—Means for monitoring or calibrating
    • G—PHYSICS
    • G04—HOROLOGY
    • G04G—ELECTRONIC TIME-PIECES
    • G04G3/00—Producing timing pulses
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
    • G06F18/24133—Distances to prototypes
    • G06F18/24137—Distances to cluster centroïds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04J—MULTIPLEX COMMUNICATION
    • H04J3/00—Time-division multiplex systems
    • H04J3/02—Details
    • H04J3/06—Synchronising arrangements
    • H04J3/0635—Clock or time synchronisation in a network
    • H04J3/0638—Clock or time synchronisation among nodes; Internode synchronisation
    • H04J3/0647—Synchronisation among TDM nodes
    • H04J3/065—Synchronisation among TDM nodes using timestamps
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/12—Protocols specially adapted for proprietary or special-purpose networking environments, e.g. medical networks, sensor networks, networks in vehicles or remote metering networks
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2400/00—Indexing codes relating to detected, measured or calculated conditions or factors
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/403—Image sensing, e.g. optical camera
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/408—Radar; Laser, e.g. lidar
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00—Input parameters relating to objects
    • B60W2554/40—Dynamic objects, e.g. animals, windblown objects
    • B60W2554/404—Characteristics
    • B60W2554/4041—Position
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2556/00—Input parameters relating to data
    • B60W2556/25—Data precision
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G01S2013/9316—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles combined with communication equipment with other vehicles or with base stations
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G01S2013/9323—Alternative operation using light waves
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G01S2013/9324—Alternative operation using ultrasonic waves

Landscapes

  • Engineering & Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Electromagnetism (AREA)
  • Automation & Control Theory (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Computing Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Human Computer Interaction (AREA)
  • Mechanical Engineering (AREA)
  • Transportation (AREA)
  • Data Mining & Analysis (AREA)
  • Software Systems (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Biology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Acoustics & Sound (AREA)
  • Traffic Control Systems (AREA)
  • Synchronisation In Digital Transmission Systems (AREA)
  • Radar Systems Or Details Thereof (AREA)
  • Measurement Of Velocity Or Position Using Acoustic Or Ultrasonic Waves (AREA)
  • Optical Radar Systems And Details Thereof (AREA)

Abstract

일부 실시형태에서, 센서의 동작을 검증하는 방법을 제공한다. 상기 방법은 제1 시간에 센서가 센서 데이터를 획득하도록 하는 단계를 포함하고, 상기 센서는 검출기에 파를 송출하여 센서 데이터를 획득한다. 상기 방법은 검출기가 제2 시간에 파를 검출하였다고 확정하는 단계를 더 포함한다. 상기 방법은 제3 시간에 센서에서 센서 데이터를 수신하는 단계를 더 포함한다. 상기 방법은 제1 시간, 제2 시간 및 제3 시간 중 적어도 하나를 기반으로 센서의 동작을 검증하는 단계를 더 포함한다.

Description

자율 주행 차량에 사용되는 센서의 타이밍의 검증
본 발명의 실시형태는 전체적으로 자율 주행 차량의 운행에 관한 것이다. 더 구체적으로, 본 발명의 실시형태는 자율 주행 차량에서 사용되는 센서의 작동을 검증하는 것에 관한 것이다.
자율 주행 모드로 운행(예컨대, 무인 운전)되는 차량은 탑승자, 특히 운전자를 일부 운전 관련 의무에서 벗어나도록 한다. 자율 주행 모드로 운행되는 경우, 차량은 온보드 센서를 사용하여 다양한 위치를 찾을 수 있으므로 차량은 인간-기계 인터랙션이 최소화된 경우 또는 승객이 없는 일부 경우에 주행될 수 있다.
모션 계획 및 제어는 자율 주행 중의 핵심 작업이다. 경로는 자율 주행 차량의 이동에 사용되는 기하적 형상을 설명한다. 자율 주행 차량은 다양한 센서를 사용하여 자율 주행 차량이 위치한 환경 중의 객체를 검출할 수 있다. 자율 주행 차량은 검출된 객체에 기반하여 환경을 통과하는 경로를 결정할 수 있다.
제1 양태에 따르면, 본 발명의 실시형태는, 자율 주행 차량에서 사용되는 센서의 작동을 검증하기 위한 방법을 제공하되, 상기 방법은 제1 시간에 센서가 센서 데이터를 획득하도록 하는 단계 - 센서는 검출기에 파를 송출하여 센서 데이터를 획득함 - ; 검출기가 제2 시간에 파를 검출하였다고 확정하는 단계; 제3 시간에 센서로부터 센서 데이터를 수신받는 단계; 및 제1 시간, 제2 시간 및 제3 시간 중 적어도 하나를 기반으로 센서의 동작을 검증하는 단계 - 센서는 자율 주행 차량의 자율 주행 기간의 주행 환경을 센싱함 - 를 포함한다.
제2 양태에 따르면, 본 발명의 실시형태는, 자율 주행 차량에서 사용되는 센서의 작동을 검증하기 위한 방법을 제공하되, 상기 방법은 제1 시간에 센서가 센서 데이터를 획득하도록 하는 단계; 제2 시간에 센서가 검출을 수행하도록 하는 자극을 생성하는 단계; 제3 시간에 센서로부터 센서 데이터를 수신받는 단계; 및 제1 시간, 제2 시간 및 제3 시간 중 적어도 하나를 기반으로 센서의 동작을 검증하는 단계 - 센서는 자율 주행 차량의 자율 주행 기간의 주행 환경을 센싱함 - 를 포함한다.
제3 양태에 따르면, 본 발명의 실시형태는 비일시적 기계 판독 가능 매체를 제공하고, 상기 비일시적 기계 판독 가능 매체에는 명령이 저장되며, 상기 명령이 프로세서에 의해 실행될 경우, 프로세서가 동작을 수행하도록 하고, 상기 동작은, 제1 시간에 센서가 센서 데이터를 획득하도록 하는 동작 - 센서는 검출기에 파를 송출하여 센서 데이터를 획득함 - ; 검출기가 제2 시간에 파를 검출하였다고 확정하는 동작; 제3 시간에 센서로부터 센서 데이터를 수신받는 동작; 및 제1 시간, 제2 시간 및 제3 시간 중 적어도 하나를 기반으로 센서의 동작을 검증하는 동작을 포함한다.
본 발명의 실시형태는 도면의 각 도면에서 제한되는 방식이 아닌 예시적인 방식으로 도시되고, 도면의 동일한 도면 부호는 유사한 요소를 나타낸다.
도 1은 일 실시형태에 따른 네트워크 시스템의 블록도이다.
도 2는 일 실시형태에 따른 자율 주행 차량의 예시적 블록도이다.
도 3a 내지 도 3b는 일 실시형태에 따른 자율 주행 차량에 사용되는 감지 및 계획 시스템의 예시적 블록도이다.
도 4a는 일 실시형태에 따른 결정 및 계획 프로세스의 예시적 블록도이다.
도 4b는 일 실시형태에 따른 자율 주행에 사용되는 시스템 아키텍처의 블록도이다.
도 5는 일 실시형태에 따른 센서 유닛의 예시적 블록도이다.
도 6a는 일 실시형태에 따른 고정밀도 시간 생성 유닛의 예시적 블록도이다.
도 6b는 일 실시형태에 따른 3개의 카운터 생성기를 구비한 고정밀도 시간 생성 유닛의 예시적 블록도이다.
도 7은 일 실시형태에 따른 예시적 동기화 모듈의 블록도이다.
도 8a는 일 실시형태에 따른 2개의 센서가 작동하는 시계열적 그래프이다.
도 8b는 일 실시형태에 따른 2개의 센서가 작동하는 시계열적 그래프이다.
도 9는 일 실시형태에 따른 자율 주행 차량의 센서의 동기화를 위한 예시적 프로세스의 흐름도이다.
도 10a는 일 실시형태에 따른 예시적 센서 검증 시스템의 블록도이다.
도 10b는 일 실시형태에 따른 예시적 센서 검증 시스템의 블록도이다.
도 11은 일 실시형태에 따른 예시적 검증 시스템의 블록도이다.
도 12는 일 실시형태에 따른 자율 주행 차량에서 사용되는 센서를 검증하기 위한 예시적 프로세스의 흐름도이다.
도 13은 일 실시형태에 따른 예시적 검증 시스템의 블록도이다.
도 14는 일 실시형태에 따른 자율 주행 차량에서 사용되는 센서를 검증하기 위한 예시적 프로세스의 흐름도이다.
아래에서 논의되는 세부사항을 참조하여 본 발명의 다양한 실시형태 및 양태를 설명하고, 도면은 상기 다양한 실시형태를 도시한다. 아래의 설명 및 도면은 본 발명에 대한 설명일 뿐이며, 본 발명을 제한하는 것으로 해석되어서는 아니된다. 본 발명의 다양한 실시형태에 대한 전반적인 이해를 제공하기 위해, 많은 특정된 세부사항을 설명한다. 그러나, 일부 경우에는 본 발명의 실시형태에 대한 간결한 설명을 위해, 공지되거나 통상적인 세부사항을 설명하지 않는다.
본 명세서에서 언급된 “일 실시형태” 또는 “실시형태”는 상기 실시형태에 결합되어 설명된 특정된 특징, 구조 또는 특성이 본 발명의 적어도 하나의 실시형태에 포함될 수 있음을 의미한다. 본 발명의 각 부분에서 나타나는 “일 실시형태에서”는 반드시 모두 동일한 실시형태를 지칭하는 것이 아니다.
일부 실시형태는 자율 주행 차량(ADV)의 센서를 동기화하기 위한 방법, 기기 및 시스템에 관한 것이다. 상술한 바와 같이, ADV는 다양한 센서를 사용하여 ADV가 위치한 환경 및/또는 이동하는 환경 중의 객체를 검출할 수 있다. 센서가 동기화된 것이 아니면, 센서는 동시에 또는 동일한 시간에 데이터를 포착, 획득, 기록, 감지할 수 없게 된다. 이로 인해 ADV가 센서로부터의 센서 데이터를 연관시키거나 및/또는 사용하는 것이 더 어려워진다. 예컨대, ADV는 하나의 센서에 의해 검출된 물체가 제2 센서에 의해 검출된 물체와 동일한지 여부를 결정하는 것이 더 어려울 수 있다. 따라서, 센서를 동기화하여 다수의 센서가 동일한 시간(예컨대 동시에)에 센서 데이터를 포착 및/또는 획득하도록 하는 것이 유용할 수 있다.
도 1은 본 발명의 일 실시형태에 따른 자율 주행 차량의 네트워크 구성의 블록도이다. 도 1을 참조하면, 네트워크 구성(100)은 네트워크(102)를 통해 하나 또는 다수의 서버(103 내지 104)에 통신 연결될 수 있는 자율 주행 차량(101)을 포함한다. 하나의 자율 주행 차량이 도시되어 있지만, 다수의 자율 주행 차량이 네트워크(102)를 통해 서로 연결 및/또는 서버(103 내지 104)에 연결될 수 있다. 네트워크(102)는 유선 또는 무선의 근거리 통신망(LAN), 인터넷과 같은 광역 통신망(WAN), 셀룰러 네트워크, 위성 네트워크 또는 이들의 조합과 같은 임의의 유형의 네트워크일 수 있다. 서버(103 내지 104)는 네트워크 또는 클라우드 서버, 애플리케이션 서버, 백엔드 서버 또는 이들의 조합과 같은 임의의 유형의 서버 또는 서버 클러스터일 수 있다. 서버(103 내지 104)는 데이터 분석 서버, 콘텐츠 서버, 교통 정보 서버, 지도 및 관심 지점(MPOI) 서버 또는 위치 서버 등일 수 있다.
자율 주행 차량은 자율 주행 모드로 운행될 수 있는 차량을 의미하고, 상기 자율 주행 모드에서 차량은 운전자의 입력이 거의 또는 전혀 없이 환경을 탐색한다. 이러한 자율 주행 차량은 센서 시스템을 포함할 수 있고, 상기 센서 시스템은 차량 운행 환경과 연관된 정보를 검출하도록 구성되는 하나 또는 다수의 센서를 구비한다. 상기 차량 및 이와 관련되는 컨트롤러는 검출된 정보를 사용하여 상기 환경을 탐색한다. 자율 주행 차량(101)은 수동 모드, 완전 자율 주행 모드 또는 부분적 자율 주행 모드에서 운행될 수 있다. 아래에서, 용어 “자율 주행 차량”과 “자율 주행 차량”(ADV)은 교환 가능하게 사용할 수 있다.
일 실시형태에서, 자율 주행 차량(101)은 감지 및 계획 시스템(110), 차량 제어 시스템(111), 무선 통신 시스템(112), 사용자 인터페이스 시스템(113), 인포테인먼트 시스템(114)(미도시) 및 센서 시스템(115)을 포함하지만 이에 한정되지 않는다. 자율 주행 차량(101)은 엔진, 휠, 스티어링 휠, 변속기와 같은 일반 차량에 포함되는 일부 통상적인 부재를 더 포함할 수 있다. 상기 부재는 차량 제어 시스템(111) 및/또는 감지 및 계획 시스템(110)에 의해 다양한 통신 신호 및/또는 명령을 사용하여 상기 부재들을 제어하고, 상기 다양한 통신 신호 및/또는 명령은 예컨대 가속 신호 또는 명령, 감속 신호 또는 명령, 조향 신호 또는 명령, 제동 신호 또는 명령 등이다.
부재(110 내지 115)는 상호 연결 부재, 버스, 네트워크 또는 이들의 조합을 통해 서로 통신 연결될 수 있다. 예컨대, 부재(110 내지 115)는 계측 제어기 통신망(CAN) 버스를 통해 서로 통신 연결될 수 있다. CAN 버스는 호스트가 없는 애플리케이션에서 마이크로 컨트롤러와 기기가 서로 통신할 수 있도록 설계된 차량 버스 표준이다. 이는 초기에 자동차 내의 멀티플렉싱 전기 배선을 위해 설계된 메시지 기반 프로토콜이지만, 다른 많은 환경에서도 사용된다.
도 2를 참조하면, 일 실시형태에서, 센서 시스템(115)은 하나 또는 다수의 카메라(211), 위성 항법 시스템(GPS) 유닛(212), 관성 측정 유닛(IMU)(213), 레이더 유닛(214) 및 라이다(LIDAR) 유닛(215)을 포함하지만 이에 한정되지 않는다. GPS 유닛(212)은 트랜시버를 포함할 수 있고, 상기 트랜시버는 자율 주행 차량에 관한 위치 정보를 제공하도록 작동될 수 있다. IMU 유닛(213)은 관성 가속도에 기반하여 자율 주행 차량의 위치 및 방향 변화를 감지할 수 있다. 레이더 유닛(214)은 무선 전기 신호를 이용하여 자율 주행 차량의 로컬 환경 내의 객체를 감지하는 시스템을 나타낼 수 있다. 일부 실시형태에서, 객체를 감지하는 외에, 레이더 유닛(214)은 또한 객체의 속도 및/또는 전진 방향을 감지할 수 있다. LIDAR 유닛(215)은 레이저를 사용하여 자율 주행 차량이 위치한 환경 중의 객체를 감지할 수 있다. 다른 시스템 부재 외에, LIDAR 유닛(215)은 하나 또는 다수의 레이저 소스, 레이저 스캐너 및 하나 또는 다수의 검출기를 더 포함할 수 있다. 카메라(211)는 자율 주행 차량 주변 환경의 이미지를 수집하기 위한 하나 또는 다수의 기기를 포함할 수 있다. 카메라(211)는 스틸 카메라 및/또는 비디오 카메라일 수 있다. 카메라는 기계적으로 이동되는 것일 수 있고, 예컨대 카메라를 회전 및/또는 틸팅 플랫폼에 장착할 수 있다.
센서 시스템(115)은 소나 센서, 적외선 센서, 조향 센서, 스로틀 센서, 제동 센서 및 오디오 센서(예컨대, 마이크로폰)와 같은 다른 센서를 더 포함할 수 있다. 오디오 센서는 자율 주행 차량 주변의 환경에서 소리를 수집하도록 구성될 수 있다. 조향 센서는 스티어링 휠, 차량의 휠 또는 이들의 조합의 조향 각도를 감지하도록 구성될 수 있다. 스로틀 센서 및 제동 센서는 각각 차량의 스로틀 위치 및 제동 위치를 감지한다. 일부 상황에서, 스로틀 센서 및 제동 센서는 통합형 스로틀/제동 센서로 통합될 수 있다.
일 실시형태에서, 차량 제어 시스템(111)은 조향 유닛(201), 스로틀 유닛(202)(가속 유닛이라고도 함) 및 제동 유닛(203)을 포함하지만 이에 한정되지 않는다. 조향 유닛(201)은 차량의 방향 또는 전진 방향을 조정하기 위해 사용된다. 스로틀 유닛(202)은 모터 또는 엔진의 속도를 제어하기 위해 사용되고, 모터 또는 엔진의 속도는 차량의 속도 및 가속도를 제어한다. 제동 유닛(203)은 마찰을 제공하여 차량의 휠 또는 타이어를 감속시켜 차량을 감속시킨다. 도 2에 도시된 부재는 하드웨어, 소프트웨어 또는 이들의 조합으로 구현될 수 있음을 유의해야 한다.
다시 도 1을 참조하면, 무선 통신 시스템(112)은 자율 주행 차량(101)과 기기, 센서, 다른 차량과 같은 외부 시스템 사이의 통신을 허용한다. 예컨대, 무선 통신 시스템(112)은 하나 또는 다수의 기기와 직접적으로 무선 통신할 수 있거나, 또는 통신 네트워크를 통해 무선 통신할 수 있으며, 예컨대 네트워크(102)를 통해 서버(103 내지 104)와 통신할 수 있다. 무선 통신 시스템(112)은 임의의 셀룰러 통신 네트워크 또는 무선 근거리 통신망(WLAN)을 사용할 수 있으며, 예컨대 WiFi를 사용하여 다른 부재 또는 시스템과 통신할 수 있다. 무선 통신 시스템(112)은 예컨대 적외선 링크, 블루투스 등을 이용하여 기기(예컨대, 승객의 모바일 기기, 디스플레이 기기, 차량(101) 내의 스피커)와 직접적으로 통신할 수 있다. 사용자 인터페이스 시스템(113)은 차량(101) 내에서 구현되는 주변 기기의 일부분일 수 있는 바, 예컨대 키보드, 터치 스크린 디스플레이 기기, 마이크로폰 및 스피커 등을 포함할 수 있다.
자율 주행 차량(101)의 일부 또는 전부 기능은 감지 및 계획 시스템(110)에 의해 제어 또는 관리될 수 있고, 특히 자율 주행 모드에서 운행되는 경우이다. 감지 및 계획 시스템(110)은 필요한 하드웨어(예컨대, 프로세서, 메모리, 저장 기기) 및 소프트웨어(예컨대, 운영 체제, 계획 및 경로 배정 프로그램)를 포함하여, 센서 시스템(115), 제어 시스템(111), 무선 통신 시스템(112) 및/또는 사용자 인터페이스 시스템(113)으로부터 정보를 수신하고, 수신한 정보를 처리하며, 출발지에서 목적지까지 노선 또는 경로를 계획한 다음, 계획 및 제어 정보에 기반하여 차량(101)을 주행한다. 대체 가능하게, 감지 및 계획 시스템(110)은 차량 제어 시스템(111)과 통합될 수 있다.
예컨대, 승객으로서의 사용자는 사용자 인터페이스를 통해 코스의 출발 위치와 목적지를 지정할 수 있다. 감지 및 계획 시스템(110)은 코스 관련 데이터를 획득한다. 예컨대, 감지 및 계획 시스템(110)은 MPOI 서버에서 위치 및 노선 정보를 획득할 수 있고, 상기 MPOI 서버는 서버(103 내지 104)의 일부분일 수 있다. 위치 서버는 위치 서비스를 제공하고, MPOI 서버는 지도 서비스 및 일부 위치의 POI를 제공한다. 대체 가능하게, 해당 위치 및 MPOI 정보는 감지 및 계획 시스템(110)의 영구 저장 장치의 로컬에 고속 캐싱될 수 있다.
자율 주행 차량(101)이 노선을 따라 이동하는 경우, 감지 및 계획 시스템(110)은 또한 교통 정보 시스템 또는 서버(TIS)로부터 실시간 교통 정보를 획득할 수 있다. 서버(103 내지 104)는 제3자 엔티티에 의해 작동될 수 있음을 유의해야 한다. 대체 가능하게, 서버(103 내지 104)의 기능은 감지 및 계획 시스템(110)과 통합될 수 있다. 실시간 교통 정보, MPOI 정보, 위치 정보, 및 센서 시스템(115)에 의해 검출 또는 감지된 실시간 로컬 환경 데이터(예컨대, 장애물, 객체, 주변 차량)에 기반하여, 감지 및 계획 시스템(110)은 경로 또는 노선을 계획할 수 있고 계획한 노선에 따라 제어 시스템(111)을 통해 차량(101)을 주행하여, 안전하고 효율적으로 지정된 목적지에 도달할 수 있다.
서버(103)는 다양한 클라이언트를 위해 데이터 분석 서비스를 실행하는 데이터 분석 시스템일 수 있다. 일 실시형태에서, 데이터 분석 시스템(103)은 데이터 수집기(121) 및 머신 러닝 엔진(122)을 포함한다. 데이터 수집기(121)는 다양한 차량으로부터의 주행 통계 데이터(123)를 수집하고, 상기 차량은 자율 주행 차량 또는 사람이 운전하는 일반 차량이다. 주행 통계 데이터(123)는 지시된 주행 명령(예컨대, 스로틀, 제동, 조향 명령) 및 차량의 센서가 상이한 시점에서 포착한 차량의 응답(예컨대, 속도, 가속, 감속, 방향) 정보를 포함한다. 주행 통계 데이터(123)는 노선(출발 위치 및 목적지 위치를 포함함), MPOI, 도로 상태, 기상 조건과 같은 상이한 시점에서의 주행 환경을 설명하는 정보를 더 포함할 수 있다.
주행 통계 데이터(123)에 기반하여, 머신 러닝 엔진(122)은 다양한 목적을 위해 하나의 규칙, 알고리즘 세트 및/또는 예측 모델(124)을 생성하거나 트레이닝한다. 일 실시형태에서, 알고리즘(124)은 입력, 제약 및 코스트 함수를 수신하는 경로 알고리즘을 포함할 수 있으며, 경로와 관련된 편안함 및 경로에 대한 선호도를 고려하여 ADV를 위한 경로를 생성함으로써, 차선 중심선에 접근하는 것을 유지하고 완충 구역이 있는 경우 장애물을 멀리한다. 또한 알고리즘(124)의 일부분으로서 경로 계획의 코스트 함수를 생성할 수 있다. 다음, 알고리즘(124)은 자율 주행 기간에 실시간으로 사용되도록 ADV에 업로드될 수 있다.
도 3a 및 도 3b는 일 실시형태에 따른 자율 주행 차량에 사용되는 감지 및 계획 시스템의 예시적 블록도이다. 시스템(300)은 도 1의 자율 주행 차량(101)의 일부분으로 구현될 수 있고, 감지 및 계획 시스템(110), 제어 시스템(111) 및 센서 시스템(115)을 포함하지만 이에 한정되지 않는다. 도 3a 내지 도 3b를 참조하면, 감지 및 계획 시스템(110)은 포지셔닝 모듈(301), 감지 모듈(302), 예측 모듈(303), 결정 모듈(304), 계획 모듈(305), 제어 모듈(306), 경로 배정 모듈(307), 정적 장애물 맵퍼(308), 경로 플래너(309)를 포함하지만 이에 한정되지 않는다.
모듈(301 내지 309) 중의 일부 또는 전부는 소프트웨어, 하드웨어 또는 이들의 조합으로 구현될 수 있다. 예컨대, 이러한 모듈은 영구 저장 장치(352)에 장착될 수 있고 메모리(351)에 로딩될 수 있으며, 하나 또는 다수의 프로세서(미도시)에 의해 실행될 수 있다. 유의해야 할 것은, 이러한 모듈 중의 일부 또는 전부는 도 2의 차량 제어 시스템(111)의 일부 또는 전부 모듈에 통신 연결되거나 또는 이들과 통합될 수 있다. 모듈(301 내지 309) 중의 일부는 통합 모듈로 통합될 수 있다.
포지셔닝 모듈(301)은 자율 주행 차량(300)의 현재 위치(예컨대, GPS 유닛(212)을 이용함)를 결정하고, 사용자의 코스 또는 노선과 연관된 임의의 데이터를 관리한다. 포지셔닝 모듈(301)(지도 및 경로 배정 모듈이라고도 함)은 사용자의 코스 또는 노선과 연관된 임의의 데이터를 관리한다. 사용자는 예컨대 사용자 인터페이스를 통해 로그인하고 코스의 출발 위치와 목적지를 지정할 수 있다. 포지셔닝 모듈(301)은 코스 관련 데이터를 획득하기 위해 자율 주행 차량(300)의 지도 및 노선 정보(311)와 같은 다른 부재와 통신한다. 예컨대, 포지셔닝 모듈(301)은 위치 서버와 지도 및 POI(MPOI) 서버로부터 위치 및 노선 정보를 획득할 수 있다. 위치 서버는 위치 서비스를 제공하고, MPOI 서버는 지도 서비스 및 일부 위치의 POI를 제공함으로써, 지도 및 노선 정보(311)의 일부분으로 고속 캐싱될 수 있다. 자율 주행 차량(300)이 노선을 따라 이동하는 경우, 포지셔닝 모듈(301)은 또한 교통 정보 시스템 또는 서버로부터 실시간 교통 정보를 획득할 수 있다.
센서 시스템(115)에 의해 제공되는 센서 데이터 및 포지셔닝 모듈(301)에 의해 획득된 포지셔닝 정보에 기반하여, 감지 모듈(302)은 주변 환경에 대한 감지를 결정한다. 감지 정보는 일반 운전자가 현재 운전하는 차량 주변에서 감지된 물체를 나타낼 수 있다. 감지는 예컨대 객체 형태의 차선 구성, 신호등 신호, 다른 차량의 상대적 위치, 보행자, 건축물, 횡단보도 또는 다른 교통 관련 표지판(예컨대, 정지 표지판, 양보 표지판) 등을 포함할 수 있다. 차선 구성은 차선의 형상(직선 또는 곡선), 차선의 폭, 도로 중의 차선 개수, 일방 통행 또는 양방향 차선, 병합 또는 분할 차선, 출구 차선과 같은 차선 또는 각 차선을 설명하는 정보를 포함한다.
감지 모듈(302)은 컴퓨터 비전 시스템 또는 컴퓨터 비전 시스템의 기능을 포함하여, 하나 또는 다수의 카메라에 의해 수집된 이미지를 처리하고 분석함으로써, 자율 주행 차량 환경 중의 객체 및/또는 특징을 식별할 수 있다. 상기 객체는 교통 신호, 도로 경계, 다른 차량, 보행자 및/또는 장애물 등을 포함할 수 있다. 컴퓨터 비전 시스템은 객체 식별 알고리즘, 비디오 추적 및 다른 컴퓨터 비전 기술을 사용할 수 있다. 일부 실시형태에서, 컴퓨터 비전 시스템은 환경 지도를 드로잉하고, 객체를 추적하며, 객체의 속도를 추정할 수 있다. 감지 모듈(302)은 또한 레이더 및/또는 LIDAR와 같은 다른 센서가 제공하는 다른 센서 데이터에 기반하여 객체를 검출할 수 있다.
각각의 객체에 대해, 예측 모듈(303)은 객체가 환경에서 어떻게 움직일지를 예측한다. 하나의 세트의 지도/노선 정보(311) 및 교통 규칙(312)에 따라, 각 시점에서 주행 환경을 감지하여 획득한 감지 데이터에 기반하여 예측을 진행한다. 예컨대, 객체는 반대 방향의 차량이고 현재 주행 환경은 교차로를 포함하는 경우, 예측 모듈(303)은 차량이 직진 이동하는지 아니면 회전하는지를 예측한다. 감지 데이터가 교차로에 신호등이 없음을 나타내는 경우, 예측 모듈(303)은 차량이 교차로에 진입하기전에 완전히 정지해야 한다고 예측할 수 있다. 감지 데이터가 차량이 현재 좌회전 전용 차선 또는 우회전 전용 차선에 있음을 나타내는 경우, 예측 모듈(303)은 차량이 각각 좌회전 또는 우회전 할 가능성이 높음을 예측할 수 있다.
각각의 객체에 대해, 결정 모듈(304)은 객체를 어떻게 대처할 것인지를 결정한다. 예컨대, 특정 객체(예컨대, 교차로에 있는 다른 차량) 및 상기 객체를 설명하는 메타 데이터(예컨대, 속도, 방향, 조향 각도)에 대해, 결정 모듈(304)은 상기 객체와 어떻게 마주(예컨대, 추월, 양보, 정지, 패스)할 것인지를 결정한다. 결정 모듈(304)은 영구 저장 장치(352)에 저장될 수 있는 하나의 규칙(예컨대 교통 규칙 또는 주행 규칙(312)) 세트에 따라 이러한 결정을 내릴 수 있다.
경로 배정 모듈(307)은 출발지에서 목적지까지의 하나 또는 다수의 노선 또는 경로를 제공하도록 구성된다. 예컨대 사용자로부터 수신한 주어진 출발 위치에서 목적지 위치까지의 주어진 코스에 대해, 경로 배정 모듈(307)은 지도 및 노선 정보(311)를 획득하고, 출발 위치에서 목적지 위치의 모든 가능한 노선 또는 경로를 결정한다. 경로 배정 모듈(307)은 결정된 출발 위치에서 목적지 위치에 도달하는 각각의 노선을 위해 지형도 형태의 참조 라인을 생성할 수 있다. 참조 라인은 다른 차량, 장애물 또는 교통 상황으로부터의 아무런 간섭이 없는 이상적인 노선 또는 경로를 의미한다. 즉, 도로에 다른 차량, 보행자 또는 장애물이 없는 경우, ADV는 참조 라인을 정확하게 또는 가깝게 따라야 한다. 다음, 지형도를 결정 모듈(304) 및/또는 계획 모듈(305)에 제공한다. 결정 모듈(304) 및/또는 계획 모듈(305)은 포지셔닝 모듈(301)로부터의 교통 상황, 감지 모듈(302)에 의해 감지된 주행 환경 및 예측 모듈(303)에 의해 예측된 교통 상황과 같은 다른 모듈에 의해 제공되는 다른 데이터를 고려하여, 가장 바람직한 노선을 선택 및 변경하기 위해 모든 가능한 노선을 검사한다. ADV를 제어하기 위한 실제 경로 또는 노선은 경로 배정 모듈(307)에 의해 제공되는 참조 라인에 가깝거나 다를 수 있는데, 이는 해당 시점에서의 특정 주행 환경에 따라 다르다.
감지된 객체 중의 각각의 결정에 기반하여, 계획 모듈(305)은 경로 배정 모듈(307)에 의해 제공되는 참조 라인을 기초로, 자율 주행 차량을 위해 경로 또는 노선 및 주행 파라미터(예컨대, 거리, 속도 및/또는 조향 각도)를 계획한다. 즉, 주어진 객체에 대해, 결정 모듈(304)은 상기 객체에 대해 무엇을 할 것인지를 결정하고, 계획 모듈(305)은 어떻게 할 것인지를 결정한다. 예컨대, 주어진 객체에 대해 결정 모듈(304)은 상기 객체를 패스하는 것으로 결정할 수 있고, 계획 모듈(305)은 상기 객체의 왼쪽 아니면 오른쪽으로 패스할 것인지를 결정할 수 있다. 계획 및 제어 데이터는 계획 모듈(305)에 의해 생성되고, 여기서 상기 계획 모듈(305)은 차량(300)이 다음 이동 주기(예컨대, 다음 노선/경로 세그먼트)에서 어떻게 이동할 것인지를 설명하는 정보를 포함한다. 예컨대, 계획 및 제어 데이터는 차량(300)이 시간당 30마일(mph)의 속도로 10 m 이동한 후 25 mph의 속도로 오른쪽 차선으로 변경하도록 지시할 수 있다.
계획 프로세스의 일부분으로서, 경로 플래너(309)는 코스트 함수(313)에 기반하여 다수의 계획의 ADV 상태를 생성할 수 있고, 상기 다수의 계획의 ADV 상태는 영구 저장 장치(352)에 저장될 수 있다.
계획 및 제어 데이터에 기반하여, 제어 모듈(306)은 계획 및 제어 데이터가 정의한 노선 또는 경로에 따라, 차량 제어 시스템(111)에 적절한 명령 또는 신호를 송신하여 자율 주행 차량을 제어 및 주행한다. 계획 및 제어 데이터는 경로 또는 노선을 따라 상이한 시점에서 적절한 차량 설정 또는 주행 파라미터(예컨대, 스로틀, 제동, 조향 명령)를 사용하여 차량이 경로 또는 경로의 제1 지점에서 제2 지점까지 주행하기에 충분한 정보가 포함된다.
일 실시형태에서, 계획 단계는 다수의 계획 주기(주행 주기라고도 함)에서 실행되고, 예컨대 각각 100밀리초(ms)의 시간 간격에서 실행된다. 각각의 계획 주기 또는 주행 주기에 대해, 계획 및 제어 데이터에 기반하여 하나 또는 다수의 제어 명령을 송신한다. 즉, 100 ms마다 계획 모듈(305)은 다음 노선 세그먼트 또는 경로 세그먼트를 계획하며, 예컨대 타깃 위치 및 ADV가 타깃 위치에 도달하는데 걸리는 시간을 포함한다. 또는, 계획 모듈(305)은 구체적인 속도, 방향 및/또는 조향 각도 등을 더 지정할 수 있다. 일 실시형태에서, 계획 모듈(305)은 다음 기설정 시간대(예컨대, 5초) 내에 노선 세그먼트 또는 경로 세그먼트를 계획한다. 각각의 계획 주기에 대해, 계획 모듈(305)은 바로 전의 주기에서 계획한 타깃 위치에 기반하여 현재 주기의 타깃 위치(예컨대, 다음 5초)를 계획한다. 다음, 제어 모듈(306)은 현재 주기의 계획 및 제어 데이터에 기반하여 하나 또는 다수의 제어 명령(예컨대, 스로틀, 제동, 조향 제어 명령)을 생성한다.
유의해야 할 것은, 결정 모듈(304) 및 계획 모듈(305)은 통합 모듈로 통합될 수 있다. 결정 모듈(304)/계획 모듈(305)은 자율 주행 차량의 주행 경로를 결정하기 위해, 내비게이션 시스템 또는 내비게이션 시스템의 기능을 포함할 수 있다. 예컨대, 내비게이션 시스템은 자율 주행 차량이 이하 경로를 따라 이동하는 것을 구현하기 위한 일련의 속도 및 전진 방향을 결정할 수 있는 바, 상기 경로는 자율 주행 차량이 도로에 기반한 최종 목적지로 가는 도로 기반 경로를 따라 전진하는 동시에 기본적으로 감지되는 장애물을 피할 수 있다. 목적지는 사용자 인터페이스 시스템(113)을 통한 사용자의 입력에 따라 설정될 수 있다. 내비게이션 시스템은 자율 주행 차량이 작동되는 동시에 주행 경로를 동적으로 업데이트할 수 있다. 내비게이션 시스템은 자율 주행 차량을 위한 주행 경로를 결정하기 위해 GPS 시스템 및 하나 또는 다수의 지도로부터의 데이터를 병합할 수 있다.
일 실시형태에서, SL 좌표계에서 경로를 계획한다. 참조 라인(도로/차선 중심선)에 대하여 SL 좌표계를 정의할 수 있다. 종방향 거리 또는 s 거리는 참조 라인을 따른 접선 방향의 거리를 나타낸다. 상응하게, 횡방향 거리 또는 l 거리는 s 방향에 수직되는 거리를 나타낸다. SL 공간 중의 종방향 사이즈는 참조 라인을 따라 주행하는 것으로 가정되는 차량의 현재 위치에서 특정 물체의 종방향 거리를 나타낸다. SL 공간 중의 횡방향 사이즈는 종방향 사이즈로 나타내는 특정 시간 또는 위치에서 물체와 참조 라인 사이의 최단 거리를 나타낸다. SL 공간 중의 이러한 도면은 SL 그래프라고 한다. 일 실시형태에서, 횡방향 거리는 간단하게 참조 라인으로부터의 거리로 정의될 수 있다. 따라서, 데카르트 좌표계(XY 평면)로 나타내는 것 외에도, 차량 위치(포즈)는 SL 좌표계에서 참조 라인에 대한 순서쌍(종방향 포즈/위치 “s 포즈”, 횡방향 포즈/위치 “l포즈”), 또는 간단하게 (s, l)로 나타낼 수 있다.
일부 실시형태에서, 감지 및 계획 시스템(110)의 하나 또는 다수의 구성요소는 하나 또는 다수의 신경망을 포함 및/또는 사용할 수 있다. 예컨대, 계획 모듈(305)은 하나 또는 다수의 신경망을 포함 및/또는 사용하여 다양한 작업, 기능, 동작, 모션 등을 실행할 수 있다. 다른 일 실시예에서, 감지 모듈(302)은 하나 또는 다수의 신경망을 포함 및/또는 사용하여 다양한 임무, 기능, 동작, 모션 등을 실행할 수 있다. 일 실시형태에서, 감지 시스템의 하나 또는 다수의 구성요소에 포함될 수 있거나 및/또는 감지 시스템의 하나 또는 다수의 구성요소에 의해 사용되는 하나 또는 다수의 신경망은 ADV의 센서에 의해 포착 및/또는 생성되는 이미지 중의 차선(예컨대, 도로 차선)을 검출할 수 있다. 예컨대, 감지 모듈(302)에 의해 사용되는 신경망은 이미지 중의 도로의 차선을 나타낼 수 있는 라인 표시를 결정할 수 있다.
도 3a에 도시된 바와 같이, 시스템(300)은 인공 지능(AI) 가속기(360)를 포함한다. AI 가속기(360)는 인공 지능 애플리케이션에 대해 설계, 제작 및/또는 구성할 수 있는 처리 기기일 수 있다. 예컨대, AI 가속기(360)는 인공 신경망의 동작을 가속화하여, 기계 비전 및/또는 머신 러닝 동작 등을 실행할 수 있다. AI 가속기(360)의 예시로는 그래픽 처리 유닛(GPU), 전용 집적 회로, 필드 프로그래머블 게이트 어레이 등을 포함할 수 있다.
도 4a는 일 실시형태에 따른 결정 및 계획 프로세스(400)의 예시적 블록도이다. 결정 및 계획 프로세스(400)는 포지셔닝/감지 데이터(401), 경로 결정 프로세스(403), 속도 결정 프로세스(405), 경로 계획 프로세스(407), 속도 계획 프로세스(409), 집합기(411) 및 궤적 계산기(413)를 포함한다.
경로 결정 프로세스(403) 및 속도 결정 프로세스(405)는 도 3b에 도시된 결정 모듈(304)에 의해 실행될 수 있다. 도 3b를 참조하면, 결정 모듈(304)은 동적 프로그래밍을 사용하여 대략적인 경로 프로파일을 생성하여 경로 계획 프로세스(407)/속도 계획 프로세스(409)의 초기 제약으로 사용한다. 결정 모듈(304)은 경로 상태 머신을 사용할 수 있고, 상기 경로 상태 머신은 이전의 계획 결과 및 중요한 정보(예컨대 ADV가 주행 중인지 아니면 차선을 변경하는지 여부) 및 교통 규칙을 제공한다. 상태, 교통 규칙, 경로 배정 모듈(307)에 의해 제공되는 참조 라인 및 ADV에 의해 감지된 장애물에 따라, 경로 결정 프로세스(403)는 감지된 장애물을 어떻게 대처할 것인지(즉, 무시, 추월, 양보, 정지, 패스)를 결정하여 대략적인 경로 프로파일의 일부분으로 할 수 있다.
예컨대, 일 실시형태에서, 경로의 곡률 및 참조 라인 및/또는 참조점으로부터 장애물까지의 거리에 기반하여, 코스트로 구성된 코스트 함수를 통해 대략적인 경로 프로파일을 생성할 수 있다. 참조 라인에서 점을 선택하고, 이를 참조 라인의 왼쪽 또는 오른쪽으로 이동하여, 후보 경로를 대표하는 후보 운동으로 한다. 각각의 후보 운동은 관련된 코스트를 구비한다. 최적의 코스트에 대한 동적 프로그래밍을 사용하여 한 번에 한 점씩 참조 라인에서의 하나 또는 다수의 점의 후보 운동에 관련된 코스트를 순차적으로 푼다. 동적 프로그래밍(또는 동적 최적화)은 풀어야 되는 문제를 가치 함수 시퀀스로 분해하는 수학적 최적화 방법일 수 있으므로, 이러한 가치 함수 중의 하나를 풀 때마다 이들의 해(solution)를 저장한다. 다음에 동일한 가치 함수가 나타나는 경우, 다시 해를 계산하는 것이 아니라 간단하게 전에 계산한 해를 찾으면 된다.
속도 결정 프로세스(405)는 속도 상태 머신, 속도 교통 규칙 및 하나 또는 다수의 주행 거리-시간(station-time) 그래프를 사용할 수 있다. 속도 결정 프로세스(405)는 동적 프로그래밍을 사용하여 대략적인 속도 분포를 생성하여, 경로 계획 프로세스(407)/속도 계획 프로세스(409)의 초기 제약으로 사용할 수 있다. 속도 상태 머신의 상태, 속도 교통 규칙, 결정 프로세스(403)에 의해 생성된 대략적인 경로 프로파일 및 감지된 장애물에 따라, 속도 결정 프로세스(405)는 대략적인 속도 프로파일을 생성하여 ADV를 언제 가속 및/또는 감속할 것인지를 제어할 수 있다.
경로 계획 프로세스(407)는 2차 계획법을 사용하여 최적의 참조 라인을 다시 계산하기 위해 대략적인 경로 프로파일(예컨대, 주행 거리-수평 오프셋(station-lateral) 맵)을 초기 제약으로 사용할 수 있다. 2차 계획법은 경계, 선형 등식 및/또는 부등식 제약을 최소화 또는 최대화로 준수하는 타깃 함수(예컨대, 여러 변수가 있는 2차 함수)에 관한 것이다. 동적 프로그래밍과 2차 계획법 사이의 하나의 다른 점은, 2차 계획법은 참조 라인의 모든 점에 대해 한 번에 모든 후보 운동을 최적화하는 것이다. 경로 계획 프로세스(407)는 평활화 알고리즘(예컨대 B-스플라인 또는 회귀)을 출력된 주행 거리-수평 오프셋 맵에 적용할 수 있다. 참조점의 후보 운동에 사용되는 전체 코스트를 최적화하기 위해, 경로 코스트 함수를 이용하여 경로 코스트로 참조 라인을 다시 계산할 수 있으며, 예컨대 2차 계획법(QP) 최적화를 사용하여 최적화할 수 있다.
속도 계획 프로세스(409)는 대략적인 속도 분포(예컨대, 주행 거리-시간 그래프) 및 하나 또는 다수의 S-T 그래프를 사용하여 ADV의 하나 또는 다수의 속도를 결정할 수 있다. 일부 실시형태에서, S-T 그래프는 S-T 궤적을 포함할 수 있다. S-T 궤적은 아래에서 더 상세하게 토론되는 바와 같이, ADV가 상이한 시점에서 경로를 따라 이동하는 거리를 나타낸다. 따라서, (S-T 그래프의)S-T 궤적은 상이한 시점에서 차량의 속도를 지시하거나 결정하기 위해 사용될 수 있다. S-T 그래프는 하나 또는 다수의 정지 조건을 더 포함하거나 나타낼 수 있다. 예컨대, S-T 그래프는 ADV가 장애물을 피하기 위해 정지해야 하는 거리 및 시간을 더 나타낼 수 있고, 상기 장애물은 예컨대 보행자, 횡단보도, 도로 구분선(예컨대, 중심 구분선), 다른 차량 등이다. 본문에서 ST 그래프를 설명했지만, 다른 실시형태에서 다른 유형의 그래프(예컨대 SL 그래프, 데카르트 좌표계를 사용한 그래프 등)를 사용할 수 있다. 속도 계획 프로세스(409)는 또한 하나 또는 다수의 제약을 사용하여 ADV의 하나 또는 다수의 속도를 결정할 수 있다. 제약은 속도 계획 프로세스(409)가 상기 속도 세트를 결정할 때 만족해야 하는 하나 또는 다수의 조건일 수 있다. 예컨대, 제약은 후보 해가 충족해야 하는 QP 최적화 문제에 부과된 조건일 수 있다. 하나 또는 다수의 제약은 아래에서 더 상세하게 토론되는 바와 같은 속도 제약 함수를 사용하여 나타낼 수 있다.
집합기(411)는 경로 및 속도 계획 결과를 취합하는 기능을 수행한다. 예컨대, 일 실시형태에서, 집합기(411)는 2차원 S-T 그래프와 S-L 그래프를 3차원 SLT 그래프로 결합할 수 있다. 다른 일 실시형태에서, 집합기(411)는 S-L 참조 라인 또는 S-T 곡선에서의 2개의 연속점에 기반하여 보간(또는 추가적인 점을 채울 수 있음)할 수 있다. 다른 일 실시형태에서, 집합기(411)는 참조점을 (S, L) 좌표에서 (x, y) 좌표로 전이할 수 있다. 궤적 계산기(413)는 ADV를 제어하기 위해 최종 궤적을 계산할 수 있다. 예컨대, 궤적 계산기(413)는 집합기(411)에 의해 제공되는 SLT 그래프에 기반하여, ADC가 어느 시간에 특정 (x, y) 좌표를 통과해야 하는지를 나타내는 (x, y, T) 점의 리스트를 계산한다.
따라서, 다시 도 4를 참조하면, 경로 결정 프로세스(403) 및 속도 결정 프로세스(405)는 장애물 및/또는 교통 상황을 고려하여 대략적인 경로 프로파일 및 대략적인 속도 프로파일을 생성한다. 장애물에 관한 모든 경로 및 속도 결정이 주어지면, 경로 계획 프로세스(407) 및 속도 계획 프로세스(409)는 가장 작은 경로 코스트 및/또는 속도 코스트를 가진 최적의 궤적을 생성하기 위해, QP 계획을 사용하여 장애물을 고려하여 대략적인 경로 프로파일 및 대략적인 속도 프로파일을 최적화한다.
도 4b는 일 실시형태에 따른 자율 주행에 사용되는 시스템 아키텍처(450)의 블록도이다. 시스템 아키텍처(450)는 도 3a 및 도 3b에 도시된 자율 주행 시스템의 시스템 아키텍처를 나타낼 수 있다. 도 4b를 참조하면, 시스템 아키텍처(450)는 애플리케이션 층(451), 계획 및 제어(PNC) 층(452), 감지 층(453), 드라이버 층(454), 펌웨어 층(455) 및 하드웨어 층(456)을 포함하지만 이에 한정되지 않는다. 애플리케이션 층(451)은 자율 주행 차량의 사용자 또는 승객과 인터랙션하는 사용자 인터페이스 또는 구성 애플리케이션을 포함할 수 있으며, 예컨대 사용자 인터페이스 시스템(113)에 관련된 기능일 수 있다. PNC 층(452)은 적어도 계획 모듈(305) 및 제어 모듈(306)의 기능을 포함할 수 있다. 감지 층(453)은 적어도 감지 모듈(302)의 기능을 포함할 수 있다. 일 실시형태에서, 예측 모듈(303) 및/또는 결정 모듈(304)의 기능을 포함하는 부가층이 존재한다. 또는, 이러한 기능은 PNC 층(452) 및/또는 감지 층(453)에 포함될 수 있다. 시스템 아키텍처(450)는 드라이버 층(454), 펌웨어 층(455) 및 하드웨어 층(456)을 더 포함한다. 펌웨어 층(455)은 적어도 센서 시스템(115)의 기능을 나타낼 수 있고, 이는 필드 프로그래머블 게이트 어레이(FPGA)의 형태로 구현될 수 있다. 하드웨어 층(456)은 제어 시스템(111) 및/또는 센서 시스템(115)과 같은 자율 주행 차량의 하드웨어를 나타낼 수 있다. 층(451-453)은 기기 드라이버 층(454)을 통해 펌웨어 층(455) 및 하드웨어 층(456)과 통신할 수 있다.
도 5는 본 발명의 일 실시형태에 따른 센서 시스템의 예시적 블록도이다. 도 5를 참조하면, 센서 시스템(115)은 다수의 센서(510) 및 호스트 시스템(110)에 연결되는 센서 유닛(500)을 포함한다. 호스트 시스템(110)은 상술한 바와 같은 계획 및 제어 시스템을 나타내고, 이는 도 3a 및 3B에 도시된 모듈 중의 적어도 일부를 포함할 수 있다. 센서 유닛(500)은 FPGA 소자 또는 ASIC(전용 집적 회로) 소자의 형태로 구현될 수 있다. 일 실시형태에서, 센서 유닛(500)은 특히 하나 또는 다수의 센서 데이터 처리 모듈(501)(센서 처리 모듈이라고도 함), 데이터 전송 모듈(502) 및 센서 제어 모듈 또는 논리(503)를 포함한다. 모듈(501-503)은 센서 인터페이스(504)를 통해 센서(510)와 통신할 수 있고, 호스트 인터페이스(505)를 통해 호스트 시스템(110)과 통신할 수 있다. 선택 가능하게, 내부 또는 외부 버퍼(506)를 사용하여 처리할 데이터를 버퍼링할 수 있다.
일 실시형태에서, 수신 경로 또는 업스트림 방향에 대해, 센서 처리 모듈(501)은 센서 인터페이스(504)를 통해 센서로부터 센서 데이터를 수신하고, 센서 데이터(예컨대, 포맷 변환, 오류 검사)를 처리하도록 구성되며, 상기 센서 데이터는 버퍼(506)에 임시로 저장될 수 있다. 데이터 전송 모듈(502)은 호스트 인터페이스(505)와 호환되는 통신 프로토콜을 사용하여 처리된 데이터를 호스트 시스템(110)에 송신하도록 구성된다. 유사하게, 전달 경로 또는 다운스트림 방향에 대해, 데이터 전송 모듈(502)은 호스트 시스템(110)으로부터 데이터 또는 명령을 수신하도록 구성된다. 다음, 센서 처리 모듈(501)은 데이터를 상응한 센서와 호환되는 포맷으로 처리한다. 다음 처리한 데이터를 센서에 송신한다.
일 실시형태에서, 센서 제어 모듈 또는 논리(503)는 호스트 인터페이스(505)를 통해 호스트 시스템(예컨대, 감지 모듈(302))으로부터 수신된 명령에 응답하여 센서(510)의 일부 동작을 제어하도록 구성되고, 예컨대 센서 데이터를 포착을 활성화하는 타이밍이다. 호스트 시스템(110)은 센서(510)를 협력 및/또는 동기화의 방식으로 센서 데이터를 포착하도록 구성할 수 있고, 임의의 시점에서 센서 데이터를 이용하여 차량 주변의 주행 환경을 감지할 수 있도록 한다.
센서 인터페이스(504)는 이더넷, USB(Universal Serial Bus), LTE(Long Term Evolution) 또는 셀룰러, WiFi, GPS, 카메라, CAN, 직렬(예컨대, 만능 비동기 송수신기 또는 UART), SIM(가입자 식별 모듈) 카드 및 다른 범용 입력/출력(GPIO) 인터페이스 중의 하나 또는 다수를 포함할 수 있다. 호스트 인터페이스(505)는 PCIe 인터페이스와 같은 임의의 고속 또는 고대역폭 인터페이스일 수 있다. 센서(510)는 카메라, LIDAR 기기, RADAR 기기, GPS 수신기, IMU, 초음파 센서, GNSS(범지구 위성 항법 시스템) 수신기, LTE 또는 셀룰러 SIM 카드, 차량 센서(예컨대, 스로틀, 제동기, 조향 센서) 및 시스템 센서(예컨대, 온도, 습도, 압력 센서)와 같은 자율 주행 차량에서 사용되는 다양한 센서를 포함할 수 있다.
예컨대, 카메라는 이더넷 또는 GPIO 인터페이스를 통해 연결될 수 있다. GPS 센서는 USB 또는 특정 GPS 인터페이스를 통해 연결될 수 있다. 차량 센서는 CAN 인터페이스를 통해 연결될 수 있다. RADAR 센서 또는 초음파 센서는 GPIO 인터페이스를 통해 연결될 수 있다. LIDAR 기기는 이더넷 인터페이스를 통해 연결될 수 있다. 외부 SIM 모듈은 LTE 인터페이스를 통해 연결될 수 있다. 유사하게, 내부 SIM 모듈을 센서 유닛(314)의 SIM 슬롯에 삽입시킬 수 있다. 디버깅 목적으로 UART와 같은 직렬 인터페이스는 콘솔 시스템에 연결될 수 있다.
유의해야 할 것은, 센서(510)는 임의의 유형의 센서일 수 있고, 다양한 공급 업체 또는 공급자에 의해 제공될 수 있다. 센서 처리 모듈(501)은 다른 유형의 센서 및 각각의 데이터 포맷과 통신 프로토콜을 처리하도록 구성된다. 일 실시형태에 따르면, 각각의 센서(510)는, 센서 데이터를 처리하고 호스트 시스템(110)과 상응한 센서 사이에서 처리된 센서 데이터를 전송하는 특정 채널과 관련된다. 각각의 채널은 상응한 센서 데이터 및 프로토콜을 처리하도록 이미 구성되거나 프로그래밍된 특정 센서 처리 모듈 및 특정 데이터 전송 모듈을 포함한다.
일 실시형태에서, 센서 유닛(500)은 고정밀도 시간 생성 회로(517)를 포함한다. 도 6a 내지 도 6b에 도시된 바와 같이, 고정밀도 시간 생성 회로(517)는 센서 데이터가 언제 각 센서(510)에 의해 송신 또는 포착/트리거되는지 및/또는 센서 유닛(500)에 의해 수신되는지를 추적하기 위해, 각각의 센서(510)에 의해 사용되는 시간 및/또는 타임 스탬프를 생성할 수 있다.
센서 시스템(115)은 동기화 모듈(519)을 더 포함한다. 실시형태에서, 동기화 모듈(519)은 하나 또는 다수의 추적 센서와 리드 센서의 데이터 획득 시간을 동기화할 수 있다. 아래에서 더 상세하게 토론되는 바와 같이, 이는 리드 센서 및 추적 센서가 동일한 시간(예컨대, 동시에, 같은 시간 등)에 센서 데이터를 획득, 기록, 포착할 수 있도록 한다. 센서가 동일한 시간 또는 동시에 센서 데이터를 포착, 획득, 기록할 수 없는 경우, ADV는 센서(S1 및 S2)로부터의 센서 데이터를 연관 및/또는 사용하는 것이 더 어려울 수 있다. 예컨대, ADV는 하나의 센서에 의해 검출된 물체가 제2 센서에 의해 검출된 물체와 동일한지 여부를 결정하는 것이 더 어려울 수 있다. 다른 일 예시에서, 2개의 센서가 상이한 시점에서 물체를 검출하는 경우, ADV는 물체의 위치를 결정하는 것이 더 어려울 수 있다. 일부 실시형태에서, ADV의 센서를 동기화하면 ADV가 상이한 센서로부터의 상이한 센서 데이터를 연관시키거나 또는 더 쉽게 연관시킬 수 있도록 한다. 상이한 센서로부터의 센서 데이터를 연관시키면 ADV가 환경에서 더 빠르고 효율적이며 쉽게 및/또는 더 정확하게 차량, 물체, 장애물, 보행자, 차선 등을 검출할 수 있도록 한다.
도 6a을 참조하면, 고정밀도 시간 생성 회로(517)는 시간 동기화 유닛(550), GPS 센서(551) 및 로컬 타이머(553)를 포함할 수 있다. 시간 동기화 유닛(550)은 GPS 센서(551)로부터의 초당 펄스 수(PPS) 신호로부터 도출된 시간에 대해 로컬 타이머(553)를 동기화할 수 있다. PPS는 정확한 시간 측정을 위한 로컬 타이머(553)를 나노초로 정렬하는데 사용될 수 있다. GPS 센서(551)는 도 2의 센서 시스템(115)의 GPS 유닛(212)의 일부분일 수 있거나, 또는 GPS 센서(551)는 고정밀도 시간 생성 회로(517) 내에 통합된 전용 GPS 센서일 수 있다. 로컬 타이머(553)는 센서 유닛(500)을 위해 시간을 생성할 수 있다. 로컬 타이머(553)는 센서 유닛(500)으로부터의 임의의 로컬 RTC(예컨대, CPU RTC 또는 FPGA RTC) 또는 센서의 타이머, 또는 셀룰러 소스와 같은 외부 소스(예컨대4G, LTE(Long Term Evolution), 5G), WIFI 소스, FM 수신기에서 검색되는 시간일 수 있다.
도 6b를 참조하면, 시간 동기화 유닛(550)은 감시 모듈(555), 조정 모듈(557), 밀리초 생성기(603), 마이크로초 생성기(605), 나노초 생성기(607), 디멀티플렉서(609) 및 구성(611)을 포함할 수 있다. 밀리초 생성기(603), 마이크로초 생성기(605) 및 나노초 생성기(607)는 로컬 타이머(553)의 발진기에 기반하여 각각 밀리초, 마이크로초 및 나노초 진동 주기(예컨대, 3개의 상이한 입상도의 발진기 카운터)를 생성할 수 있다. 구성(611)은 밀리초 생성기(603), 마이크로초 생성기(605) 및 나노초 생성기(607)의 출력 중의 어느 하나를 선택하여 감시 모듈(555)에 전송되기 위해 신호를 선택하도록 구성될 수 있다. 감시 모듈(555)은 생성된 진동 주기를 감시하여 이러한 주기에 대해 카운트를 진행할 수 있다. 조정 모듈(557)은 카운트를 조정(또는 카운트 표시를 수정함)하여, 로컬 타이머(553)가 GPS 센서(551)로부터의 PPS 신호와 동기화될 수 있도록 한다. 일 실시형태에서, 구성(611)에 사용되는 선택 신호는 센서 유닛(500)의 사용자 또는 피드백 루프 중의 감시 모듈(555)/조정 모듈(557)에 의해 프로그래밍될 수 있다. 예컨대, 로컬 타이머(553)가 상대적으로 정확하다고 확정되면, 사용자는 밀리초 생성기를 비활성화하도록 구성할 수 있다.
사용되는 수정 발진기의 유형에 따라, 로컬 타이머(553)의 정확도 범위는 0.1 ~ 100 ppm일 수 있고, 예컨대 임의의 펄스는 0.1 ~ 100마이크로초만큼 오프셋될 수 있으며, GPS 센서(551)로부터의 초당 펄스 수(PPS) 신호의 정확도는 0.1 ppm보다 작거나 또는 초당 펄스의 편차는 0.1마이크로초보다 작다. 0.1 ppm의 GPS PPS 신호에 대해, GPS 센서(551)로부터 수신된 PPS 신호는 초당 연속 펄스가 999,999.9와 1,000,000.1마이크로초 사이에 있음을 추정할 수 있고, 전형적인 100 ppm의 로컬 타이머(553)는 초당 연속 펄스가 999,900와 1,000,100마이크로초 사이에 있음을 추정할 수 있다. 이 밖에, 로컬 타이머(553)가 사용하는 수정 발진기 IC의 환경 온도의 변화로 인해, 로컬 타이머(553)의 펄스 편차의 변화는 실시간으로 변경될 수 있다. 따라서, 목적은 실시간으로 GPS 센서(551)를 매칭하기 위해 로컬 타이머(553)를 조정 또는 동기화하는 것이다.
로컬 타이머(553)와 GPS 센서(551)를 동기화하기 위해, 일 실시형태에서, GPS 센서(551)는 GPS 펄스 신호(PPS)를 수신하며, 상기 GPS 펄스 신호는 위성이 소정 정확도(예컨대, < 0.1 ppm)로 공간에서 신호를 방송하여 송신된 RF 신호이다. 일부 실시형태에서, GPS 센서(551)는 제1 GPS 위성으로부터 PPS 신호를 수신한 다음, 제1 GPS 위성이 범위를 벗어나면, 제2 GPS 위성으로부터 PPS 신호를 수신한다. GPS 위성은 자체의 정확한 시간 측정을 사용하고 각각의 위성에는 자체의 원자 시계의 온보드 세트가 있으므로, GPS 위성으로부터의 PPS 신호는 하나 또는 다수의 참조 타이머로 볼 수 있다. 그러나, 유의해야 할 것은, 로컬 타이머(553)는 임의의 하나의 GPS PPS 신호를 매칭하기 위해 실시간으로 조정되므로, 2개 또는 다수의 상이한 GPS 위성의 GPS PPS 신호 사이의 임의의 시간 차이는 중요하지 않다고 가정되는데, 아래에서 더 설명되는 바와 같이 로컬 타이머(553)는 실시간으로 원활하게 동기화될 수 있다.
GPS PPS 신호가 수신되면, 감시 모듈(555)은 PPS 신호의 시간과 로컬 타이머(553)의 시간의 임의의 편차를 결정할 수 있고, 결정된 편차에 기반하여 제2 로컬 실시간 시계/타이머를 생성할 수 있다. 예컨대, PPS 신호에 기반하여, 날짜 및 시간 정보(협정 세계시 또는 UTC 포맷)는 처음에 GPS(National Marine Electronics Association) NMEA 데이터 정보에서 제공될 수 있으며, 몇 초까지 정확하다. 다음으로, 일 실시형태에서, 밀리초 생성기(603)는 로컬 타이머(553)를 사용하여 1밀리초에 근접한 진동 카운트(예컨대, 제1 입상도)를 생성할 수 있다. 주파수 분할기 회로를 사용하여 로컬 타이머(553)의 신호 주파수를 분할하여 1밀리초에 근접한 진동 카운트를 생성할 수 있다. 다음 감시 모듈(555)은 1초의 GPS PPS 신호 시간 간격에 대해 밀리초 생성기(603)로부터의 주기의 개수(예컨대, 999개 주기)를 검출할 수 있거나 또는 이에 대해 카운트를 진행할 수 있으며, 예컨대 로컬 타이머(553)는 GPS PPS 신호를 약 1밀리초 지연시킨다. 밀리초 생성기(603)는 GPS PPS보다 뒤쳐지기 때문에, 일 실시형태에서 조정 모듈(557)은 진동 당 1.001밀리초를 나타내도록 밀리초 생성기 출력을 조정한다. 다음 밀리초 생성기(603)는 초당 0.000, 1.001, 2.002, ……, 999.999 및 1001밀리초의 1000개의 진동 표시를 생성한다. 따라서, 밀리초 생성기(603)로부터의 999번째 주기는 999.999밀리초까지 카운트된다.
다음으로, 마이크로초 생성기(605)는 로컬 타이머(553)를 사용하여 1마이크로초에 근접한 진동 카운트를 생성할 수 있다. 제2 주파수 분할기 회로를 사용하여 로컬 타이머(553)의 신호 주파수를 분할하여 1마이크로초에 근접한 진동 카운트(예컨대, 제2 입상도)를 생성할 수 있다. 감시 모듈(555)은 1밀리초의 GPS PPS 시간 간격에 대해 마이크로초 생성기(605)로부터의 998개 주기 또는 2마이크로초 편차를 카운트할 수 있다. 아울러, 마이크로초 생성기(605)가 GPS PPS보다 뒤쳐지기 때문에, 조정 모듈(557)은 진동 당 1.002마이크로초를 나타내도록 마이크로초 생성기 출력을 조정한다. 다음, 마이크로초 생성기는 밀리초당 0.000, 1.002, 2.004, ……, 999.996, 1000.998 및 1002마이크로초의 1000개의 진동 표시를 생성한다. 따라서, 998번째 주기는 999.996마이크로초까지 카운트된다.
다음으로, 나노초 생성기(607)는 로컬 타이머(553)를 사용하여 1나노초에 근접한 진동 카운트를 생성할 수 있다. 제3 주파수 분할기 회로를 사용하여 로컬 타이머(553)의 신호 주파수를 분할하여 1나노초에 근접한 진동 카운트(예컨대, 제3 입상도)를 생성할 수 있다. 감시 모듈(555)은 1마이크로초의 GPS PPS 신호 시간 간격에 대해 나노초 생성기(607)로부터의 997개 주기를 카운트할 수 있거나 또는 3나노초 편차를 검출할 수 있다. 아울러, 조정 모듈(557)은 진동 당 1.003나노초를 나타내도록 나노초 생성기 출력을 조정한다. 다음, 나노초 생성기는 마이크로초당 0.000, 1.003, 2.006, ……, 999.991, 1000.994, 1001.997 및 1003나노초의 1000개의 진동 표시를 생성한다. 따라서, 나노초 생성기(607)로부터 시작된 977번째 주기는 999.991나노초까지 카운트된다. 이로써, 임의의 생성기 출력(예컨대, 표시)또는 이들의 조합은 실시간으로 고정밀도 시간을 생성할 수 있다. 다음 고정밀도 시간을 센서 유닛(500)의 센서에 제공할 수 있다. 상기 예시에서, 나노초 생성기를 사용하여 생성된 시간의 정확도는 최대 1나노초에 도달한다. 유의해야 할 것은, 3개의 생성기(예컨대, 3개의 입상도)를 설명하였지만, 임의의 개수의 생성기 및 입상도를 사용하여 고정밀도 시간을 생성할 수 있다.
일부 실시형태에서, 구성(611)은 디멀티플렉서(609)를 통해 생성기(603-607) 중의 임의의 하나를 선택적으로 활성화/비활성화할 수 있다. 임의의 생성기를 선택적으로 연결/차단할 수 있다. 출력된 서브셋만 필요되는 경우, 상기 선택성은 생성기가 출력한 서브셋(예컨대, 나노초 생성기만)을 선택하는데 유용하다. 다른 일 실시형태에서, 감시 모듈(555)은 상이한 입상도의 편차를 버퍼링(예컨대, 저장)하고, GPS 센서 신호가 손실되는 경우, GPS 센서 신호가 다시 회복될 때까지 제1 카운트 값, 제2 카운트 값 및 제3 카운트 값(예컨대, 각각의 진동의 값 표시)을 유지한다.
도 7은 일 실시형태에 따른 예시적 동기화 모듈(519)의 블록도이다. 상술한 바와 같이, 동기화 모듈(519)은 센서 시스템(115)일 일부분일 수 있다. 동기화 모듈(519)은 센서 인터페이스(예컨대, 도 5에 도시된 센서 인터페이스(504))를 통해 센서(710A, 720A-720Z, 740A 및 760A-760Z)에 연결될 수 있다. 센서 인터페이스는 이더넷, USB (Universal Serial Bus), LTE(Long Term Evolution) 또는 셀룰러, WiFi, GPS, 카메라, CAN, 직렬(예컨대, 만능 비동기 송수신기 또는 UART), SIM(가입자 식별 모듈) 카드 및 다른 범용 입력/출력(GPIO) 인터페이스 중의 하나 또는 다수를 포함할 수 있다. 센서(710A, 720A-720Z, 740A 및 760A-760Z)는 자율 주행 차량의 일부분일 수 있으며, 자율 주행 차량에 의해 자율 주행 차량이 위치한 환경 중의 객체(예컨대, 객체, 차량, 보행자, 운전자, 차선, 건축물, 표지판 등을 검출함)를 검출하는데 사용될 수 있다. 센서의 예시로는 카메라, LIDAR 기기/센서, RADAR 기기/센서, GPS 수신기, IMU, 초음파 기기/센서, GNSS(범지구 위성 항법 시스템) 수신기/센서, LTE 또는 셀룰러 SIM 카드, 차량 센서(예컨대, 스로틀, 제동, 조향 센서) 및 시스템 센서(예컨대, 온도, 습도, 압력 센서) 등을 포함할 수 있다.
센서(710A 및 740A)는 리드 센서일 수 있으며, 센서(720A-720Z)는 추적 센서일 수 있다. 리드 센서는 하나의 추적 센서 세트(예컨대, 하나 또는 다수의 추적 센서)와 연관될 수 있다. 리드 센서는 다른 센서(예컨대, 하나 또는 다수의 추적 센서의 집합)가 언제 센서 데이터를 기록, 포착, 취득, 획득, 감지 등을 할지를 결정하기 위한 센서일 수 있다. 예컨대, 리드 센서는 어느 한 시간에 센서 데이터를 포착 또는 획득할 수 있다. 리드 센서와 관련되는 추적 센서의 집합은 센서 데이터를 동시에 포착 또는 획득하도록 구성될 수 있다. 예컨대, 리드 센서 및 추적 센서 집합은 센서 데이터를 동시에 포착/획득할 수 있다. 추적 센서는 리드 센서와 연관(예컨대, 리드 센서와 결합될 수 있음)될 수 있다. 상술한 바와 같이, 추적 센서는 연관된 리드 센서가 센서 데이터를 포착/획득하는 시간에 기반하여 센서 데이터를 포착/획득하는 센서일 수 있다. 다른 실시형태에서, 센서 시스템(115) 중 임의의 조합 및/또는 임의의 개수의 리드 센서 및/또는 추적 센서를 사용할 수 있다. 예컨대, 센서는 상이한 집합으로 구성될 수 있고, 각각의 집합은 하나 또는 다수의 리드 센서 및 하나 또는 다수의 추적 센서를 구비할 수 있다.
각각의 센서는 하나 또는 다수의 데이터 획득 특성을 구비할 수 있다. 센서의 데이터 획득 특성은 특성, 특징, 파라미터, 속성, 기능 등일 수 있다. 이는 센서가 데이터를 포착하는데 걸리는 시간을 지시 및/또는 결정하기 위해 사용될 수 있다. 예컨대, 센서가 카메라인 경우, 카메라의 데이터 획득 특성에는 셔터 속도, 노출 설정, 조리개 설정, ISO 속도 등이 포함될 수 있다. 이러한 데이터 획득 특성은 카메라가 이미지를 촬영하거나 기록하는데 걸리는 시간을 지시 및/또는 결정(예컨대, 계산)하기 위해 사용될 수 있다. 다른 일 예시에서, 센서가 LIDAR 센서/기기인 경우, LIDAR 센서/기기의 데이터 획득 특성에는 레이저 또는 반사 거울의 회전 속도가 포함될 수 있다. 회전 속도는 LIDAR 센서/기기가 LIDAR데이터를 포착하는데 걸리는 시간을 지시 및/또는 결정(예컨대, 계산)하기 위해 사용될 수 있다.
일 실시형태에서, 센서의 데이터 획득 특성에는 센서가 명령, 메시지, 패킷 등을 수신한 후 센서가 센서 데이터를 포착/획득하기 시작하는 시간량이 포함될 수 있다. 예컨대, 카메라는 시간을 거쳐 카메라 중의 CCD(전하 결합 소자) 및 CMOS(상보성 금속 산화물 반도체) 센서를 가동할 수 있다. 다른 일 예시에서, 레이더 기기/센서는 시간을 거쳐 송신기에 전력을 공급할 수 있다. 다른 일 실시예에서, LIDAR 기기/센서는 시간을 거쳐 레이저에 전력을 공급할 수 있다. 명령, 메시지, 패킷 등을 수신한 시간과 센서 데이터를 포착하기 시작하는 시간 사이의 시간을 센서의 가동 지연이라고 할 수 있다. 다른 일 예시에서, LIDAR 기기/센서에 대해, 레이저 또는 반사 거울이 특정 위치/위치로 회전하는데 시간이 걸릴 수 있다. 가동 지연은 센서의 데이터 획득 특성의 예시일 수 있다.
일 실시형태에서, 센서의 데이터 획득 특성에는 센서가 센서 데이터를 포착/획득하는데 걸리는 시간량이 포함될 수 있다. 예컨대, 카메라가 이미지를 포착 또는 기록하는데 소정 시간이 걸릴 수 있다. 다른 일 예시에서, 레이더 센서/기기는 객체의 거리를 결정하기에 충분한 측정을 수행하는데 시간이 걸릴 수 있다. 센서는 소비한 시간량에 대해 포착, 획득, 기록, 생성 등을 진행할 수 있다. 센서 데이터는 획득 지연이라고 할 수 있다. 획득 지연은 센서의 데이터 획득 특성의 예시일 수 있다. 획득 지연은 센서의 다른 데이터 획득 특성(예컨대, 카메라의 셔터 속도, 노출 시간 등)을 기반으로 할 수 있다.
동기화 모듈(519)은 리드 센서 모듈(731A 및 751A)을 더 포함한다. 일 실시형태에서, 리드 센서 모듈은 리드 센서의 하나 또는 다수의 데이터 획득 특성을 확정할 수 있다. 예컨대, 리드 센서 모듈(731A)은 센서(710A)(예컨대 리드 센서)의 하나 또는 다수의 데이터 획득 특성을 확정할 수 있으며, 리드 센서 모듈(751A)은 센서(740A)(예컨대 리드 센서)의 하나 또는 다수의 데이터 획득 특성을 확정할 수 있다. 리드 센서 모듈은 리드 센서의 설정/파라미터를 액세스하고, 프로파일을 판독하며, 리드 센서에서 데이터 획득 특성(예컨대, 리드 센서에서 데이터 획득 특성을 조회함)을 조회하여 리드 센서의 하나 또는 다수의 특성을 확정할 수 있다.
동기화 모듈(519)은 추적 센서 모듈(733A-733Z 및 753A-753Z)을 더 포함한다. 일 실시형태에서, 추적 센서 모듈은 추적 센서의 하나 또는 다수의 데이터 획득 특성을 확정할 수 있다. 예컨대, 추적 센서 모듈(733A)은 센서(720A)(예컨대, 추적 센서)의 하나 또는 다수의 데이터 획득 특성을 확정할 수 있다. 추적 센서 모듈은 추적 센서의 설정/파라미터를 액세스하고, 프로파일을 판독하며, 추적 센서에서 데이터 획득 특성(예컨대, 추적 센서에서 데이터 획득 특성을 요청함)을 조회하여 추적 센서의 하나 또는 다수의 특성을 확정할 수 있다.
동기화 모듈(519)은 가동 모듈(732A-732Z 및 752A-752Z)을 더 포함한다. 일 실시형태에서, 가동 모듈은 센서 데이터에 대한 포착, 획득, 기록 등을 가동할 수 있다. 예컨대, 가동 모듈(732A)은 센서(720A)에 프레임, 메시지, 패킷, 명령 등을 송신하여, 센서가 센서 데이터 포착을 시작할 수 있도록 한다. 메시지, 패킷, 명령 등은 센서(720A)를 가동, 트리거, 유발하여 센서 데이터를 포착할 수 있도록 한다. 가동 모듈이 센서에 메시지, 패킷, 명령 등을 송신하는 시간(센서를 트리거 또는 유발하여 센서 데이터를 포착하도록 함)을 가동 시간이라고 할 수 있다.
일 실시형태에서, 상술한 바와 같이, 동기화 모듈(519)(예컨대, 리드 센서 모듈 또는 추적 센서 모듈)은 리드 센서(예컨대, 센서(710A))의 하나의 데이터 획득 특성 세트 및 리드 센서(예컨대, 센서(720A-720Z))와 연관되는 하나의 추적 센서 세트를 결정할 수 있다. 동기화 모듈(519)(예컨대, 가동 모듈)은 리드 센서(예컨대, 센서(710A)) 및 하나 또는 다수의 추적 센서(예컨대, 센서(720A-720Z))의 데이터 획득 특성에 기반하여 리드 센서(예컨대, 센서(710A))와 하나 또는 다수의 추적 센서(예컨대, 센서(720A-720Z))의 데이터 획득 시간을 동기화할 수 있다. 예컨대, 동기화 모듈(519)은 리드 센서가 제1 데이터 획득 시간(예컨대, 제1 시간 또는 시간대)에 센서 데이터를 획득할 수 있도록 하고, 추적 센서가 제2 데이터 획득 시간(예컨대, 제2 시간 또는 시간대)에 센서 데이터를 획득할 수 있도록 한다. 데이터 획득 시간은 그 중의 센서가 센서 데이터를 획득할 수 있는 시간 주기, 시간 프레임 등이라고도 할 수 있다. 제1 데이터 획득 시간 및 제2 데이터 획득 시간은 중첩될 수 있다. 예컨대, 동기화 모듈(519)은 리드 센서 및 하나 또는 다수의 추적 센서(리드 센서와 연관됨)가 데이터(예컨대, 센서에 사용되는 획득 지연의 시간 주기는 적어도 부분적으로 중첩될 수 있음)를 동시에 획득할 수 있도록 한다.
일 실시형태에서, 동기화 모듈(519)(예컨대, 가동 모듈)은 리드 센서 및/또는 하나 또는 다수의 추적 센서의 데이터 획득 특성에 기반하여 리드 센서 및/또는 하나 또는 다수의 추적 센서의 데이터 획득 시간을 확정할 수 있다. 예컨대, 아래에서 더 상세하게 토론되는 바와 같이, 동기화 모듈(519)은 리드 센서 및/또는 하나 또는 다수의 추적 센서의 가동 지연 및/또는 획득 지연에 기반하여 리드 센서 및/또는 하나 또는 다수의 추적 센서의 데이터 획득 시간을 확정할 수 있다. 일 실시형태에서, 센서의 데이터 획득 시간은 획득 지연을 포함할 수 있거나, 및/또는 획득 지연과 동일(예컨대, 데이터 획득 시간은 획득 지연임)할 수 있다.
일 실시형태에서, 동기화 모듈(519)(예컨대, 가동 모듈)은 리드 센서 및/또는 하나 또는 다수의 추적 센서의 센서 히스토리에 기반하여 리드 센서 및/또는 하나 또는 다수의 추적 센서의 데이터 획득 시간을 확정할 수 있다. 예컨대, 동기화 모듈(519)은 리드 센서 및/또는 하나 또는 다수의 추적 센서의 이전의 가동 지연 및 획득 지연에 대해 추적, 기록 등을 진행할 수 있다. 동기화 모듈(519)은 리드 센서 및/또는 하나 또는 다수의 추적 센서의 평균 가동 지연 및 평균 획득 지연을 결정할 수 있다. 동기화 모듈(519)은 리드 센서 및/또는 하나 또는 다수의 추적 센서에 사용되는 평균 가동 지연 및 평균 획득 지연에 기반하여 리드 센서 및/또는 하나 또는 다수의 추적 센서의 데이터 획득 시간을 확정할 수 있다.
일 실시형태에서, 동기화 모듈(519)(예컨대, 가동 모듈)은 센서의 데이터 획득 시간에 기반하여 센서의 가동 시간을 확정할 수 있다. 센서가 데이터를 포착하는 시간량 및 예상 데이터 획득 시간에 기반하여, 동기화 모듈(519)은 센서를 언제 가동 또는 트리거할지를 결정하여, 센서가 예상 데이터 획득 시간(예컨대, 예상하는 시간, 시간 프레임, 시간 주기 등 기간)에 센서 데이터를 포착/획득할 수 있도록 한다. 예컨대, 아래에서 더 상세하게 토론되는 바와 같이, 센서(센서 데이터를 포착/획득함)의 예상 데이터 획득 시간이 시간 T인 경우, 동기화 모듈(519)은 센서의 가동 시간이 T에서 센서의 가동 지연(및 획득 지연의 일부분 또는 전부를 뺀 값)을 뺀 값이어야 한다고 확정할 수 있다.
일 실시형태에서, 리드 센서는 가동 시간을 사용하도록 지원할 수 있고, 하나 또는 다수의 추적 센서는 가동 시간의 사용을 지원할 수 있다. 예컨대, 리드 센서 및 하나 또는 다수의 추적 센서를 트리거하여 특정 시간에 센서 데이터(예컨대, 특정 시간에 센서 데이터 획득을 시작하는 것을 나타냄) 획득을 시작할 수 있도록 한다. 다른 일 실시형태에서, 리드 센서는 가동 시간을 사용하는 것을 지원할 수 없으며, 하나 또는 다수의 추적 센서는 가동 시간의 사용을 지원할 수 있다. 예컨대, 센서가 센서 데이터 획득을 시작하면, 센서는 센서 데이터 포착을 위한 주파수 또는 타이밍(예컨대, 센서는 15밀리초마다 데이터를 포착할 수 있고, 상이한 시간 간격으로 데이터를 포착할 수 없을 수 있음)을 조정할 수 없게 없다. 리드 센서가 어느 한 시간에 트리거 또는 가동되지 않을 수 있으므로, 하나 또는 다수의 추적 센서는 리드 센서의 타이밍(예컨대, 획득 지연 및/또는 가동 지연)을 사용하여 센서 데이터 획득을 시작하기 위해 하나 또는 다수의 추적 센서를 트리거해야 하는 시간을 결정할 수 있다.
도 8a는 일 실시형태에 따른 2개의 센서(S1 및 S2)의 동작의 시계열적 그래프(800)이다. 센서(S1 및 S2)는 자율 주행 차량 중의 센서일 수 있다. 예컨대, 센서(S1)는 카메라일 수 있으며, 센서(S2)는 LIDAR 센서/기기일 수 있다. 센서(S2)는 리드 센서일 수 있으며, 센서(S1)는 센서(S2)와 연관(예컨대, 리드 센서와 연관됨)된 추적 센서일 수 있다. 상술한 바와 같이, 리드 센서는 하나 또는 다수의 추적 센서가 언제 센서 데이터에 대해 기록, 포착, 획득, 획득, 감지 등을 진행해야 할지를 결정하는데 사용될 수 있다. 센서(S1 및 S2)는 각각 하나 또는 다수의 데이터 획득 특성을 구비할 수 있다. 상술한 바와 같이, 센서의 데이터 획득 특성은 센서가 데이터를 포착하는데 걸리는 시간을 지시하거나 및/또는 결정하기 위해 사용되는 특성, 성능, 파라미터, 속성, 기능 등일 수 있다. 예컨대, 가동 지연 및/또는 획득 지연은 센서의 데이터 획득 특성일 수 있다.
도 8a에 도시된 바와 같이, 센서(S1 및 S2)는 5 ms에서 가동될 수 있다. 예컨대, 센서(S1 및 S2)는 5 ms에서 센서 데이터에 대해 포착, 기록, 획득 등을 진행하기 위해 메시지, 명령, 데이터 등을 수신할 수 있다. T1A는 센서(S1)의 가동 지연일 수 있으며, T2A는 센서(S2)의 가동 지연일 수 있다. 상술한 바와 같이, 가동 지연은 센서가 메시지, 명령, 데이터 등을 수신한 후 센서 데이터에 대해 포착, 기록, 획득 등을 진행하는데 걸리는 시간일 수 있다. T1A는 5 ms의 가동 지연을 나타내고, T2A는 15 ms의 가동 지연을 나타낸다. T1B는 센서(S1)의 획득 지연일 수 있으며, T2B는 센서(S2)의 획득 지연일 수 있다. 상술한 바와 같이, 획득 지연은 센서가 센서 데이터를 포착하는데 걸리는 시간량(예컨대, 카메라가 포착 및 이미징에 걸리는 시간)일 수 있다. T1B는 10 ms의 획득 지연을 나타내고, T2B는 15 ms의 획득 지연을 나타낸다.
도 8a에 도시된 바와 같이, 센서(S1 및 S2)는 센서 데이터에 대해 동시에 수집, 기록, 획득, 포착 등을 진행하지 않을 수 있다. 예컨대, 센서(S1)는 획득 지연 T1B 기간에 센서 데이터를 기록/획득하며, 상기 획득 지연 T1B은 10 ms에 시작하고 20 ms에 종료한다. 센서(S2)는 획득 지연 T2B 기간에 센서 데이터를 기록/획득하며, 상기 획득 지연 T2B는 20 ms에 시작하고 35 ms에 종료한다. 센서(S1 및 S2)는 상이한 시점에서 센서 데이터를 포착/획득하기 때문에, 상이한 시간에 환경 중의 객체를 검출할 수 있다. 예컨대, 센서(S1)는 획득 지연 T1B 기간에 다른 차량을 검출할 수 있으며, 센서(S2)는 획득 지연 T2B 기간에 동일한 차량을 검출할 수 있다. 그러나, 센서(S1 및 S2)가 차량을 검출하는 시간, 시간 주기, 시간 프레임 등이 중첩(예컨대, 센서(S1 및 S2)는 센서 데이터를 동시에 획득/포착하지 않음)되지 않기 때문에, ADV는 센서(S1 및 S2)로부터의 센서 데이터를 연관 및/또는 사용하는 것이 더 어려울 수 있다. 예컨대, 센서(S1)는 획득 지연 T1B 기간에 차량의 이미지를 포착할 수 있다. 센서(S2)는 레이저를 사용하여 획득 지연 T2B 기간에 차량의 거리 및/또는 형상을 검출할 수 있다. 그러나, 센서(S1)가 먼저 차량의 이미지를 포착하고, 다음 센서(S2)가 차량의 거리를 검출하기 때문에, 센서(S2)가 차량의 거리를 검출하는 경우, 차량은 동일한 위치(예컨대, ADV와 동일한 거리 위치에 있지 않을 수 있음)에 있지 않을 수 있다. 따라서, ADV는 센서(S1 및 S2)로부터 수신된 센서 데이터와 연관시키는 것이 더 어려울 수 있다. 예컨대, ADV는 센서(S1)로부터의 이미지에서 포착된 차량과 센서(S2)가 검출한 차량이 동일하다고 확정하는 것이 더 어려울(또는 불가능함) 수 있다.
도 8b는 일 실시형태에 따른 2개의 센서(S1 및 S2)의 동작의 시계열적 그래프(800)이다. 센서(S1 및 S2)는 자율 주행 차량 중의 센서일 수 있다. 센서(S2)는 리드 센서일 수 있으며, 센서(S1)는 센서(S2)와 연관(예컨대, 리드 센서와 연관됨)된 추적 센서일 수 있다. 상술한 바와 같이, 리드 센서는 하나 또는 다수의 추적 센서가 언제 센서 데이터에 대해 기록, 포착, 취득, 획득, 감지 등을 진행할지를 결정하기 위해 사용되는 센서일 수 있다. 센서(S1 및 S2)는 각각 하나 또는 다수의 데이터 획득 특성을 구비할 수 있다. 상술한 바와 같이, 센서의 데이터 획득 특성은 센서가 데이터를 포착하는데 걸리는 시간을 지시 및/또는 결정하기 위해 사용될 수 있는 특성, 성질, 파라미터, 속성, 기능 등일 수 있다.
일 실시형태에서, ADV는 센서(S1 및 S2)의 데이터 획득 특성에 기반하여 센서(S1 및 S2)의 가동 시간을 확정할 수 있다. 예컨대, 센서(S1)는 5 ms의 가동 지연 및 10 ms의 획득 지연을 구비할 수 있다. 센서(S2)는 15 ms의 가동 지연 및 15 ms의 획득 지연을 구비할 수 있다. ADV는 센서(S1 및 S2)의 데이터 획득 시간을 확정하여, 센서(S1 및 S2)의 데이터 획득 시간이 적어도 부분적으로 중첩될 수 있도록 하거나, 또는 센서(S1 및 S2)가 센서 데이터에 대해 동시에(예컨대, 센서(S1)의 데이터 획득 시간과 센서(S2)의 데이터 획득 시간 사이에 적어도 일부가 중첩됨) 포착, 기록, 획득 등을 진행할 수 있도록 한다.
도 8b에 도시된 바와 같이, ADV(예컨대, 도 5 및 도 7에 도시된 동기화 모듈(519))는 센서(S1 및 S2)의 가동 시간을 확정할 수 있다. 상술한 바와 같이, 센서(S1 및 S2)의 가동 시간은 센서(S1 및 S2)가 센서 데이터에 대한 기록, 포착, 수집 등을 가동할 수 있는 시간일 수 있다. 센서(S1)의 가동 시간은 15 ms일 수 있으며, 센서(S2)의 가동 시간은 5 ms일 수 있다. 센서(S1)의 가동 지연은 5 ms이고, 센서(S2)의 가동 지연은 15 ms이므로, 센서(S2)는 비교적 빠르게 가동될 수 있다. 이는 센서(S1 및 S2)가 센서 데이터에 대해 동시에 포착, 기록 등을 시작할 수 있도록 한다. 예컨대, 센서(S1 및 S2)는 20 ms의 시간에 센서 데이터에 대해 포착, 기록 등을 시작할 수 있다. 따라서, 센서(S1 및 S2)는 센서 데이터에 대해 동시에 기록, 포착 등을 진행할 수 있다.
다른 실시형태에서, 센서의 데이터 획득 시간 사이에 적어도 일부가 중첩(예컨대, 센서의 획득 지연의 시간 주기 사이에 일부가 중첩됨)된다면, 가동 시간 및/또는 데이터 획득 시간은 오프셋될 수 있다. 예컨대, 센서(S1)의 가동 시간은 20 ms일 수 있으며, 획득 지연 T1B은 25 ms와 35 ms 사이일 수 있다. 이는 센서(S1 및 S2)가 동시에 포착, 기록, 획득 등을 완료할 수 있도록 한다.
상술한 바와 같이, 센서가 센서 데이터에 대해 동시에 포착, 기록, 획득 등을 진행하지 않는 경우, ADV는 상이한 센서로부터의 센서 데이터를 연관시키는 것이 어려울 수 있다. 도 8b에 도시된 바와 같이, ADV는 센서(S1 및 S2)를 동기화(예컨대, 센서(S1 및 S2)의 동작을 동기화함)하여, 센서(S1 및 S2)가 데이터에 대해 포착, 기록, 획득 등을 진행하는 시간대에 적어도 일부가 중첩될 수 있도록 한다. 센서(S1 및 S2)가 센서 데이터를 획득하는 시간, 시간 주기, 시간 프레임 등은 중첩되므로, 이는 ADV가 센서(S1 및 S2)로부터의 센서 데이터를 연관시키는 것이 더 쉬울 수 있다. 예컨대, 센서(S1)는 카메라일 수 있으며, 획득 지연 T1B 기간에 차량의 이미지를 포착할 수 있다. 센서(S2)는 LIDAR 기기/센서일 수 있으며, 획득 지연 T2B 기간에 레이저를 사용하여 차량의 거리 및/또는 형상을 검출할 수 있다. 센서(S1)가 먼저 차량의 이미지를 포착하고 센서(S2)가 동시에 차량까지의 거리를 검출할 수 있기 때문에, ADV는 센서(S2)(레이저를 사용함)에 의해 검출된 차량과 센서(S1)에 의해 생성된 이미지 중의 차량이 동일하다고 확정할 수 있다.
일부 실시형태에서, 상이한 센서로부터의 센서 데이터를 연관시키는 것은 ADV가 환경에서 차량, 물체, 장애물, 보행자, 차선 등을 더 쉽게 및/또는 더 정확하게 검출할 수 있도록 한다. 예컨대, 카메라 및 LIDAR 기기/센서가 동시에 차량을 검출한다면, ADV는 센서 데이터를 더 쉽게 연관시킬 수 있고, 환경에서 객체가 존재하는 것을 더 확신할 수 있다. 다른 일 예시에서, ADV가 다수의 센서로부터의 센서 데이터를 더 쉽게 연관시킬 수 있다면, ADV는 환경 중의 객체의 위치, 속도 및/또는 주행 방향을 더 쉽게 결정할 수 있다.
도 9는 일 실시형태에 따른 자율 주행 차량의 센서의 동기화를 위한 예시적 프로세스(900)의 흐름도이다. 프로세스(900)는 소프트웨어, 하드웨어 또는 이들의 조합을 포함할 수 있는 처리 논리에 의해 실행될 수 있다. 프로세스(900)는 하드웨어(예컨대, 회로, 전용 논리, 프로그래머블 논리, 프로세서, 처리 기기, 중앙 처리 유닛(CPU), 시스템 온 칩(SoC) 등), 소프트웨어(예컨대, 처리 기기에서 작동, 실행되는 명령), 펌웨어(예컨대, 마이크로코드)또는 이들의 조합을 포함할 수 있는 처리 논리에 의해 실행될 수 있다. 일부 실시형태에서, 프로세스(900)는 처리 기기, 동기화 모듈(예컨대, 도 5 및 도 7에 도시된 동기화 모듈(519)), 동기화 모듈의 일부분(예컨대, 도 7에 도시된 리드 센서 모듈, 가동 모듈 및/또는 추적 센서 모듈) 등에 의해 실행될 수 있다.
블록(905)에서, 프로세스(900)는 리드 센서의 하나 또는 다수의 데이터 획득 특성을 확정할 수 있다. 예컨대, 프로세스(900)는 리드 센서를 조회할 수 있거나 또는 프로파일을 액세스할 수 있다. 블록(910)에서, 프로세스(900)는 하나 또는 다수의 추적 센서의 하나 또는 다수의 데이터 획득 특성을 확정할 수 있다. 예컨대, 프로세스(900)는 하나 또는 다수의 추적 센서를 조회할 수 있거나 또는 하나 또는 다수의 프로파일을 액세스할 수 있다.
블록(915)에서, 프로세스(900)는 리드 센서의 데이터 획득 시간과 하나 또는 다수의 추적 센서의 데이터 획득 시간을 동기화할 수 있다. 예컨대, 블록(916)에서, 프로세스(900)는 리드 센서 및 하나 또는 다수의 추적 센서의 데이터 획득 시간(예컨대, 센서가 센서 데이터에 대해 동시에 획득, 수집, 기록, 취합 등을 진행해야 하는 경우)을 결정할 수 있다. 리드 센서 및 하나 또는 다수의 추적 센서의 데이터 획득 시간은 리드 센서 및 하나 또는 다수의 추적 센서의 데이터 획득 특성(예컨대, 가동 지연, 획득 지연에 기반하는 등)에 기반하여 결정할 수 있다. 블록(917)에서, 프로세스(900)는 리드 센서 및/또는 하나 또는 다수의 추적 센서의 가동 시간을 확정할 수 있다. 예컨대, 리드 센서가 사용자의 가동 시간을 지원할 수 있다면, 프로세스(900)는 리드 센서 및 하나 또는 다수의 추적 센서의 가동 시간을 확정할 수 있다. 다른 일 예시에서, 리드 센서가 사용자의 가동 시간을 지원할 수 없다면, 프로세스(900)는 하나 또는 다수의 추적 센서의 가동 시간을 확정할 수 있다. 블록(918)에서, 프로세스(900)는 가동 시간에 센서(예컨대, 리드 센서 및/또는 하나 또는 다수의 추적 센서)를 가동할 수 있다. 따라서, 리드 센서 및/또는 하나 또는 다수의 추적 센서가 센서 데이터에 대해 수집, 기록, 획득, 취합 등을 진행할 수 있도록 한다.
블록(920)에서, 프로세스(900)는 센서 데이터에 기반하여 ADV의 경로를 결정할 수 있다. 예컨대, 도로에서 ADV의 센서에 의해 검출된 장애물을 피하는 경로를 결정할 수 잇다. 블록(925)에서, 프로세스(900)는 경로에 기반하여 ADV를 제어할 수 있다. 예컨대, 프로세스(900)는 ADV가 경로를 따라 주행할 수 있도록 한다.
도 10a는 일 실시형태에 따른 예시적 센서 검증 시스템(1000)의 블록도이다. 검증 시스템(1000)은 센서 시스템(115) 및 검증 기기(1020)를 포함한다. 센서 시스템(115)은 센서(510), 검증 모듈(1010) 및 센서 유닛(500)을 포함한다. 상술한 바와 같이, 센서 시스템(115)은 호스트 시스템(도 10a에 미도시)을 더 포함할 수 있다. 센서(510)는 카메라, LIDAR 기기, RADAR 기기, GPS 수신기, IMU, 초음파 센서, GNSS(범지구 위성 항법 시스템) 수신기, LTE또는 셀룰러 SIM 카드, 차량 센서(예컨대, 스로틀, 제동, 조향 센서) 및 시스템 센서(예컨대, 온도, 습도, 압력 센서)와 같은 자율 주행 차량에서 사용되는 다양한 센서를 포함할 수 있다. 도 10a에서 하나의 센서(510)가 도시되어 있지만, 다른 실시형태에서 센서 시스템(115)은 다수의 센서를 포함할 수 있다.
일 실시형태에서, 센서(510)는 능동 센서일 수 있다. 능동 센서는 파에 대해 발사, 송신, 전달, 생성 등을 진행할 수 있는 센서일 수 있다. 예컨대, 능동 센서는 전자파(예컨대, 무선파, 광파, 적외선파 등)를 송신 또는 발사할 수 있고, 전자파의 반사를 검출하여 자율 주행 차량 주변의 환경 중의 객체를 검출할 수 있다. 다른 일 예시에서, 능동 센서는 음파를 송신 또는 발사할 수 있고, 음파의 반사를 감지하여 자율 주행 차량 주변의 환경 중의 객체를 검출할 수 있다. 능동 센서의 예시로는 레이더 센서/기기, LIDAR 센서/기기, 초음파 센서/기기 등을 포함할 수 있다. 다른 일 실시형태에서, 센서(510)는 수동 센서일 수 있다. 수동 센서는 파를 발사, 송신, 전달, 생성하지 않는 센서일 수 있다. 예컨대, 수동 센서는 전자파 또는 음파를 감지하여 자율 주행 차량 주변의 환경 중의 객체를 검출할 수 있다. 수동 센서의 예시로는 마이크로폰, 카메라, 비디오 카메라 등을 포함할 수 있다.
센서 유닛(500)은 FPGA 소자 또는 ASIC 소자의 형태로 구현될 수 있다. 상술한 바와 같이, 센서 유닛(500)은 센서 인터페이스를 통해 센서(510)와 통신할 수 있고, 호스트 인터페이스를 통해 호스트 시스템과 통신할 수 있다. 센서 인터페이스는 이더넷, USB, LTE또는 셀룰러, WiFi, GPS, 카메라, CAN, 직렬, SIM 카드 및/또는 다른 GPIO 인터페이스 중의 하나 또는 다수를 포함할 수 있다. 호스트 인터페이스(505)는 PCIe 인터페이스와 같은 임의의 고속 또는 고대역폭 인터페이스일 수 있다. 센서 유닛(500)은 센서 인터페이스를 통해 센서(510)로부터 센서 데이터를 수신하고 센서 데이터(예컨대, 포맷 변환, 오류 검사)를 처리할 수 있다. 센서 유닛(500)은 호스트 인터페이스와 호환되는 통신 프로토콜을 사용하여 처리된 데이터를 호스트 시스템에 전송할 수 있다. 유사하게, 송신 경로 또는 다운스트림 방향에 대해, 센서 유닛(500)은 호스트 시스템으로부터 데이터 또는 명령을 수신할 수 있다. 다음, 센서 유닛(500)은 데이터를 센서(510)와 호환되는 포맷으로 처리한다. 다음 처리된 데이터를 센서(510)에 송신한다.
일 실시형태에서, 센서 제어 모듈 또는 논리(503)는 호스트 인터페이스(505)를 통해 호스트 시스템(예컨대, 감지 모듈(302))으로부터 수신된 명령에 응답하여 제어 센서(510)의 일부 동작을 제어하도록 구성되고, 예컨대 센서 데이터 포착을 활성화하는 타이밍이다. 호스트 시스템(110)은 센서(510)를 협력 및/또는 동기화의 방식으로 센서 데이터를 포착하도록 구성하여, 센서 데이터가 임의의 시점에서 차량 주변의 주행 환경을 감지할 수 있도록 한다. 유의해야 할 것은, 센서(510)는 임의의 유형의 센서일 수 있고, 다양한 공급 업체 또는 공급자에 의해 제공될 수 있다. 센서 유닛(500)은 상이한 유형의 센서 및 이들의 각각의 데이터 포맷 변환 및 통신 프로토콜을 처리하도록 구성된다.
일 실시형태에서, 센서 유닛(500)은 시간 생성 회로(도 10a에 미도시)를 더 포함한다. 시간 생성 회로는 검증 시스템(1000)의 구성요소에 사용되는, 시간을 지시하거나 및/또는 시간(예컨대, 글로벌 시간, 참조 시간 등)을 결정하기 위해 사용될 수 있는 신호를 생성할 수 있다. 예컨대, 시간 생성 회로는 현재 시간을 연속적으로 출력할 수 있는 시계 또는 현재 시간을 나타낼 수 있는 타이밍 신호일 수 있다. 센서(510) 및 검증 모듈은 타이밍 신호를 사용하여 타임 스탬프를 결정하거나 및/또는 언제 동작, 모션 등을 실행할지를 결정할 수 있다. 일 실시형태에서, 시간 생성 회로는 검증 모듈(1010)의 일부분일 수 있다. 다른 일 예시에서, 상술한 바와 같이, 시간 생성 회로는 센서 유닛(500)의 일부분일 수 있다. 다른 일 실시형태에서, 시간 생성 회로는 검증 모듈(1010) 및 센서 유닛(500)과 분리될 수 있다.
검증 시스템(1000)은 검증 기기(1020)를 포함한다. 일 실시형태에서, 검증 기기(1020)는 검출기일 수 있다. 검출기는 센서(510)에 의해 생성, 발사, 송신된 파를 검출할 수 있는 기기일 수 있다. 예컨대, 센서(510)는 LIDAR 기기(예컨대, 능동 센서)일 수 있으며, 검증 기기(1020)는 LIDAR 기기에 의해 발사되는 광파를 검출할 수 있는 광검출기(예컨대, 레이저)일 수 있다. 다른 일 예시에서, 센서(510)는 레이더 기기(예컨대, 능동 센서)일 수 있으며, 검증 기기(1020)는 레이더 기기가 발사한 무선파를 검출하는 안테나일 수 있다. 다른 일 예시에서, 센서(510)는 초음파 기기(예컨대, 능동 센서)일 수 있으며, 검증 기기(1020)는 초음파 기기가 발사한 음파를 검출하는 마이크로폰일 수 있다.
센서 시스템(115)은 검증 모듈(1010)을 더 포함한다. 실시형태에서, 검증 모듈(1010)은 센서(510)의 동작을 검증할 수 있다. 예컨대, 검증 모듈(1010)은 센서(510)가 센서 데이터의 포착(예컨대, 가동 지연이 허용 가능한 시간/범위 내에 있는지 여부)을 충분히 빠르게 가동할 수 있는지 여부를 결정할 수 있다. 다른 일 예시에서, 검증 모듈(1010)은 센서(510)가 센서 데이터(예컨대, 획득 지연이 허용 가능한 시간/범위 내에 있는지 여부)를 충분히 빠르게 포착할 수 있는지 여부를 결정할 수 있다. 다른 일 예시에서, 검증 모듈(1010)은 센서(510)가 센서 데이터를 다른 기기(예컨대, 호스트 시스템에 송신함)에 충분히 빠르게 송신할 수 있는지 여부를 결정할 수 있다. 또 다른 일 예시에서, 검증 모듈(1010)은 센서(510)에 의해 획득된 센서 데이터에 기반하여 센서(510)가 객체를 검출할 수 있는지 여부를 결정할 수 있다.
상술한 바와 같이, 센서가 센서 데이터를 동시에 또는 동일한 시간에 포착, 획득, 기록(예컨대, 센서가 동기화되지 않은 경우)하지 않는다면, ADV는 다수의 센서로부터의 센서 데이터를 연관 및/또는 사용하는 것이 더 어려울 수 있다. 예컨대, ADV는 하나의 센서에 의해 검출된 객체와 제2 센서에 의해 검출된 객체가 동일한지 여부를 결정하는 것이 더 어려울 수 있거나, 또는 2개의 센서가 상이한 시점에서 객체를 검출한다면, ADV는 객체의 위치를 결정하는 것이 더 어려울 수 있다. ADV의 센서를 동기화하면 ADV가 상이한 센서로부터의 상이한 센서 데이터를 연관시키거나 또는 더 쉽게 연관시킬 수 있도록 한다. 상이한 센서로부터의 센서 데이터를 연관시키면 ADV가 환경에서 더 빠르고 효과적이며 쉽게 및/또는 더 정확하게 차량, 물체, 장애물, 보행자, 차선 등을 검출할 수 있도록 한다. 예컨대, ADV는 센서 데이터를 더 쉽게 연관시킬 수 있고, 환경에서 객체가 존재한다는 것을 더 확신할 수 있다. 다른 일 예시에서, ADV가 다수의 센서로부터의 센서 데이터를 더 쉽게 연관시킬 수 있다면, ADV는 환경 중의 객체의 위치, 속도 및/또는 주행 방향을 더 쉽게 결정할 수 있다.
검증 센서(510)의 동작은 센서 시스템(115)(예컨대, 도 5 및 도 7에 도시된 동기화 모듈(519))이 센서(510)와 자율 주행 차량 중의 다른 센서가 정확하게 동기화될 수 있도록 한다. 예컨대, 센서가 정확하게 작동(예컨대, 오랜 시간을 거쳐 센서 데이터를 획득하거나, 오랜 시간을 거쳐 가동하는 등)하지 않았다면, 센서 시스템(115)은 센서(510)를 다른 센서가 정확하게 동기화하지 못할 수 있다. 검증 모듈(1010)은 센서 시스템(115)이 센서(510)가 정확하게 작동 중인지를 검증할 수 있도록 하고, 이는 센서와 자율 주행 차량 중의 다른 센서가 정확하게 동기화할 수 있도록 한다. 센서(510)가 정확하게 작동하지 않았다면, 검증 모듈(1010)은 센서(510)에 정확하게 작동하지 않았다는 지시(예컨대, 발송 오류 메시지, 디스플레이 오류 메시지 등)를 제공할 수 있다. 이는 사용자(예컨대, 운전자/승객, 정비사, 기술자 등)가 센서(510)의 작동이 정확하지 않은 때를 알고 센서(510)를 교체할 수 있도록 한다.
도 10b는 일 실시형태에 따른 예시적 센서 검증 시스템(1050)의 블록도이다. 검증 시스템(1050)은 센서(510), 검증 모듈(1010) 및 검증 기기(1020)를 포함한다. 센서(510)는 자율 주행 차량에서 사용되는 다양한 센서(예컨대, LIDAR 기기, 레이더 기기, 초음파 센서, 카메라, 비디오 카메라, GPS 수신기 등)를 포함할 수 있다. 도 10b에서 하나의 센서(510)가 도시되어 있지만, 다른 실시형태에서 검증 시스템(1050)은 다수의 센서를 포함할 수 있다.
일 실시형태에서, 센서(510)는 능동 센서(예컨대, LIDAR 센서, 기기, 레이더 센서/기기, IR 센서/기기, 초음파 센서/기기)일 수 있다. 능동 센서는 파(예컨대, 무선파, 광파, 적외선파, 음파 등)를 발사, 송신, 전달, 생성할 수 있는 센서일 수 있고, 파의 반사를 검출하여 자율 주행 차량 주변의 환경 중의 객체를 검출할 수 있다. 다른 일 실시형태에서, 센서(510)는 수동 센서일 수 있다. 수동 센서는 파를 발사, 송신, 전달, 생성하지 않는 센서(예컨대, 카메라, 비디오 카메라, GPS 수신기, 마이크로폰 등)일 수 있다. 센서(510)는 센서 인터페이스를 통해 검증 모듈(1010)에 연결될 수 있다. 상술한 바와 같이, 센서 인터페이스는 이더넷, USB, LTE또는 셀룰러, WiFi, GPS, 카메라, CAN, 직렬, SIM 카드, PCIe 인터페이스 및/또는 다른 GPIO 인터페이스 중의 하나 또는 다수를 포함할 수 있다. 검증 모듈(1010)은 센서 인터페이스를 통해 센서(510)로부터 센서 데이터를 수신할 수 있고 센서 데이터(예컨대, 포맷 변환, 오류 검사)를 처리할 수 있다. 일 실시형태에서, 검증 모듈(1010)은 센서(510)의 일부 동작을 제어하도록 구성되고, 예컨대 센서 데이터 포착을 활성화하는 타이밍이다. 이는 검증 모듈(1010)이 센서(510)의 동작을 검증할 수 있도록 한다.
일 실시형태에서, 센서 유닛(500)은 시간 생성 회로(도 10a에 미도시)를 더 포함한다. 시간 생성 회로는 검증 시스템(1000)의 구성요소에 사용되는, 시간을 지시하거나 및/또는 시간(예컨대, 글로벌 시간, 참조 시간 등)을 결정하기 위해 사용될 수 있는 신호를 생성할 수 있다. 예컨대, 시간 생성 회로는 현재 시간을 연속적으로 출력할 수 있는 시계 또는 현재 시간을 나타낼 수 있는 타이밍 신호일 수 있다. 센서(510), 검증 기기(1010) 및 검증 모듈(1020)은 타이밍 신호를 사용하여 타임 스탬프를 결정하나 및/또는 언제 동작, 모션 등을 실행할지를 결정할 수 있다. 일 실시형태에서, 시간 생성 회로는 검증 모듈(1010)의 일부분일 수 있다. 다른 일 예시에서, 상술한 바와 같이, 시간 생성 회로는 센서 유닛(500)의 일부분일 수 있다. 다른 일 실시형태에서, 시간 생성 회로는 검증 모듈(1010) 및 센서 유닛(500)과 분리될 수 있다.
검증 시스템(1000)은 검증 기기(1010)를 포함한다. 일 실시형태에서, 검증 기기(1020)는 검출기일 수 있다. 검출기는 센서(510)에 의해 생성, 발사, 송신하는 파를 검출할 수 있는 기기일 수 있다. 예컨대, 센서(510)는 LIDAR 기기(예컨대, 능동 센서)일 수 있고, 검증 기기(1020)는 LIDAR 기기에 의해 발사된 광파를 검출할 수 있는 광검출기(예컨대, 레이저)일 수 있다. 다른 일 실시예에서, 센서(510)는 레이더 기기(예컨대, 능동 센서)일 수 있고, 검증 기기(1020)는 레이더 기기가 발사한 무선파를 검출하는 안테나일 수 있다. 다른 일 예시에서, 센서(510)는 초음파 기기(예컨대, 능동 센서)일 수 있으며, 검증 기기(1020)는 초음파 기기가 발사한 음파를 검출하는 마이크로폰일 수 있다.
센서 시스템(115)은 검증 모듈(1010)을 더 포함한다. 실시형태에서, 검증 모듈(1010)은 센서(510)의 동작을 검증할 수 있다. 예컨대, 검증 모듈(1010)은 센서(510)가 센서 데이터의 포착(예컨대, 가동 지연이 허용 가능한 시간/범위 내에 있는지 여부)을 충분히 빠르게 가동할 수 있는지 여부를 결정할 수 있다. 다른 일 실시예에서, 검증 모듈(1010)은 센서(510)가 센서 데이터(예컨대, 획득 지연이 허용 가능한 시간/범위 내에 있는지 여부)를 충분히 빠르게 포착할 수 있는지 여부를 결정할 수 있다. 다른 일 예시에서, 검증 모듈(1010)은 센서(510)가 센서 데이터를 다른 기기(예컨대, 호스트 시스템에 송신함)에 충분히 빠르게 송신할 수 있는지 여부를 결정할 수 있다. 또 다른 일 예시에서, 검증 모듈(1010)은 센서(510)에 의해 획득된 센서 데이터에 기반하여 센서(510)가 객체를 검출할 수 있는지 여부를 결정할 수 있다.
상술한 바와 같이, 센서가 센서 데이터를 동시에 또는 동일한 시간에 포착, 획득, 기록하지 않는다면, ADV는 다수의 센서로부터의 센서 데이터를 연관 및/또는 사용하는 것이 더 어려울 수 있다. ADV의 센서를 동기화하면 ADV가 상이한 센서로부터의 상이한 센서 데이터를 연관시키거나 또는 더 쉽게 연관시킬 수 있도록 한다. 상이한 센서로부터의 센서 데이터를 연관시키면 ADV가 환경에서 더 빠르고 효과적이며 쉽게 및/또는 더 정확하게 차량, 물체, 장애물, 보행자, 차선 등을 검출할 수 있도록 한다. 검증 센서(510)의 동작은 사용자(예컨대, 기술자, 정비사 등)로 하여금 센서(510)가 자율 주행 차량 중의 다른 센서와 정확하게 동기화하는지 여부를 결정할 수 있도록 한다. 검증 모듈(1010)은 센서 시스템(115)이 센서(510)가 정확하게 작동 중인지를 검증할 수 있도록 하고, 이는 센서(510)가 자율 주행 차량 중의 다른 센서와 정확하게 동기화할 수 있도록 한다. 센서(510)가 정확하게 작동하지 않았다면, 검증 모듈(1010)은 센서(510)에 정확하게 작동하지 않았다는 지시(예컨대, 송신 오류 메시지, 디스플레이 오류 메시지 등)를 제공할 수 있고, 이는 사용자가 센서(510)의 작동이 정확하지 않을 때를 알고 센서(510)를 교체할 수 있도록 한다.
도 11은 일 실시형태에 따른 예시적 검증 시스템(1100)의 블록도이다. 검증 시스템(1100)은 센서(510), 검증 모듈(1010) 및 검출기(1150)를 포함한다. 센서(510)는 LIDAR 기기, 레이더 기기, 초음파 기기, 적외선 기기/센서(예컨대, 적외선파를 발사하는 기기), 자외선 기기/센서(예컨대, 자외선을 발사하는 기기)와 같은 능동 센서일 수 있다. 상술한 바와 같이, 능동 센서는 파(예컨대, 무선파, 광파, 전자파, 음파 등)에 대해 발사, 전송, 생성 등을 진행하는 기기일 수 있다. 검증 모듈(1010)은 가동 모듈(1110), 검출 모듈(1120), 작동 모듈(1130) 및 타이밍 모듈(1140)을 포함한다.
일 실시형태에서, 가동 모듈(1110)(예컨대, 검증 모듈)은 센서(510)가 센서 데이터를 획득하거나 및/또는 센서 데이터(예컨대, 동작, 프로세스, 기능, 모션 등을 가동하여 센서 데이터를 획득함) 획득을 시작할 수 있도록 한다. 예컨대, 가동 모듈(1110)은 센서 데이터에 대한 포착, 획득, 기록 등을 가동할 수 있다. 일 실시형태에서, 가동 모듈(1110)은 센서(510)가 센서 데이터 포착을 시작하도록 센서(510)에 프레임, 메시지, 패킷, 명령 등을 송신할 수 있다. 메시지, 패킷, 명령 등은 센서(510)를 가동, 트리거, 유발하여 센서 데이터를 포착할 수 있도록 한다. 다른 일 실시형태에서, 가동 모듈(1110)은 센서(510)에 신호(예컨대, 와이어의 하나 또는 다수의 전압)를 송신하여, 센서(510)가 센서 데이터 포착을 시작할 수 있도록 한다. 아래에서 더 상세하게 토론되는 바와 같이, 가동 모듈(1110)은 타이밍 모듈(1140)에 의해 생성된 타이밍 신호에 기반하여 가동 모듈(1110)이 센서로 하여금 센서 데이터 포착을 시작하게 하는 시간을 결정할 수 있다. 가동 모듈(1110)은 타임 스탬프 또는 일부 다른 정보를 생성하여, 가동 모듈(1110)이 센서로 하여금 센서 데이터 포착을 시작하게 하는 시간을 나타낼 수 있다.
일 실시형태에서, 검출 모듈(1120)(예컨대, 검증 모듈(1010))은 검출기(1150)가 센서(510)에 의해 발사, 생성, 송신된 파를 검출하였는지 여부를 결정할 수 있다. 상술한 바와 같이, 검출기(1150)는 센서(510)에 의해 발사, 생성, 송신된 파(예컨대, 전자파, 음파 등)를 검출할 수 있는 어떠한 유형의 검출기 및/또는 검출 기기일 수 있다. 검출기(1150)는 광검출기, 안테나, 마이크로폰 등일 수 있다. 검출 모듈(1120)(예컨대, 검증 모듈(1010))은 검출기(1150)에 연결될 수 있다. 검출 모듈(1120)은 또한 검출기(1150)가 센서(510)에 의해 발사된 파를 검출하는 시간을 결정할 수 있다. 예컨대, 검출 모듈(1120)은 검출기(1150)가 센서(510)에 의해 발사된 파를 검출했음을 지시하는 신호(예컨대, 와이어의 하나 또는 다수의 전압) 및/또는 메시지를 검출기(1150)로부터 수신할 수 있다. 검출 모듈(1120)은 타이밍 모듈(1140)(아래에서 더 상세하게 토론됨)에 의해 생성된 타이밍 신호에 기반하여 언제 검출기(1150)로부터 신호 및/또는 메시지를 수신할지를 결정할 수 있다. 검출 모듈(1120)은 검출기(1150)로부터 신호 및/또는 메시지를 수신한 시간을 지시하기 위해 타임 스탬프 또는 일부 다른 정보를 생성할 수 있다.
일 실시형태에서, 작동 모듈(1130)은 센서(510)로부터 센서 데이터를 수신할 수 있다. 센서 데이터는 센서에 의해 획득 및/또는 생성된 데이터일 수 있다. 센서 데이터는 자율 주행 차량이 작동하는 환경에 관한 정보를 나타낼 수 있다. 예컨대, 센서 데이터는 자율 주행 차량이 위치하는 환경 중의 하나 또는 다수의 객체를 지시하거나 및/또는 식별할 수 있다. 작동 모듈(1130)은 언제 센서(510)로부터 센서 데이터를 수신할지를 결정할 수 있다. 예컨대, 작동 모듈(1130)은 타이밍 모듈(1140)(아래에서 더 상세하게 토론됨)에 의해 생성된 타이밍 신호에 기반하여 언제 센서(510)로부터 센서 데이터를 수신할지를 결정할 수 있다. 작동 모듈(1130)은 타임 스탬프 또는 일부 다른 정보를 생성하여 센서(510)로부터 센서 데이터를 수신하는 시간을 나타낼 수 있다.
작동 모듈(1130)은 가동 모듈(1110), 검출 모듈(1120) 및 작동 모듈(1130)에 의해 결정된 하나 또는 다수의 시간 및/또는 타임 스탬프에 기반하여 센서(510)의 동작을 검증할 수 있다. 일 실시형태에서, 작동 모듈(1130)은 가동 모듈(1110)이 센서(510)로 하여금 센서 데이터를 획득하게 한 시간(예컨대, 제1 시간 및/또는 타임 스탬프) 및 검출기(1150)가 센서(510)에 의해 발사된 파를 검출한 시간(예컨대, 제2 시간 및/또는 타임 스탬프)에 기반하여 센서(510)의 가동 지연을 결정할 수 있다. 예컨대, 작동 모듈(1130)은 제1 시간과 제2 시간 사이의 차이에 기반하여 가동 지연을 결정할 수 있다. 가동 지연이 임계값 시간(예컨대, 임계값 시간대보다 작음)보다 작거나 또는 같으면, 작동 모듈(1130)은 센서(510)가 정확하게 작동 및/또는 허용 가능한 성능 수준 내에서 작동 중인지를 결정할 수 있다. 가동 지연이 임계값 시간보다 크면, 작동 모듈(1130)은 센서(510)가 정확하게 작동 및/또는 허용가능한 성능 수준 내에서 작동하지 않는다고 확정할 수 있다. 다른 일 예시에서, 작동 모듈(1130)은 센서(510)의 가동 지연이 센서의 참조 가동 지연의 임계값 내에 있는지 여부를 결정할 수 있다. 참조 가동 지연은 센서(510)의 데이터 획득 특성을 기반으로 할 수 있다. 가동 지연이 참조 가동 지연의 임계값 내에 있는 경우, 센서(510)는 정확하게 작동할 수 있으며, 반대의 경우 마찬가지이다.
일 실시형태에서, 작동 모듈(1130)은 가동 모듈(1110)이 센서(510)로 하여금 센서 데이터를 획득하게 하는 시간(예컨대, 제1 시간 및/또는 타임 스탬프), 검출기(1150)가 센서(510)에 의해 발사된 파를 검출한 시간(예컨대, 제2 시간 및/또는 타임 스탬프) 및 작동 모듈(1130)이 센서(510)로부터 센서 데이터를 수신한 시간(예컨대, 제3 시간 및/또는 타임 스탬프)에 기반하여 센서(510)의 획득 지연을 결정하여, 센서의 동작을 검증할 수 있다. 예컨대, 작동 모듈(1130)은 제2 시간과 제3 시간의 차이에 기반하여 획득 지연을 결정할 수 있다. 획득 지연이 임계값 시간(예컨대, 임계값 시간대보다 작음)보다 작거나 또는 같은 경우, 작동 모듈(1130)은 센서(510)가 정확하게 작동 및/또는 허용 가능한 성능 수준 내에서 작동 중인지를 결정할 수 있다. 획득 지연이 임계값 시간보다 큰 경우, 작동 모듈(1130)은 센서(510)가 정확하게 작동 및/또는 허용 가능한 성능 수준 내에서 작동하지 않는다고 확정할 수 있다. 다른 일 예시에서, 작동 모듈(1130)은 센서(510)의 획득 지연이 센서의 참조 획득 지연의 임계값 내에 있는지 여부를 결정할 수 있다. 참조 획득 지연은 센서(510)의 데이터 획득 특성을 기반으로 할 수 있다. 획득 지연이 참조 획득 지연의 임계값 내에 있는 경우, 센서(510)는 정확하게 작동할 수 있으며, 반대의 경우 마찬가지이다.
일 실시형태에서, 작동 모듈(1130)은 제1 시간과 제3 시간 사이의 차이에 기반하여 센서(510)의 동작을 검증할 수 있다. 제1 시간과 제3 시간 사이의 차이값은 센서(510)가 센서 데이터를 획득하는데 걸리는 전체 시간량을 나타낼 수 있다. 작동 모듈(1130)은 전체 시간량이 임계값(예컨대, 센서(510)가 센서 데이터를 획득하기 위한 전체 시간량이 10밀리초, 200밀리초 또는 어느 다른 적절한 시간대보다 작은지 여부)보다 작거나 또는 같은지 여부를 결정할 수 있다. 전체 시간량이 임계값보다 작거나 또는 같은 경우, 작동 모듈(1130)은 센서(510)가 정확하게 작동한다고 확정할 수 있다. 전체 시간량이 임계값보다 큰 경우, 작동 모듈(1130)은 센서(510)가 정확하게 작동하지 않는다고 확정할 수 있다.
일 실시형태에서, 작동 모듈(1130)에 의해 수신된 센서 데이터는 타임 스탬프를 포함할 수 있다. 타임 스탬프는 센서(510)가 센서 데이터를 생성하는 시간을 나타낼 수 있다. 작동 모듈(1130)은 타임 스탬프가, 검출기(1150)가 센서(510)에 의해 발사된 파를 검출하는 시간(예컨대, 제2 시간 및/또는 타임 스탬프) 및 작동 모듈(1130)이 센서(510)로부터 센서 데이터를 수신하는 시간(예컨대, 제3 시간 및/또는 타임 스탬프)인지를 정확하게 결정할 수 있다. 예컨대, 작동 모듈(1130)은 타임 스탬프가 제3 시간보다 작거나 또는 빠르고 제1 시간보다 늦은 시간을 지시하는지 여부를 결정할 수 있다. 타임 스탬프가 제3 시간보다 작거나 또는 빠르고 제1 시간보다 늦은 시간을 지시하는 경우, 작동 모듈(1130)은 센서가 정확하게 작동한다고 확정할 수 있으며, 반대의 경우 마찬가지이다.
일 실시형태에서, 작동 모듈(1130)이 센서(510)로부터 수신된 센서 데이터가 센서가 검출한 물체를 지시하는지 여부를 결정할 수 있다. 예컨대, 참조 객체는 환경에 존재할 수 있다. 작동 모듈(1130)은 센서 데이터가 센서(510)가 환경에서 참조 객체를 검출함을 지시하는지 여부를 결정할 수 있다. 센서(510)가 객체의 존재, 위치, 속도 및/또는 방향을 검출한 경우, 작동 모듈(1130)은 센서(510)가 정확하게 작동한다고 확정할 수 있으며, 반대의 경우 마찬가지이다.
일 실시형태에서, 타이밍 모듈(1140)은 타이밍 신호를 생성할 수 있다. 타이밍 신호는 센서(510) 및 검출기(1150)에 의해 참조 시간을 결정하는데 사용될 수 있다. 예컨대, 타이밍 신호는 현재 시간을 지시하거나 및/또는 센서(510) 및/또는 검출기(1150)에 의해 현재 시간을 결정하는데 사용될 수 있다. 이는 검증 시스템(1100)의 모든 구성요소(예컨대, 센서(510), 검출기(1150) 및 검증 모듈(1010))가 동일한 참조 시간을 사용하여 작동될 수 있도록 한다.
상술한 바와 같이, ADV의 센서를 동기화면 ADV가 상이한 센서로부터의 상이한 센서 데이터를 연관시키거나 또는 더 쉽게 연관시킬 수 있도록 한다. 상이한 센서로부터의 센서 데이터를 연관시키면 ADV가 환경에서 더 빠르고 효과적이며 쉽게 및/또는 더 정확하게 차량, 물체, 장애물, 보행자, 차선 등을 검출할 수 있도록 한다. 검증 센서(510)의 동작은 사용자(예컨대, 기술자, 정비사 등)로 하여금 센서(510)가 자율 주행 차량 중의 다른 센서와 적절하게 동기화되는지 여부를 결정할 수 있도록 한다. 검증 모듈(1010)은 센서 시스템(115)이 센서(510)가 정확하게 작동하는 중인지를 검증할 수 있도록 하고, 이는 센서가 자율 주행 차량 중의 다른 센서와 정확하게 동기화할 수 있도록 한다. 센서(510)가 정확하게 작동하지 않았다면, 검증 모듈(1010)은 센서(510)에 정확하게 작동하지 않았다는 지시(예컨대, 송신 오류 메시지, 디스플레이 오류 메시지 등)를 제공할 수 있고, 이는 사용자가 센서(510)의 작동(예컨대, 센서가 결함이 있는지 여부) 이 정확하지 않을 때를 알고 센서(510)를 교체할 수 있도록 한다.
도 12는 일 실시형태에 따른 자율 주행 차량에서 사용되는 센서를 검증하기 위한 예시적 프로세스의 흐름도이다. 프로세스(1200)는 소프트웨어, 하드웨어 또는 이들의 조합을 포함할 수 있는 처리 논리에 의해 실행될 수 있다. 프로세스(1200)는 하드웨어(예컨대, 회로, 전용 논리, 프로그래머블 논리, 프로세서, 처리 기기, 중앙 처리 유닛(CPU), 시스템 온 칩(SoC) 등), 소프트웨어(예컨대, 처리 기기에서 작동, 실행되는 명령), 펌웨어(예컨대, 마이크로 코드)또는 이들의 조합을 포함할 수 있는 처리 논리에 의해 실행될 수 있다. 일부 실시형태에서, 프로세스(1200)는 처리 기기, 검증 모듈(예컨대, 도 10a, 도 10b, 도 11 및 도 13에 도시된 검증 모듈(1010)), 검증 모듈의 일부분(예컨대, 도 11에 도시된 가동 모듈, 검출 모듈, 작동 모듈 및/또는 타이밍 모듈) 등에 의해 실행될 수 있다.
블록(1205)에서, 프로세스(1200)는 타이밍 신호를 생성할 수 있다. 예컨대, 프로세스(1200)는 현재 시간을 지시하는 연속적인 신호를 생성할 수 있다. 블록(1210)에서, 프로세스(1200)는 타이밍 신호를 센서 및/또는 검출에 제공할 수 있다. 이는 센서 및/또는 검출기가 동일한 현재 시간을 사용하여 작동할 수 있도록 한다. 블록(1215)에서, 프로세스(1200)는 센서가 제1 시간에 센서 데이터를 획득할 수 있도록 한다. 예컨대, 프로세스(1200)는 센서에 메시지 및/또는 신호를 송신하여, 센서가 센서 데이터를 획득할 수 있도록 한다. 블록(1220)에서, 프로세스(1200)는 검출기에 제2 시간에 센서에 의해 생성된 파가 검출되었다고 확정할 수 있다. 예컨대, 프로세스(1200)는 검출기로부터 신호 또는 메시지를 수신할 수 있고, 상기 신호 또는 메시지는 검출기가 센서에 의해 생성된 전자파 또는 음파를 검출했음을 나타낸다. 블록(1225)에서, 프로세스(1200)는 제3 시간에 센서로부터 센서 데이터를 수신할 수 있다.
블록(1230)에서, 프로세스(1200)는 제1 시간, 제2 시간 및/또는 제3 시간 중의 하나 또는 다수에 기반하여 센서의 동작을 검증할 수 있다. 예컨대, 상술한 바와 같이, 프로세스(1200)는 센서의 가동 시간이 참조 가동 시간의 임계값 내에 있는지 여부를 결정할 수 있다. 다른 일 예시에서, 상기 토론된 바와 같이, 프로세스(1200)는 센서의 획득 시간이 참조 획득 시간의 임계값 내에 있는지 여부를 결정할 수 있다.
도 13은 일 실시형태에 따른 예시적 검증 시스템(1300)의 블록도이다. 검증 시스템(1300)은 센서(510), 검증 모듈(1010) 및 자극 생성기(1350)를 포함한다. 센서(510)는 카메라, 비디오 카메라, 마이크로폰, GPS 수신기와 같은 수동 센서일 수 있다. 상술한 바와 같이, 수동 센서는 파(예컨대, 무선파, 광파, 전자파, 음파 등)를 발사, 송신, 생성하지 않는 기기일 수 있다. 검증 모듈(1010)은 가동 모듈(1310), 자극 모듈(1320), 작동 모듈(1330) 및 타이밍 모듈(1340)을 포함한다.
일 실시형태에서, 상술한 바와 같이, 가동 모듈(1310)(예컨대, 검증 모듈)은 센서(510)가 센서 데이터를 획득 및/또는 센서 데이터(예컨대, 동작, 프로세스, 기능, 모션 등을 가동하여 센서 데이터를 획득함) 획득을 시작할 수 있도록 한다. 가동 모듈(1310)은 센서(510)에 프레임, 메시지, 패킷, 명령 등을 송신하여, 센서(510)가 센서 데이터 포착을 시작할 수 있도록 한다. 가동 모듈(1310)은 또한 센서(510)에 신호(예컨대, 와이어의 하나 또는 다수의 전압)를 송신하여, 센서(510)가 센서 데이터 포착을 시작할 수 있도록 한다. 가동 모듈(1310)은 타이밍 모듈(1340)에 의해 생성된 타이밍 신호에 기반하여 가동 모듈(1310)이 센서로 하여금 센서 데이터의 포착을 시작하게 하는 시간을 결정할 수 있다. 가동 모듈(1310)은 가동 모듈(1310)이 센서로 하여금 센서 데이터의 포착을 시작하게 하는 시간을 지시하는 타임 스탬프 또는 일부 다른 정보를 생성할 수 있다.
일 실시형태에서, 자극 모듈(1320)은 센서(510)에 의해 검출될 수 있는 자극을 생성할 수 있다. 자극 모듈(1320)은 소정 시간 내에 자극을 생성할 수 있다. 예컨대, 자극 모듈(1320)은 소정 시간 내에 빛, 소리 등을 생성할 수 있다. 상기 시간대는 센서(510)의 데이터 획득 특성을 기반으로 할 수 있다. 예컨대, 상기 시간대는 센서(510)의 가동 지연 및 획득 지연을 기반으로 할 수 있다. 가동 지연에 기반하여, 자극 모듈(1320)은 센서(510)가 가동된 시각 또는 그 이후에 시간 주기를 시작할 수 있다. 획득 지연에 기반하여, 자극 모듈(1320)은 상기 시간대와 획득 지연의 임계값이 동일하거나 또는 획득 지연의 임계값 내에 있도록 상기 시간대를 종료할 수 있다. 센서(510)의 획득 지연 기간에 자극을 생성하여, 자극 모듈(1320)은 작동 모듈(1330)이 센서(510)가 획득 지연 기간에 자극을 검출했는지 여부를 결정할 수 있도록 한다. 자극 모듈(1320)은 또한 작동 모듈(1330)이 센서(510)의 가동 지연이 허용 가능한지 여부를 결정할 수 있도록 한다. 자극 모듈(1320)은 또한 작동 모듈(1330)이 센서(510)의 획득 지연이 허용 가능한지 여부를 결정할 수 있도록 한다. 자극 모듈(1320)은 자극 생성기(1350)에 메시지 및/또는 신호를 송신하여, 자극 생성기(1350)가 자극을 생성할 수 있도록 한다. 예컨대, 상기 메시지는 자극 생성기(1350)가 자극을 생성해야 하는 시간 및 걸리는 시간을 나타낼 수 있다.
일 실시형태에서, 자극 모듈(1320)은 센서(510)의 참조 가동 지연 및 참조 획득 지연에 기반하여 자극 생성기(1350)가 자극을 생성해야 하는 시간대를 결정할 수 있다. 예컨대, 참조 가동 지연 및 가동 모듈(1310)이 센서(510)로 하여금 센서 데이터를 획득하게 하는 시간에 기반하여, 자극 모듈(1320)은 언제 자극의 생성을 시작할지를 결정할 수 있다. 다른 일 예시에서, 센서(510)의 참조 획득 지연에 기반하여, 자극 모듈(1320)은 자극(예컨대, 자극 생성을 중지할 시기)을 생성하는데 걸리는 시간을 결정할 수 있다.
일 실시형태에서, 작동 모듈(1330)은 센서(510)로부터 센서 데이터를 수신할 수 있다. 센서 데이터는 센서에 의해 획득 및/또는 생성된 데이터일 수 있다. 센서 데이터는 자율 주행 차량이 작동되는 환경에 관한 정보일 수 있다. 작동 모듈(1330)은 센서(510)로부터 언제 센서 데이터를 수신할지를 결정할 수 있다. 작동 모듈(1330)은 타임 스탬프 또는 일부 다른 정보를 생성하여 센서(510)로부터 센서 데이터를 수신하는 시간을 나타낼 수 있다.
작동 모듈(1330)은 가동 모듈(1310), 자극 모듈(1320) 및 작동 모듈(1330)에 의해 결정된 하나 또는 다수의 시간 및/또는 타임 스탬프에 기반하여 센서(510)의 동작을 결정할 수 있다. 일 실시형태에서, 작동 모듈(1330)은 가동 모듈(1310)이 센서(510)로 하여금 센서 데이터를 획득하게 하는 시간(예컨대, 제1 시간 및/또는 타임 스탬프), 자극 생성기(1350)가 센서(510) 검출을 위한 자극을 생성하는 시간(예컨대, 제2 시간 및/또는 타임 스탬프) 및 센서(510)가 자극을 검출하는지 여부에 기반하여, 센서(510)의 가동 지연을 결정할 수 있다. 예컨대, 가동 지연이 시간 T0 및 T1 사이이고, 자극 생성기(1350)가 시간 T1 내지 시간 T2에서 자극을 생성하는 경우, 작동 모듈(1130)은 시간T1 내지 시간 T2 기간 또는 시간 T1 내지 T2 외의 임계값 내(예컨대, 시간 T1 이전 또는 T2 이후의 임계값 시간 내)에 자극을 검출할지를 결정할 수 있다. 가동 지연이 임계값 시간보다 큰 경우, 작동 모듈(1330)은 센서(510)가 정확하게 작동 및/또는 허용 가능한 성능 수준 내에 작동하지 않는다고 확정할 수 있다. 다른 일 예시에서, 작동 모듈(1330)은 센서(510)의 가동 지연이 센서의 참조 가동 지연의 임계값 내에 있는지 여부를 결정할 수 있다. 참조 가동 지연은 센서(510)의 데이터 획득 특성을 기반으로 할 수 있다. 가동 지연이 참조 가동 지연의 임계값 내에 있는 경우, 센서(510)는 정확하게 작동할 수 있고, 반대의 경우 마찬가지이다.
일 실시형태에서, 작동 모듈(1330)은 자극 모듈(1320)에 기반하여 자극 생성기(1350)로 하여금 자극을 생성하게 하는 시간 및 작동 모듈(1330)이 센서(510)로부터 센서 데이터를 수신하는 시간(예컨대, 제3 시간 및/또는 타임 스탬프)에 기반하여 센서(510)의 획득 지연을 결정하여 센서의 동작을 검증할 수 있다. 예컨대, 작동 모듈(1330)은 제2 시간 및 제3 시간의 차이에 기반하여 획득 지연 및 획득 지연 기간에 자극을 검출했는지 여부를 결정할 수 있다. 획득 지연이 임계값 시간(예컨대, 임계값 시간대보다 작음)보다 작거나 또는 같은 경우, 작동 모듈(1330)은 센서(510)가 정확하게 작동하거나 및/또는 허용 가능한 성능 수준 내에서 작동 중이라고 결정할 수 있다. 획득 지연이 임계값 시간보다 큰 경우, 작동 모듈(1330)은 센서(510)가 정확하게 작동 및/또는 허용가능한 성능 수준 내에서 작동하지 않는다고 확정할 수 있다. 다른 일 예시에서, 작동 모듈(1330)은 센서(510)의 획득 지연이 센서의 참조 획득 지연의 임계값 내에 있는지 여부를 결정할 수 있다. 참조 획득 지연은 센서(510)의 데이터 획득 특성을 기반으로 할 수 있다. 획득 지연이 참조 획득 지연의 임계값 내에 있는 경우, 센서(510)는 정확하게 작동할 수 있고, 반대의 경우 마찬가지이다.
일 실시형태에서, 자극 모듈(1320)은 센서(510)가 획득 지연 기간에 자극을 얼마동안 검출하는지 여부를 결정할 수 있다. 지연을 획득하는 임계값 기간(예컨대, 지연을 획득하는 90% 기간, 지연을 획득하는 85% 기간 또는 일부 다른 적절한 양)에 자극을 검출하는 경우, 센서(510)는 정확하게 작동할 수 있고, 반대의 경우 마찬가지이다.
일 실시형태에서, 작동 모듈(1330)은 제1 시간과 제3 시간 사이의 차이에 기반하여 센서(510)의 동작을 검증할 수 있다. 제1 시간 및 제3 시간 사이의 차이값은 센서(510)가 센서 데이터를 획득하는데 걸린 전체 시간량을 나타낼 수 있다. 작동 모듈(1330)은 전체 시간량이 임계값보다 작거나 또는 같은지 여부를 결정할 수 있다. 전체 시간량이 임계값보다 작거나 같은 경우, 작동 모듈(1330)은 센서(510)가 정확하게 작동한다고 확정할 수 있다. 전체 시간량이 임계값보다 큰 경우, 작동 모듈(1330)은 센서(510)가 정확하게 작동하지 않는다고 확정할 수 있다.
일 실시형태에서, 작동 모듈(1330)은 센서(510)로부터 수신된 센서 데이터가 센서(510)를 통해 자극 생성기(1350)에 의해 발생된 자극(예컨대, 빛, 소리 등)이 검출되었음을 지시하는지 여부를 결정할 수 있다. 예컨대, 자극 모듈(1320)은 조명을 소정 시간 동안 켤 수 있다. 작동 모듈(1330)은 센서(510)(카메라일 수 있음)로부터의 센서 데이터가 센서(510)가 빛을 검출했음을 지시하는지 여부를 결정할 수 있다. 센서 데이터에 센서(510)가 자극을 검출했음을 지시하는 경우, 작동 모듈(1330)은 센서(510)가 정확하게 작동한다고 확정할 수 있으며, 반대의 경우 마찬가지이다.
일 실시형태에서, 타이밍 모듈(1340)은 타이밍 신호를 생성할 수 있다. 타이밍 신호는 센서(510) 및 자극 생성기(1350)에 의해 참조 시간을 결정하는데 사용될 수 있다. 타이밍 신호는 현재 시간을 지시하거나 및/또는 센서(510) 및/또는 자극 생성기(1350)에 의해 현재 시간을 결정하기 위해 사용될 수 있다. 이는 검증 시스템(1300)의 모든 구성요소(예컨대, 센서(510), 자극 생성기(1350) 및 검증 모듈(1010))이 동일한 참조 시간을 사용하여 작동할 수 있도록 한다.
상술한 바와 같이, ADV의 센서를 동기화하면 ADV가 상이한 센서로부터의 상이한 센서 데이터를 연관시키거나 또는 더 쉽게 연관시킬 수 있도록 한다. 이는 ADV가 환경에서 더 빠르고 효과적이며 쉽게 및/또는 더 정확하게 차량, 물체, 장애물, 보행자, 차선 등을 검출할 수 있도록 한다. 검증 센서(510)의 동작은 사용자로 하여금 센서(510)가 자율 주행 차량 중의 다른 센서와 정확하게 동기화되는지 여부를 결정할 수 있도록 한다. 검증 모듈(1010)은 검증 시스템(1300)이 센서(510)가 정확하게 작동 중인지를 검증할 수 있도록 하고, 이는 센서(510)가 자율 주행 차량 중의 다른 센서와 동기화할 수 있도록 한다. 센서(510)가 정확하게 작동하지 않았다면, 검증 모듈(1010)은 센서(510)에 정확하게 작동하지 않았다는 지시를 제공할 수 있다. 이는 사용자가 센서(510)의 작동이 정확하지 않을 때를 알고 센서(510)를 교체할 수 있도록 한다.
도 14는 일 실시형태에 따른 자율 주행 차량에 사용되는 센서를 검증하기 위한 예시적 프로세스의 흐름도이다. 프로세스(1400)는 소프트웨어, 하드웨어 또는 이들의 조합을 포함할 수 처리 논리에 의해 실행될 수 있다. 프로세스(1400)는 하드웨어(예컨대, 회로, 전용 논리, 프로그래머블 논리, 프로세서, 처리 기기, 중앙 처리 유닛(CPU), 시스템 온 칩(SoC) 등), 소프트웨어(예컨대, 처리 기기에서 작동/실행되는 명령), 펌웨어(예컨대, 마이크로코드)또는 이들의 조합을 포함할 수 있는 처리 논리에 의해 실행될 수 있다. 일부 실시형태에서, 프로세스(1400)는 처리 기기, 검증 모듈(예컨대, 도 10a, 도 10b, 도 11 및 도 13에 도시된 검증 모듈(1010)), 검증 모듈의 일부분(예컨대, 도 13에 도시된 가동 모듈, 자극 모듈, 작동 모듈 및/또는 타이밍 모듈) 등에 의해 실행될 수 있다.
블록(1405)에서, 프로세스(1400)는 타이밍 신호를 생성할 수 있다. 예컨대, 프로세스(1400)는 현재 시간을 지시하는 연속적인 신호를 생성할 수 있다. 블록(1410)에서, 프로세스(1400)는 타이밍 신호를 센서 및/또는 검출기에 제공할 수 있다. 이는 센서 및/또는 검출기가 동일한 현재 시간을 사용하여 작동할 수 있도록 한다. 블록(1415)에서, 프로세스(1400)는 센서가 제1 시간에 센서 데이터를 획득할 수 있도록 한다. 예컨대, 프로세스(1400)는 센서에 메시지 및/또는 신호를 송신하여, 센서가 센서 데이터를 획득할 수 있도록 한다. 블록(1420)에서, 프로세스(1400)는 센서 검출에 사용되는 자극을 생성할 수 있다. 예컨대, 프로세스(1400)는 자극 생성기가 센서에 의해 검출된 소리 또는 빛을 생성할 수 있도록 한다. 블록(1425)에서, 프로세스(1400)는 제3 시간에 센서로부터 센서 데이터를 수신할 수 있다.
블록(1430)에서, 프로세스(1400)는 제1 시간, 제2 시간 및/또는 제3 시간 중의 하나 또는 다수에 기반하여 센서의 동작을 검증할 수 있다. 예컨대, 상술한 바와 같이, 프로세스(1400)는 센서의 가동 시간이 참조 가동 시간의 임계값 내에 있는지 여부를 결정할 수 있다. 다른 일 예시에서, 상기 토론된 바와 같이, 프로세스(1400)는 센서의 획득 시간이 참조 획득 시간의 임계값 내에 있는지 여부를 결정할 수 있다.
전술한 상세한 설명의 일부는 컴퓨터 메모리 내의 데이터 비트에 대한 연산의 알고리즘 및 부호 표시에 따라 나타난다. 이러한 알고리즘의 설명과 표시는 데이터 처리 분야의 당업자가 작업 내용을 본 분야의 다른 기술자에게 가장 효과적으로 전달하기 위해 사용되는 방식이다. 본문에서, 알고리즘은 통상적으로 기대하는 결과를 가져오는 일관된 동작 시퀀스인 것으로 간주된다. 이러한 작동은 물리량에 대해 물리적으로 작동 및 제어해야 하는 작동을 가리킨다.
그러나 모든 이러한 유사한 용어는 적절한 물리량과 관련되도록 의도된 것이며, 단지 이러한 양에 응용되기 위한 간편한 표기일 뿐이다. 이상 논의에서 달리 명시되지 않는 한, 명세서 전체에서, 용어(청구범위에 기술된 용어와 같음)를 이용하여 진행한 논의는 컴퓨터 시스템 또는 유사 전자 계산 장치의 동작 및 처리를 가리키는 것으로 이해해야 하며, 상기 컴퓨터 시스템 또는 전자 계산 장치는 컴퓨터 시스템의 레지스터 및 메모리 내의 물리(전자)량으로 표시되는 데이터를 조절하고, 상기 데이터를 컴퓨터 시스템 메모리 또는 레지스터 또는 다른 유형의 정보 저장 장치, 전송 또는 디스플레이 장치 내 유사하게 물리량으로 표시되는 다른 데이터로 변환시킨다.
본 발명의 실시형태는 또한 본문에서의 동작을 수행하기 위한 장치에 관한 것이다. 이러한 컴퓨터 프로그램은 비일시적 컴퓨터 판독 가능 매체에 저장된다. 기계 판독 가능 매체는 기계(예컨대, 컴퓨터)에 의해 판독 가능한 형태로 정보를 저장하기 위한 임의의 메커니즘을 포함한다. 예컨대, 기계 판독 가능(예컨대, 컴퓨터 판독 가능) 매체는 기계(예컨대, 컴퓨터) 판독 가능 저장 매체(예컨대, 판독 전용 메모리(“ROM”), 랜덤 액세스 메모리(“RAM”), 자기 디스크 저장 매체, 광 저장 매체, 플래시 메모리 장치)를 포함한다.
전술한 도면에 도시된 프로세스 또는 방법은 하드웨어(예컨대, 회로, 전용 논리 등), 소프트웨어(예컨대, 비일시적 컴퓨터 판독 가능 매체에 구현됨) 또는 이들의 조합을 포함하는 처리 논리에 의해 수행될 수 있다. 상기 프로세스 또는 방법이 일부 순차적 동작에 의해 설명되었지만, 상기 작동 중 일부는 상이한 순서에 따라 수행될 수 있음을 이해해야 한다. 이 밖에, 일부 작동은 순차적이 아니라 병렬로 수행될 수 있다.
본 발명의 실시형태는 임의의 특정 프로그래밍 언어를 참조하여 설명된 것이 아니다. 다양한 프로그래밍 언어를 사용하여 본문에 기술된 바와 같이 본 발명의 실시형태의 시사를 구현할 수 있음을 이해해야 한다.
상기 명세서에서, 본 발명의 구체적인 예시적 실시형태를 참조하여 본 발명의 실시형태를 설명한다. 청구범위에 기술된 본 발명의 보다 광범위한 사상 및 범위를 벗어나지 않으면서 본 발명에 대해 다양한 수정을 진행할 수 있음은 자명한 것이다. 따라서, 본 명세서와 도면은 한정적 의미가 아닌 설명적 의미로 이해되어야 한다.

Claims (20)

  1. 자율 주행 차량에서 사용되는 센서의 작동을 검증하기 위한 방법으로서,
    제1 시간에 상기 센서가 센서 데이터를 획득하도록 하는 단계 - 상기 센서는 검출기에 파를 송출하여 상기 센서 데이터를 획득함 - ;
    상기 검출기가 제2 시간에 상기 파를 이미 검출하였다고 확정하는 단계;
    제3 시간에 상기 센서로부터 상기 센서 데이터를 수신받는 단계; 및
    상기 제1 시간, 상기 제2 시간 및 상기 제3 시간 중 적어도 하나를 기반으로 상기 센서의 동작을 검증하는 단계 - 상기 센서는 상기 자율 주행 차량의 자율 주행 기간에 주행 환경을 센싱함 - 를 포함하는 방법.
  2. 제1항에 있어서,
    상기 제1 시간에 상기 센서가 상기 센서 데이터를 획득하는 단계는,
    상기 센서에 신호를 송신하는 단계; 및
    상기 센서에 정보를 송신하는 단계 중 적어도 하나를 포함하고, 상기 정보는 상기 센서가 상기 센서 데이터를 획득하고자 함을 지시하는 방법.
  3. 제1항에 있어서,
    상기 검출기가 상기 제2 시간에 이미 상기 파를 검출하였다고 확정하는 단계는,
    상기 검출기로부터 신호를 수신하는 단계; 및
    상기 검출기로부터 정보를 수신하는 단계 중 적어도 하나를 포함하는 방법.
  4. 제1항에 있어서,
    상기 센서의 동작을 검증하는 단계는,
    상기 제2 시간 및 상기 제3 시간을 기반으로, 상기 센서의 데이터 획득 지연이 임계값 획득 지연보다 작거나 같은지 여부를 결정하는 단계를 포함하는 방법.
  5. 제1항에 있어서,
    상기 센서의 동작을 검증하는 단계는,
    상기 제1 시간 및 상기 제2 시간을 기반으로 상기 센서의 작동 지연이 임계값 작동 지연보다 작거나 같은지 여부를 결정하는 단계를 포함하는 방법.
  6. 제1항에 있어서,
    상기 센서의 동작을 검증하는 단계는,
    상기 제1 시간과 상기 제3 시간 사이의 차이가 임계값 시간보다 작은지 여부를 결정하는 단계를 포함하는 방법.
  7. 제1항에 있어서,
    타이밍 신호를 생성하는 단계; 및
    상기 센서 및 상기 검출기 중 적어도 하나에 상기 타이밍 신호를 제공하는 단계를 더 포함하는 방법.
  8. 제7항에 있어서,
    상기 센서 데이터는 상기 센서가 상기 타이밍 신호를 기반으로 결정한 타임 스탬프를 포함하는 방법.
  9. 제1항에 있어서,
    상기 센서 데이터가 상기 센서에 의해 검출된 물체를 지시하는지 여부를 결정하는 단계를 더 포함하는 방법.
  10. 제1항에 있어서,
    상기 센서는 능동형 센서를 포함하는 방법.
  11. 제10항에 있어서,
    상기 능동형 센서는
    광 검출 및 거리 측정(LIDAR) 센서, 레이더 센서 및 초음파 센서 중 적어도 하나를 포함하는 방법.
  12. 자율 주행 차량에서 사용되는 센서의 작동을 검증하기 위한 방법으로서,
    제1 시간에 상기 센서가 센서 데이터를 획득하도록 하는 단계 - 상기 센서는 파를 검출하여 상기 센서 데이터를 획득하고, 상기 센서는 상기 센서에 의해 검출된 파를 생성할 수 없음 - ;
    제2 시간에 상기 센서가 검출을 수행하도록 하는 자극을 생성하는 단계;
    제3 시간에 상기 센서로부터 센서 데이터를 수신받는 단계; 및
    상기 제1 시간, 상기 제2 시간 및 상기 제3 시간 중 적어도 하나를 기반으로 상기 센서의 동작을 검증하는 단계 - 상기 센서는 상기 자율 주행 차량의 자율 주행 기간에 주행 환경을 센싱함 - 를 포함하는 방법.
  13. 제12항에 있어서,
    상기 제1 시간에 상기 센서가 상기 센서 데이터를 획득하는 단계는,
    상기 센서에 신호를 송신하는 단계; 및
    상기 센서에 정보를 송신하는 단계 중 적어도 하나를 포함하고, 상기 정보는 상기 센서가 상기 센서 데이터를 획득하고자 함을 지시하는 방법.
  14. 제12항에 있어서,
    상기 센서가 검출을 수행하도록 하는 자극을 생성하는 단계는,
    상기 제2 시간부터 시작하는 시간대에 대해 자극을 생성하는 단계를 포함하고, 상기 시간대는 상기 센서의 데이터 수집 특성을 기반으로 결정되는 방법.
  15. 제12항에 있어서,
    상기 센서의 동작을 검증하는 단계는,
    상기 제2 시간 및 상기 제3 시간을 기반으로, 상기 센서의 데이터 획득 지연이 임계값 획득 지연보다 작거나 같은지 여부를 결정하는 단계를 포함하는 방법.
  16. 제12항에 있어서,
    상기 센서의 동작을 검증하는 단계는,
    상기 제1 시간 및 상기 제2 시간을 기반으로 상기 센서의 작동 지연이 임계값 작동 지연보다 작거나 같은지 여부를 결정하는 단계를 포함하는 방법.
  17. 제12항에 있어서,
    상기 센서의 동작을 검증하는 단계는,
    상기 제1 시간과 상기 제3 시간 사이의 차이가 임계값 시간보다 작은지 여부를 결정하는 단계를 포함하는 방법.
  18. 제12항에 있어서,
    타이밍 신호를 생성하는 단계; 및
    상기 센서 및 검출기 중 적어도 하나에 상기 타이밍 신호를 제공하는 단계를 더 포함하는 방법.
  19. 제18항에 있어서,
    상기 센서 데이터는 상기 센서가 상기 타이밍 신호를 기반으로 결정한 타임 스탬프를 포함하는 방법.
  20. 명령이 저장된 비일시적 기계 판독 가능 매체로서,
    상기 명령이 프로세서에 의해 실행될 경우, 상기 프로세서가 동작을 수행하도록 하고, 상기 동작은,
    제1 시간에 센서가 센서 데이터를 획득하도록 하는 동작 - 상기 센서는 검출기에 파를 송출하여 상기 센서 데이터를 획득함 - ;
    상기 검출기가 제2 시간에 상기 파를 검출하였다고 확정하는 동작;
    제3 시간에 센서로부터 센서 데이터를 수신받는 동작; 및
    상기 제1 시간, 상기 제2 시간 및 상기 제3 시간 중 적어도 하나를 기반으로 상기 센서의 동작을 검증하는 동작을 포함하는 비일시적 기계 판독 가능 매체.
KR1020217020177A 2019-08-30 2019-08-30 자율 주행 차량에 사용되는 센서의 타이밍의 검증 Active KR102491563B1 (ko)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/CN2019/103811 WO2021035722A1 (en) 2019-08-30 2019-08-30 Verifying timing of sensors used in autonomous driving vehicles

Publications (2)

Publication Number Publication Date
KR20210106460A KR20210106460A (ko) 2021-08-30
KR102491563B1 true KR102491563B1 (ko) 2023-01-26

Family

ID=74683757

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020217020177A Active KR102491563B1 (ko) 2019-08-30 2019-08-30 자율 주행 차량에 사용되는 센서의 타이밍의 검증

Country Status (6)

Country Link
US (1) US11488389B2 (ko)
EP (1) EP3888276B1 (ko)
JP (1) JP7309886B2 (ko)
KR (1) KR102491563B1 (ko)
CN (1) CN113016153B (ko)
WO (1) WO2021035722A1 (ko)

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10969760B2 (en) * 2018-04-12 2021-04-06 Faro Technologies, Inc. Coordinate measurement system with auxiliary axis
US11874101B2 (en) 2018-04-12 2024-01-16 Faro Technologies, Inc Modular servo cartridges for precision metrology
US11861957B2 (en) * 2019-05-09 2024-01-02 Argo AI, LLC Time master and sensor data collection for robotic system
KR102615478B1 (ko) * 2019-10-24 2023-12-19 현대모비스 주식회사 자동차용 센서 통합 모듈
KR102635388B1 (ko) * 2019-10-24 2024-02-13 현대모비스 주식회사 자동차용 센서 통합 모듈 및 이를 이용한 시스템
DE102019216517B3 (de) * 2019-10-25 2021-03-18 Daimler Ag Verfahren zur Synchronisation zumindest zweier Sensor-Systeme
KR102525191B1 (ko) * 2020-08-07 2023-04-26 한국전자통신연구원 자율주행 차량에서의 주행 경로 생성 및 제어 시스템 및 방법
KR102343059B1 (ko) * 2021-08-05 2021-12-27 주식회사 인피닉 인공지능 기계 학습용 데이터 수집 시스템 및 이를 위한 장치
KR102493764B1 (ko) * 2021-08-31 2023-02-06 국방과학연구소 전자 장치의 시간 동기화 방법
US12168438B2 (en) * 2021-10-11 2024-12-17 Ford Global Technologies, Llc Systems and methods for controlling speed of an autonomous vehicle
DE102022207189B3 (de) 2022-07-14 2023-09-28 Continental Autonomous Mobility Germany GmbH Sensoreinrichtung, Fahrzeug und Verfahren zum Betrieb einer Sensoreinrichtung
CN117997462A (zh) * 2023-12-20 2024-05-07 蔚锐科技(深圳)有限公司 用于多个类型传感器的感测同步的方法及控制系统
KR102717592B1 (ko) * 2024-03-11 2024-10-18 이인텔리전스 주식회사 자율주행 솔루션 플랫폼 및 이의 운용 방법

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180088584A1 (en) 2015-12-11 2018-03-29 Uber Technologies, Inc. Formatting sensor data for use in autonomous vehicle communications platform
CN109743128A (zh) 2019-01-29 2019-05-10 领目科技(上海)有限公司 一种车载多信息同步控制系统及方法
US20190236058A1 (en) 2018-01-05 2019-08-01 Nio Usa, Inc. Methods, devices, and systems for processing sensor data of vehicles

Family Cites Families (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE3831193A1 (de) * 1988-09-14 1990-03-29 Wabco Westinghouse Fahrzeug Messwertgeber-fehlererkennungsschaltung
FR2762397B1 (fr) * 1997-04-18 1999-07-09 Thomson Csf Dispositif d'auto test de la chaine d'emission et de reception d'un radar, notamment pour automobile
US6400308B1 (en) * 1998-02-20 2002-06-04 Amerigon Inc. High performance vehicle radar system
US8525723B2 (en) * 1999-06-14 2013-09-03 Escort Inc. Radar detector with navigation function
WO2006107565A1 (en) * 2005-04-04 2006-10-12 Raytheon Company System and method for coherently combining a plurality of radars
DE102007017522A1 (de) 2007-04-13 2008-10-16 Sick Ag Prüfverfahren zur Prüfung der Funktionsfähigkeit eines Überwachungssensors, Überwachungsverfahren und Überwachungssensor
CN105891786B (zh) * 2011-10-19 2019-07-26 B·苏博拉曼亚 定向速度和距离传感器
DE102013010924A1 (de) * 2013-06-29 2014-12-31 Man Truck & Bus Ag Kraftfahrzeug mit wenigstens einem die Daten eines Radarsensors verwendenden Fahrerassistenzsystem
US9442184B2 (en) * 2014-02-21 2016-09-13 Nxp B.V. Functional safety monitor pin
US9098753B1 (en) * 2014-04-25 2015-08-04 Google Inc. Methods and systems for object detection using multiple sensors
US9733348B2 (en) * 2014-07-03 2017-08-15 GM Global Technology Operations LLC Vehicle radar with beam adjustment
DE102015209129B3 (de) * 2015-05-19 2016-11-10 Robert Bosch Gmbh Verfahren zur Sensorsynchronisierung
EP3223034B1 (en) * 2016-03-16 2022-07-20 Ricoh Company, Ltd. Object detection apparatus and moveable apparatus
US10114103B2 (en) * 2016-03-31 2018-10-30 Uber Technologies, Inc. System and method for sensor triggering for synchronized operation
ITUA20164800A1 (it) * 2016-06-30 2017-12-30 Octo Telematics Spa Procedimento per la stima della durata di un viaggio di un veicolo basato sulla determinazione dello stato del veicolo.
US10145948B2 (en) 2016-07-13 2018-12-04 Texas Instruments Incorporated Methods and apparatus for narrowband ranging systems using coarse and fine delay estimation
US10209709B2 (en) * 2016-08-15 2019-02-19 Ford Global Technologies, Llc LIDAR sensor frost detection
EP3407185B1 (en) * 2017-05-24 2019-10-16 Continental Automotive GmbH Algorithm triggered sensor data acquisition
DE102017112789A1 (de) 2017-06-09 2018-12-13 Valeo Schalter Und Sensoren Gmbh Optoelektronische Detektionsvorrichtung für ein Kraftfahrzeug mit über denselben Signalverarbeitungspfad testbaren Sende- und Empfangsweg und Verfahren zum Betreiben einer solchen Detektionsvorrichtung
US10884115B2 (en) * 2018-03-09 2021-01-05 Waymo Llc Tailoring sensor emission power to map, vehicle state, and environment
CN108445808B (zh) * 2018-03-30 2024-08-27 深圳一清创新科技有限公司 数据同步的传感装置及方法
US10404261B1 (en) * 2018-06-01 2019-09-03 Yekutiel Josefsberg Radar target detection system for autonomous vehicles with ultra low phase noise frequency synthesizer
CN109271880B (zh) * 2018-08-27 2021-08-24 深圳一清创新科技有限公司 车辆检测方法、装置、计算机设备和存储介质
CN109450582A (zh) * 2018-11-01 2019-03-08 百度在线网络技术（北京）有限公司 传感器时间戳同步测试方法、装置、设备、介质及车辆
CN109194436B (zh) * 2018-11-01 2020-08-07 百度在线网络技术（北京）有限公司 传感器时间戳同步测试方法、装置、设备、介质及车辆
CN109725572A (zh) * 2018-12-25 2019-05-07 初速度（苏州）科技有限公司 一种多传感器精准时钟同步系统及方法
CN109815555B (zh) * 2018-12-29 2023-04-18 百度在线网络技术（北京）有限公司 自动驾驶车辆的环境建模能力评估方法及系统
CN109462454A (zh) 2018-12-31 2019-03-12 武汉环宇智行科技有限公司 基于ptp协议的汽车传感器时间同步方法及系统

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180088584A1 (en) 2015-12-11 2018-03-29 Uber Technologies, Inc. Formatting sensor data for use in autonomous vehicle communications platform
US20190236058A1 (en) 2018-01-05 2019-08-01 Nio Usa, Inc. Methods, devices, and systems for processing sensor data of vehicles
CN109743128A (zh) 2019-01-29 2019-05-10 领目科技(上海)有限公司 一种车载多信息同步控制系统及方法

Also Published As

Publication number Publication date
US20210383133A1 (en) 2021-12-09
EP3888276B1 (en) 2023-05-31
EP3888276A4 (en) 2022-06-29
CN113016153A (zh) 2021-06-22
US11488389B2 (en) 2022-11-01
CN113016153B (zh) 2023-12-05
WO2021035722A1 (en) 2021-03-04
EP3888276A1 (en) 2021-10-06
KR20210106460A (ko) 2021-08-30
JP7309886B2 (ja) 2023-07-18
JP2022534339A (ja) 2022-07-29

Similar Documents

Publication Publication Date Title
KR102491563B1 (ko) 자율 주행 차량에 사용되는 센서의 타이밍의 검증
EP3891474B1 (en) Synchronizing sensors of autonomous driving vehicles
EP3614176B1 (en) A hardware centralized time synchronization hub for an autonomous driving vehicle
EP3614687B1 (en) A gps based high precision timestamp generation circuit for an autonomous driving vehicle
EP3613648B1 (en) A time source recovery system for an autonomous driving vehicle
EP3614222B1 (en) A time source ranking system for an autonomous driving vehicle
US11662745B2 (en) Time determination of an inertial navigation system in autonomous driving systems

Legal Events

Date Code Title Description
PA0105 International application

Patent event date: 20210628

Patent event code: PA01051R01D

Comment text: International Patent Application

PA0201 Request for examination
PG1501 Laying open of application
E902 Notification of reason for refusal
PE0902 Notice of grounds for rejection

Comment text: Notification of reason for refusal

Patent event date: 20220531

Patent event code: PE09021S01D

E701 Decision to grant or registration of patent right
PE0701 Decision of registration

Patent event code: PE07011S01D

Comment text: Decision to Grant Registration

Patent event date: 20221229

GRNT Written decision to grant
PR0701 Registration of establishment

Comment text: Registration of Establishment

Patent event date: 20230118

Patent event code: PR07011E01D

PR1002 Payment of registration fee

Payment date: 20230119

End annual number: 3

Start annual number: 1

PG1601 Publication of registration