[go: up one dir, main page]

KR102558055B1 - 차선의 추정 방법 - Google Patents

차선의 추정 방법 Download PDF

Info

Publication number
KR102558055B1
KR102558055B1 KR1020177033721A KR20177033721A KR102558055B1 KR 102558055 B1 KR102558055 B1 KR 102558055B1 KR 1020177033721 A KR1020177033721 A KR 1020177033721A KR 20177033721 A KR20177033721 A KR 20177033721A KR 102558055 B1 KR102558055 B1 KR 102558055B1
Authority
KR
South Korea
Prior art keywords
lane
input data
feature vectors
vehicle
accumulated
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
KR1020177033721A
Other languages
English (en)
Other versions
KR20180009755A (ko
Inventor
크리스토퍼 바이어
클라우디아 로이
Original Assignee
콘티넨탈 테베스 아게 운트 코. 오하게
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 콘티넨탈 테베스 아게 운트 코. 오하게 filed Critical 콘티넨탈 테베스 아게 운트 코. 오하게
Publication of KR20180009755A publication Critical patent/KR20180009755A/ko
Application granted granted Critical
Publication of KR102558055B1 publication Critical patent/KR102558055B1/ko
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G06V20/584—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of vehicle lights or traffic lights

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Data Mining & Analysis (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Engineering & Computer Science (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)

Abstract

본 발명은 차선의 추정 방법으로, 바람직하게는 운전자 보조 시스템에 적용되는 차선의 추정 방법에 관한 것이다.
본 발명에 따르면, 차선의 추정 방법은 복수의 입력 데이터를 사용한다. 입력 데이터는 복수의 서로 다른 센서로부터 서로 무관하게 측정되는 특징 벡터들의 위치 및 방향이다. 특징 벡터는 자차량 좌표계에서 차선의 가장자리 상의 한 점을 표현하는 위치 및 차선의 가장자리가 이 위치에서 어느 방향으로 진행하는지를 알려주는 방향 또는 각도로 구성된다.
다른 입력 데이터는 위치 및 방향 정확도 측정의 품질 및 특징 벡터의 존재 확률을 재현한 값이다. 방법은 다음의 단계들을 더 포함한다:
입력 데이터는 시간상 공통적으로 축적된다(S10).
축적된 입력 데이터로부터 측정 품질을 고려하여(위치 및 방향 정확도 및 특징 벡터의 존재 확률) 차선의 기하학적 형상이 추정된다(S20). 추정된 차선의 기하학적 형상은 출력되고(S30), 이는 특히 다시 특징 벡터들의 위치 및 방향으로서 포괄적으로 나타날 수 있어서, 추정된 차선 진행은 정량적으로 설명된다.

Description

차선의 추정 방법
본 발명은 차선의 추정 방법으로서, 바람직하게는 운전자 보조 시스템에 적용되는 차선의 추정 방법에 관한 것이다.
운전자 보조 시스템의 개발은 센서 데이터를 사용하여 차량 인근의 주변 환경을 분석 및 해석하는 것에 기반한다. 차선의 진행을 재현(representation)하는 것은 중요한 구성 요소이며, "Lane Departure Warning(차선 이탈 경고)"과 같은 공지된 보조 시스템을 위한 토대가 된다.
차선을 인식하여 차량의 주변 환경을 재현하기 위해 널리 알려진 접근 방식은 카메라를 사용하여 차량 앞에 놓인 차선 표시를 감지하고, 감지된 데이터를 영상 처리 공정(대부분 명암비 평가에 기반)으로 평가하는 것이다.
카메라에 기반한 차선 인식 시스템은 예컨대 차선 유지 보조 장치와 같은 다양한 운전자 보조 시스템에서 사용된다. 이러한 시스템은 일반적으로 차선 표시에 따라 자기 차선을 제한하는 선분을 검출하고, 예컨대 운전자가 주의력을 상실하였거나 피로가 감지되거나 깜박 조는 탓에 차선을 의도치 않게 이탈하기 전에 운전자에게 경고를 실행한다.
WO 2014/032664 A1은 적어도 하나의 영상 감지 유닛을 사용하여 주행 가능 공간을 제한하는 구조물을 감지하고 이러한 구조물을 주변 맵에 등록하는 차량용으로 차선 진행 결정 방법을 설명한다. 차량 주변 환경에 대한 주변 맵은 2차원으로 이루어진 셀 격자 구조로 분할되어 있다.
WO 2011/131165 A1은 적어도 하나의 주변 센서 시스템을 사용하여 움직이는 자동차에서 주행 도로의 진행을 결정하는 방법을 설명한다. 주행 도로를 타겟으로 하는 주변 센서 시스템에 의해 생성된 센서 데이터는 차선 관련 특징들을 인식하기 위해 평가된다. 주행 도로에서 차선의 진행을 결정하는 적어도 하나의 차선 모델 파라미터를 포함하는 차선 모델이 생성된다. 차선 모델로는 구별 가능한 세그먼트들이 연속적으로 사용될 수 있고, 특히 클로소이드(clothoid) 주행 도로 모델, 원호(circular arc) 모델 또는 스플라인(spline) 모델의 범위에서 사용된다.
이와 같은 방법의 단점은, 통상적으로 영상을 제공하는 주변 감지 센서의 데이터만이 사용되어서, 센서의 불량 시 차선 진행에 대한 정보를 산출할 수 없다는 것이다.
또한, 감지된 영상 데이터로부터 차선 진행을 산출하기 위해 기하학적 모델을 가정해야 한다는 것도 단점이다.
DE 102013213361 A1은 다른 차량들의 위치를 감지하는 수단을 사용하여 차량을 위한 차선 안내 방법을 소개하고, 이때 다른 차량들의 위치는 소정의 시간에 걸쳐 축적되고, 차량이 많이 나타나는 구간을 차선으로 인식한다. 이를 위해, 복수의 센서의 데이터는 병합될 수 있으며, 예컨대 레이더(radar) 시스템, 라이더(lidar) 시스템 및/또는 카메라 시스템과 같은 주변 감지 센서 시스템에 의해 차량 대 차량 통신(C2C) 데이터 및 디지털 도로맵에 기반한 데이터가 병합될 수 있다.
DE 102012219475 A1은 일반적인 센서 시스템 구상안 및 자동차에서의 그 용도를 설명한다. 센서 시스템은 복수의 센서 소자들을 포함하고, 센서 소자들은 적어도 부분적으로 서로 다른 1차 측정값을 감지하고 및/또는 적어도 부분적으로 서로 다른 측정 원칙을 사용하도록 형성된다. 센서 시스템은 신호 처리 장치를 포함하고, 신호 처리 장치는 센서 소자들의 센서 신호들을 적어도 부분적으로 공통적으로 평가하고 센서 신호들의 정보 품질을 판단하도록 형성된다. 이때 신호 처리 장치는 물리적 값에 대한 적어도 하나의 데이터가 갖는 정확도에 관한 정보를 제공한다. 신호 처리 장치는 정확도에 관한 정보가 적어도 하나의 특징값 또는 특징값 집합으로 표현되도록 형성된다.
본 발명의 과제는, 차선의 추정 방법을 제공하되 공지된 방법에 비하여 보다 높은 이용 가능성, 보다 증대된 감지 범위 및 보다 견고한(robust) 추정을 가능하게 하는 방법을 제공하는 것이다.
본 발명의 시작점은 차선 유지 보조 외에 위치 확인(localization) 및 위치 결정(positioning), 그리고 주행 전략 및 이에 상응하는 고도 자동화 주행을 위한 궤적(trajectory)을 계획하는 것에 있어 작업이 점점 더 복잡해짐에 따라 정확한 차선 추정이 필요하다는 것으로 볼 수 있다.
운전자 보조 시스템이 자율 주행 방향으로 더 개발되는 것을 고려하여, 차량 주변의 차선 정보를 인식할 필요성이 커지고 있다(특히 "Road Model(도로 모델)" 의 견지에서 재현을 위해):
- 자기 차선을 신뢰할만하고 견고하게 인식하는 것, 그리고 인식율의 높은 이용 가능성은 시스템의 안정성 및 신뢰도를 위해 절대적으로 필요하다. 이는 특히 날씨 조건이 좋지 않을 때(눈/안개) 또는 (다른 도로 이용자에 의해) 시야가 부분적으로 가려져 있을 때, 온전히 카메라에 기반한 시스템이 한계에 다다를 때 해당된다. 그렇지 않다면, 고도 자동화 주행 시 가능해야 하는 바와 같이 운전자의 감시를 지속적으로 필요로 하지 않는 시스템을 구현할 수 없다.
- 자기 차선을 보다 높은 유효 범위로 감지하여 예컨대 더 빠른 속도를 가능하게 하는 것이 필요하다.
- 자기 차선 외에 인접 차선도 인식하여, 예컨대 차선을 변경하거나 추월을 위해 방향을 전환하려 하거나, "우측 차로 이용"과 같은 교통 법규를 지키거나 필요 시 교통 표지판을 개별 차선들과 연관지을 수 있어야 한다.
- 잉여(redundant) 정보를 사용하여 센서의 불량 또는 결함을 보상할 수 있어야 한다. 결론적으로, 어느 시점에도 차선의 인식이 보장될 수 있어야 한다.
본 발명의 제1 양태에서, 차선의 진행을 산출 또는 추정 시 주변 감지 센서 데이터에 국한하지 않고 복수의 센서로부터의 입력 데이터도 처리한다.
차선 표시의 검출은 모노 카메라 외에 추가적으로 제2 또는 다른 카메라(들)의 측정 데이터, 특히 스테레오 카메라, 측면 또는 후방 감지 범위를 포함하는 카메라(예컨대 올 어라운드 뷰- 또는 서라운드 뷰 시스템에서 사용되는 바와 같은 카메라) 또는 측면에 배치되며 화각이 큰 카메라의 측정 데이터에 기반하여 또는 다른 광학 3D 센서를 사용하여 수행될 수 있다. 그러므로 차선 표시를 공간적으로 해상하여 인식하는 것은 고해상 3D 플래시 라이더 또는 광자 혼합 검출기(photonic mixing device, PMD)를 사용하거나 또는 레이저에 기반하여 차선 표시의 반영물을 레이저를 사용하여 검출함으로써 수행될 수 있다.
부가적 또는 대안적으로, 차선의 진행은 동적 객체(objects) - 즉 다른 차량들 또는 도로 이용자 - 에 기반하여 추정될 수 있다. 동적 객체 및 이러한 객체의 움직임 거동(특히 3D 위치, 상대 속도)은 빔 센서, 바람직하게는 레이더 센서 또는 라이더 센서를 사용하여 추적될 수 있다. 또한, 차선에 대한 정보는 예컨대 내비게이션 시스템 맵과 같은 맵 자료 또는 백엔드(backend) 데이터베이스 또는 다른 차량들과의 통신으로부터 획득될 수 있고, 이때 자기 차량의 위치는 위치 인식 장치를 사용하여(예: GPS, GNSS, 랜드마크를 이용한 위치 확인) 산출된다. 차량 센서 장치로부터 주행 기록 데이터를 인식함으로써 차선의 진행을 추정할 수 있다. 주행 기록 데이터란, 차량의 움직임을 특성화하고 특히 서스펜션, 파워 트레인, 조향의 측정값 및 차량의 내비게이션 장치의 측정값과 같은 차량 센서 데이터를 포함할 수 있는 데이터를 의미한다.
본 발명의 제2 양태에서, 센서가 제공하는 데이터는 해당 센서의 측정 방법과 무관하게 처리되나, 센서의 개별 측정값들의 품질은 추정에 수용된다. 따라서 측정값들은 포괄적인(generic) 특징들로서 추정에 수용된다.
본 발명에 따르면, 차선의 추정 방법은 복수의 입력 데이터를 사용한다. 입력 데이터는 복수의 서로 다른 센서로부터 서로 무관하게 측정되는 특징 벡터들의 위치 및 방향이다. 특징 벡터는 자차량(ego vehicle) 좌표계에서 차선의 가장자리 상의 한 점을 가리키는 위치 및 차선의 가장자리가 이 위치에서 어느 방향으로 진행하는지를 가리키는 방향 또는 각도로 구성된다. 이 각도는 이하에서 Heading(선수)(각)으로 지칭되고, 차량 종축과 차선 가장자리의 진행 방향 사이의 각도를 나타낸다.
다른 입력 데이터는 측정의 품질, 즉 측정의 위치 및 방향 정확도와 특징 벡터의 존재 확률을 재현하는 값이다. 방법은 이하의 단계들을 포함한다:
단계 S10에서 입력 데이터는 시간상 공통적으로 축적된다.
단계 S20에서 축적된 입력 데이터로부터 측정 품질을 고려하여(위치 및 방향 정확도 및 특징 벡터의 존재 확률) 차선의 기하학적 형상이 추정된다. 단계 S30에서 추정된 차선의 기하학적 형상, 즉 추정 결과물은 출력되고, 이는 특히 다시 특징 벡터의 위치 및 방향으로 포괄적으로 나타날 수 있어서, 추정된 차선의 진행은 정량적으로 표현된다.
따라서 본 발명은 매우 다양한 정보 소스 또는 센서들의 데이터를 사용하여 견고하고 정확한 차선 진행 추정을 위한 포괄적 특징 수준에서 차선 추정을 위한 지능적이고 범용적인 방법을 제공한다.
이 방법은 이하의 이점을 제공한다:
불균일한 정보 소스, 즉 다양한 측정 원칙을 포함하는 임의 개수의 소스를 사용할 수 있다.
입력 및 출력 데이터를 포괄적으로 재현하는 것은 x, y 위치, 방향 또는 Heading, 변량(variance) 및 신뢰성(confidence)으로 구현된다.
하나의 입력 데이터 소스가 갖는 불확실성은 다른 입력 데이터 소스들의 정확도로 보상된다. 추정 결과물은 정보 소스의 입력 데이터를 조합 및 개선한다.
차선 추정의 이용 가능성 및 견고성은 잉여성에 의해 증대된다. 정보 소스가 불량하면 시스템 불량을 야기할 뿐만 아니라, 신뢰성이 떨어지고, 위치 및 방향의 변량이 증가한다.
추정은 사전에 기하학적 모델을 가정하지 않는다.
감지 범위 또는 차량 주변에서 차선 추정이 이루어지는 범위는 증대된다.
특징들은 다양한 정보 소스로부터 낮은 전처리율로 추출될 수 있다(예컨대 카메라 시스템에서 특징 벡터들은 차선 표시들 상에서 추출되고, 동적 객체로부터의 추정 시 특징 벡터들은 동적 객체의 궤적을 참조하여 표현된다). 특징 벡터들을 사용하여 병합 모듈의 입력 및 출력 데이터들이 매우 포괄적으로 재현된다.
병합은 정보 소스의 측정 원칙들과 무관하며 기하학적 모델 가정을 포함하지 않는다(예컨대 클로소이드 또는 스플라인을 통한 차선 진행 근사법과 같음). 동시에 알고리즘은 개개의 입력 센서들뿐만 아니라 다양한 입력 신호들의 각 조합을 위해서도 기능하므로, 병합은 사용된 정보 소스의 개수와 무관하다. 입력 및 출력 데이터의 품질은 위치 변량 및 신뢰값을 통해 재현된다. 그러므로 다양한 입력 데이터가 감지되고 (적합한 가중을 사용하여) 조합될 수 있으며, 결과물의 위치 정확도가 유지될 수 있다. 또한, 예컨대 결과물에서 정보 소스의 불량은 특징 벡터들의 (각각 변량 증가에 의한) 보다 낮은 신뢰값을 통해서만 인지될 뿐, 시스템 중단에 의해 인지되지 않는다.
바람직한 실시예에서, 다른 단계 S12에서 서로 인접하는 축적된 특징 벡터들은 연동된다. 즉, 근소한 값을 제외하고 Heading각이 일치하고 특징 벡터들이 특히 위치 좌표 내에서 공간적으로 너무 멀리 서로 떨어져 있지 않을 때, 축적된 특징 벡터들은 그룹으로 묶인다.
본 발명의 유리한 실시예에 따르면, 다른 단계 S14에서, 연동된 특징 벡터들은 병합된다. 이러한 병합은 특히 가중된 평균 산출로 수행될 수 있으며, 이러한 가중된 평균 산출에 의해 주요 진행 방향에서 스무딩(smoothing)이 달성된다.
바람직한 실시예에서, 축적된 (및 경우에 따라서 연동 및 평균 산출된) 특징 벡터들에 기반하여 기하학적 모델 가정은 차선의 기하학적 형상 추정 시 사용될 수 있다.
차선을 추정하기 위해, 특히 그래프 SLAM(graph SLAM) 방법이 적용될 수 있다. 그래프 SLAM 알고리즘은 소위 "full SLAM problem(전역 SLAM 문제)"(SLAM=Simultaneous Localization And Mapping)을 분포도가 희박한 그래프의 최적화를 이용하여 해결한다. SLAM 알고리즘은 주변의 맵을 구축함("Mapping")과 동시에 맵 내에 자기 위치를 결정하려고 한다("Localization"). "full problem(전역 문제)"은 현재 위치 외에 이전 위치들의 진행도 계산하는 것이다. 칼만 필터(Kalman filter)와 같은 종래의 병합 알고리즘에 비해, 그래프 SLAM으로 "full SLAM problem"을 해결하면 잘못된 특징 연상을 추후에 수정할 수 있다. 이를 통해 보다 견고하고 더 정확한 결과가 생성 및 출력될 수 있다.
바람직하게는, 입력 데이터는 차선 경계 표시 인식, 차선을 제한하는 객체의 인식 및/또는 선행 및/또는 마주 오는 차량 또는 동적 객체의 궤적 측정으로부터 산출될 수 있다.
차선 경계 표시 인식은 이에 대해 공지된 방식으로 단안 단색 또는 컬러 해상 전방 카메라, 스테레오 카메라 또는 기타 광학 3D 센서를 사용하여 수행될 수 있다.
차선을 공간적으로 제한하는 객체는 연석, 가이드 레일, 기둥, 도로가 건축물, 또는 인접한 목초지 등을 마주하는 노면 가장자리의 수직 경사면일 수 있다. 이러한 객체들은 특히 3D 센서에 의해 검출될 수 있거나 카메라 영상 데이터로부터 산출될 수 있다.
선행 차량 및/또는 마주오는 차량의 궤적 측정은 특히 레이더, 라이더 또는 차량 객체 인식 기능을 가진 카메라를 이용하여 수행될 수 있다. 궤적 측정으로부터 이력적 차선 진행이 산출될 수 있는데, 차선 내에 선행 차량 또는 마주오는 차량이 주행하고 있고 납득 가능한 차선 폭을 기초로 한다는 가정을 수립한 상태에서 그러하다. 다른 차량의 통상적인 차선 변경은 측정된 궤적의 곡률 반경이 변경된 것에 따라 인식될 수 있다. 이러한 산출에서 위치 정확도는 차선 표시 인식보다 현저히 더 불량하긴 하나, 시야가 극히 나쁘거나 차선 표시가 완전히 틀린 경우에도 레이더 센서를 사용하여 산출이 가능하다.
유리하게도, 추정 및 출력된 차선의 기하학적 형상은 차선 이탈 경고(Lane Departure Warning, LDW), 피로 경고, 차선 변경 지원, 능동형 차선 유지 지원(Lane Departure Protection(차선 이탈 방지) 또는 Lane Keeping(차선 유지)), 차선 중심 안내, 경로 안내 지원, 교통 표지판 보조(자기 차량을 위한 차선 관련 교통 표지판의 중요도를 산출하기 위함), 추월을 위한 방향 전환 지원, 교통 법규 준수(예: 우측 차로 이용, 실선을 사용한 추월 금지), 비상 제동 보조, 비상 조향 보조 및/또는 자율 차량 안내의 범위 내에서 사용될 수 있다.
또한, 본 발명의 주제는 본 발명에 따른 방법을 수행하도록 구성되는 차선의 추정을 위한 장치이다.
이하, 본 발명의 유리한 실시예들은 도면을 참조로 하여 설명된다. 도면은 다음과 같다:
도 1은 차선 내에 있는 차량을 도시한다.
도 2는 2개의 서로 다른 센서로부터 시간상 공통적으로 축적된 입력 데이터를 재현한 것이다.
도 3은 도 2에서 서로 인접하는 입력 데이터들이 연동된 것을 재현한 것이다.
도 4는 도 3에 따라 연동된 벡터들이 병합된 상태를 재현한 것이다.
도 5는 차선의 추정을 위한 방법의 과정을 보여주는 개략적 흐름도이다.
도 1은 3개의 차선(I 내지 III) 중에 중간 차선(II)에 위치한 차량(1)을 도시한다. 3개의 차선(I 내지 III)은 파선으로 도시된 차선 표시(6; 7)에 의해 서로 분리되고, 3개의 차선으로 구성된 차도 밖에 위치한 인접 영역(4; 9)에 마주하여 각각 연속한 차선 표시(5; 8) 또는 차선 경계선에 의해 분리되어 있다.
차량(1)은 복수의 주변 감지 센서, 바람직하게는 전방 카메라(2) 및 레이더 센서(3)를 구비한다. 전방 카메라(2)는 차량(1) 앞에 위치한 차선(I-III)의 영역을 촬상한 영상들을 감지하되, 노면이 전방 카메라(2)의 시야에 있고 객체에 의해 가려지지 않는 한 감지한다.
영상 데이터로부터 차선 표시(5-8)는 이에 대해 공지된 방식으로 명/암 이행부분으로 추출될 수 있다. 하나의 특징은 특징 벡터(m)(차량 좌표에서 x, y, heading)로서 차선(I-III)의 가장자리상에 또는 2개의 차선 사이에 제공될 수 있다.
추정 방법을 위한 입력 데이터로서 전방 카메라(2)로부터 점들로 이루어진 차량 좌표에서의 x, y 위치 및 Heading각으로 전달되고, 이러한 점들은 영상에서 차선(I 내지 III)의 가장자리 상에 또는 차선 표시(4 내지 8) 상에 위치한다.
차량 좌표계에서 x축은 차량 종축에 상응하고, y축은 x축에 대해 수직이다. 즉, 양의(positive) y 거리는 차량의 전진 방향에서 볼 때 좌측에 위치한다. Heading(각)는 차량 종축에 대하여 차선 경계 또는 표시선이 진행하는 각도를 지칭한다. 즉, 양의 x 방향을 가리키는 Heading는 차량 종축에 대해 차선 표시가 평행하게 배향되어 있음을 의미한다.
전방 카메라(2)의 제한된 해상도 및 차선 표시 추출 그 자체가 갖는 불확실성, 예컨대 좌표 변환에 의한 불확실성으로 인하여 측정 정확도 또는 위치(σX, σY) 및 방향(σHeading)의 변량이 발생한다. 카메라 영상 감지에서 제약사항 또는 오류로 인하여 또는 잘못되었거나 가려지거나 바래지는 등의 차선 표시로 인하여, 전방 카메라(2)는 차선 표시를 적어도 부분적으로 인식할 수 없거나 확실하게 인식할 수 없을 수 있다. 이러한 사항은 관련된 벡터의 신뢰값으로 함께 전달된다. 신뢰값이 1이면 100% 인식을 의미하고, 신뢰값이 0.2이면 관련 벡터(m)가 20%에 불과한 확률로만 대체로 차선 표시(5-8)를 제공하는 것을 의미한다. 선택적으로, 이미 전방 카메라(2)로부터 이 위치에서 차선 표시 유형에 대한 정보가 함께 전달될 수 있고, 예컨대 "실선", "파선", 차선 표시용 못의 경우에 "점선"이 있다(보츠 닷(Bott's dots)).
따라서 입력 및 출력 데이터로 재현될 수 있는 것은 다음과 같다:
차선의 가장자리를 나타내는 점들:
- x, y [m] 차량 좌표에서의 위치
- Heading [rad] 차량 좌표에서의 Heading각
- σX, σY, σHeading [m,m,rad] 표준 편차
- confidence [0.0,1.0] 신뢰값(존재 확률)
- 유형 속성, 예컨대 "실선", "파선"
이로써, 차선의 진행을 추정하기 위해 그래프 SLAM 알고리즘을 사용할 수 있다:
Figure 112017116094014-pct00001
병합 알고리즘의 사상은 맵("Map")을 차선의 진행을 재현하는 특징들(x, y, heading)에 의해 포괄적으로 표현한다는 것이다. 이러한 특징들은 자차량 좌표계에 표현되며, 이를 위해 자기 위치가 함께 추정되어야 한다.
Figure 112017116094014-pct00002
입력 데이터로는 벡터들의 확률적 위치를 표현하는 포괄적 특징들이 사용된다. 위치 불확실성은 위치 변량으로 표현된다. 일반적인 재현에 의해 알고리즘은 특정 센서와 무관하다.
Figure 112017116094014-pct00003
예컨대 카메라 시스템에서 잘못된 검출로 인한 존재 불확실성 또는 동적 객체의 검출 시 잘못된 해석은 신뢰값에 의해 재현된다.
그래프 SLAM으로 "full SLAM problem"을 해결함으로써(칼만 필터와 같은 종래의 병합 알고리즘에 비해) 특징(벡터)들의 잘못된 연동은 추후에 수정될 수 있어서, 보다 견고하고 정확한 결과물을 생성한다.
특징 점 집합으로서 포괄적으로 출력되므로(또는 포괄적 출력) 알고리즘은 차선 재현 또는 기하학적 제약사항과 관련한 가정을 포함하지 않는다.
도 2 내지 도 4는 차선 추정을 위한 방법의 일 실시예를 나타낸다.
도 2는 제1 센서의 특징 벡터들(m)(센서 1)(닫힌 화살표 끝) 및 제2 센서의 특징 벡터들(m)(센서 2)(열린 화살표 끝)의 위치 및 방향을 도시한다. 다양한 입력 소스들의 특징들은 시간상 공통적으로 축적되고, 즉 특히 한 시점에 공통적으로 산출되며 도 2에 예시적으로 도시된 바와 같은 동일한 x-y 그래프에 기록된다.
도 3은 인접한 특징들이 어떻게 연동되는지를 도시하는데, 이러한 특징들은 확률적으로 동일한 차선 가장자리에 속하기 때문이다. Heading각이 실질적으로 일치하고 그 위치가 서로 간에 멀리 이격되지 않은 특징 벡터들은 인접해 있다. 도 3에서는 특징 벡터들의 상부 그래프(a1) 및 하부 그래프(a2)를 양호하게 인식할 수 있으며, 이러한 그래프 각각은 거의 이미 하나의 선분을 형성한다.
전방 카메라에 의해 검출되고 x 방향으로 진행하는 파선 선분에서, 샘플링 시 2개의 인접한 특징 벡터들 사이에서 때때로 x 위치에서 비약적 변화가 있으나 y 위치에서는 눈에 띄는 비약적 변화를 보이지 않을 것이다(미도시).
도 4는 도 3에서 연동된 특징들이 어떻게 병합되어, 상부 그래프(f1) 및 하부 그래프(f2)에서 특히 위치 정확도가 개선되고 신뢰성이 증대되는지를 도시한다. 병합은 y 위치들의 가중된 평균 산출 형태로 수행될 수 있어서, 이상치(outliner)가 제거될 수 있다. 가중은 한편으로 위치 결정의 측정 불확실성, 다른 한편으로 존재 확률을 고려할 수 있다.
도 5는 차선의 추정 방법의 일 실시예의 과정을 개략적으로 도시한다.
단계 S10에서 복수의 센서(센서 1 내지 센서 n)의 입력 데이터가 특징 벡터들로서 시간상 공통적으로 축적된다.
단계 S12에서 인접한 특징들이 연동된다.
연동된 특징들은 단계 S14에서 병합된다.
단계 S20에서 차선의 기하학적 형상이 추정된다. 이는, 병합의 결과물이 추정 결과물로 수용되면서 가능할 수 있다. 병합이 수행되지 않았을 때, 특징 벡터들의 연동에 기반하여 결과가 추정될 수 있다.
연동이 수행되지 않으면, 추정 결과물은 위치 및 방향 정확도의 측정 품질 및 특징 벡터의 존재 확률을 고려하여 직접적으로 축적된 입력 데이터로부터 차선의 기하학적 형상으로 얻어질 수 있다. 선택적으로, 병합, 연동 또는 축적 후, 획득된 특징 벡터들을 기하학적 모델과 대조할 수 있다.
단계 S30에서 추정된 차선의 기하학적 형상이 출력된다.
이하, 본 발명에 따른 방법에서 가능한 수식이 제공된다.
차선 특징은 하기 식 (1)과 같은 특징 벡터(fi)로 제공될 수 있다:
fi=[xi, yi, θi, ci, ∑i] (1)
식 중, xi및 yi는 특징의 위치를 나타내고, θi는 Heading각을 나타낸다. 각 특징에 대한 측정 불확실성은 x, y, θ와 관련하여 신뢰값(ci) 및 공분산 행렬(∑i)에 의해 제공된다. 이러한 2차원 수식은 차선 진행의 높이 정보는 배제한다.
차선 특징들의 병합을 위한 알고리즘의 목적은, 주변의 표현을 차선 특징들(F1,F2,…,FN)로 이루어진 집합(Ffused)의 형태로 얻는 것이며 이러한 집합은 서로 다른 차선 특징 입력 데이터로부터 도출된다. 일반적으로, 이러한 문제는 A-사후 확률의 추정으로 표현될 수 있다.
p(xt,m｜z1:t,u1:t) (2)
식 중, xt는 현재의 차량 포즈이고, m은 수많은 측정들(z1:t)을 통해 주변을 표현한 것을 나타낸다. 제어 벡터(u1:t)는 해당 시간에 차량의 움직임을 표현한다. 이는 예컨대 칼만 필터 또는 입자 필터로 해결될 수 있는 SLAM 문제로 알려져 있다. 본원에서 그래프 SLAM 알고리즘이 사용되며, 이러한 알고리즘은 주변 및 현재 차량 위치(xt)뿐만 아니라 전체 궤적(x0:t)을 표현한다.
그래프 SLAM에서 방정식(2)은 희박하게 분포한(영문: sparse) 그래프로 표현된다. 차량 포즈(x0:t) 및 주변(m)은 꼭짓점들(정점들)(vi∈V)로 표현된다. 측정 및 제어 벡터는 해당 꼭짓점들을 변(edge)으로 연결하는 필수 조건을 나타낸다. 즉, 하나의 변은 한 차선의 가장자리에 대한 정보를 포함한다. 그래프는 조건들의 합으로 표현되며
식 중, e(zij,vi,vj)는 오류 함수이다. 이러한 오류 함수는 측정(zij)과 꼭짓점 포즈 차 사이의 불일치를 나타낸다. 이러한 불일치는 정보 행렬(Ωij=Σij -1)의 형태로 측정 공분산으로 가중된다. 비선형 2차 방정식으로 이러한 합을 극소화하는 것은 가우스 뉴튼 알고리즘으로 해결될 수 있다. 결과로 나타나는 꼭짓점들의 배치(configuration)()는 추정된 주변 특징들의 포즈 및 차량 포즈와 동일하다.
그래프는 다음과 같이 구성될 수 있다. 주변 및 측정된 차선 특징들은 그래프(G_t)에서의 정점들로 재현된다. 차량 앞의 주변만이 중요하므로, 해당 차량 포즈 집합은 τ-1일 때의 xt-τ:t 포즈로 감소한다. 따라서 그래프(Gt)는 연속적인 차량 포즈(xt-τ,xt-τ+1,…,xt) 및 차선 특징들(f1,f2,…,fn)을 꼭짓점(vi=[x,y,θ])으로 포함한다. 그래프 꼭짓점들의 모든 포즈들은 현재 차량 포즈 좌표계와 관련하여 제공된다. 그래프의 변을 정의하는 측정 필수 조건은 입력 차선 특징들 및 제어 벡터들로부터 도출되며, 이는 이하에 설명된다.
주행 기록(odometry)은 다음과 같이 그래프에 산입된다: 현재 제어 벡터는 이전의 그래프(Gt-1)에 부가된다. 제어 벡터는 차량의 요레이트(yaw rate)()및 속도()로 구성되며, 이전 포즈(xt-1)와 현재 포즈(xt) 사이의 포즈 차()를 적합한 정보 행렬(ΩΔx)을 사용하여 계산하기 위해 사용된다. 우선, 모든 꼭짓점들은 Δx를 사용하여 xt-1로부터 현재 차량 포즈(xt)로 변환된다. 이러한 변환 후 차량 뒤로 5m를 초과한 모든 측정은 그래프(Gt)에서 제거된다. 부가적으로, 더 이상 사용되지 않는 과거의 차량 포즈도 배제된다. 주행 기록 변은 그래프에서 서로 연속하는 2개의 포즈 사이에서 오류 함수
를 포함한 조건
(4)
으로 산입된다.
이용 가능한 차량 카메라(smc)의 차선 인식으로부터의 클로소이드는 다음과 같이 그래프에 부가된다:
클로소이드는 차량 좌표계에서 특징들()의 포즈 및 정보 행렬을 계산하기 위해 2m로 샘플링된다. 이러한 특징들은 그래프에 있는 모든 차선 특징들과 연동된다. 연동 거리 내에 특징이 발견되지 않는 경우, 새로운 꼭짓점이 그래프에 부가된다. 이러한 조건은 다음과 같이 표현된다:
(5).
측정()은 현재 차량 포즈(xt)의 꼭짓점과 새로운 특징 또는 연동된 특징의 꼭짓점(f*) 사이에 원하는 포즈 차이다. 이로부터 smc 변이 도출된다.
고해상 카메라(hrc)로부터의 특징들은 다음과 같이 그래프에 산입된다: 고해상 카메라 영상들의 특징들은 차선 표시에서 직접적으로 추출되므로, 이에 상응하는 차량 좌표의 특징들()은 존재하는 특징들과 직접적으로 연동되거나 이에 상응하는 측정 필수 조건
(6)
을 사용하여 새로운 꼭짓점으로서 산입되며, 이로부터 고해상 카메라 데이터를 위한 변이 도출된다.
동적 객체들로부터의 특징들은 다음과 같이 그래프에 부가된다: 이 사상은 다른 도로 이용자의 위치 및 움직임을 사용하여 이로부터 차선에 대한 정보를 유추한다는 것이다. 대부분의 경우에 다른 차량들의 운전자들은, 차선 중심에 근접하여 주행하는 경향이 있다. 이러한 가정을 토대로, 추적된 객체들로부터 특징들이 생성된다. 객체의 주행 방향에 대해 수직인 2개의 특징들은 잠재적인 차선 표시로서 w/2만큼 간격을 두어 각각의 동적 객체의 좌, 우측에 구축된다. 파라미터(w)는 현재 차선 폭을 추정한 것으로, 이는 이용 가능한 차량 카메라의 차선 인식으로부터의 클로소이드에서 수용될 수 있거나 그렇지 않으면 3.5m로 가정될 수 있다. 이 수치는 독일의 고속도로 차선의 일반적 폭에 상응한다.
이에 상응하는 특징 공분산은 객체 공분산과 공분산 행렬의 합과 동일하고, 이는 차선 중심에 대한 도로 이용자의 측면 표준 오차를 제공한다. 결과로 나타나는 특징들은 존재하는 특징들과 연동되거나 다음의 측정 필수 조건:
(7)
을 사용하여, 새로운 꼭짓점으로서 부가되며, 이때 는 시점(t)에 i번째 추적된 객체의 좌측 또는 우측 특징이다.
이러한 모델에서 나타날 수 있는 비접근성은, 좌, 우측 특징들이 분리된다는 것인데, 이는 좌측 특징의 위치 개선이 우측 특징에 영향을 미치지 않고, 그 반대의 경우도 마찬가지임을 의미한다. 따라서 차선 폭의 가정은 좌, 우측 특징 사이의 필수 조건으로 명시된다:
(8)
동일한 객체의 좌, 우측 특징 사이에서 원하는 포즈 차는 측면 간격을 차선 폭(w)으로 볼 때 w=[0,w,0°] 이다. 각도 차는 0으로 설정하는데, 양쪽 특징들의 움직임 방향은 동일해야 하기 때문이다. 정보 행렬(Ωwidth)은 현재 차선 폭 추정의 변량에 상응한다.
또한, 추가적인 종속성도 관찰되어야 할 것이다: 현재 모델에서 한 객체의 동일한 측면에서 서로 연속하는 2개의 특징들은 분리된다. 이는, 이 에 직접적 영향을 미치지 않는다는 것을 의미한다. 하나의 특징()이 다른 측정들에 의해 보정되면, 다음 특징과의 불일치가 크게 나타날 수 있다. 이러한 불일치는 이 2개의 특징들 사이에 스무딩 조건:
(9)
이 산입되면서 최소화될 수 있다. 2개의 서로 연속한 특징들 사이의 측방향 이동은, 와 이 증가하면서 감소할 수 있다. 종방향에서의 거리가 변경되지 않아야 하므로, 이다. 이는 각 객체에 대하여 하나의 측면을 위한 하나의 변을 각각 제공한다.
도로 이용자가 차선 변경을 실행할 때, 이 조건은 심각하게 위반되는데, 특정한 점부터 특징()은 하나의 차선에, 특징()은 다른 차선에 속하기 때문이다. 그래프 SLAM에서 방정식(9)은 전환 변수(0≤st,i,l/r≤1)로 배가될 수 있다. 이러한 변수가 0으로 설정되면, 이 변이 비활성화되고, 변수가 1이면, 변이 완전히 활성화된다. 이는 잘못된 연결을 방지하기 위해 그래프 SLAM의 최적화 중에 사용될 수 있는데, 이 추가 조건으로 산입되면서 그러하다. 이는 변의 오류가 너무 커질 때까지 변을 활성화시키고, 변의 비활성화는 보다 나은 결과를 제공한다.
그래프의 풀이: 종합적으로 그래프(Gt)는 하기 식 (10)의 조건:
(10)
을 포함하고, t는 모든 τ-1 관련 시간 단계에 걸쳐 진행되고, i는 이에 상응하는 시간 단계의 모든 센서 특징들에 걸쳐 진행된다.
최적의 꼭짓점 포즈의 배치는 그래프의 풀이에 의해 얻어진다. 알고리즘의 결과는 병합된 차선 특징들의 집합(Ffused)에 상응하고, 이러한 차선 특징들은 최적의 꼭짓점 포즈에 직접적으로 상응한다. 결과로 나타나는 병합된 특징들의 신뢰값은 측정된 특징들이 연동될 때 매번 업데이트된다.
실시간 가능한 병합 알고리즘은 카메라 기반 차선 검출에 기반하여 본 발명에 따른 방법의 실행 가능성을 증명하고 동적 객체에 기반하여 차선 진행의 추정을 증명하기 위해 적용되었다.
입력 데이터는 다음과 같다:
- 이용 가능한 차량 카메라의 차선 인식(샘플링된 클로소이드로부터의 특징들)
- 고해상 카메라에서의 차선 인식
- 동적 객체에 따른 차선 추정.
이러한 구성에서 한편으로 이용 가능한 차량 카메라의 자기 차선 인식에 있어 견고성 및 양호한 위치 정확도는 고해상 카메라의 향상된 차선 검출(증대된 유효 범위, 인접 차선의 검출)과 결합된다. 결과물의 위치 정확도는 특징들의 변량을 이용하여 재현된다. 다른 한편으로, 병합에서 카메라 기반 차선 정보는 동적 객체를 이용한 추정(카메라, 레이더, 라이더 기반)과 병합된다(예컨대 카메라 기반 차선 검출이 시야가 가려져 있어서 정보를 덜 제공할 때 다양한 측정 원칙들의 이점이 조합될 수 있음). 시작 특징들에 기반하여 기하학적인 모델 가정이 구축될 수 있다(클로소이드, 스플라인 등을 사용한 차선 진행 근사법).
결과적으로, 종래의 인식 방법에 비해 차선 기하학적 형상의 인식에 있어 신뢰성은 현저히 향상될 수 있다.

Claims (9)

  1. 입력 데이터를 사용하여 차선을 추정하기 위한 방법으로서, 상기 입력 데이터는,
    - 복수의 서로 다른 센서로부터 서로 무관하게 측정되는 특징 벡터들(m)의 위치 및 방향으로서, 상기 위치는 차선의 가장자리 상의 한 점을 나타내고, 상기 방향은 상기 위치에서 차선의 가장자리가 어느 방향으로 진행하는지를 제공하는, 상기 특징 벡터들(m)의 위치 및 방향, 및
    - 상기 특징 벡터들(m)의 위치 및 방향 정확도 측정의 품질 및 하나의 특징 벡터의 존재 확률을 재현하는 값을 포함하고, 상기 방법은,
    - 상기 입력 데이터를 시간상 공통적으로 축적시키는 단계(S10)
    - 상기 축적된 입력 데이터로부터, 위치 및 방향 정확도 측정의 품질 및 상기 특징 벡터의 존재 확률을 고려하여 차선의 기하학적 형상을 추정하는 단계(S20) 및
    - 차선의 상기 추정된 기하학적 형상을 출력시키는 단계(S30)
    를 포함하고,
    다른 단계(S12)에서, 상기 축적된 입력 데이터의 서로 인접한 축적된 특징 벡터들은 연동되며,
    다른 단계(S14)에서, 축적된 특징 벡터들의 연동된 특징 벡터들(a1, a2)은 병합되는, 차선을 추정하기 위한 방법.
  2. 삭제
  3. 삭제
  4. 제1항에 있어서, 차선의 기하학적 형상 추정 시(S20) 상기 축적되거나(m) 연동되거나(a1, a2) 병합된(f1, f2) 특징 벡터들에 기반하여 기하학적 모델 가정이 적용되는, 차선을 추정하기 위한 방법.
  5. 제1항에 있어서, 차선의 추정을 위해 그래프 SLAM 방법이 적용되는, 차선을 추정하기 위한 방법.
  6. 제1항에 있어서, 상기 입력 데이터는 다음의 센서들 중 적어도 2개의 센서에 의해 측정되는, 차선을 추정하기 위한 방법:
    - 차량의 주행 방향을 주시하는 단안 전방 카메라(2),
    - 차량의 주행 방향을 주시하는 스테레오 카메라,
    - 측면 또는 후방 감지 영역을 포함하는 카메라,
    - 올 어라운드 뷰 시스템의 카메라,
    - 기타 광학 3D 센서 장치,
    - 빔 센서(3),
    - 차량 센서,
    - 디지털 맵,
    - 백엔드 데이터베이스,
    - 차량 대 차량 통신 장치와 연결된 위치 감지 장치.
  7. 제1항에 있어서, 상기 입력 데이터는,
    - 차선 경계 표시 인식, 또는
    - 차선을 제한하는 객체의 인식, 또는
    - 선행 또는 마주 오는 차량들의 궤적 측정
    으로부터 산출되는, 차선을 추정하기 위한 방법.
  8. 제1항에 있어서, 상기 출력된 차선의 추정된 기하학적 형상은,
    - 차선 이탈 경고,
    - 피로 경고,
    - 차선 변경 지원,
    - 능동형 차선 유지 지원,
    - 차선 중심 안내,
    - 경로 안내 지원,
    - 교통 표지판 보조,
    - 추월을 위한 방향 전환 지원,
    - 교통 법규 준수 지원,
    - 비상 제동 보조,
    - 비상 조향 보조, 및
    - 자율 차량 안내
    중 적어도 하나의 범위 내에서 사용되는, 차선을 추정하기 위한 방법.
  9. 차선의 추정 장치로서,
    - 복수의 서로 다른 센서의 입력 데이터를 시간상 공통적으로 축적하도록(S10) 구성되는 축적 수단으로서, 상기 입력 데이터는,
    복수의 서로 다른 센서로부터 서로 무관하게 측정되는 특징 벡터들(m)의 위치 및 방향으로, 상기 위치는 차선의 가장자리 상의 한 점을 표현하고, 상기 방향은 상기 위치에서 상기 차선의 가장자리가 어느 방향으로 진행하는지를 나타내는 것인, 특징 벡터들(m)의 위치 및 방향, 및
    위치 및 방향 정확도의 측정의 품질 및 특징 벡터의 존재 확률을 재현하는 값을 포함하는, 상기 축적 수단,
    - 상기 위치 및 방향 정확도의 측정의 품질 및 상기 특징 벡터의 존재 확률을 고려하여 상기 축적된 입력 데이터로부터 차선의 기하학적 형상을 추정하도록(S20) 구성되는 추정 수단, 및
    - 상기 추정된 차선의 기하학적 형상을 출력하도록(S30) 구성되는 출력 수단
    을 포함하고,
    상기 축적된 입력 데이터의 서로 인접한 축적된 특징 벡터들은 연동되며, 축적된 특징 벡터들의 연동된 특징 벡터들(a1, a2)은 병합되는, 차선의 추정 장치.
KR1020177033721A 2015-05-22 2016-05-13 차선의 추정 방법 Active KR102558055B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
DE102015209467.7A DE102015209467A1 (de) 2015-05-22 2015-05-22 Verfahren zur Schätzung von Fahrstreifen
DE102015209467.7 2015-05-22
PCT/DE2016/200227 WO2016188523A1 (de) 2015-05-22 2016-05-13 Verfahren zur schätzung von fahrstreifen

Publications (2)

Publication Number Publication Date
KR20180009755A KR20180009755A (ko) 2018-01-29
KR102558055B1 true KR102558055B1 (ko) 2023-07-20

Family

ID=56203051

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020177033721A Active KR102558055B1 (ko) 2015-05-22 2016-05-13 차선의 추정 방법

Country Status (7)

Country Link
US (1) US10650253B2 (ko)
EP (1) EP3298541A1 (ko)
JP (1) JP6800168B2 (ko)
KR (1) KR102558055B1 (ko)
CN (1) CN107646114B (ko)
DE (2) DE102015209467A1 (ko)
WO (1) WO2016188523A1 (ko)

Families Citing this family (47)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6307383B2 (ja) 2014-08-07 2018-04-04 日立オートモティブシステムズ株式会社 行動計画装置
US10762358B2 (en) * 2016-07-20 2020-09-01 Ford Global Technologies, Llc Rear camera lane detection
US11106988B2 (en) * 2016-10-06 2021-08-31 Gopro, Inc. Systems and methods for determining predicted risk for a flight path of an unmanned aerial vehicle
US10150474B2 (en) * 2017-01-04 2018-12-11 Robert Bosch Gmbh Reducing lateral position deviation during an automated lane change
DE102017208509A1 (de) * 2017-05-19 2018-11-22 Bayerische Motoren Werke Aktiengesellschaft Verfahren zum Erzeugen eines Straßenmodells während einer Fahrt eines Kraftfahrzeugs sowie Steuervorrichtung und Kraftfahrzeug
US20190011275A1 (en) * 2017-07-06 2019-01-10 Andrew Whinston System and method for routing autonomous vehicles
DE102018211368A1 (de) 2017-07-19 2019-01-24 Continental Teves Ag & Co. Ohg Verfahren zur Beschreibung einer Umgebung eines Fahrzeugs durch die Topologie der befahrenen Straße
DE102017216802A1 (de) 2017-09-22 2019-03-28 Continental Teves Ag & Co. Ohg Verfahren und vorrichtung zum erkennen von fahrspuren, fahrerassistenzsystem und fahrzeug
DE102018101388A1 (de) * 2018-01-23 2019-07-25 Valeo Schalter Und Sensoren Gmbh Korrigieren einer Position eines Fahrzeugs mit SLAM
JP7049188B2 (ja) * 2018-06-04 2022-04-06 本田技研工業株式会社 車両制御装置、車両制御方法およびプログラム
DE102018212555A1 (de) * 2018-07-27 2020-01-30 Bayerische Motoren Werke Aktiengesellschaft Verfahren und System zur Fahrspurerkennung
KR102146451B1 (ko) * 2018-08-17 2020-08-20 에스케이텔레콤 주식회사 좌표계 변환 정보 획득 장치 및 방법
CN109215368B (zh) * 2018-08-23 2020-04-28 百度在线网络技术（北京）有限公司 一种辅助驾驶的方法、装置、设备和计算机存储介质
CN110969837B (zh) * 2018-09-30 2022-03-25 毫末智行科技有限公司 自动驾驶车辆的道路信息融合系统及方法
US10793123B2 (en) 2018-10-04 2020-10-06 Waymo Llc Emergency braking for autonomous vehicles
DE102018218043A1 (de) * 2018-10-22 2020-04-23 Robert Bosch Gmbh Ermittlung einer Anzahl von Fahrspuren sowie von Spurmarkierungen auf Straßenabschnitten
KR102633140B1 (ko) 2018-10-23 2024-02-05 삼성전자주식회사 주행 정보를 결정하는 방법 및 장치
DK180774B1 (en) 2018-10-29 2022-03-04 Motional Ad Llc Automatic annotation of environmental features in a map during navigation of a vehicle
US11195028B2 (en) * 2019-01-04 2021-12-07 Qualcomm Incorporated Real-time simultaneous detection of lane marker and raised pavement marker for optimal estimation of multiple lane boundaries
DE102019112413A1 (de) * 2019-05-13 2020-11-19 Bayerische Motoren Werke Aktiengesellschaft Verfahren und vorrichtung zur multi-sensor-datenfusion für automatisierte und autonome fahrzeuge
KR102653342B1 (ko) 2019-05-20 2024-04-02 현대모비스 주식회사 자율 주행 장치 및 방법
US10834552B1 (en) 2019-06-25 2020-11-10 International Business Machines Corporation Intelligent vehicle pass-by information sharing
US11587434B2 (en) 2019-06-25 2023-02-21 International Business Machines Corporation Intelligent vehicle pass-by information sharing
DE102019209226A1 (de) * 2019-06-26 2020-12-31 Volkswagen Aktiengesellschaft Verfahren, Computerprogramm und Vorrichtung zur Verarbeitung von durch ein Kraftfahrzeug erfassten Daten
DE102019209485A1 (de) 2019-06-28 2020-12-31 Volkswagen Aktiengesellschaft Verfahren, Computerprogramm und Vorrichtung zur Verarbeitung von durch ein Kraftfahrzeug erfassten Daten
DE102019209711A1 (de) 2019-07-02 2021-01-07 Volkswagen Aktiengesellschaft Verfahren, Computerprogramm und Vorrichtung zur Verarbeitung von durch ein Kraftfahrzeug erfassten Daten, sowie zum Bereitstellen von Parametern für eine solche Verarbeitung
EP3786012B1 (en) * 2019-08-29 2024-10-23 Zenuity AB Lane keeping for autonomous vehicles
CN112818727A (zh) * 2019-11-18 2021-05-18 华为技术有限公司 一种道路约束确定方法及装置
CN112885074B (zh) 2019-11-30 2023-01-13 华为技术有限公司 道路信息检测方法以及装置
DE102019008368A1 (de) * 2019-12-02 2021-06-02 Daimler Ag Verfahren zum Betrieb eines Fahrzeugs und Vorrichtung zur Durchführung des Verfahrens
DE102020105711A1 (de) 2020-03-03 2021-09-09 Bayerische Motoren Werke Aktiengesellschaft Fahrerassistenzsystem
JP7591908B2 (ja) * 2020-11-19 2024-11-29 株式会社Ｎｔｔデータグループ 座標変換システム、座標変換方法及びプログラム
DE102021202459A1 (de) 2021-03-15 2022-09-15 Volkswagen Aktiengesellschaft Verfahren zum Bestimmen einer Mehrspurigkeit einer Fahrbahn, Computerprogrammprodukt sowie Assistenzsystem
DE102021109425B3 (de) 2021-04-15 2022-07-21 Bayerische Motoren Werke Aktiengesellschaft Verfahren zum Steuern eines Fahrzeugs und Steuervorrichtung für ein Fahrzeug
DE102021110101A1 (de) 2021-04-21 2022-10-27 Valeo Schalter Und Sensoren Gmbh Computerimplementiertes Verfahren zum Detektieren von Fahrbahnmarkierungen, Computerprogramm, computerlesbares Speichermedium und Fahrerassistenzsystem
DE102021114935A1 (de) 2021-06-10 2022-12-15 Connaught Electronics Ltd. Verfahren zum Bestimmen von zumindest einer Fahrstreifenbegrenzung einer Fahrbahn in einem Bild mittels eines Assistenzsystems, omputerprogrammprodukt, computerlesbares Speichermedium sowie Assistenzsystem
EP4105818A1 (en) * 2021-06-18 2022-12-21 Continental Autonomous Mobility Germany GmbH Method and system for estimating road lane geometry
DE102021206355A1 (de) 2021-06-21 2022-12-22 Volkswagen Aktiengesellschaft Verfahren zur Zuordnung des von einem Fahrzeug aktuell befahrenen Fahrstreifens
CN113344979B (zh) * 2021-06-29 2024-04-16 北京搜狗科技发展有限公司 一种车道线跟踪方法、装置和用于车道线跟踪的装置
CN113232663B (zh) * 2021-06-29 2022-10-04 西安电子科技大学芜湖研究院 一种应用于高级辅助驾驶的控制系统
CN113903014B (zh) * 2021-12-07 2022-05-17 智道网联科技(北京)有限公司 车道线预测方法、装置及电子设备、计算机可读存储介质
CN114475664B (zh) * 2022-03-17 2023-09-01 西华大学 一种拥堵路段自动驾驶车辆变道协调控制方法
DE102022002498B3 (de) 2022-07-08 2023-10-26 Mercedes-Benz Group AG Verfahren zum Fusionieren von Sensordaten
FR3139092B1 (fr) * 2022-08-26 2024-07-12 Psa Automobiles Sa Méthodes et systèmes pour le contrôle des autorisations de changement de voie de circulation par temps de pluie
DE102022209225A1 (de) 2022-09-06 2024-03-07 Robert Bosch Gesellschaft mit beschränkter Haftung Verfahren und Vorrichtung zum Bestimmen einer hochgenauen Position eines Fahrzeugs
CN116092290A (zh) * 2022-12-31 2023-05-09 武汉光庭信息技术股份有限公司 一种采集数据自动修正和补充方法及系统
CN119312005A (zh) * 2023-07-11 2025-01-14 华为技术有限公司 道路要素之间关联关系的确定方法及相关系统、存储介质

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010244456A (ja) * 2009-04-09 2010-10-28 Nippon Soken Inc 境界線認識装置
US20150117723A1 (en) * 2013-10-31 2015-04-30 Toyota Motor Engineering & Manufacturing North America, Inc. Method for generating accurate lane level maps

Family Cites Families (29)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4292250B2 (ja) 2004-07-02 2009-07-08 トヨタ自動車株式会社 道路環境認識方法及び道路環境認識装置
US20080065328A1 (en) * 2006-09-08 2008-03-13 Andreas Eidehall Method and system for collision avoidance
US8355539B2 (en) * 2007-09-07 2013-01-15 Sri International Radar guided vision system for vehicle validation and vehicle motion characterization
DE102007044761A1 (de) * 2007-09-19 2008-05-08 Daimler Ag Verfahren und Vorrichtung zur Bestimmung eines sich entlang einer Bewegungsbahn eines Fahrzeuges erstreckenden Fahrschlauches
EP2085279B1 (en) * 2008-01-29 2011-05-25 Ford Global Technologies, LLC A system for collision course prediction
US8605947B2 (en) * 2008-04-24 2013-12-10 GM Global Technology Operations LLC Method for detecting a clear path of travel for a vehicle enhanced by object detection
US8428305B2 (en) * 2008-04-24 2013-04-23 GM Global Technology Operations LLC Method for detecting a clear path through topographical variation analysis
JP5105481B2 (ja) 2008-05-27 2012-12-26 国立大学法人鳥取大学 車線検出装置、車線検出方法、及び車線検出プログラム
US8055445B2 (en) * 2008-09-24 2011-11-08 Delphi Technologies, Inc. Probabilistic lane assignment method
EP3412511B1 (en) * 2008-10-06 2021-12-29 Mobileye Vision Technologies Ltd. Bundling of driver assistance systems
US20110313665A1 (en) 2009-03-04 2011-12-22 Adc Automotive Distance Control Systems Gmbh Method for Automatically Detecting a Driving Maneuver of a Motor Vehicle and a Driver Assistance System Comprising Said Method
DE102010020984A1 (de) 2010-04-20 2011-10-20 Conti Temic Microelectronic Gmbh Verfahren zur Bestimmung des Fahrbahnverlaufes für ein Kraftfahrzeug
US9472097B2 (en) * 2010-11-15 2016-10-18 Image Sensing Systems, Inc. Roadway sensing systems
JP5605187B2 (ja) * 2010-11-24 2014-10-15 株式会社デンソー 運転疲労度判定装置
US9542846B2 (en) * 2011-02-28 2017-01-10 GM Global Technology Operations LLC Redundant lane sensing systems for fault-tolerant vehicular lateral controller
US20120314070A1 (en) * 2011-06-09 2012-12-13 GM Global Technology Operations LLC Lane sensing enhancement through object vehicle information for lane centering/keeping
CN202152051U (zh) * 2011-07-08 2012-02-29 德州学院 一种车道偏离报警装置
WO2013037847A1 (de) 2011-09-12 2013-03-21 Continental Teves Ag & Co. Ohg Verfahren zum schätzen von reifenparametern für ein fahrzeug
EP2574958B1 (en) 2011-09-28 2017-02-22 Honda Research Institute Europe GmbH Road-terrain detection method and system for driver assistance systems
WO2013060749A1 (de) * 2011-10-24 2013-05-02 Continental Teves Ag & Co. Ohg Sensorsystem zur eigenständigen bewertung der genauigkeit seiner daten
DE102013213361B4 (de) * 2012-07-26 2023-07-06 Continental Autonomous Mobility Germany GmbH Verfahren für eine Spurführung basierend auf der Bewegung anderer Fahrzeuge
DE102012107885A1 (de) 2012-08-27 2014-02-27 Continental Teves Ag & Co. Ohg Verfahren zur Bestimmung eines Fahrspurverlaufs für ein Fahrzeug
US9435654B2 (en) * 2013-06-01 2016-09-06 Savari, Inc. System and method for creating, storing, and updating local dynamic MAP database with safety attribute
CN104554259B (zh) * 2013-10-21 2018-03-30 财团法人车辆研究测试中心 主动式自动驾驶辅助系统与方法
EP2923911B1 (en) * 2014-03-24 2019-03-13 Honda Research Institute Europe GmbH A method and system for predicting movement behavior of a target traffic object
CN103940434B (zh) * 2014-04-01 2017-12-15 西安交通大学 基于单目视觉和惯性导航单元的实时车道线检测系统
CN106164930B (zh) * 2014-04-04 2019-11-08 戴尔菲技术公司 车道检测方法和车辆
CN203844749U (zh) * 2014-05-28 2014-09-24 长安大学 一种车辆岔口路段检测装置
US9170116B1 (en) * 2014-07-11 2015-10-27 Toyota Motor Engineering & Manufacturing North America, Inc. Method for generating accurate lane level maps

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010244456A (ja) * 2009-04-09 2010-10-28 Nippon Soken Inc 境界線認識装置
US20150117723A1 (en) * 2013-10-31 2015-04-30 Toyota Motor Engineering & Manufacturing North America, Inc. Method for generating accurate lane level maps

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
Huang, Lane estimation for autonomous vehicles using vision and LIDAR, Massachusetts Institute of Technology, pp.1-114 (2010.02)*

Also Published As

Publication number Publication date
CN107646114A (zh) 2018-01-30
JP6800168B2 (ja) 2020-12-16
KR20180009755A (ko) 2018-01-29
US10650253B2 (en) 2020-05-12
DE102015209467A1 (de) 2016-11-24
WO2016188523A1 (de) 2016-12-01
JP2018517979A (ja) 2018-07-05
CN107646114B (zh) 2022-02-18
US20180173970A1 (en) 2018-06-21
DE112016001203A5 (de) 2017-12-14
EP3298541A1 (de) 2018-03-28

Similar Documents

Publication Publication Date Title
KR102558055B1 (ko) 차선의 추정 방법
US12030502B2 (en) Road vector fields
US12264936B2 (en) Fully aligned junctions
JP7432285B2 (ja) レーンマッピング及びナビゲーション
US12235108B2 (en) Determination of free space around a vehicle
GB2626691A (en) Systems and methods for determining road safety
US10553117B1 (en) System and method for determining lane occupancy of surrounding vehicles
US20230175852A1 (en) Navigation systems and methods for determining object dimensions
JP2023106536A (ja) 画像分析に基づく車両ナビゲーションのためのシステム
WO2018179616A1 (ja) 車両位置推定装置
JP6342104B1 (ja) 車両位置推定装置
CN111856491A (zh) 用于确定车辆的地理位置和朝向的方法和设备
US11210941B2 (en) Systems and methods for mitigating anomalies in lane change detection
Shunsuke et al. GNSS/INS/on-board camera integration for vehicle self-localization in urban canyon
EP4330934A2 (en) Multi-frame image segmentation
JP2014194698A (ja) 道路端検出システム、方法およびプログラム
US20240391494A1 (en) Radar-camera fusion for vehicle navigation
US20250242813A1 (en) Road vector fields

Legal Events

Date Code Title Description
PA0105 International application

Patent event date: 20171121

Patent event code: PA01051R01D

Comment text: International Patent Application

PG1501 Laying open of application
PA0201 Request for examination

Patent event code: PA02012R01D

Patent event date: 20210504

Comment text: Request for Examination of Application

E902 Notification of reason for refusal
PE0902 Notice of grounds for rejection

Comment text: Notification of reason for refusal

Patent event date: 20221019

Patent event code: PE09021S01D

E701 Decision to grant or registration of patent right
PE0701 Decision of registration

Patent event code: PE07011S01D

Comment text: Decision to Grant Registration

Patent event date: 20230427

GRNT Written decision to grant
PR0701 Registration of establishment

Comment text: Registration of Establishment

Patent event date: 20230718

Patent event code: PR07011E01D

PR1002 Payment of registration fee

Payment date: 20230718

End annual number: 3

Start annual number: 1

PG1601 Publication of registration