[go: up one dir, main page]

KR102146451B1 - 좌표계 변환 정보 획득 장치 및 방법 - Google Patents

좌표계 변환 정보 획득 장치 및 방법 Download PDF

Info

Publication number
KR102146451B1
KR102146451B1 KR1020180096210A KR20180096210A KR102146451B1 KR 102146451 B1 KR102146451 B1 KR 102146451B1 KR 1020180096210 A KR1020180096210 A KR 1020180096210A KR 20180096210 A KR20180096210 A KR 20180096210A KR 102146451 B1 KR102146451 B1 KR 102146451B1
Authority
KR
South Korea
Prior art keywords
vehicle
coordinate system
information
lane
system transformation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
KR1020180096210A
Other languages
English (en)
Other versions
KR20200020465A (ko
Inventor
이성수
Original Assignee
에스케이텔레콤 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 에스케이텔레콤 주식회사 filed Critical 에스케이텔레콤 주식회사
Priority to KR1020180096210A priority Critical patent/KR102146451B1/ko
Priority to PCT/KR2019/006557 priority patent/WO2020036295A1/ko
Priority to US17/267,696 priority patent/US11954871B2/en
Priority to CN201980053837.3A priority patent/CN112567264A/zh
Publication of KR20200020465A publication Critical patent/KR20200020465A/ko
Application granted granted Critical
Publication of KR102146451B1 publication Critical patent/KR102146451B1/ko
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/86—Combinations of lidar systems with systems other than lidar, radar or sonar, e.g. with direction finders
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G01S17/90—Lidar systems specially adapted for specific applications for mapping or imaging using synthetic aperture techniques
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/93—Lidar systems specially adapted for specific applications for anti-collision purposes
    • G01S17/931—Lidar systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/4808—Evaluating distance, position or velocity data
    • G06K9/00798—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/86—Combinations of radar systems with non-radar systems, e.g. sonar, direction finder
    • G01S13/865—Combination of radar systems with lidar systems
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/86—Combinations of radar systems with non-radar systems, e.g. sonar, direction finder
    • G01S13/867—Combination of radar systems with cameras
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G06T2207/30256—Lane; Road marking

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Theoretical Computer Science (AREA)
  • Electromagnetism (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Traffic Control Systems (AREA)

Abstract

일 실시예에 따른 좌표계 변환 정보 획득 방법은, 차량의 라이다(LiDAR)에 의한 상기 차량 주변의 차선에 대응되는 제 1 차선 정보를 포함하는 3차원 정보 및 상기 차량의 카메라에 의한 상기 차선에 대응되는 제 2 차선 정보를 포함하는 주변 영상을 획득하는 단계; 상기 제 1 차선 정보에 기초하여 상기 차량이 평지 주행 중인 것으로 결정되면, 상기 제 2 차선 정보를 상기 제 1 차선 정보와 비교하여 상기 라이다 및 상기 카메라에 대한 제 1 좌표계 변환 정보를 획득하는 단계; 및 상기 주변 영상을 기초로 획득된 탑 뷰(Top View) 영상 변환 정보 및 상기 차량의 진행 방향을 이용하여 상기 차량 및 상기 카메라에 대한 제 2 좌표계 변환 정보를 획득하는 단계를 포함한다.

Description

좌표계 변환 정보 획득 장치 및 방법{APPARATUS AND METHOD FOR ACQUIRING CONVERSION INFORMATION OF COORDINATE SYSTEM}
본 발명은 차량, 차량에 설치된 라이다 및 카메라 간 좌표계 변환 정보를 획득하는 좌표계 변환 정보 획득 장치 및 방법에 관한 것이다.
일반적으로 차량은 화석 연료, 전기 등을 동력원으로 하여 도로 또는 선로를 주행하는 운송 장치를 의미한다.
차량은 기술의 발달에 따라 운전자에게 다양한 기능을 제공할 수 있도록 발전해왔다. 특히, 차량의 전장화 추세에 따라, 사고 직전 또는 사고 순간에 사고를 방지하기 위해 동작하는 능동형 안전 시스템(ASS: Active Safety System)을 구비하는 차량이 등장하였다.
나아가, 최근에는 운전자의 부담을 경감시켜주고 편의를 증진시켜주기 위하여 차량 상태, 운전자 상태, 및 주변 환경과 같은 주행 환경에 대한 정보를 능동적으로 제공하는 첨단 운전자 지원 시스템(ADAS: Advanced Driver Assist System)이 탑재된 차량에 대한 연구가 활발히 진행되고 있다.
첨단 운전자 시원 시스템은 주행 환경을 감지하기 위해 감지 수단을 구비할 수 있으며, 예를 들어 감지 수단은 카메라 및 라이다(LiDAR)를 포함할 수 있다. 카메라 및 라이다는 차량 외부 또는 내부에 설치되어, 설치되는 위치 및 자세각에 대응되는 영상 또는 포인트 클라우드를 획득함으로써 주행 환경을 감지할 수 있다.
한국등록특허공보, 제 10-1584693호 (2016.01.14. 공고)
본 발명이 해결하고자 하는 과제는, 차량 내 설치되는 카메라 및 라이다와 주행 중인 차량 간의 좌표계 변환 정보를 획득하기 위한 좌표계 변환 정보 획득 장치 및 방법을 제공하는 것이다.
다만, 본 발명이 해결하고자 하는 과제는 이상에서 언급한 것으로 제한되지 않으며, 언급되지 않은 또 다른 해결하고자 하는 과제는 아래의 기재로부터 본 발명이 속하는 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.
일 실시예에 따른 좌표계 변환 정보 획득 방법은, 차량의 라이다(LiDAR)에 의한 상기 차량 주변의 차선에 대응되는 제 1 차선 정보를 포함하는 3차원 정보 및 상기 차량의 카메라에 의한 상기 차선에 대응되는 제 2 차선 정보를 포함하는 주변 영상을 획득하는 단계; 상기 제 1 차선 정보에 기초하여 상기 차량이 평지 주행 중인 것으로 결정되면, 상기 제 2 차선 정보를 상기 제 1 차선 정보와 비교하여 상기 라이다 및 상기 카메라에 대한 제 1 좌표계 변환 정보를 획득하는 단계; 및 상기 주변 영상을 기초로 획득된 탑 뷰(Top View) 영상 변환 정보 및 상기 차량의 진행 방향을 이용하여 상기 차량 및 상기 카메라에 대한 제 2 좌표계 변환 정보를 획득하는 단계를 포함한다.
일 실시예에 따른 좌표계 변환 정보 획득 장치는, 차량의 라이다(LiDAR)에 의해 획득된 상기 차량 주변의 차선에 대한 제 1 차선 정보에 기초하여 상기 차량의 평지 주행 여부를 확인하는 평지 확인부; 상기 제 1 차선 정보에 기초하여 상기 차량이 평지 주행 중인 것으로 결정되면, 상기 차량의 카메라에 의해 획득된 상기 차량의 주변 영상 내 상기 차선에 대한 제 2 차선 정보를 상기 제 1 차선 정보와 비교하여 상기 라이다 및 상기 카메라에 대한 제 1 좌표계 변환 정보를 획득하는 제 1 좌표계 변환 정보 획득부; 및 상기 주변 영상을 기초로 획득된 탑 뷰(Top View) 영상 변환 정보 및 상기 차량의 진행 방향을 이용하여 상기 차량 및 상기 카메라에 대한 제 2 좌표계 변환 정보를 획득하는 제 2 좌표계 변환 정보 획득부를 포함한다.
일 실시예에 따른 좌표계 변환 정보 획득 장치, 및 방법은, 별도의 장비나 수동 조작 없이, 주행 중인 차량에 대하여 카메라 및 라이다의 좌표계 변환 정보를 획득할 수 있어, 캘리브레이션에 소요되는 비용 및 시간을 절감하면서도, 정확한 좌표계 변환 정보를 획득할 수 있다.
도 1 및 2 는 여러 가지 실시예에 따른 좌표계 변환 정보 획득 시스템의 기능 블록도이다.
도 3은 일 실시예에 따른 차량, 카메라, 및 라이다의 좌표계를 설명하기 위한 도면이다.
도 4는 일 실시예에 따른 좌표계 변환 정보 획득 방법 중 평지 주행 여부 확인 방법의 흐름도이다.
도 5는 일 실시예에 따른 차량의 라이다에 의해 획득된 3차원 정보로부터 제 1 차선 정보를 추출하는 방법을 설명하기 위한 도면이다.
도 6은 일 실시예에 따른 좌표계 변환 정보 획득 방법 중 제 1 좌표계 변환 정보 획득 방법의 흐름도이다.
도 7은 일 실시예에 따른 차량의 카메라에 의해 획득된 주변 영상으로부터 제 2 차선 정보를 추출하는 방법을 설명하기 위한 도면이다.
도 8은 일 실시예에 따른 좌표계 변환 정보 획득 방법 중 제 2 좌표계 변환 정보 획득 방법의 흐름도이다.
도 9는 일 실시예에 따른 차량의 카메라에 의해 획득된 주변 영상으로부터 확산점을 획득하는 방법을 설명하기 위한 도면이다.
도 10은 일 실시예에 따른 차량의 카메라에 의해 획득된 주변 영상에 대한 탑 뷰 영상을 예시한 도면이다.
본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하고, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다.
본 발명의 실시예들을 설명함에 있어서 공지 기능 또는 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략할 것이다. 그리고 후술되는 용어들은 본 발명의 실시예에서의 기능을 고려하여 정의된 용어들로서 이는 사용자, 운용자의 의도 또는 관례 등에 따라 달라질 수 있다. 그러므로 그 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다.
도 1 및 2 는 여러 가지 실시예에 따른 좌표계 변환 정보 획득 시스템의 기능 블록도이고, 도 3은 일 실시예에 따른 차량, 카메라, 및 라이다의 좌표계를 설명하기 위한 도면이다.
도 1을 참조하면, 일 실시예에 따른 좌표계 변환 정보 획득 시스템(1)은 차량(V) 및 좌표계 변환 정보 획득 장치(100)로 구성될 수 있다.
차량(V)은 도로나 선로를 따라 주행하면서 인간, 물건 또는 동물 등을 하나의 위치에서 다른 위치로 이동시킬 수 있는 운송 수단을 의미할 수 있다. 일 실시예에 따른 차량(V)은 삼륜 또는 사륜 자동차, 모터사이클 등의 이륜 자동차, 건설 기계, 원동기장치, 자전거 및 선로를 주행하는 열차 등을 포함할 수 있다.
도 1의 차량(V)은 정밀 지도를 미리 저장할 수 있다. 여기서, 정밀 지도는 안전하고 정밀한 차량(V)제어를 위해 높은 정확도를 가지며, 도로의 평면 위치뿐만 아니라 고도, 경사, 곡률 등에 대한 정보를 포함하는 지도를 의미할 수 있다.
또한, 정밀 지도는 적어도 차선이 구분 표시되는 지도이고, 추가적으로 표지판, 신호등, 가드레일과 같은 도로 시설물 등을 포함할 수 있다.
정밀 지도는 도로를 레이저 스캐너 등을 통해 스캔함으로써 획득되는 복수의 포인트의 집합인 포인트 클라우드로 이루어지며, 포인트 클라우드를 구성하는 각각의 포인트는 기준 좌표계 상의 3차원 공간 좌표를 가질 수 있다. 획득된 포인트 클라우드는 노이즈 필터를 통해 유의미한 데이터만을 필터링한 후, 각각의 포인트 클라우드에 랜드마크를 마킹함으로써 정밀 지도가 구축될 수 있다.
여기서, 기준 좌표계란 장치에 의존하지 않는 직교 좌표계를 의미하고, 월드 좌표계(World Coordinate System)를 포함할 수 있다.
또한, 정밀 지도는 차량(V) 이외에 후술할 좌표계 변환 정보 획득 장치(100)에도 저장될 수 있다.
아울러, 도 1a의 차량(V)은 첨단 운전자 보조 시스템(ADAS: Advanced Driver Assistance System)이 탑재될 수 있다. 여기서, 첨단 운전자 보조 시스템이란 운전자의 부담을 경감시켜주고 편의를 증진시켜주기 위해 차량(V) 상태, 운전자 상태, 주변 환경 정보와 같은 주행 환경 정보를 제공하거나 능동적으로 차량(V)을 제어하는 시스템을 의미할 수 있다. 예를 들어, 차량(V)은 차선 이탈 경보 시스템(LDWS: Lane Departure Warning System), 차선 유지 지원 시스템(LKAS: Lane Keeping Assist System) 등이 탑재될 수 있다. 다만, 차량(V)에 탑재되는 첨단 운전자 보조 시스템이 상술한 예에 한정되지는 않는다.
차량(V)에 탑재된 첨단 운전자 보조 시스템은 차량(V)의 주행 환경 정보에 대응하여 동작하므로, 차량(V)은 첨단 운전자 보조 시스템에 제공되는 주행 환경 정보를 감지하기 위한 감지 수단을 포함할 수 있다. 일 실시예에 따른 감지 수단은 차량(V) 주변으로 펄스를 조사하고, 해당 방향에 위치하는 물체로부터 반사되는 에코 펄스를 수신하여 주행 환경을 감지하는 레이더(Radar), 및/또는 차량(V) 주변으로 초음파를 조사하고, 해당 방향에 위치하는 물체로부터 반사되는 에코 초음파를 수신하는 초음파 센서 등을 포함할 수 있다.
또한, 차량(V)은 감지 수단으로서 카메라(C)를 포함할 수 있다. 카메라(C)는 차량(V)의 전방, 측방, 및/또는 후방을 향하도록 마련되어, 해당 방향으로의 영상을 촬영할 수 있다. 촬영된 영상은 영상처리 과정을 통해 차량(V) 주변의 물체뿐만 아니라 차선이나 표지판 등의 정보를 획득하는 기초가 될 수 있다.
이하에서는 차량(V)에 설치된 카메라(C)에 의해 촬영된 영상을 차량의 주변 영상이라 하며, 주변 영상은 차량(V)의 전방을 향하도록 마련된 카메라(C)에 의해 촬영된 전방 영상, 차량(V)의 후방을 향하도록 마련된 카메라(C)에 의해 촬영된 후방 영상, 및 차량(V)의 측방을 향하도록 마련된 카메라(C)에 의해 촬영된 측방 영상을 포함할 수 있다.
나아가, 차량(V)은 감지 수단으로서 라이다(LiDAR; L)를 더 포함할 수 있다. 라이다(L)는 차량(V)의 전방, 측방, 및/또는 후방을 향하도록 마련되어, 해당 방향으로 레이저를 조사할 수 있다. 라이다(L)는 레이저가 조사된 방향에 위치하는 물체로부터 반사되는 레이저를 수신함으로써 차량(V)의 주행 환경 정보로서 차량(V) 주변의 3차원 정보를 감지할 수 있다.
이 때, 카메라(C)에 의해 획득된 주변 영상 및 라이다(L)에 의해 감지된 3차원 정보는 적어도 두 개의 동일한 차선에 대한 정보를 포함할 수 있다. 이에 대해서는 후술한다.
한편, 차량(V)은 카메라(C), 및 라이다(L)와, 차량(V) 내부 모듈간 통신 방식인 CAN 통신 방식으로 전송되는 조향각 정보, 요 레이트(Yaw Rate) 정보와 같은 CAN DATA를 융합하여 차량(V) 제어에 이용할 수 있다. 이 때, 카메라(C)에 의해 획득된 영상은 카메라 좌표계를 따르고, 라이다(L)에 의해 획득된 포인트 클라우드는 라이다 좌표계를 따르는 반면, CAN DATA는 차량 좌표계를 따를 수 있다.
도 3는 일 실시예에 따른 차량(V)의 개략적인 평면도로서, 차량(V)의 좌표계, 차량(V)에 설치된 라이다(L)의 좌표계, 및 차량(V)에 설치된 카메라(C)의 좌표계와 이에 기초한 지면(R)의 좌표계를 예시한다. 도 3을 참조하면, 차량(V)은 OV를 원점으로 하고, 차량(V)의 진행 방향으로의 XV축, 지면에 수직 방향으로의 ZV축, 및 XV축과 ZV축에 수직인 YV축으로 구성되는 차량 좌표계를 가질 수 있다. 반면, 차량(V)에 설치된 라이다(L)는 Ol를 원점으로 하고, 설치 위치 및 자세각에 따라 결정되는 Xl축, Yl축, Zl축으로 구성되는 카메라 좌표계를 가질 수 있다. 또한, 차량(V)에 설치된 카메라(C)는 OC를 원점으로 하고, 설치 위치 및 자세각에 따라 결정되는 XC축, YC축, ZC축으로 구성되는 카메라 좌표계를 가질 수 있다. 덧붙여, 지면(R) 좌표계는 카메라(C)에 의해 획득되는 영상을 탑 뷰(Top View) 영상으로 변환하였을 때 탑 뷰 영상에 대한 좌표계를 의미하며, Or을 원점으로 하고, Xr축과 Yr축은 지면 상에 존재하며, Zr축은 차량 좌표계의 Zv축의 반대 방향으로 정의될 수 있다. 이처럼 서로 상이한 좌표계 상의 정보를 융합하기 위해서는 좌표계의 통일이 요구되며, 이를 캘리브레이션(CALIBRATION)이라 한다.
이를 위해, 차량(V)의 주행에 앞서 사전에 카메라(C) 및 라이다(L) 캘리브레이션을 수행할 수 있다. 구체적으로, 차량(V)을 미리 정해진 위치에 정차시킨 후, 정차 위치로부터 사전에 인지된 보정점에 대하여 카메라(C) 및 라이다(L)를 이용하여 영상과 포인트 클라우드를 획득할 수 있다. 그 다음, 카메라 좌표계 기준 보정점의 좌표와 라이다 좌표계 기준 보정점의 좌표 및 차량 좌표계 기준 보정점의 좌표를 비교하여 이들간의 좌표계 변환 정보를 획득할 수 있다.
그러나, 상술한 방법은 차량(V)을 미리 정해진 위치에 정확히 정차시켜야 하고, 보정점의 위치 또한 정확하게 인지할 필요가 있다. 이와 같은 사전 작업은 사람에 의해 수동으로 이루어지므로 정확도를 담보하기 어려우며, 정밀도를 갖기 위해서는 많은 시간과 비용이 소요될 수 있다. 또한, 주행에 앞선 사전 캘리브레이션은 추후 카메라 및/또는 라이다의 위치 변경 또는 교체 시 해당 과정을 다시 수행할 필요가 있다.
이를 해결하기 위해, 일 실시예에 따른 좌표계 변환 정보 획득 장치(100)는 주행 중의 차량에 대하여 실시간으로 캘리브레이션을 수행할 수 있다. 다시 도 1을 참조하면, 일 실시예에 따른 좌표계 변환 정보 획득 장치(100)는 주행 중의 차량(V)으로부터 수신한 정보를 이용하여 차량(V), 카메라(C) 및 라이다(L) 간 좌표계 변환 정보를 획득할 수 있다.
주행 중의 차량(V)에 의해 감지된 주변 환경 정보를 수신하기 위해, 좌표계 변환 정보 획득 장치(100)는 공지된 여러 가지 통신 방법으로 차량(V)과 통신함으로써 정보를 교환할 수 있다. 일 실시예에 따른 좌표계 변환 정보 획득 장치(100)는 CDMA, GSM, W-CDMA, TD-SCDMA, WiBro, LTE, EPC 등의 공지된 통신 방법을 채택하여 기지국을 거쳐 차량(V)과 통신할 수 있다. 이와는 달리, 다른 실시예에 따른 좌표계 변환 정보 획득 장치(100)는 무선 랜(Wireless LAN), 와이파이(Wi-Fi), 블루투스(Bluetooth), 지그비(Zigbee), WFD(Wi-Fi Direct), UWB(Ultra Wide Band), 적외선 통신(IrDA; Infrared Data Association), BLE (Bluetooth Low Energy), NFC(Near Field Communication)와 같은 통신 방법을 채택하여 소정 거리 이내에서 차량(V)과 통신할 수도 있다. 다만, 좌표계 변환 정보 획득 장치(100)가 차량(V)과 통신하는 방법은 상술한 실시예에 한정되지 않는다.
좌표계 변환 정보 획득 장치(100)는 차량(V)의 카메라(C)에 의해 획득된 주변 영상 및 라이다(L)에 의해 획득된 포인트 클라우드를 기초로 좌표계 변환 정보를 획득할 수 있다. 이를 위해, 일 실시예에 따른 좌표계 변환 정보 획득 장치(100)는 차선 정보 획득부(140); 평지 확인부; 제 1 좌표계 변환 정보 획득부(120); 및 제 2 좌표계 변환 정보 획득부(130)를 포함할 수 있다.
차선 정보 획득부(140)는 차량(V)의 라이다(L)에 의한 차량(V) 주변의 차선에 대응되는 제 1 차선 정보를 획득할 수 있다. 구체적으로, 일 실시예에 따른 차선 정보 획득부(140)는 차량(V)의 라이다(L)에 의해 획득된 차량(V) 주변의 3차원 정보를 수신할 수 있다. 그 다음, 일 실시예에 따른 차선 정보 획득부(140)는 차량(V) 주변의 3차원 정보 상의 차선에 대한 제 1 차선 정보를 추출할 수 있다.
상술한 실시예에서는 차선 정보 획득부(140)가 차량(V)으로부터 라이다(L)에 의해 획득된 3차원 정보를 직접 수신하는 경우를 설명하였다. 이와는 달리, 다른 실시예에 따른 차선 정보 획득부(140)는 차량(V)으로부터 제 1 차선 정보만을 수신할 수 있다. 즉, 차량(V)에서 라이다(L)에 의해 획득된 3차원 정보로부터 제 1 차선 정보를 추출한 후, 추출된 제 1 차선 정보를 평지 확인부로 전송하면, 이를 수신한 평지 확인부는 제 1 차선 정보를 이용하여 차량(V)이 평지 주행 중인지 여부를 결정할 수도 있다.
또한, 차선 정보 획득부(140)는 차량(V)의 카메라(C)에 의한 차선에 대응되는 제 2 차선 정보를 포함하는 주변 영상을 획득할 수 있다. 나아가, 차선 정보 획득부(140)는 차량(V)으로부터 주변 영상으로부터 추출된 제 2 차선 정보를 더 수신할 수도 있다. 이와는 달리, 차선 정보 획득부(140)는 수신된 주변 영상으로부터 직접 제 2 차선 정보를 추출할 수도 있다.
이 때, 3차원 정보로부터 추출된 제 1 차선 정보와 주변 영상으로부터 추출된 제 2 차선 정보는 적어도 두 개의 동일 차선 정보를 포함할 필요가 있다. 이를 위해, 라이다(L) 및 카메라(C)는 적어도 두 개의 동일 차선을 포함하는 3차원 정보 및 주변 영상을 획득할 수 있도록 차량(V)에 설치될 수 있다.
또한, 차선 정보 획득부(140)는 동일 시점에 차량(V)의 라이다(L) 및 카메라(C) 각각에 의해 획득된 3차원 정보 및 주변 영상을 수신할 수 있다. 그 결과, 라이다(L)에 의해 획득된 3차원 정보와 카메라(C)에 의해 획득된 주변 영상 내에는 동일 시점의 차량(V) 주변에 존재하는 차선에 대한 정보를 포함할 수 있다.평지 확인부는 차량(V)의 라이다(L)에 의해 획득된 차량(V) 주변의 제 1 차선 정보에 기초하여 차량(V)의 평지 주행 여부를 확인할 수 있다. 차량(V)이 평지 주행하는 경우에 주변 영상 및 주변 포인트 클라우드 상의 차선 정보를 이용하는 캘리브레이션의 정확도가 담보되므로, 좌표계 변환 정보 획득 장치(100)는 좌표계 변환 정보 획득에 앞서, 평지 확인부를 이용하여 차량(V)이 평지 주행 중인지를 확인할 수 있다.
구체적으로, 평지 확인부는 차선 정보 획득부(140)에 의해 획득된 제 1 차선 정보를 기초로 평면을 피팅(Fitting)하고, 피팅된 평면의 피팅 오차가 미리 정해진 기준 오차 이하이면, 차량(V)이 평지를 주행 중인 것으로 결정할 수 있다.
제 1 좌표계 변환 정보 획득부(120)는 차량(V)의 주변 영상 내 제 2 차선 정보를 제 1 차선 정보와 비교하여 라이다(L) 및 카메라(C)에 대한 제 1 좌표계 변환 정보를 획득할 수 있다. 상술한 바와 같이 획득된 좌표계 변환 정보의 정확도를 높이기 위해, 제 1 좌표계 변환 정보 획득부(120)는 차량(V)이 평지 주행 중인 경우에 대해서만 제 1 좌표계 변환 정보 획득을 위한 동작을 수행할 수 있다.
구체적으로, 일 실시예에 따른 제 1 좌표계 변환 정보 획득부(120)는 평지 확인부에 의해 차량(V)이 평지 주행 중인 것으로 확인되면, 차선 정보 획득부(140)에 의해 수신된 주변 영상 내에 존재하는 차선에 대한 제 2 차선 정보를 추출할 수 있다. 그 다음, 제 1 좌표계 변환 정보 획득부(120)는 추출된 제 2 차선 정보를 앞서 추출된 제 1 차선 정보와 대응시켜 제 1 좌표계 변환 정보를 획득할 수 있다.
상술한 실시예에서는 제 1 좌표계 변환 정보 획득부(120)가 차선 정보 획득부(140)에 의해 수신된 주변 영상만을 제공 받는 경우를 설명하였다. 이와는 달리, 다른 실시예에 따른 제 1 좌표계 변환 정보 획득부(120)는 차선 정보 획득부(140)로부터 주변 영상으로부터 추출된 제 2 차선 정보를 더 수신할 수 있다. 즉, 차량(V)에서 카메라(C)에 의해 획득된 주변 영상으로부터 제 2 차선 정보를 추출한 후, 추출된 제 2 차선 정보를 차선 정보 획득부(140)로 전송하면, 차선 정보 획득부(140)가 주변 영상과 함께 제 2 차선 정보를 제 1 좌표계 변환 정보 획득부(120)에 제공하고, 제 1 좌표계 변환 정보 획득부(120)는 제 2 차선 정보를 이용하여 차량(V)이 평지 주행 중인지 여부를 결정할 수도 있다.
제 2 좌표계 변환 정보 획득부(130)는 주변 영상에 대한 탑 뷰(Top View) 영상 변환 정보 및 차량(V)의 진행 방향을 이용하여 차량(V) 및 카메라(C)에 대한 제 2 좌표계 변환 정보를 획득할 수 있다. 제 1 좌표계 변환 정보 획득부(120)와 마찬가지로, 제 2 좌표계 변환 정보 획득부(130)는 차량(V)이 평지 주행 중인 경우에 대해서만 제 2 좌표계 변환 정보 획득을 위한 동작을 수행할 수 있다.
구체적으로, 일 실시예에 따른 제 2 좌표계 변환 정보 획득부(130)는 차량(V)의 카메라(C)에 의해 획득되어 차선 정보 획득부(140)로부터 제공된 주변 영상으로부터 확산점(Focus of Expansion)을 획득하고, 획득된 확산점에 기초하여 차량(V)의 진행 방향을 획득할 수 있다. 차량(V)의 진행 방향을 획득한 후, 제 2 좌표계 변환 정보 획득부(130)는 제 1 차선 정보로부터 획득된 차선 간 거리 및 차선의 방향을 이용하여 탑 뷰 영상 변환 정보를 획득할 수 있다. 마지막으로, 제 2 좌표계 변환 정보 획득부(130)는 탑 뷰 영상 변환 정보의 역(Inverse) 정보 및 차량(V)의 진행 방향을 기초로 제 2 좌표계 변환 정보를 획득할 수 있다.
상술한 실시예에서는 제 2 좌표계 변환 정보 획득부(130)가 차량(V)으로부터 카메라(C)에 의해 획득된 주변 영상을 차선 정보 획득부(140)를 통해 수신하는 경우를 설명하였다. 이와는 달리, 다른 실시예에 따른 제 2 좌표계 변환 정보 획득부(130)는 차량(V)으로부터 차선 정보 획득부(140)를 통해 주변 영상과 함께 확산점의 위치를 수신할 수 있다. 즉, 차량(V)에서 카메라(C)에 의해 획득된 주변 영상 내 확산점의 위치를 확인한 후, 주변 영상과 함께 확산점의 위치를 차선 정보 획득부(140)로 전송하면, 차선 정보 획득부(140)는 수신된 주변 영상 및 확산점의 위치를 제 2 좌표계 변환 정보 획득부(130)에 제공하고, 이를 제공받은 제 2 좌표계 변환 정보 획득부(130)는 확산점을 이용하여 차량(V)의 진행 방향을 획득할 수도 있다.
한편, 도 1에서는 좌표계 변환 정보 획득 장치(100)가 차량(V)과 별개로 마련되어 좌표계 변환 정보 획득 시스템(1)을 구성하는 경우에 대하여 예시하고 있으나, 이와는 달리 좌표계 변환 정보 획득 장치(100)가 차량(V)의 일 구성으로 포함되는 것도 가능할 수 있다.
도 2를 참조하면, 다른 실시예에 따른 좌표계 변환 정보 획득 시스템(1)은 좌표계 변환 정보 획득 장치(100)를 포함하는 차량(V)으로 구성될 수 있다. 다만, 좌표계 변환 정보 획득 장치(100)가 마련되는 방식을 제외하고는, 도 1의 좌표계 변환 정보 획득 시스템(1)과 도 2의 좌표계 변환 정보 획득 시스템(1)의 동작 방식은 동일하다.
도 1 및 2의 실시예에 따른 좌표계 변환 정보 획득 장치(100)의 각 구성은 마이크로프로세서(Microprocessor)를 포함하는 연산 장치로 구현될 수 있고, 예를 들어 중앙 처리 장치(Central Processing Unit, CPU) 및 그래픽 처리 장치(Graphic Processing Unit, GPU) 중 적어도 하나로 구현될 수 있다. 이와는 달리, 좌표계 변환 정보 획득 장치(100)의 각 구성 중 적어도 두 개가 SOC(System On Chip)으로 구현되는 것도 가능할 수 있다.
지금까지는 좌표계 변환 정보 획득 시스템(1)의 각 구성에 대하여 설명하였다. 이하에서는 도 4 내지 10을 참조하여 좌표계 변환 정보 획득 시스템(1)에 의해 수행되는 좌표계 변환 정보 획득 방법에 대하여 설명한다.
먼저, 차량(V)은 라이다(L)에 의해 차량(V) 주변의 3차원 정보를 획득할 수 있다.
좌표계 변환 정보 획득 시스템(1)은 차량(V)의 라이다(L)에 의해 획득된 차량(V) 주변의 제 1 차선 정보에 기초하여 차량(V)의 평지 주행 여부를 확인할 수 있다. 이에 대해서 도 4 및 5를 참조하여 설명한다.
도 4는 일 실시예에 따른 좌표계 변환 정보 획득 방법 중 평지 주행 여부 확인 방법의 흐름도이고, 도 5는 일 실시예에 따른 차량의 라이다에 의해 획득된 3차원 정보로부터 제 1 차선 정보를 추출하는 방법을 설명하기 위한 도면이다.
도 4를 참조하면, 먼저, 일 실시예에 따른 좌표계 변환 정보 획득 장치(100)의 평지 확인부는 차량(V) 주변의 3차원 정보로부터 제 1 차선 정보를 추출할 수 있다(S100). 여기서, 3차원 정보는 라이다(L)가 차량(V) 주변의 물체에 의해 반사된 레이저에 기초하여 생성한 포인트 클라우드를 의미할 수 있다. 구체적으로, 라이다(L)는 주변의 레이더 조사 영역 내에 존재하는 물체에 의해 반사된 레이저를 수신하고, 수신된 레이저의 강도(Intensity)에 따라 밝기 값을 달리하는 포인트들의 집합인 포인트 클라우드를 생성할 수 있다. 예를 들어, 라이다(L)는 레이저에 대한 반사율이 높은 물체일수록, 해당 물체의 위치에 대응되는 포인트의 밝기 값을 크게 할 수 있다.
또한, 제 1 차선 정보란 3차원 정보를 구성하는 포인트 클라우드 상에서 차선으로 추정되는 영역에 대한 곡률 미분 값, 곡률, 방향, 오프셋(Offset) 값 등을 포함할 수 있다.
차량(V) 주변의 도로 상에서 차선 영역은 주변 영역에 비해 레이저에 대한 반사율이 높으므로, 라이다(L)에 의해 획득된 3차원 정보 중 차선 영역에 대응되는 포인트의 밝기 값이 주변 영역보다 클 수 있다. 따라서, 일 실시예에 따른 평지 확인부는 도로 상의 차선 영역과 그 주변 영역 각각에 대응되는 포인트의 밝기 값 패턴에 기초하여 3차원 정보 상의 차선에 대한 제 1 차선 정보를 추출할 수 있다.
도 5는 중앙의 사각 영역에 대응되는 차량(V)에 마련된 라이다(L)에 의해 획득된 3차원 정보를 평면도 상에 도시한 도면이다. 도 5에서 좌-우 방향으로 연장되는 포인트 클라우드(녹색 선)가 확인되는데, 평지 확인부는 이를 차선으로 판단하고, 이에 대한 제 1 차선 정보를 추출할 수 있다.
제 1 차선 정보 추출을 위해, 일 실시예에 따른 평지 확인부는 공지된 패턴 인식 기법 중 어느 하나를 채택하여 이용하거나, 딥러닝(Deep Learning)과 같은 기계 학습 방법을 이용할 수도 있다.
상술한 실시예는 단계 S100이 좌표계 변환 정보 획득 장치(100)의 평지 확인부에서 수행되는 경우를 전제하였으나, 단계 S100이 차량(V)에서 수행되고, 차량(V)이 그 결과인 제 1 차선 정보를 좌표계 변환 정보 획득 장치(100)로 전송하는 것도 가능하다. 이와는 달리, 차량(V)이 3차원 정보를 좌표계 변환 정보 획득 장치(100)로 전송하고, 좌표계 변환 정보 획득 장치(100)의 차선 정보 획득부(140)가 수신된 3차원 정보로부터 제 1 차선 정보를 추출하여 평지 확인부에 제공하는 것도 가능할 수 있다.
그 다음, 좌표계 변환 정보 획득 장치(100)의 평지 확인부는 추출된 제 1 차선 정보를 기초로 평면을 피팅할 수 있다(S110). 차선은 주행 도로 상에 마련되므로, 차선에 대응되는 제 1 차선 정보의 포인트들로 구성되는 평면의 방정식을 탐색함으로써, 주행 도로를 평면으로 피팅할 수 있다. 구체적으로, 평지 확인부는 제 1 차선 정보를 구성하는 적어도 네 개의 포인트((x, y, z) 좌표를 가짐을 전제함.)를 이용하여 ax+by+cz=d 의 평면의 방정식의 계수 a, b, c, d를 구할 수 있다.
평면을 피팅한 후, 좌표계 변환 정보 획득 장치(100)의 평지 확인부는 피팅된 평면의 오차가 기준 오차 이하인지 비교할 수 있다(S120). 여기서 기준 오차란 신뢰할 수 있는 피팅된 평면 방정식이 제 1 차선 정보에 대하여 가지는 오차의 최대값을 의미할 수 있다. 구체적으로, 평지 확인부는 수학식 1에 따라 피팅 오차(Fitting Error)를 구할 수 있다.
[수학식 1]
Figure 112018081538761-pat00001
여기서, (xi, yi, zi)는 i번째 제 1 차선 정보를 구성하는 포인트 좌표를 의미할 수 있다.
만약, 피팅된 평면의 오차가 기준 오차를 초과하는 경우, 좌표계 변환 정보 획득 장치(100)의 평지 확인부는 다시 제 1 차선 정보를 추출할 수 있다. 반면, 피팅된 평면 오차가 기준 오차 이하이면, 좌표계 변환 정보 획득 장치(100)의 평지 확인부는 차량(V)이 평지를 주행 중인 것으로 결정할 수 있다(S130).
이처럼 제 1 차선 정보를 기초로 차량(V)이 평지를 주행 중인 것으로 결정되면, 좌표계 변환 정보 획득 장치(100)는 라이다(L) 및 카메라(C)에 대한 제 1 좌표계 변환 정보를 획득할 수 있다. 이에 대해서 도 6 및 7을 참조하여 설명한다.
도 6은 일 실시예에 따른 좌표계 변환 정보 획득 방법 중 제 1 좌표계 변환 정보 획득 방법의 흐름도이고, 도 7은 일 실시예에 따른 차량의 카메라에 의해 획득된 주변 영상으로부터 제 2 차선 정보를 추출하는 방법을 설명하기 위한 도면이다.
먼저, 일 실시예에 따른 좌표계 변환 정보 획득 장치(100)의 제 1 좌표계 변환 정보 획득부(120)는 차량(V)이 평지를 주행 중인지 확인할 수 있다(S200). 만약, 차량(V)이 평지를 주행하고 있지 않은 경우, 제 1 좌표계 변환 정보 획득부(120)는 반복하여 이를 확인할 수 있다.
반면, 차량(V)이 평지를 주행 중인 경우, 일 실시예에 따른 제 1 좌표계 변환 정보 획득부(120)는 주변 영상으로부터 제 2 차선 정보를 추출할 수 있다(S210). 여기서, 제 2 차선 정보란 주변 영상 내에서 차선으로 추정되는 영역에 대한 곡률 미분 값, 곡률, 방향, 오프셋(Offset) 값 등을 포함할 수 있다.
도 7은 평지를 주행 중인 차량(V)의 카메라(C)에 의해 획득된 주변 영상을 예시한 도면이다. 도 7의 주변 영상에서 검은 색 도로 상의 흰색 차선이 확인되는데, 제 1 좌표계 변환 정보 획득부(120)는 이를 차선으로 판단하고, 차선에 대한 제 1 차선 정보를 추출할 수 있다. 도 7에서는 차선 방향과 동일한 방향으로 연장되는 직선을 붉은 색으로 도시하였다.
제 2 차선 정보 추출을 위해, 일 실시예에 따른 제 1 좌표계 변환 정보 획득부(120)는 공지된 패턴 인식 기법 중 어느 하나를 채택하여 이용하거나, 딥러닝(Deep Learning)과 같은 기계 학습 방법을 이용할 수도 있다.
상술한 실시예는 단계 S210이 좌표계 변환 정보 획득 장치(100)의 제 1 좌표계 변환 정보 획득부(120)에서 수행되는 경우를 전제하였으나, 단계 S210이 차량(V)에서 수행되고, 차량(V)이 그 결과인 제 2 차선 정보를 좌표계 변환 정보 획득 장치(100)로 전송하는 것도 가능하다. 이와는 달리, 차량(V)이 주변 영상을 좌표계 변환 정보 획득 장치(100)로 전송하고, 좌표계 변환 정보 획득 장치(100)의 차선 정보 획득부(140)가 수신된 주변 영상으로부터 제 2 차선 정보를 추출하여 제 1 좌표계 변환 정보 획득부(120)에 제공하는 것도 가능할 수 있다.
제 2 차선 정보가 추출되면, 제 1 좌표계 변환 정보 획득부(120)는 추출된 제 2 차선 정보를 제 1 차선 정보와 대응시켜 제 1 좌표계 변환 정보를 획득할 수 있다(S220). 상술한 바와 같이 제 1 차선 정보와 제 2 차선 정보가 적어도 두 개의 동일 차선에 대한 정보를 포함하므로, 제 1 좌표계 변환 정보 획득부(120)는 동일 차선에 대한 제 1 차선 정보와 제 2 차선 정보를 대응시킬 수 있다.
구체적으로, 제 1 좌표계 변환 정보 획득부(120)는 수학식 2에 따라 카메라(C) 및 라이다(L) 간 제 1 좌표계 변환 정보를 획득할 수 있다.
[수학식 2]
Figure 112018081538761-pat00002
여기서, 수학식 2의 해인 T* (c,l)은 제 1 좌표계 변환 정보로서 카메라(C) 좌표계 기준 라이다(L)의 자세각을 나타내는 3차원 변환 행렬을 의미하고, Zk는 주변 영상으로부터 추출된 제 2 차선 정보의 좌표를 의미하고, Pk는 Zk에 대응되는 제 1 차선 정보 상의 포인트 좌표를 의미하고, Czk와 Cpk 각각은 Zk와 Pk에 대한 오차를 나타내는 공분산을 의미하고, H는 함수 h()에 대한 편미분(Jacobian)을 의미할 수 있다. 또한, 함수 h()는 Pk를 3차원 변환 행렬 T(c,l)에 의해 카메라(C) 좌표계의 좌표 값으로 변환한 후, 카메라(C) 내부 파라미터에 따라 2차원 영상으로 투영되는 함수를 의미할 수 있다.
수학식 2를 이용하여 T* (c,l)를 구하기 위해 제 1 좌표계 변환 정보 획득부(120)는 이하의 단계를 수행할 수 있다. 제 1 단계로서, 제 1 좌표계 변환 정보 획득부(120)는 제 1 차선 정보 상의 포인트 좌표를 T(c,l)을 이용하여 카메라(C) 좌표계의 좌표 값으로 변환한 후, 주변 영상 내 제 2 차선 정보와 대응되는 픽셀을 찾은 다음 수학식 2를 이용하여 카메라(C) 좌표계 기준 라이다(L)의 자세각을 나타내는 T(c,l)를 구할 수 있다. 제 2 단계로서, 직전에 구한 T(c,l)과 현재 구한 T(c,l)간의 변화가 임계치 이하가 될 때까지 제 1 단계를 반복하여 수학식 2의 해 T*(c,l)를 구할 수 있다.
수학식 2의 해를 구하기 위해, 제 1 좌표계 변환 정보 획득부(120)는 공지된 알고리즘 중 적어도 하나를 선택할 수 있으며, 예를 들어 Gauss Newton 알고리즘 또는 Levenberg-Marquardt 알고리즘을 이용할 수 있다.
상술한 방법에 따라 제 1 좌표계 변환 정보를 획득한 후, 좌표계 변환 정보 획득 장치(100)는 차량(V) 및 카메라(C)에 대한 제 2 좌표계 변환 정보를 획득할 수 있다. 이에 대해서 도 8 내지 10을 참조하여 설명한다.
도 8은 일 실시예에 따른 좌표계 변환 정보 획득 방법 중 제 2 좌표계 변환 정보 획득 방법의 흐름도이고, 도 9는 일 실시예에 따른 차량의 카메라에 의해 획득된 주변 영상으로부터 확산점을 획득하는 방법을 설명하기 위한 도면이고, 도 10은 일 실시예에 따른 차량의 카메라에 의해 획득된 주변 영상에 대한 탑 뷰 영상을 예시한 도면이다.
도 8을 참조하면, 좌표계 변환 정보 획득 장치(100)의 제 2 좌표계 변환 정보 획득부(130)는 주변 영상에 따른 확산점에 기초하여 차량(V)의 진행 방향을 획득할 수 있다(S300). 이를 위해, 제 2 좌표계 변환 정보 획득부(130)는 먼저 차량(V)이 직진 주행 중인지를 결정할 수 있다. 구체적으로, 제 2 좌표계 변환 정보 획득부(130)는 차량(V)의 조향각 및 요레이트(Yaw Rate) 중 적어도 하나를 기초로 차량(V)이 직진 주행 중인지를 결정할 수 있다. 만약, 차량(V)의 조향각 및 요레이트의 절대값이 미리 정해진 임계치 미만인 경우, 제 2 좌표계 변환 정보 획득부(130)는 차량(V)이 직진 주행 중인 것으로 결정할 수 있다.
차량(V)이 직진 주행 중인 것으로 결정되면, 제 2 좌표계 변환 정보 획득부(130)는 서로 다른 촬영 시점에 획득된 복수의 주변 영상 내의 복수의 특징점을 추출할 수 있다. 일 실시예에 따른 제 2 좌표계 변환 정보 획득부(130)는 Lukas-Kanade 방법을 기반으로 Optical Flow를 이용하여 주변 영상 내에서 특징점을 추출할 수 있으며, 그 결과는 도 9와 같다. 다만, 이는 주변 영상 내에서 특징점을 추출하는 방법의 일 실시예에 불과하므로, 특징점 추출 방법이 상술한 실시예에 한정되지는 않는다.
그 다음, 제 2 좌표계 변환 정보 획득부(130)는 복수의 주변 영상 내에서 동일한 특징점의 이동 벡터를 획득할 수 있다. 이동 벡터를 획득한 후, 제 2 좌표계 변환 정보 획득부(130)는 이동 벡터의 교점을 구할 수 있다.차량(V)이 직진 주행을 한 경우라면 이동 벡터는 어느 한 점에서 만나게 되며, 이를 확산점(Focus of Expansion)이라 한다. 만약, 차량의 진행 방향에 수직인 방향을 기준 측방향이라 할 때, 카메라(C)가 차량(V)의 기준 측방향을 기준으로 진행 방향 측을 향하도록 설치된 경우, 복수의 주변 영상으로부터 추출된 복수의 특징점에 대한 이동 벡터의 교점은 차량 전방 상에 형성될 수 있다. 이 경우, 제 2 좌표계 변환 정보 획득부(130)는 해당 교점을 확산점으로 결정할 수 있다. 반면, 카메라(C)가 차량(V)의 기준 측방향을 기준으로 진행 방향의 반대 방향 측을 향하도록 설치된 경우, 복수의 주변 영상으로부터 추출된 복수의 특징점에 대한 이동 벡터의 교점은 차량 후방 상에 형성될 수 있다. 이 경우, 제 2 좌표계 변환 정보 획득부(130)는 해당 교점의 Z축 좌표를 180°회전 시킨 위치를 확산점으로 결정할 수 있다.
한편, Optical Flow를 수행 시 실제 도로 환경에 의해 발생되는 오차가 존재할 수 있다. 따라서 제 2 좌표계 변환 정보 획득부(130)는 이하의 단계에 따라 확산점을 구할 수 있다.
제 1 단계로서, 제 2 좌표계 변환 정보 획득부(130)는 주변 영상 내 임의의 k개 특징점으로 구성되는 특징점 그룹 내의 이동 벡터 간 교점을 구하여, 이를 후보 확산점으로서 획득할 수 있다. 제 2 단계로서, 제 2 좌표계 변환 정보 획득부(130)는 제 1 단계에서 획득한 후보 확산점을 지나는 주변 영상 내의 특징점의 이동 벡터 수를 구할 수 있다. 제 3 단계로서, 제 2 좌표계 변환 정보 획득부(130)는 제 1 단계 및 제 2 단계를 반복하여 수행할 수 있다. 제 4 단계로서, 제 2 좌표계 변환 정보 획득부(130)는 가장 많은 특징점의 이동 벡터가 지나는 후보 확산점을 확산점으로 결정할 수 있다.
이와는 달리, 다른 실시예에 따른 제 2 좌표계 변환 정보 획득부(130)는 상술한 방법에 제 5 단계로서, 제 4 단계에서 결정된 확산점을 지나는 특징점의 이동 벡터 전체를 이용하여 다시 하나의 교점을 찾고, 이를 최종적으로 확산점으로 결정하는 과정을 추가할 수 있다. 이를 통해 확산점 결정의 정확도를 높일 수 있다.
상술한 과정에 따라 도 9에서 특징점을 구한 결과, 점 P를 특징점으로서 결정할 수 있다.
주변 영상을 기초로 확산점을 결정한 후, 제 2 좌표계 변환 정보 획득부(130)는 확산점에 기초하여 카메라(C) 좌표계 기준 차량(V)의 진행 방향을 획득할 수 있다. 여기서, 차량(V)의 진행 방향은 도 3의 차량(V) 좌표계에서 XV축을 의미할 수 있다. 구체적으로, 제 2 좌표계 변환 정보 획득부(130)는 수학식 3에 따라 카메라(C) 좌표계 기준 차량(V)의 진행 방향 X(C,v)를 획득할 수 있다.
[수학식 3]
Figure 112018081538761-pat00003
여기서, 벡터 X(c,v)는 카메라(C) 좌표계 기준 차량(V) 좌표계의 Xv축을 의미하고, K는 카메라(C) 내부 파라미터(Intrinsic Parameter)에 관한 3X3 행렬을 의미하고, mFOE는 확산점 좌표(u,v,1)을 의미할 수 있다. 이 때, 수학식 3을 통해 구한 벡터 X(c,v)는 단위 벡터로 표현된다.
차량(V)의 진행 방향을 획득한 후, 제 2 좌표계 변환 정보 획득부(130)는 제 1 차선 정보로부터 획득된 차선 간 거리 및 차선의 방향을 이용하여 탑 뷰(Top View) 영상 변환 정보를 획득할 수 있다. 여기서, 탑 뷰 영상 변환 정보란 주변 영상을 탑 뷰 영상으로 변환하는데 이용되는 지면 좌표계 기준 카메라(C) 자세각을 나타내는 변환 행렬 R(r,c)를 의미할 수 있고, 이는 수학식 4에 의해 정의될 수 있다.
[수학식 4]
Figure 112018081538761-pat00004
여기서, mtopview는 탑 뷰 영상에서의 픽셀 좌표이고, K는 카메라(C) 내부 파라미터에 관한 3X3 행렬을 의미하고, moriginal은 주변 영상에서의 픽셀 좌표를 의미할 수 있다.
제 2 좌표계 변환 정보 획득부(130)는 변환 행렬 R(r,c)의 초기값에 따라 주변 영상을 탑 뷰 영상으로 변환하고, 탑 뷰 영상 내에서 차선을 수학식 5의 직선의 방정식으로 정의할 수 있다.
[수학식 5]
Figure 112018081538761-pat00005
여기서, (x,y)는 지면 좌표계 기준 탑 뷰 영상에서의 픽셀 좌표를 의미하고, i는 탑뷰 영상 내의 복수의 차선을 구분하기 위한 차선의 인덱스(Index)를 나타낼 수 있다.
도 10을 참조하면, 탑 뷰 영상 내에 흰색 차선이 존재하며, 차선의 방향으로 연장되는 붉은 색 직선이 수학식 5에 의해 정의된 직선의 방정식을 따를 수 있다.
차선에 대한 직선의 방정식을 구한 후, 제 2 좌표계 변환 정보 획득부(130)는 제 1 차선 정보로부터 획득된 차선 간 거리 및 차선의 방향을 이용하여 탑 뷰 영상 변환 정보를 획득할 수 있다. 라이다(L)에 의해 획득된 3차원 정보 내 제 1 차선 정보는 실제 차선 간 거리 정보를 포함하고, 주변 영상 내의 차선은 평행함을 이용하여, 제 2 좌표계 변환 정보는 수학식 6에 따라 변환 행렬 R(r,c)를 구할 수 있다.
[수학식 6]
Figure 112018081538761-pat00006
여기서, i와 j는 차선 인덱스를 의미하고, di,j는 i번째 차선과 j번째 차선의 간격을 의미할 수 있다.
제 2 좌표계 변환 정보 획득부(130)는 수학식 6을 통해 획득한 변환 행렬 R(r,c)를 다시 수학식 4에 대입하여 상술한 과정을 반복함으로써 이터레이티브(Iterative)하게 수학식 6의 해 변환 행렬 R*(r,c)를 구할 수 있다. 즉, 제 2 좌표계 변환 정보 획득부(130)는 탑 뷰 영상 내 복수의 차선이 평행하면서, 복수의 차선 간 간격이 실제 차선 간 간격과 극히 유사할 때의 변환 행렬 R*(r,c)를 수학식 6의 해로서 구할 수 있다.
상술한 방법에 따라 탑 뷰 영상 변화 정보를 획득한 후, 마지막으로 제 2 좌 표계 변환 정보 획득부는 탑 뷰 영상 변환 정보의 역(Inverse) 정보 및 차량(V)의 진행 방향을 기초로 제 2 좌표계 변환 정보를 획득할 수 있다(S320). 구체적으로, 제 2 좌표계 변환 정보 획득부(130)는 수학식 7에 따라 제 2 좌표계 변환 정보인 카메라(C) 좌표계 기준 차량(V)의 자세각 R(c,v)를 획득할 수 있다.
[수학식 7]
Figure 112018081538761-pat00007
여기서, R(c,r)은 탑 뷰 영상 변환 정보인 변환 행렬 R(r,c)의 역행렬을 의미하고, 벡터 X(c,v)는 차량(V)의 진행 방향으로서 카메라(C) 좌표계 기준 차량(V) 좌표계의 Xv축을 의미할 수 있다.
상술한 과정에 따라, 제 1 좌표계 변환 정보 및 제 2 좌표계 변환 정보가 획득되면, 좌표계 변환 정보 획득 장치(100)는 제 1 좌표계 변환 정보 및 제 2 좌표계 변환 정보를 이용하여 카메라(C) 및 라이다(L) 간 제 3 좌표계 변환 정보를 획득할 수 있다. 이를 통해, 차량(V), 카메라(C) 및 라이다(L) 간 캘리브레이션이 이루어질 수 있다.
상술한 좌표계 변환 정보 획득 장치, 및 방법은, 별도의 장비나 수동 조작 없이, 주행 중인 차량에 대하여 카메라 및 라이다의 좌표계 변환 정보를 획득할 수 있어, 캘리브레이션에 소요되는 비용 및 시간을 절감하면서도, 정확한 좌표계 변환 정보를 획득할 수 있다.
한편, 상술한 일 실시예에 따른 좌표계 변환 정보 획득 방법에 포함된 각각의 단계는, 이러한 단계를 수행하도록 프로그램된 컴퓨터 프로그램을 기록하는 컴퓨터 판독가능한 기록매체에서 구현될 수 있다.
한편, 상술한 일 실시예에 따른 좌표계 변환 정보 획득 방법에 포함된 각각의 단계는, 이러한 단계를 수행하도록 프로그램된 컴퓨터 프로그램을 기록하는 컴퓨터 판독가능한 기록매체에서 구현될 수 있다.
이상의 설명은 본 발명의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 품질에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다. 따라서, 본 발명에 개시된 실시예들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 균등한 범위 내에 있는 모든 기술사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.
일 실시예에 따르면, 상술한 좌표계 변환 정보 획득 장치, 및 방법은 댁내 또는 산업 현장 등 다양한 분야에서 이용될 수 있으므로 산업상 이용 가능성이 있다.
1: 좌표계 변환 정보 획득 시스템
100: 좌표계 변환 정보 획득 장치
V: 차량

Claims (12)

  1. 차량의 라이다(LiDAR)에 의한 상기 차량 주변의 차선에 대응되는 제 1 차선 정보를 포함하는 3차원 정보 및 상기 차량의 카메라에 의한 상기 차선에 대응되는 제 2 차선 정보를 포함하는 주변 영상을 획득하는 단계;
    상기 3차원 정보로부터 상기 제 1 차선 정보를 추출하고, 상기 제 1 차선 정보에 기초하여 상기 차량이 평지 주행 중인 것으로 결정되면, 상기 제 2 차선 정보를 상기 제 1 차선 정보와 비교하여 상기 라이다 및 상기 카메라에 대한 제 1 좌표계 변환 정보를 획득하는 단계; 및
    상기 주변 영상을 기초로 획득된 탑 뷰(Top View) 영상 변환 정보 및 상기 차량의 진행 방향을 이용하여 상기 차량 및 상기 카메라에 대한 제 2 좌표계 변환 정보를 획득하는 단계를 포함하는
    좌표계 변환 정보 획득 방법.
  2. 제 1 항에 있어서,
    상기 제 1 좌표계 변환 정보를 획득하는 단계는,
    상기 추출된 제 1 차선 정보를 기초로 평면을 피팅(Fitting)하는 단계; 및
    상기 평면의 피팅 오차가 미리 정해진 기준 오차 이하이면, 상기 차량이 평지 주행 중인 것으로 결정하는 단계를 포함하는
    좌표계 변환 정보 획득 방법.
  3. 차량의 라이다(LiDAR)에 의한 상기 차량 주변의 차선에 대응되는 제 1 차선 정보를 포함하는 3차원 정보 및 상기 차량의 카메라에 의한 상기 차선에 대응되는 제 2 차선 정보를 포함하는 주변 영상을 획득하는 단계;
    상기 제 1 차선 정보에 기초하여 상기 차량이 평지 주행 중인 것으로 결정되면, 상기 제 2 차선 정보를 상기 제 1 차선 정보와 비교하여 상기 라이다 및 상기 카메라에 대한 제 1 좌표계 변환 정보를 획득하는 단계; 및
    상기 주변 영상을 기초로 획득된 탑 뷰(Top View) 영상 변환 정보 및 상기 차량의 진행 방향을 이용하여 상기 차량 및 상기 카메라에 대한 제 2 좌표계 변환 정보를 획득하는 단계를 포함하고,
    상기 제 1 좌표계 변환 정보를 획득하는 단계는,
    상기 차량이 평지 주행 중인 경우, 상기 주변 영상으로부터 상기 제 2 차선 정보를 추출하는 단계; 및
    상기 추출된 제 2 차선 정보를 상기 제 1 차선 정보와 대응시켜 상기 제 1 좌표계 변환 정보를 획득하는 단계를 포함하는
    좌표계 변환 정보 획득 방법.
  4. 제 1 항에 있어서,
    상기 제 2 좌표계 변환 정보를 획득하는 단계는,
    상기 주변 영상을 기초로 획득된 확산점(Focus of Expansion)을 이용하여 상기 차량의 진행 방향을 획득하는 단계;
    상기 제 1 차선 정보로부터 획득된 상기 차선 간 거리 및 상기 차선의 방향을 이용하여 상기 탑 뷰 영상 변환 정보를 획득하는 단계; 및
    상기 탑 뷰 영상 변환 정보의 역(Inverse) 정보 및 상기 차량의 진행 방향을 기초로 상기 제 2 좌표계 변환 정보를 획득하는 단계를 포함하는
    좌표계 변환 정보 획득 방법.
  5. 제 4 항에 있어서,
    상기 차량의 진행 방향을 획득하는 단계는,
    서로 다른 촬영 시점에 획득된 복수의 상기 주변 영상 내의 복수의 특징점 각각에 대한 이동 벡터를 획득하는 단계;
    상기 획득된 이동 벡터의 교점을 기초로 상기 확산점을 결정하는 단계; 및
    상기 결정된 확산점 및 상기 카메라의 내부 파라미터(Intrinsic Parameter)를 이용하여 상기 차량의 진행 방향을 획득하는 단계를 포함하는
    좌표계 변환 정보 획득 방법.
  6. 제 5 항에 있어서,
    상기 이동 벡터를 획득하는 단계는,
    상기 차량의 조향각 및 요레이트(Yaw Rate) 중 적어도 하나를 기초로 상기 차량이 직진 주행 중으로 결정되면, 상기 이동 벡터를 획득하는
    좌표계 변환 정보 획득 방법.
  7. 제 5 항에 있어서,
    상기 확산점을 결정하는 단계는,
    상기 복수의 특징점 중 서로 다른 복수의 특징점 그룹 각각에 대한 이동 벡터의 교점을 기초로 복수의 후보 확산점을 획득하는 단계; 및
    상기 복수의 후보 확산점 중 상기 주변 영상 내의 가장 많은 이동 벡터가 지나는 후보 확산점을 상기 주변 영상 내 상기 확산점으로 결정하는 단계를 포함하는
    좌표계 변환 정보 획득 방법.
  8. 제 4 항에 있어서,
    상기 탑 뷰 영상 변환 정보를 획득하는 단계는,
    상기 제 1 차선 정보로부터 획득된 상기 차선 간 거리 및 상기 차선의 방향각각과 상기 주변 영상을 기초로 이터레이티브(Iterative)하게 결정되는 복수의 탑 뷰 영상 내 상기 차선 간 거리 및 상기 차선의 방향 각각의 차이를 최소로 하는 상기 탑 뷰 영상 변환 정보를 획득하는
    좌표계 변환 정보 획득 방법.
  9. 제 1 항에 있어서,
    상기 제 1 좌표계 변환 정보 및 상기 제 2 좌표계 변환 정보를 기초로 상기 차량 및 상기 라이다에 대한 제 3 좌표계 변환 정보를 획득하는 단계를 더 포함하는
    좌표계 변환 정보 획득 방법.
  10. 차량의 라이다(LiDAR)에 의해 획득된 상기 차량 주변의 차선에 대한 제 1 차선 정보에 기초하여 상기 차량의 평지 주행 여부를 확인하는 평지 확인부;
    상기 제 1 차선 정보에 기초하여 상기 차량이 평지 주행 중인 것으로 결정되면, 상기 차량의 카메라에 의해 획득된 상기 차량의 주변 영상 내 상기 차선에 대한 제 2 차선 정보를 상기 제 1 차선 정보와 비교하여 상기 라이다 및 상기 카메라에 대한 제 1 좌표계 변환 정보를 획득하는 제 1 좌표계 변환 정보 획득부; 및
    상기 주변 영상을 기초로 획득된 탑 뷰(Top View) 영상 변환 정보 및 상기 차량의 진행 방향을 이용하여 상기 차량 및 상기 카메라에 대한 제 2 좌표계 변환 정보를 획득하는 제 2 좌표계 변환 정보 획득부를 포함하는
    좌표계 변환 정보 획득 장치.
  11. 제 1 항 내지 제 9 항 중 어느 한 항에 기재된 방법에 따른 각각의 단계를 수행하는, 컴퓨터 판독 가능 기록매체에 저장된 프로그램.
  12. 제 1 항 내지 제 9 항 중 어느 한 항에 기재된 방법에 따른 각각의 단계를 수행하는 명령어를 포함하는 프로그램이 기록된 컴퓨터 판독 가능 기록매체.
KR1020180096210A 2018-08-17 2018-08-17 좌표계 변환 정보 획득 장치 및 방법 Active KR102146451B1 (ko)

Priority Applications (4)

Application Number Priority Date Filing Date Title
KR1020180096210A KR102146451B1 (ko) 2018-08-17 2018-08-17 좌표계 변환 정보 획득 장치 및 방법
PCT/KR2019/006557 WO2020036295A1 (ko) 2018-08-17 2019-05-31 좌표계 변환 정보 획득 장치 및 방법
US17/267,696 US11954871B2 (en) 2018-08-17 2019-05-31 Apparatus and method for acquiring coordinate conversion information
CN201980053837.3A CN112567264A (zh) 2018-08-17 2019-05-31 用于获取坐标变换信息的装置和方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020180096210A KR102146451B1 (ko) 2018-08-17 2018-08-17 좌표계 변환 정보 획득 장치 및 방법

Publications (2)

Publication Number Publication Date
KR20200020465A KR20200020465A (ko) 2020-02-26
KR102146451B1 true KR102146451B1 (ko) 2020-08-20

Family

ID=69525532

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020180096210A Active KR102146451B1 (ko) 2018-08-17 2018-08-17 좌표계 변환 정보 획득 장치 및 방법

Country Status (4)

Country Link
US (1) US11954871B2 (ko)
KR (1) KR102146451B1 (ko)
CN (1) CN112567264A (ko)
WO (1) WO2020036295A1 (ko)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020063816A1 (zh) * 2018-09-30 2020-04-02 长城汽车股份有限公司 行车坐标系的构建方法及应用
CN113496520B (zh) * 2020-04-02 2024-05-28 北京四维图新科技股份有限公司 摄像机转俯视图的方法、装置及存储介质
KR102535300B1 (ko) * 2021-05-03 2023-05-26 (주)이레에프에이 캘리브레이션의 기준점을 획득하는 카메라 제어 장치 및 방법
KR102363719B1 (ko) * 2021-06-30 2022-02-16 주식회사 모빌테크 3차원 점군 지도의 투영 변환을 이용한 차선 좌표 추출 방법
CN115797900B (zh) * 2021-09-09 2023-06-27 廊坊和易生活网络科技股份有限公司 基于单目视觉的车路姿态感知方法
CN113865582B (zh) * 2021-09-27 2023-09-05 南京农业大学 一种果树行间农用车辆航向角与横向偏差的测定方法
CN114935747B (zh) * 2022-05-02 2023-05-12 苏州一径科技有限公司 一种激光雷达的标定方法、装置、设备及存储介质
CN115166743B (zh) * 2022-08-30 2022-12-09 长沙隼眼软件科技有限公司 车道自动标定方法、装置、电子设备及存储介质

Family Cites Families (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003084064A (ja) * 2001-09-12 2003-03-19 Daihatsu Motor Co Ltd 前方車両の認識装置及び認識方法
US8699754B2 (en) * 2008-04-24 2014-04-15 GM Global Technology Operations LLC Clear path detection through road modeling
KR101281260B1 (ko) 2009-04-07 2013-07-05 주식회사 만도 차량 인식 방법 및 장치
KR20140137577A (ko) * 2013-05-23 2014-12-03 한국전자통신연구원 차량의 주변환경 정보를 제공하는 장치 및 그 방법
US9145139B2 (en) * 2013-06-24 2015-09-29 Google Inc. Use of environmental information to aid image processing for autonomous vehicles
KR20150055183A (ko) * 2013-11-12 2015-05-21 현대오트론 주식회사 헤드업 디스플레이를 이용한 차선 표시 장치 및 방법
US9248832B2 (en) * 2014-01-30 2016-02-02 Mobileye Vision Technologies Ltd. Systems and methods for detecting traffic signal details
KR101584693B1 (ko) 2014-05-23 2016-01-14 경북대학교 산학협력단 카메라 파라미터 측정 장치 및 그 방법
CN104574376B (zh) * 2014-12-24 2017-08-08 重庆大学 拥挤交通中基于双目视觉和激光雷达联合校验的防撞方法
DE102015209467A1 (de) * 2015-05-22 2016-11-24 Continental Teves Ag & Co. Ohg Verfahren zur Schätzung von Fahrstreifen
KR101750876B1 (ko) * 2015-05-28 2017-06-26 엘지전자 주식회사 차량용 디스플레이 장치 및 차량
KR101843773B1 (ko) * 2015-06-30 2018-05-14 엘지전자 주식회사 차량 운전 보조 장치, 차량용 디스플레이 장치 및 차량
CN105719284B (zh) * 2016-01-18 2018-11-06 腾讯科技（深圳）有限公司 一种数据处理方法、装置及终端
US20180067494A1 (en) * 2016-09-02 2018-03-08 Delphi Technologies, Inc. Automated-vehicle 3d road-model and lane-marking definition system
KR101866075B1 (ko) * 2016-10-20 2018-06-08 현대자동차주식회사 차선 추정 장치 및 방법
EP3532801B1 (en) * 2016-10-31 2020-12-16 Mobileye Vision Technologies Ltd. Systems and methods for navigating lane merges and lane splits
KR20180055292A (ko) * 2016-11-16 2018-05-25 국민대학교산학협력단 다중 라이다 좌표계 통합 방법
KR20180106417A (ko) * 2017-03-20 2018-10-01 현대자동차주식회사 차량의 위치 인식 시스템 및 방법
KR101840974B1 (ko) * 2017-04-28 2018-03-22 재단법인 경북아이티융합 산업기술원 자율주행용 차선 식별 시스템
US10668925B2 (en) * 2017-09-05 2020-06-02 Baidu Usa Llc Driver intention-based lane assistant system for autonomous driving vehicles
US10496098B2 (en) * 2017-09-12 2019-12-03 Baidu Usa Llc Road segment-based routing guidance system for autonomous driving vehicles
CN107609522B (zh) * 2017-09-19 2021-04-13 东华大学 一种基于激光雷达和机器视觉的信息融合车辆检测系统
CN107792052B (zh) * 2017-10-11 2019-11-08 武汉理工大学 有人或无人双模驾驶电动工程车
US11205012B2 (en) * 2018-03-05 2021-12-21 Mobileye Vision Technologies Ltd. Systems and methods for anonymizing navigation information
JP7125214B2 (ja) * 2018-04-03 2022-08-24 モービルアイ ビジョン テクノロジーズ リミテッド プログラムおよびコンピューティングデバイス
CN118603128A (zh) * 2018-05-15 2024-09-06 御眼视觉技术有限公司 用于自主车辆导航的系统和方法

Also Published As

Publication number Publication date
KR20200020465A (ko) 2020-02-26
US20210295060A1 (en) 2021-09-23
CN112567264A (zh) 2021-03-26
WO2020036295A1 (ko) 2020-02-20
US11954871B2 (en) 2024-04-09

Similar Documents

Publication Publication Date Title
KR102146451B1 (ko) 좌표계 변환 정보 획득 장치 및 방법
KR102420476B1 (ko) 차량의 위치 추정 장치, 차량의 위치 추정 방법, 및 이러한 방법을 수행하도록 프로그램된 컴퓨터 프로그램을 저장하는 컴퓨터 판독가능한 기록매체
US11321950B2 (en) Apparatus and method for detecting lane information, and computer-readable recording medium storing computer program programmed to execute same method
CN111238494B (zh) 载具、载具定位系统及载具定位方法
CN111291676B (zh) 一种基于激光雷达点云和相机图像融合的车道线检测方法及装置和芯片
EP4141737A1 (en) Target detection method and device
CN108256413B (zh) 可通行区域检测方法及装置、存储介质、电子设备
KR102233260B1 (ko) 정밀 지도 업데이트 장치 및 방법
KR102071418B1 (ko) 차량용 카메라 캘리브레이션 장치 및 방법
CN108572663A (zh) 目标跟踪
Fernández et al. Free space and speed humps detection using lidar and vision for urban autonomous navigation
KR20200120402A (ko) 차량의 추정 위치 획득 장치 및 방법
KR102733090B1 (ko) 차선 정보 획득 장치 및 방법
KR20200093271A (ko) 랜드마크 위치 추정 장치와 방법 및 이러한 방법을 수행하도록 프로그램된 컴퓨터 프로그램을 저장하는 컴퓨터 판독 가능한 기록매체
KR20200053920A (ko) 차량의 위치 추정 장치 및 방법
KR20210041969A (ko) 지도 매칭을 이용한 온라인 카메라 캘리브레이션 장치 및 방법
KR102634443B1 (ko) 차량용 센서의 보정 정보 획득 장치 및 방법
KR20210051030A (ko) 센서 바이어스 보정 방법 및 장치
JP2021064056A (ja) ゼブラゾーン認識装置、車両制御装置、ゼブラゾーン認識方法、およびプログラム
Abe et al. Construction of a high-accuracy point cloud map for the automatic driving of an electric wheelchair
CN118884958A (zh) 一种基于5g物联网的精准配送无人小车系统及成像方法
Lee et al. Drivable road modeling based on multilayered LiDAR and vision
KR20240081681A (ko) 협소한 경로를 주행하기 위한 자율주행 방법
CN114091513A (zh) 面向地面无人平台辅助遥控驾驶的态势感知方法及系统
CN118366117A (zh) 数据处理方法和装置

Legal Events

Date Code Title Description
A201 Request for examination
PA0109 Patent application

Patent event code: PA01091R01D

Comment text: Patent Application

Patent event date: 20180817

PA0201 Request for examination
E902 Notification of reason for refusal
PE0902 Notice of grounds for rejection

Comment text: Notification of reason for refusal

Patent event date: 20191119

Patent event code: PE09021S01D

PG1501 Laying open of application
E701 Decision to grant or registration of patent right
PE0701 Decision of registration

Patent event code: PE07011S01D

Comment text: Decision to Grant Registration

Patent event date: 20200522

GRNT Written decision to grant
PR0701 Registration of establishment

Comment text: Registration of Establishment

Patent event date: 20200813

Patent event code: PR07011E01D

PR1002 Payment of registration fee

Payment date: 20200814

End annual number: 3

Start annual number: 1

PG1601 Publication of registration
PR1001 Payment of annual fee

Payment date: 20230622

Start annual number: 4

End annual number: 4

PR1001 Payment of annual fee

Payment date: 20240619

Start annual number: 5

End annual number: 5