[go: up one dir, main page]

KR102614325B1 - 차량의 사고 이벤트를 분석하기 위한 전자 장치 및 그 동작방법 - Google Patents

차량의 사고 이벤트를 분석하기 위한 전자 장치 및 그 동작방법 Download PDF

Info

Publication number
KR102614325B1
KR102614325B1 KR1020210161219A KR20210161219A KR102614325B1 KR 102614325 B1 KR102614325 B1 KR 102614325B1 KR 1020210161219 A KR1020210161219 A KR 1020210161219A KR 20210161219 A KR20210161219 A KR 20210161219A KR 102614325 B1 KR102614325 B1 KR 102614325B1
Authority
KR
South Korea
Prior art keywords
vehicle
information
surrounding environment
environment information
accident event
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
KR1020210161219A
Other languages
English (en)
Other versions
KR20230075032A (ko
Inventor
장미선
정회인
Original Assignee
주식회사 넥스트칩
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 넥스트칩 filed Critical 주식회사 넥스트칩
Priority to KR1020210161219A priority Critical patent/KR102614325B1/ko
Publication of KR20230075032A publication Critical patent/KR20230075032A/ko
Application granted granted Critical
Publication of KR102614325B1 publication Critical patent/KR102614325B1/ko
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G07—CHECKING-DEVICES
    • G07C—TIME OR ATTENDANCE REGISTERS; REGISTERING OR INDICATING THE WORKING OF MACHINES; GENERATING RANDOM NUMBERS; VOTING OR LOTTERY APPARATUS; ARRANGEMENTS, SYSTEMS OR APPARATUS FOR CHECKING NOT PROVIDED FOR ELSEWHERE
    • G07C5/00—Registering or indicating the working of vehicles
    • G07C5/08—Registering or indicating performance data other than driving, working, idle, or waiting time, with or without registering driving, working, idle or waiting time
    • G07C5/0841—Registering performance data
    • G07C5/085—Registering performance data using electronic data carriers
    • G07C5/0866—Registering performance data using electronic data carriers the electronic data carrier being a digital video recorder in combination with video camera
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01D—MEASURING NOT SPECIALLY ADAPTED FOR A SPECIFIC VARIABLE; ARRANGEMENTS FOR MEASURING TWO OR MORE VARIABLES NOT COVERED IN A SINGLE OTHER SUBCLASS; TARIFF METERING APPARATUS; MEASURING OR TESTING NOT OTHERWISE PROVIDED FOR
    • G01D21/00—Measuring or testing not otherwise provided for
    • G01D21/02—Measuring two or more variables by means not covered by a single other subclass
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01P—MEASURING LINEAR OR ANGULAR SPEED, ACCELERATION, DECELERATION, OR SHOCK; INDICATING PRESENCE, ABSENCE, OR DIRECTION, OF MOVEMENT
    • G01P15/00—Measuring acceleration; Measuring deceleration; Measuring shock, i.e. sudden change of acceleration
    • G01P15/02—Measuring acceleration; Measuring deceleration; Measuring shock, i.e. sudden change of acceleration by making use of inertia forces using solid seismic masses
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S19/00—Satellite radio beacon positioning systems; Determining position, velocity or attitude using signals transmitted by such systems
    • G01S19/01—Satellite radio beacon positioning systems transmitting time-stamped messages, e.g. GPS [Global Positioning System], GLONASS [Global Orbiting Navigation Satellite System] or GALILEO
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G07—CHECKING-DEVICES
    • G07C—TIME OR ATTENDANCE REGISTERS; REGISTERING OR INDICATING THE WORKING OF MACHINES; GENERATING RANDOM NUMBERS; VOTING OR LOTTERY APPARATUS; ARRANGEMENTS, SYSTEMS OR APPARATUS FOR CHECKING NOT PROVIDED FOR ELSEWHERE
    • G07C5/00—Registering or indicating the working of vehicles
    • G07C5/008—Registering or indicating the working of vehicles communicating information to a remotely located station

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Software Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Electromagnetism (AREA)
  • Artificial Intelligence (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Medical Informatics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Multimedia (AREA)
  • Traffic Control Systems (AREA)

Abstract

차량의 사고 이벤트 분석 결과를 생성하기 위해, 차량에 탑재된 전자 장치는, 전자 장치가 탑재된 차량에 대한 사고 이벤트가 감지됨에 따라, 사고 이벤트가 발생한 시각 정보를 획득하고, 시각 정보에 기초하여, 사고 이벤트에 대한 제1 주변 환경 정보를 생성하고, 시각 정보에 기초하여, 차량을 제어하는 차량 제어 장치로부터 사고 이벤트에 대한 제2 주변 환경 정보를 획득하고, 제1 주변 환경 정보 및 제2 주변 환경 정보에 기초하여 사고 이벤트를 분석하기 위한 정보 처리의 복잡도를 결정하고, 복잡도에 기초하여, 전자 장치가 정보 처리를 수행하는 경우, 제1 주변 환경 정보 및 제2 주변 환경 정보를 분석함으로써 사고 이벤트에 대한 분석 결과를 생성하고, 및 복잡도에 기초하여, 미리 결정된 분석 서버가 정보 처리를 수행하는 경우, 분석 서버로 제1 주변 환경 정보 및 제2 주변 환경 정보를 전송할 수 있다. 전자 장치가 분석 서버로 제1 주변 환경 정보 및 제2 주변 환경 정보를 전송하는 경우, 분석 결과는 분석 서버에 의해 생성될 수 있다. 그 외에도 다양한 실시예들이 가능할 수 있다.

Description

차량의 사고 이벤트를 분석하기 위한 전자 장치 및 그 동작방법 {ELECTRONIC DEVICE FOR ANALYZING AN ACCIDENT EVENT OF VEHICLE AND OPERATING METHOD THEREOF}
아래의 실시예들은 차량의 사고 이벤트를 분석하는 방법에 관한 것이다.
자율 주행 차량 또는 ADAS(advanced driver assistance system)을 지원하는 차량은 하나 이상의 센서들을 이용하여 차량 주변의 상황을 인식하고, 인식된 상황에 대해 적절한 차량의 제어가 요구된다. 예를 들어, 차량 주변의 상황을 인식하기 위해, 도로의 차선 및 차량 주변의 오브젝트가 검출된다. 차선 또는 오브젝트를 검출하기 위해 차량의 카메라를 이용하여 이미지를 생성하고, 이미지 내의 오브젝트를 식별할 수 있다.
차량에 충격이 감지되는 등 사고 이벤트가 발생하는 경우, 사고 이벤트를 분석하기 위해 다양한 정보 처리가 필요할 수 있다. 예를 들어, 사고 이벤트 분석 결과 촬영된 영상에서 객체가 인식되고, 객체의 종류가 판단되고, 충격 방향 및 충격 속도 등이 결정될 수 있다. 차량 사고 이벤트 분석을 위한 정보 처리에는 높은 계산량이 필요할 수 있고, 차량 내 전자 장치에서는 성능의 한계로 인해 높은 계산량의 정보 처리가 불가능할 수 있다.
ECU(electronic control unit)와 같은 차량 제어 장치는 차량에 부착 또는 설치된 센서들을 통해 다양한 정보를 획득할 수 있으나, 보다 정확한 차량의 사고 이벤트 분석을 위해 더 많은 정보가 필요할 수 있다.
다만, 기술적 과제는 상술한 기술적 과제들로 한정되는 것은 아니며, 또 다른 기술적 과제들이 존재할 수 있다.
일 실시 예에 따르면, 전자 장치에 의해 수행되는 사고 이벤트 분석 방법은, 상기 전자 장치가 탑재된 차량에 대한 사고 이벤트가 감지됨에 따라, 상기 사고 이벤트가 발생한 시각 정보를 획득하는 단계; 상기 시각(time) 정보에 기초하여, 상기 사고 이벤트에 대한 제1 주변 환경 정보를 생성하는 단계; 상기 시각 정보에 기초하여, 상기 차량을 제어하는 차량 제어 장치로부터 상기 사고 이벤트에 대한 제2 주변 환경 정보를 획득하는 단계; 상기 제1 주변 환경 정보 및 상기 제2 주변 환경 정보에 기초하여 상기 사고 이벤트를 분석하기 위한 정보 처리의 복잡도를 결정하는 단계; 상기 복잡도에 기초하여, 상기 전자 장치가 상기 정보 처리를 수행하는 경우, 상기 제1 주변 환경 정보 및 상기 제2 주변 환경 정보를 분석함으로써 상기 사고 이벤트에 대한 분석 결과를 생성하는 단계; 및 상기 복잡도에 기초하여, 미리 결정된 분석 서버가 상기 정보 처리를 수행하는 경우, 상기 분석 서버로 상기 제1 주변 환경 정보 및 상기 제2 주변 환경 정보를 전송하는 단계 - 상기 분석 결과는 상기 분석 서버에 의해 생성됨 -를 포함할 수 있다.
일 실시 예에 따르면, 상기 사고 이벤트는, 상기 전자 장치에 의해 감지되거나, 상기 차량 제어 장치와 통신하는 상기 차량에 탑재된 하나 이상의 차량용 센서에 의해 감지될 수 있다.
일 실시 예에 따르면, 상기 제1 주변 환경 정보는, 상기 전자 장치와 연결된 촬영 장치, GPS 센서 및 충격 감지 센서, 가속도 센서 및 사운드 감지 센서 중 적어도 어느 하나에 기초하여 생성될 수 있다.
일 실시 예에 따르면, 상기 제2 주변 환경 정보는, 상기 차량에 탑재된 초음파(ultrasonic) 센서, 레이더(RADAR) 센서, 라이다(LiDAR) 센서, 조향각(steering angle) 센서, 가속도 센서, AVM(around view monitor) 용 카메라, 충격 감지 센서 및 사운드 감지 센서 중 적어도 어느 하나를 통해 획득될 수 있다.
일 실시 예에 따르면, 상기 복잡도를 결정하는 단계는, 상기 제1 주변 환경 정보 및 상기 제2 주변 환경 정보에 기초하여 상기 차량이 주차 중인지 여부를 결정하는 단계; 상기 차량이 주차 중이면, 상기 복잡도를 제1 레벨로 결정하는 단계; 및 상기 차량이 주차 중이 아니면, 상기 복잡도를 상기 제1 레벨보다 높은 제2 레벨로 결정하는 단계를 포함할 수 있다.
일 실시 예에 따르면, 상기 복잡도를 결정하는 단계는, 상기 제1 주변 환경 정보 또는 상기 제2 주변 환경 정보의 획득에 관여한 센서의 개수, 상기 제1 주변 환경 정보와 상기 제2 주변 환경 정보의 용량, 및 상기 제1 주변 환경 정보와 상기 제2 주변 환경 정보에 포함된 영상에서 객체 검출(object detection)의 난이도 중 적어도 어느 하나에 기초하여 상기 정보 처리의 복잡도를 결정하는 단계를 포함할 수 있다.
일 실시 예에 따르면, 상기 분석 결과는, 상기 사고 이벤트와 관련된 외부 객체의 크기 정보, 상기 외부 객체의 종류 정보, 상기 외부 객체의 충격 방향 정보, 상기 외부 객체의 충격 속도 정보 및 상기 차량 내부의 탑승자의 상태 정보 중 적어도 어느 하나를 포함할 수 있다.
일 실시 예에 따르면, 상기 분석 결과는 상기 전자 장치가 상기 사고 이벤트에 대한 분석 결과를 생성하기 위해 이용되는 학습 모델 또는 상기 분석 서버가 상기 사고 이벤트에 대한 분석 결과를 생성하기 위해 이용되는 학습 모델에 기초하여 생성되고, 상기 분석 결과는 상기 전자 장치의 학습 모델 또는 상기 분석 서버의 학습 모델을 재학습하기 위해 이용될 수 있다.
일 실시 예에 따르면, 상기 분석 서버가 상기 정보 처리를 수행하는 경우, 상기 분석 서버로부터 상기 분석 결과를 수신하는 단계; 및 상기 분석 결과를 저장하고, 상기 분석 결과를 상기 전자 장치와 연동된 사용자 단말로 전송하는 단계를 더 포함할 수 있다.
일 실시 예에 따르면, 상기 분석 서버가 상기 정보 처리를 수행하는 경우, 상기 분석 결과는 상기 사고 이벤트와 연관된 엔티티(entity) - 상기 엔티티는, 상기 차량의 주변에 위치한 소방서의 서버, 경찰서의 서버, 및 상기 차량과 연동된 보험사의 서버 중 적어도 어느 하나를 포함함 -로 전송될 수 있다.
일 실시 예에 따르면, 상기 차량은, 자율주행 차량(autonomous vehicle) 또는 어드밴스드 운전자 지원 시스템(advanced driver assistance system)을 지원하는 차량일 수 있다.
일 실시 예에 따르면, 상기 전자 장치는 블랙박스(blackbox), 차량용 영상녹화장치(DVRS: Drive Video Record System) 중 어느 하나이고, 상기 차량 제어 장치는 차량용 전자 제어 장치(ECU: Electronic Control Unit)일 수 있다.
일 실시 예에 따르면, 사고 이벤트 분석 방법을 수행하는 전자 장치는, 상기 전자 장치가 탑재된 차량의 사고 이벤트에 대한 제1 주변 환경 정보를 획득하기 위한 센서부; 상기 차량을 제어하는 차량 제어 장치 및 미리 결정된 사고 이벤트 분석 서버와 통신하기 위한 통신부; 컴퓨터로 실행 가능한 명령어들(computer-executable instructions)이 저장된 메모리; 및 상기 메모리에 억세스(access)하여 상기 명령어들을 실행하는 프로세서를 포함하고, 상기 명령어들은, 상기 사고 이벤트가 감지됨에 따라, 상기 사고 이벤트가 발생한 시각(time) 정보를 획득하고, 상기 시각 정보에 기초하여, 상기 센서부를 통해 상기 제1 주변 환경 정보를 생성하고, 상기 시각 정보에 기초하여, 상기 차량 제어 장치로부터 상기 사고 이벤트에 대한 제2 주변 환경 정보를 획득하고, 상기 제1 주변 환경 정보 및 상기 제2 주변 환경 정보에 기초하여 상기 사고 이벤트를 분석하기 위한 정보 처리의 복잡도를 결정하고, 상기 복잡도에 기초하여, 상기 전자 장치가 상기 정보 처리를 수행하는 경우, 상기 제1 주변 환경 정보 및 상기 제2 주변 환경 정보를 분석함으로써 상기 사고 이벤트에 대한 분석 결과를 생성하고, 및 상기 복잡도에 기초하여, 상기 분석 서버가 상기 정보 처리를 수행하는 경우, 상기 분석 서버로 상기 제1 주변 환경 정보 및 상기 제2 주변 환경 정보를 전송 - 상기 분석 결과는 상기 분석 서버에 의해 생성됨 -하도록 구성될 수 있다.
일 실시 예에 따르면, 상기 사고 이벤트는, 상기 센서부에 의해 감지되거나, 상기 차량 제어 장치와 통신하는 상기 차량에 탑재된 하나 이상의 차량용 센서들에 의해 감지될 수 있다.
일 실시 예에 따르면, 상기 센서부는, 상기 전자 장치와 연결된 촬영 장치, GPS 센서, 충격 감지 센서, 가속도 센서 및 사운드 감지 센서 중 적어도 어느 하나를 포함할 수 있다.
일 실시 예에 따르면, 상기 제2 주변 환경 정보는, 상기 차량에 탑재된 초음파(ultrasonic) 센서, 레이더(RADAR) 센서, 라이다(LiDAR) 센서, 조향각(steering angle) 센서, 가속도 센서, AVM(around view monitor) 용 카메라, 충격 감지 센서 및 사운드 감지 센서 중 적어도 어느 하나를 통해 획득될 수 있다.
일 실시 예에 따르면, 상기 복잡도를 결정하는 단계는, 상기 제1 주변 환경 정보 및 상기 제2 주변 환경 정보에 기초하여 상기 차량이 주차 중인지 여부를 결정하는 단계; 상기 차량이 주차 중이면, 상기 복잡도를 제1 레벨로 결정하는 단계; 및 상기 차량이 주차 중이 아니면, 상기 복잡도를 상기 제1 레벨보다 높은 제2 레벨로 결정하는 단계를 포함할 수 있다.
일 실시 예에 따르면, 상기 분석 결과는, 상기 사고 이벤트와 관련된 외부 객체의 크기 정보, 상기 외부 객체의 종류 정보, 상기 외부 객체의 충격 방향 정보, 상기 외부 객체의 충격 속도 정보 및 상기 차량 내부의 탑승자의 상태 정보 중 적어도 어느 하나를 포함할 수 있다.
일 실시 예에 따르면, 차량에 대한 사고 이벤트 분석 시스템은, 상기 차량에 탑재되어 상기 사고 이벤트가 감지됨에 따라, 상기 사고 이벤트가 발생한 시각(time) 정보를 획득하고, 상기 시각 정보에 기초하여 상기 사고 이벤트에 대한 제1 주변 환경 정보를 생성하고, 상기 시각 정보에 기초하여 상기 차량을 제어하는 차량 제어 장치로부터 상기 사고 이벤트에 대한 제2 주변 환경 정보를 획득하고, 상기 제1 주변 환경 정보 및 상기 제2 주변 환경 정보에 기초하여 상기 사고 이벤트를 분석하기 위한 복잡도를 결정하고, 상기 복잡도가 임계 수준 이하이면 상기 사고 이벤트에 대한 분석 결과를 생성하는 전자 장치; 및 상기 복잡도가 상기 임계 수준을 초과하면, 상기 전자 장치로부터 상기 제1 주변 환경 정보 및 상기 제2 주변 환경 정보를 수신하여 상기 사고 이벤트에 대한 분석 결과를 생성하는 사고 이벤트 분석 서버를 포함할 수 있다.
차량에는 차량용 영상녹화장치(DVRS: Drive Video Record System), 예를 들어 블랙박스(blackbox)가 포함될 수 있고, 차량에 부착 또는 설치된 센서들을 통해 획득한 정보뿐만 아니라 차량용 영상녹화장치로 획득한 정보들에 기초하여 보다 정확하게 사고 이벤트를 분석하는 전자 장치 및 시스템이 제공될 수 있다.
사고 이벤트를 분석하기 위한 정보 처리의 복잡도에 따라 적응적으로 전자 장치 또는 사고 이벤트 분석 서버에서 사고 이벤트를 분석하기 위한 정보 처리를 수행하는 시스템이 제공될 수 있다.
이 외에, 본 문서를 통해 직접적 또는 간접적으로 파악되는 다양한 효과들이 제공될 수 있다.
도 1은 일 실시 예에 따른, 전자 장치의 블록도이다.
도 2는 일 실시 예에 따른, 사고 이벤트 분석 시스템의 블록도이다.
도 3은 일 실시 예에 따른, 전자 장치가 탑재된 차량을 도시한다.
도 4는 일 실시 예에 따른, 전자 장치의 동작을 설명하기 위한 흐름도이다.
도 5는 일 실시 예에 따른, 사고 이벤트를 분석하기 위한 정보 처리의 복잡도를 결정하는 동작을 설명하기 위한 도면이다.
도 6은 일 실시 예에 따른, 전자 장치에서 사고 이벤트 분석을 위한 정보 처리를 수행하는 경우 전자 장치의 동작을 설명하기 위한 도면이다.
도 7은 일 실시 예에 따른, 사고 이벤트 분석 서버에서 사고 이벤트 분석을 위한 정보 처리를 수행하는 경우 전자 장치의 동작을 설명하기 위한 도면이다.
도 8은 일 실시 예에 따른, 사고 이벤트 분석 시스템의 동작을 설명하기 위한 흐름도이다.
도 9는 일 실시 예에 따른, 사고 이벤트 분석 시스템의 사고 이벤트 분석 서버의 동작을 설명하기 위한 흐름도이다.
실시예들에 대한 특정한 구조적 또는 기능적 설명들은 단지 예시를 위한 목적으로 개시된 것으로서, 다양한 형태로 변경되어 구현될 수 있다. 따라서, 실제 구현되는 형태는 개시된 특정 실시예로만 한정되는 것이 아니며, 본 명세서의 범위는 실시예들로 설명한 기술적 사상에 포함되는 변경, 균등물, 또는 대체물을 포함한다.
제1 또는 제2 등의 용어를 다양한 구성요소들을 설명하는데 사용될 수 있지만, 이런 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 해석되어야 한다. 예를 들어, 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소는 제1 구성요소로도 명명될 수 있다.
어떤 구성요소가 다른 구성요소에 "연결되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다.
단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 명세서에서, "포함하다" 또는 "가지다" 등의 용어는 설명된 특징, 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것이 존재함으로 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 해당 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가진다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 의미를 갖는 것으로 해석되어야 하며, 본 명세서에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
이하, 실시예들을 첨부된 도면들을 참조하여 상세하게 설명한다. 첨부 도면을 참조하여 설명함에 있어, 도면 부호에 관계없이 동일한 구성 요소는 동일한 참조 부호를 부여하고, 이에 대한 중복되는 설명은 생략하기로 한다.
< 전자 장치 및 시스템 >
도 1은 일 실시 예에 따른 전자 장치(101)의 블록도이다.
도 1을 참조하면, 사고 이벤트를 분석하는 전자 장치(101)는 통신부(110), 프로세서(120), 메모리(130), 센서부(140)를 포함할 수 있다. 전자 장치(101)는 차량용 영상녹화장치(DVRS), 블랙박스일 수 있고, 자율주행 차량(autonomous vehicle) 또는 어드밴스드 운전자 지원 시스템(advanced driver assistance system)을 지원하는 차량에 부착 또는 설치될 수 있다.
일 실시 예에 따르면, 통신부(110)는 프로세서(120) 및 메모리(130)와 연결되어 데이터를 송수신할 수 있다. 통신부(110)는 외부의 다른 장치와 연결되어 데이터, 예를 들어 카메라로 촬영된 영상을 수신할 수 있다. 이하에서 "A"를 송수신한다라는 표현은 "A를 나타내는 정보(information) 또는 데이터"를 송수신하는 것을 나타낼 수 있다.
일 실시 예에 따르면, 통신부(110)는 전자 장치(101) 내의 회로망(circuitry)으로 구현될 수 있다. 예를 들어, 통신부(110)는 내부 버스(internal bus) 및 외부 버스(external bus)를 포함할 수 있다. 다른 예로, 통신부(110)는 전자 장치(101)과 외부의 장치를 연결하는 요소일 수 있다. 통신부(110)는 인터페이스(interface)일 수 있다. 통신부(110)는 외부의 장치로부터 데이터를 수신하여, 프로세서(120) 및 메모리(130)에 데이터를 전송할 수 있다. 일 실시 예에 따르면, 프로세서(120)는 통신부(110)를 통해 차량 제어 장치 및 사고 이벤트를 분석하기 위한 서버와 통신을 수행할 수 있다. 차량 제어 장치는 차량의 기계나 전자 장치를 제어하기 위한 장치로, 예를 들어 ECU(electronic control unit)일 수 있다. 차량 제어 장치 및 사고 이벤트를 분석하기 위한 서버에 대해서는, 사고 이벤트 분석 시스템을 도시하는 도 2를 참조하여 상세히 설명한다.
일 실시 예에 따르면, 프로세서(120)는 통신부(110)가 수신한 데이터 및 메모리(130)에 저장된 데이터를 처리할 수 잇다. "프로세서"는 목적하는 동작들(desired operations)을 실행시키기 위한 물리적인 구조를 갖는 회로를 가지는 하드웨어로 구현된 데이터 처리 장치일 수 있다. 예를 들어, 목적하는 동작들은 프로그램에 포함된 코드(code) 또는 컴퓨터로 실행 가능한 명령어들(computer-executable instructions)을 포함할 수 있다. 예를 들어, 하드웨어로 구현된 데이터 처리 장치는 마이크로프로세서(microprocessor), 중앙 처리 장치(central processing unit), 프로세서 코어(processor core), 멀티-코어 프로세서(multi-core processor), 멀티프로세서(multiprocessor), ASIC(Application-Specific Integrated Circuit), FPGA(Field Programmable Gate Array)를 포함할 수 있다.
일 실시 예에 따르면, 프로세서(120)는 메모리(예를 들어, 메모리(130))에 저장된 컴퓨터로 읽을 수 있는 코드(예를 들어, 소프트웨어) 및 프로세서(120)에 의해 유발된 인스트럭션들을 실행할 수 있다.
일 실시 예에 따르면, 메모리(130)는 통신부(110)가 수신한 데이터 및 프로세서(120)가 처리한 데이터를 저장할 수 있다. 예를 들어, 메모리(130)는 프로그램(또는 어플리케이션, 소프트웨어)을 저장할 수 있다. 저장되는 프로그램은 센서부(140)를 통해 획득한 정보 및 차량 제어 장치(미도시)로부터 수신한 정보에 기초하여 사고 이벤트를 분석하기 위한 정보 처리의 복잡도를 결정하고, 복잡도에 기초하여 정보 처리를 수행하거나 사고 이벤트 분석 서버로 정보 처리를 요청할 수 있도록 코딩되어 프로세서(120)에 의해 실행 가능한 신텍스(syntax)들의 집합일 수 있다.
일 실시 예에 따르면, 메모리(130)는 하나 이상의 휘발성 메모리, 비휘발성 메모리 및 RAM(Random Access Memory), 플래시 메모리, 하드 디스크 드라이브 및 광학 디스크 드라이브를 포함할 수 있다.
일 실시 예에 따르면, 메모리(130)는 전자 장치(101)를 동작 시키는 명령어 세트(예를 들어, 소프트웨어)를 저장할 수 있다. 전자 장치(101)를 동작 시키는 명령어 세트는 프로세서(120)에 의해 실행될 수 있다.
일 실시 예에 따르면, 센서부(140)는 촬영 장치, GPS 센서, 충격 감지 센서, 가속도 센서 및 사운드 감지 센서 중 적어도 어느 하나를 포함할 수 있다. 일 례로, 전자 장치(101)는 차량 전면에 부착 또는 설치될 수 있고, 센서부(140)의 촬영 장치로 차량의 정면 방향 영상이 획득될 수 있다. 다만 촬영 장치로 차량의 정면 방향 영상만 획득되는 것은 아니고, 다양한 차량 주변 영상이 획득될 수 있다. 예를 들어, 센서부(140)의 촬영 장치가 차량 내부를 촬영할 수 있고, 차량 내부 탑승자에 대한 영상이 센서부(140)를 통해 획득될 수 있다.
다른 일 례로, 전자 장치(101)의 GPS 센서로 차량의 현재 위치 정보가 획득되거나, 충격 감지 센서로 충격이 감지될 수 있다. 또 다른 일 례로, 전자 장치(101)의 가속도 센서로 전자 장치(101)가 탑재된 차량의 이동 속도에 대한 정보가 획득되고, 사운드 감지 센서로 탑승자의 음성 및/또는 다른 차량의 경적 소리 등 다양한 사운드 정보가 획득될 수 있다.
일 실시 예에 따르면, 전자 장치(101)의 프로세서(120)는 전자 장치(101)가 탑재된 차량에 대한 사고 이벤트가 감지됨에 따라 사고 이벤트가 발생한 시각에 대한 정보를 획득하고, 시각 정보에 기초하여 사고 이벤트에 대한 제1 주변 환경 정보를 생성하고, 차량을 제어하는 차량 제어 장치로부터 제2 주변 환경 정보를 획득할 수 있다.
일 실시 예에 따르면, 프로세서(120)는 제1 주변 환경 정보 및 제2 주변 환경 정보에 기초하여 사고 이벤트를 분석하기 위한 정보 처리의 복잡도를 결정할 수 있다. 예를 들어, 사고 이벤트를 분석한 결과에는 사고 이벤트와 관련된 외부 객체의 크기 정보, 외부 객체의 종류 정보, 외부 객체의 충격 방향 정보, 외부 객체의 충격 속도 정보 및 차량 내부 탑승자의 상태 정보 중 적어도 어느 하나가 포함될 수 있고, 전술한 정보들을 획득하기 위해 다양한 정보 처리가 수행되어야 할 수 있다. 사고 이벤트 분석을 위한 정보 처리의 복잡도를 결정하는 동작은 도 5를 참조하여 상세히 설명한다.
일 실시 예에 따르면, 프로세서(120)는 복잡도에 기초하여 전자 장치(101)에서 정보 처리를 수행할지, 사고 이벤트 분석 서버에서 수행할지 결정할 수 있다. 전자 장치(101)에서 정보 처리를 수행하는 경우, 프로세서(120)는 제1 주변 환경 정보 및 제2 주변 환경 정보를 분석함으로써 사고 이벤트에 대한 분석 결과를 생성할 수 있다. 분석 서버에서 정보 처리를 수행하는 경우, 프로세서(120)는 분석 서버로 제1 주변 환경 정보 및 제2 주변 환경 정보를 전송하고, 분석 결과는 분석 서버에 의해 생성될 수 있다.
일 실시 예에 따르면, 분석 결과는 전자 장치(101) 또는 사고 이벤트 분석 서버에 포함된, 사고 이벤트에 대한 분석 결과를 생성하기 위해 이용되는 학습 모델에 기초하여 생성될 수 있다. 학습 모델에 기초하여 분석 결과가 생성되는 구체적인 동작은 도 6 및 도 9를 참조하여 상세히 설명한다.
다양한 실시 예들에 따른 전자 장치(101)의 프로세서(120)의 동작을, 도 4 내지 도 7을 참조하여 상세히 설명한다.
도 2는 일 실시 예에 따른, 사고 이벤트 분석 시스템(200)의 블록도이다.
도 2를 참조하면, 도 1을 참조하여 전술한 전자 장치(101)를 포함하는, 일 실시 예에 따른 사고 이벤트 분석 시스템(200)이 도시된다. 사고 이벤트 분석 시스템(200)은 전자 장치(101), 전자 장치(101)와 통신하는 차량 제어 장치(230) 및 사고 이벤트 분석 서버(250)를 포함할 수 있다. 차량 제어 장치(230) 및 사고 이벤트 분석 서버(250)에 대해, 도 1을 참조하여 전술한 바와 중복되는 설명은 생략한다.
차량 제어 장치(230)는 도 1을 참조하여 전술한 바와 같이 차량의 기계나 전자 장치를 제어하기 위한 장치로, ECU일 수 있다. 차량 제어 장치(230)는 차량용 센서들을 통해 감지된 정보들을 획득하고, 가공하여 전자 장치(101)로 전송할 수 있다. 예를 들어, 차량 제어 장치(230)는 차량용 센서들을 통해 사고 이벤트의 발생을 감지하고, 사고 이벤트가 발생한 시각 정보를 전자 장치(101)로 전송할 수 있다. 다른 일 례로, 차량 제어 장치(230)는 사고 이벤트를 감지함에 따라, 시각 정보를 기준으로 소정 시간 동안 차량용 센서로 감지된 정보를 제2 주변 환경 정보로서 전자 장치(101)로 전송할 수 있다.
사고 이벤트 분석 서버(250)는, 전자 장치(101)의 요청에 따라 사고 이벤트를 분석하기 위한 정보 처리를 수행할 수 있다. 사고 이벤트 분석 서버(250)에는 사고 이벤트에 대한 분석 결과를 생성하기 위해 이용되는 학습 모델이 포함될 수 있고, 사고 이벤트 분석 서버(250)에 포함된 학습 모델은 전자 장치(101)에 포함된 학습 모델보다 연산 속도가 빠를 수 있다. 사고 이벤트 분석 서버(250)의 동작에 대해서는 도 9를 참조하여 상세히 설명한다.
사고 이벤트 분석 시스템(200)의 동작에 대해서는 도 8 및 도 9를 참조하여 상세히 설명한다.
도 3은 일 실시 예에 따른 전자 장치가 탑재된 차량(300)을 도시한다.
도 3을 참조하면, 도 1을 참조하여 설명한 전자 장치(101)가 포함되는 차량(300)이 도시된다. 일 실시 예에 따른 차량(300)은 운전자로부터의 입력이 거의 없거나 또는 전혀 없는 상황에서도, 인지된 주변 환경에 따라서 자율 모드(autonomous mode)로 주행할 수 있다. 다시 말해, 차량(300)은 자율주행 차량 또는 ADAS(advanced driver assistance system)을 지원하는 차량일 수 있다.
주변 환경은 차량(300)에 부착 또는 설치된 하나 이상의 차량용 센서들을 통해 인지될 수 있다. 예를 들어, 하나 이상의 차량용 센서들은 초음파(ultrasonic) 센서, 레이더(RADAR) 센서, 라이다(LiDAR) 센서, 조향각(steering angle) 센서, 가속도 센서, AVM(around view monitor) 용 카메라, 충격 감지 센서 및 사운드 감지 센서 등을 포함할 수 있다. 차량용 센서들은 차량의 전방(310, 320), 사이드 미러(330, 340), 후방(350) 등에 위치할 수 있으나, 기재된 예들로 제한되는 것은 아니다. 일 례로, 차량용 센서들은 차량의 앞 그릴, 뒤 트렁크, 좌/우 바퀴 등에 위치할 수도 있다. 다른 일 례로, 차량용 센서들 중 일부는 차량(300) 내부에 설치될 수 있다. 예를 들어, 차량용 센서는 차량(300) 내부에 부착 또는 설치된 카메라를 포함할 수 있고, 차량 제어 장치(230)는 차량(300) 내부 카메라를 통해 탑승자에 대한 영상을 획득할 수 있다. 주변 환경은 도로, 도로의 상태, 차선의 종류, 주변 차량의 유무, 근접한 차량과의 거리, 날씨, 장애물의 유무 등을 포함할 수 있고, 기재된 예들로 제한되는 것은 아니다.
차량용 센서들 중 카메라는, 주차 보조를 위해 차량(300)과 수평한 각도 또는 일정하게 기울어진 각도로 장착될 수도 있으며, 사각 지역이 없도록 하기 위해 어안렌즈(fisheye lens)를 포함하는 카메라가 사용될 수 있다. 예를 들어, 센서는 차량(300)에 빌트인(built-in)되어 있을 수도 있다.
차량(300)은 주변 환경을 인식하고, 주변 환경에 적합한 자율 주행 경로를 생성할 수 있다. 자율 주행 경로를 따라가도록 자율 주행 차량은 내외부의 기계적인 요소들을 제어할 수 있다. 차량(300)은 자율 주행 경로를 주기적으로 생성할 수 있다.
다른 일 측면에 따른, 차량(300)은 어드밴스드 운전자 지원 시스템(ADAS)을 이용하여 운전자의 운전을 보조할 수 있다. ADAS는 충돌 위험시 운전자가 제동장치를 밟지 않아도 스스로 속도를 줄이거나 멈추는 자동 긴급제동 시스템(Autonomous Emergency Braking: AEB), 차선 이탈 시 주행 방향을 조절해 차선을 유지하는 주행 조향보조 시스템(Lane Keep Assist System: LKAS), 사전에 정해 놓은 속도로 달리면서도 앞차와 간격을 알아서 유지하는 어드밴스드 스마트 크루즈 컨트롤(Advanced Smart Cruise Control: ASCC), 사각지대 충돌 위험을 감지해 안전한 차로 변경을 돕는 후측방 충돌 회피 지원 시스템(Active Blind Spot Detection: ABSD), 차량 주변 상황을 시각적으로 보여주는 어라운드 뷰 모니터링 시스템(Around View Monitor: AVM) 등을 포함할 수 있다.
차량(300)에 포함된 차량 제어 장치(230)는 차량(300)의 기계 또는 전자 장치를 제어하여, 자율 주행하거나 운전자의 운전을 보조할 수 있고, 기재된 실시예 이외의 다양한 종류의 컨트롤러나 센서 등과 통신할 수 있다.
일 실시 예에 따르면, 전자 장치(101)는 블랙박스(blackbox)일 수 있고, 도 3과 같이 차량에 부착 또는 설치되거나, 차량에 빌트-인 될 수 있다. 전자 장치(101)는 유선 또는 무선 통신을 통해 차량 제어 장치(230)와 통신을 수행할 수 있다. 예를 들어, 전자 장치(101)에는 블루투스 통신을 위한 USB 동글이 삽입될 수 있고, 전자 장치(101)는 차량 제어 장치(230)와 블루투스 기반 무선 통신을 수행할 수 있다. 다른 일 례로, 전자 장치(101)는 차량 제어 장치(230)와 셀룰러 네트워크(예를 들어, LTE) 기반 무선 통신을 수행할 수 있다. 또 다른 일 례로, 전자 장치(101)가 차량(300)에 빌트-인 되는 경우, 차량 제어 장치(230)와 유선으로 통신을 수행할 수 있다.
전술한 도 1 내지 도 3, 및 후술할 도 4 내지 도 9에서, 전자 장치(101)는 ECU와 같은 차량 제어 장치(230)와 구분되어 설명되지만 구현에 따라 전자 장치(101)는 차량 제어 장치(230)와 하나로 구현될 수 있다. 예를 들어, 전자 장치(101)가 차량(300)에 빌트-인 되는 경우, 차량 제어 장치(230)와 하나의 장치로 동작할 수 있다.
아래에서 도 4 내지 도 9를 참조하여, 전자 장치(101) 또는 사고 이벤트 분석 시스템(200)이 사고 이벤트를 분석하는 방법에 대해 상세히 설명한다.
<사고 이벤트를 분석하는 방법>
도 4는 일 실시 예에 따른, 전자 장치(101)의 동작을 설명하기 위한 흐름도이다.
단계 410 내지 460은 도 1을 참조하여 전술된 전자 장치(101)의 프로세서(120)에 의해 수행될 수 있고, 간결하고 명확한 설명을 위해 도 1 내지 도 3을 참조하여 설명한 내용과 중복되는 내용은 생략될 수 있다.
단계 410에서 프로세서(120)는, 전자 장치(101)가 탑재된 차량에 대한 사고 이벤트가 감지됨에 따라, 사고 이벤트 발생 시각(time)에 대한 정보를 획득할 수 있다.
도 3을 참조하여 전술한 바와 같이, 전자 장치(101)가 탑재된 차량(300)에는 차량에 포함된 기계나 전자 장치를 제어하기 위한 차량 제어 장치(230)가 포함될 수 있고, 사고 이벤트는 차량 제어 장치(230)와 통신하는 차량용 센서, 또는 전자 장치(101)에 포함된 센서부(140)를 통해 감지될 수 있다. 예를 들어, 사고 이벤트는 차량용 센서 중 충격 감지 센서 또는 센서부(140)의 충격 감지 센서에 의해 감지될 수 있다.
일 실시 예에 따르면, 사고 이벤트가 차량용 센서들을 통해 감지되고, 차량 제어 장치(230)가 사고 이벤트가 발생한 시각 정보를 획득하여 전자 장치(101)로 전송할 수 있다. 다른 일 실시 예에 따르면, 사고 이벤트가 전자 장치(101)의 센서부(140)를 통해 감지되고, 프로세서(120)는 사고 이벤트가 발생한 시각 정보를 획득할 수 있다.
단계 420에서 프로세서(120)는, 시각 정보에 기초하여 사고 이벤트에 대한 제1 주변 환경 정보를 생성할 수 있다. 일 례로, 전자 장치(101)의 센서부(140)를 통해 사고 이벤트가 감지된 경우, 프로세서(120)는 시각 정보를 기준으로 소정 시간(예를 들어, 전후 5분) 동안 센서부(140)를 통해 감지된 정보를 제1 주변 환경 정보로 생성할 수 있다. 다른 일 례로, 차량 제어 장치가 차량용 센서들을 통해 사고 이벤트를 감지한 경우, 프로세서(120)는 차량 제어 장치로부터 시각 정보를 수신하고, 수신한 시각 정보를 기준으로 소정 시간 동안 센서부(140)를 통해 감지된 정보를 제1 주변 환경 정보로 생성할 수 있다.
단계 430에서 프로세서(120)는, 차량을 제어하는 차량 제어 장치로부터 제2 주변 환경 정보를 획득할 수 있다. 일 례로, 전자 장치(101)의 센서부(140)를 통해 사고 이벤트가 감지된 경우, 프로세서(120)는 시각 정보를 기준으로 소정 시간(예를 들어, 충격 감지 시각 전후 5분) 동안 차량용 센서를 통해 감지된 정보를 차량 제어 장치로 요청함에 따라 제2 주변 환경 정보를 획득할 수 있다. 다른 일 례로, 차량 제어 장치가 차량용 센서들을 통해 사고 이벤트를 감지한 경우, 차량 제어 장치는 시각 정보를 기준으로 소정 시간 동안 차량용 센서를 통해 감지된 정보를 전자 장치(101)로 전송할 수 있고, 프로세서(120)는 제2 주변 환경 정보를 획득할 수 있다.
다만 전술한 실시 예들로 제한되는 것은 아니고, 다양한 방법으로 제1 주변 환경 정보 및 제2 주변 환경 정보가 획득될 수 있다. 예를 들어, 차량 제어 장치는 차량용 센서를 통해 감지된 정보를 벌크(bulk)로 전자 장치(101)로 전송하고, 프로세서(120)는 벌크 데이터 중 시각 정보를 기준으로 소정 시간 동안의 데이터를 제2 주변 환경 정보로 획득할 수 있다.
단계 440에서 프로세서(120)는, 제1 주변 환경 정보 및 제2 주변 환경 정보에 기초하여 사고 이벤트를 분석하기 위한 정보 처리의 복잡도를 결정할 수 있다. 단계 450에서 프로세서(120)는, 복잡도가 임계수준 이하인지 여부를 판단할 수 있다. 복잡도 결정 과정 및 복잡도를 구분하는 임계 수준은 도 5를 참조하여 상세히 설명한다.
단계 460에서 프로세서(120)는, 복잡도가 임계 수준 이하인 경우 제1 주변 환경 정보 및 제2 주변 환경 정보에 기초하여 사고 이벤트 분석을 위한 정보 처리를 수행하고, 분석 결과를 생성할 수 있다. 도 1을 참조하여 전술한 바와 같이, 사고 이벤트를 분석한 결과에는 사고 이벤트와 관련된 외부 객체의 크기 정보, 외부 객체의 종류 정보, 외부 객체의 충격 방향 정보, 외부 객체의 충격 속도 정보 및 차량 내부 탑승자의 상태 정보 중 적어도 어느 하나가 포함될 수 있고, 프로세서(120)는 이를 위한 정보 처리를 수행할 수 있다. 일 례로, 프로세서(120)는 사고 이벤트에 관여한 객체를 인식하고, 객체의 종류를 판단하기 위해, 전자 장치(101)의 센서부(140) 중 촬영 장치를 통해 획득한 차량(300)의 정방향 영상에 대해 DNN 기반의 시맨틱 세그멘테이션(DNN-based semantic segmentation)을 수행할 수 있다. 다만 이는 일 예시일 뿐, 프로세서(120)는 사고 이벤트와 관련된 외부 객체의 크기 정보, 외부 객체의 종류 정보, 외부 객체의 충격 방향 정보,외부 객체의 충격 속도 정보 및 차량 내부 탑승자의 상태 정보를 획득하기 위해 다양한 방법을 이용할 수 있다.
일 실시 예에 따르면, 프로세서(120)는 전자 장치(101)의 센서부(140) 또는 차량용 센서로 획득된 차량 내부 탑승자에 대한 영상을 분석하여 차량 내부 탑승자의 상태 정보를 획득할 수 있다. 일 례로, 프로세서(120)는 차량 사고 이벤트가 발생한 후 차량 내부 영상에서 움직임이 감지되지 않는 경우 탑승자가 의식이 없다고 결정할 수 있다.
일 실시 예에 따르면, 프로세서(120)는 사고 이벤트 분석에 있어 전자 장치(101)에 포함된 학습 모델을 이용할 수 있고, 프로세서(120)가 학습 모델을 이용하여 사고 이벤트에 대한 분석 결과를 생성하는 구체적인 동작은 도 6을 참조하여 상세히 설명한다.
단계 470에서 프로세서(120)는, 복잡도가 임계 수준을 초과하는 경우 미리 결정된 사고 이벤트 분석 서버(250)로 제1 주변 환경 정보 및 제2 주변 환경 정보를 전송할 수 있다. 사고 이벤트와 관련된 외부 객체의 크기 정보, 외부 객체의 종류 정보, 외부 객체의 충격 방향 정보, 외부 객체의 충격 속도 정보 및 차량 내부 탑승자의 상태 정보 중 적어도 어느 하나를 포함하는 분석 결과는 분석 서버(250)에 의해 생성될 수 있다.
도 5는 일 실시 예에 따른, 사고 이벤트를 분석하기 위한 정보 처리의 복잡도를 결정하는 동작을 설명하기 위한 도면이다.
단계 510 내지 530은 도 1을 참조하여 전술된 전자 장치(101)의 프로세서(120)에 의해 수행될 수 있고, 간결하고 명확한 설명을 위해 도 1 내지 도 4를 참조하여 설명한 내용과 중복되는 내용은 생략될 수 있다.
일 실시 예에 따르면, 단계 510 내지 단계 530은 도 4를 참조하여 설명한 제1 주변 환경 정보 및 제2 주변 환경 정보에 기초하여 사고 이벤트를 분석하기 위한 정보 처리의 복잡도를 결정하는 동작(예: 도 4의 단계 440)에 대응될 수 있다. 복잡도를 결정하는 동작과 관련하여, 전자 장치(101)에서 정보 처리를 수행할지 분석 서버(250)에서 정보 처리를 수행할지 여부를 결정하기 위한 복잡도의 임계 수준(예: 도 4의 단계 450의 임계 수준)에 대해서도 함께 설명한다.
단계 510에서 프로세서(120)는 제1 주변 환경 정보와 제2 주변 환경 정보에 기초하여 전자 장치(101)가 포함된 차량이 주차중인지 여부를 판단할 수 있다. 일 례로, 시각 정보를 기준으로 소정 시간에 대해 획득한 제1 주변 환경 정보 중 차량의 정면 촬영 영상에 있어서, 전자 장치(101)의 프로세서(120)는 해당 시간 동안 정면 촬영 영상에서 일정 수준 이상의 움직임이 발생하지 않으면 주차중이라고 판단할 수 있다. 다른 일 례로, 차량 제어 장치(230)로부터 전달받은 제2 주변 환경 정보에는 차량의 상태에 대한 정보(예를 들어, 기어가 주차(P), 주행(D) 및 중립(N) 중 주차(P)로 설정되어 있는지 여부에 대한 정보)가 포함될 수 있고, 프로세서(120)는 차량 상태 정보에 기초하여 차량이 주차중이라고 판단할 수 있다.
차량이 주차중이라고 결정되면, 단계 520에서 프로세서(120)는 사고 이벤트를 분석하기 위한 정보 처리의 복잡도를 제1 레벨로 결정할 수 있다. 주차중인 경우 주차중이 아닌 경우보다 상대적으로 차량의 움직임이 적으므로 제1 주변 환경 정보 및 제2 주변 환경 정보에 포함된 영상 정보에서 객체를 인식하거나 추출하는데 필요한 정보 처리량이 적을 수 있다. 프로세서(120)는 정보 처리량이 적기 때문에 복잡도를 상대적으로 낮은 제1 레벨로 결정하고, 전자 장치(101)에서 사고 이벤트를 분석하기 위한 정보 처리를 수행하기로 결정할 수 있다.
차량이 주차중이 아니라고 결정되면, 단계 530에서 프로세서(120)는 사고 이벤트를 분석하기 위한 정보 처리의 복잡도를 제1 레벨보다 높은 제2 레벨로 결정할 수 있다. 주차중이 아닌 경우 주차중인 경우보다 상대적으로 차량의 움직임이 많고, 제1 주변 환경 정보 및 제2 주변 환경 정보에 포함된 영상 정보에서 객체를 인식하거나 추출하는데 필요한 정보 처리량이 많을 수 있다. 프로세서(120)는 정보 처리량이 많기 때문에 복잡도를 제1 레벨보다 높은 제2 레벨로 결정하고, 전자 장치(101)와 통신하는 미리 결정된 사고 이벤트 분석 서버(250)에서 사고 이벤트를 분석하기 위한 정보 처리를 수행하기로 결정할 수 있다. 도 4를 참조하여 전술한 바와 같이, 분석 서버(250)에서 정보 처리를 수행하는 경우 프로세서(120)는 분석 서버(250)로 제1 주변 환경 정보 및 제2 주변 환경 정보를 전송할 수 있다.
도 5를 참조하여 복잡도 결정 방법에 대해 차량이 주차중인지 여부를 기준으로 결정하는 실시 예를 설명하였지만, 이에 제한되는 것은 아니고 다양한 방법으로 복잡도가 결정되고, 복잡도에 따라 전자 장치(101)에서 영상 처리를 수행할지 분석 서버(250)에서 영상 처리를 수행할지 여부가 결정될 수 있다.
예를 들어, 전술한 실시 예에서는 차량이 주차중이 아닌 경우 프로세서(120)가 복잡도를 높게 결정한다고 설명하였지만, 차량이 주차중이 아닌 경우에도 복잡도가 낮게 결정되고 전자 장치(101)에서 사고 이벤트를 분석하기 위한 정보 처리가 수행될 수 있다. 일 실시 예에 따르면, 프로세서(120)는 획득된 영상들의 변화량에 따라 복잡도를 결정할 수 있다. 차량이 고속도로에서 일정 범위의 속도로 주행 중인 경우, 획득되는 영상들 간 변화량이 비교적 작을 수 있고, 프로세서(120)는 차량이 주차중이 아니라도 복잡도를 낮게 결정하고, 전자 장치(101)에서 사고 이벤트 분석을 위한 정보 처리를 수행할 수 있다.
일 실시 예에 따르면, 프로세서(120)는 제1 주변 환경 정보와 제2 주변 환경 정보의 용량의 합을 기준으로 복잡도를 결정하고, 미리 결정된 임계값에 따라 전자 장치(101)에서 정보 처리를 수행할지, 분석 서버(250)에서 정보 처리를 수행할지 여부를 결정할 수 있다. 예를 들어, 프로세서(120)는 제1 주변 환경 정보 및 제2 주변 환경 정보의 용량의 합이 임계값보다 낮으면 전자 장치(101)에서 정보 처리를 수행하기로 결정할 수 있다. 임계값은 다양하게 결정될 수 있고, 예를 들어 전자 장치(101)에 포함된, 사고 이벤트에 대한 분석 결과를 생성하기 위해 이용되는 학습 모델이 1분 내에 처리할 수 있는 데이터 용량을 기준으로 임계값이 결정될 수 있다.
다른 일 실시 예에 따르면, 프로세서(120)는 제1 주변 환경 정보와 제2 주변 환경 정보가 획득되는 과정에 연관된 센서의 개수에 기초하여 복잡도를 결정하고, 미리 결정된 임계 개수에 따라 전자 장치(101)에서 정보 처리를 수행할지, 분석 서버(250)에서 정보 처리를 수행할지 여부를 결정할 수 있다. 예를 들어, 제1 주변 환경 정보가 전자 장치(101)의 센서부(140)에 포함된 카메라 및 충격감지센서로 획득되고, 제2 주변 환경 정보가 차량 제어 장치(230)와 통신하는 차량용 센서들 중 전방 및 왼쪽 사이드미러에 설치된 AVM(around view monitor) 용 카메라(예를 들어, 도 3의 320, 330에 설치된 카메라)로 획득될 수 있다. 이 때, 프로세서(120)는 제1 주변 환경 정보와 제2 주변 환경 정보가 획득되는 과정에 연관된 센서의 개수를 4라고 결정할 수 있고, 임계값(예를 들어, 5) 이하이므로 전자 장치(101)에서 정보 처리를 수행하는 것으로 결정할 수 있다.
또 다른 일 실시 예에 따르면, 프로세서(120)는 제1 주변 환경 정보와 제2 주변 환경 정보에 포함된 영상에서 객체 검출(object detection)의 난이도에 따라 복잡도를 결정할 수 있다. 예를 들어 제1 주변 환경 정보에는 전자 장치(101)의 센서부(140) 중 카메라로 촬영된 차량의 정면 영상이 포함될 수 있고, 제2 주변 환경 정보에는 차량용 센서들 중 AVM 용 카메라로 촬영된 차량 주변 영상이 포함될 수 있다. 프로세서(120)는 영상 분석을 통해 영상에서 객체 검출이 어려운 경우 사고 이벤트를 분석하기 위한 정보 처리의 복잡도가 높다고 결정할 수 있다. 예를 들어, 촬영된 영상의 조도가 임계값 이하인 경우 프로세서(120)는 객체 검출이 어렵다고 결정할 수 있고, 정보 처리의 복잡도가 높다고 결정할 수 있다. 프로세서(120)는 조도의 임계값을 기준으로 촬영 영상의 조도가 임계값 이상인 경우 전자 장치(101)에서 정보 처리를 수행하는 것으로 결정할 수 있다.
도 6은 일 실시 예에 따른, 전자 장치에서 사고 이벤트 분석을 위한 정보 처리를 수행하는 경우 전자 장치의 동작을 설명하기 위한 도면이다.
단계 610 내지 단계 640은 도 1을 참조하여 전술된 전자 장치(101)의 프로세서(120)에 의해 수행될 수 있고, 간결하고 명확한 설명을 위해 도 1 내지 도 5를 참조하여 설명한 내용과 중복되는 내용은 생략될 수 있다.
일 실시 예에 따르면, 단계 610 내지 단계 630은 도 4를 참조하여 설명한, 전자 장치(101)에서 정보 처리를 수행하는 경우 프로세서(120)가 제1 주변 환경 정보 및 제2 주변 환경 정보에 기초하여 사고 이벤트에 대한 분석 결과를 생성하는 동작(예: 도 4의 단계 460)에 대응될 수 있다.
단계 610 내지 단계 620에서 프로세서(120)는 전자 장치(101)에 포함된 학습 모델로 제1 주변 환경 정보 및 제2 주변 환경 정보를 입력하고, 학습 모델에서 출력되는 분석 결과를 획득할 수 있다. 전자 장치(101)에 포함된 학습 모델은 예를 들어 메모리(130)에 저장되어 있을 수 있고, 업데이트될 수 있다.
단계 630에서, 프로세서(120)는 분석 결과에 따라 전자 장치(101)에 포함된 학습 모델을 업데이트할 수 있다. 예를 들어, 프로세서(120)는 분석 결과를 학습 모델로 재학습시킬 수 있다.
도 4의 단계 460을 참조하여 설명한 바와 같이, 사고 이벤트를 분석한 결과에는 사고 이벤트와 관련된 외부 객체의 크기 정보, 외부 객체의 종류 정보, 외부 객체의 충격 방향 정보, 외부 객체의 충격 속도 정보 및 차량 내부 탑승자의 상태 정보 중 적어도 어느 하나가 포함될 수 있다.
일 실시 예에 따르면 프로세서(120)는 사고 이벤트 분석 결과를 생성(예를 들어, 단계 610 내지 단계 630)한 이후 단계 640에서, 분석 결과를 저장하고, 분석 결과를 전자 장치(101)와 연동된 사용자 단말로 전송할 수 있다. 예를 들어, 전자 장치(101)의 메모리(130)에 분석 결과를 저장하고, 전자 장치(101)와 연동된 스마트폰으로 분석 결과를 전송하거나, 차량 제어 장치(230)로 전송할 수 있다. 차량 제어 장치(230)는 분석 결과를 저장하고, 운전자에게 디스플레이할 수 있다. 예를 들어, 차량의 HUD(head up display), CID(centrer information display), RSE(rear seat entertainment) 및 조수석 디스플레이 중 적어도 어느 하나를 통해 분석 결과가 디스플레이될 수 있다.
다른 일 실시 예에 따르면, 단계 640에서 프로세서(120)는 분석 결과에 포함된 차량 내부 탑승자의 상태 정보에 따라 긴급 구조 요청을 전송할 수 있다. 예를 들어 프로세서(120)는 사고 이벤트 발생 이후 차량 내부 탑승자에 대한 영상에서 움직임이 감지되지 않는 경우 분석 결과로 탑승자가 의식이 없다는 탑승자 상태 정보를 생성할 수 있고, 차량의 주변에 위치한 병원의 서버, 소방서의 서버 또는 경찰서의 서버로 긴급 구조 요청을 전송할 수 있다.
도 7은 일 실시 예에 따른, 사고 이벤트 분석 서버에서 사고 이벤트 분석을 위한 정보 처리를 수행하는 경우 전자 장치의 동작을 설명하기 위한 도면이다.
단계 710 내지 단계 720은 도 1을 참조하여 전술된 전자 장치(101)의 프로세서(120)에 의해 수행될 수 있고, 간결하고 명확한 설명을 위해 도 1 내지 도 6을 참조하여 설명한 내용과 중복되는 내용은 생략될 수 있다.
일 실시 예에 따르면, 복잡도에 기초하여 미리 결정된 분석 서버(250)에서 사고 이벤트를 분석하기 위한 정보 처리를 수행하는 것으로 결정하고, 분석 서버(250)로 제1 주변 환경 정보 및 제2 주변 환경 정보를 전송하는 동작(예: 도 4의 동작 470) 이후 단계 710 내지 단계 720이 수행될 수 있다.
단계 710에서, 프로세서(120)는 미리 결정된 분석 서버(250)로부터 분석 결과를 수신할 수 있다. 분석 서버(250)에서 분석 결과가 생성되는 동작은 도 9를 참조하여 상세히 설명한다.
단계 720에서, 프로세서(120)는 분석 결과를 저장하고, 분석 결과를 전자 장치(101)와 연동된 사용자 단말로 분석 결과를 전송할 수 있다. 단계 720은 도 6의 단계 640과 중복되므로 설명을 생략한다.
도 8은 일 실시 예에 따른, 사고 이벤트 분석 시스템의 동작을 설명하기 위한 흐름도이다.
단계 810 내지 880은 도 2를 참조하여 전술된 사고 이벤트 분석 시스템(200)의 동작일 수 있고, 도 1을 참조하여 전술한 전자 장치(101)(또는, 전자 장치(101)의 프로세서(120)) 또는 사고 이벤트 분석 서버(250)에 의해 수행될 수 있다. 간결하고 명확한 설명을 위해 도 1 내지 도 7을 참조하여 설명한 내용과 중복되는 내용은 생략될 수 있다.
단계 810 내지 단계 850에서, 전자 장치(101)는 사고 이벤트가 감지됨에 따라 사고 이벤트 발생 시각에 대한 정보를 획득하고, 제1 주변 환경 정보를 생성하고, 제2 주변 환경 정보를 수신하고, 제1 환경 정보 및 제2 환경 정보에 기초하여 사고 이벤트를 분석하기 위한 정보 처리의 복잡도를 결정하고, 임계 수준에 따라 전자 장치(101)에서 사고 이벤트 분석을 위한 정보 처리를 수행할지, 사고 이벤트 분석 서버(250)에서 정보 처리를 수행할지 여부를 결정할 수 있다.
전자 장치(101)에서 정보 처리를 수행하는 경우, 단계 860에서 전자 장치(101)는 제1 주변 환경 정보 및 제2 주변 환경 정보에 기초하여 사고 이벤트에 대한 분석 결과를 생성할 수 있다.
사고 이벤트 분석 서버(250)에서 정보 처리를 수행하는 경우, 단계 870에서 전자 장치(101)는 미리 결정된 분석 서버(250)로 제1 주변 환경 정보 및 제2 주변 환경 정보를 전송할 수 있다.
단계 810 내지 단계 870은 도 4를 참조하여 전술한 전자 장치(101)의 동작(예: 도 4의 단계 410 내지 단계 470)과 중복되므로, 상세한 설명을 생략한다.
제1 주변 환경 정보 및 제2 주변 환경 정보가 분석 서버(250)로 전송되면, 단계 880에서 분석 서버(250)가 사고 이벤트에 대한 분석 결과를 생성할 수 있다. 사고 이벤트 분석 서버(250)가 사고 이벤트에 대한 분석 결과를 생성하는 동작은 도 9를 참조하여 상세히 설명한다.
도 9는 일 실시 예에 따른, 사고 이벤트 분석 시스템의 사고 이벤트 분석 서버의 동작을 설명하기 위한 흐름도이다.
단계 910 내지 단계 940은 도 2를 참조하여 전술된 사고 이벤트 분석 시스템(200)의 사고 이벤트 분석 서버(250)에 의해 수행될 수 있고, 간결하고 명확한 설명을 위해 도 1 내지 도 8을 참조하여 설명한 내용과 중복되는 내용은 생략될 수 있다.
일 실시 예에 따르면, 단계 910 내지 단계 930은 도 8을 참조하여 설명한, 분석 서버(250)에서 정보 처리를 수행하는 경우 분석 서버(250)가 제1 주변 환경 정보 및 제2 주변 환경 정보에 기초하여 사고 이벤트에 대한 분석 결과를 생성하는 동작(예: 도 8의 단계 880)에 대응될 수 있다.
단계 910 내지 단계 920에서 분석 서버(250)는 분석 서버(250)에 포함된 학습 모델로 제1 주변 환경 정보 및 제2 주변 환경 정보를 입력하고, 학습 모델에서 출력되는 분석 결과를 획득할 수 있다. 도 6을 참조하여 전술한 바와 같이, 분석 결과에는 사고 이벤트와 관련된 외부 객체의 크기 정보, 외부 객체의 종류 정보, 외부 객체의 충격 방향 정보, 외부 객체의 충격 속도 정보 및 차량 내부 탑승자의 상태 정보 중 적어도 어느 하나가 포함될 수 있다.
분석 서버(250)에 포함된, 사고 이벤트에 대한 분석 결과를 생성하기 위해 이용되는 학습 모델은 전자 장치(101)에 포함된 학습 모델(예를 들어, 도 6을 참조하여 전술한 전자 장치(101)에 포함된 학습 모델)보다 성능이 좋을 수 있다. 예를 들어, 분석 서버(250)에 포함된 학습 모델은 전자 장치(101)에 포함된 학습 모델보다 연산 처리 속도가 더 빠를 수 있고, 더 많은 노드(node)로 구성될 수 있다. 일 실시 예에 따르면, 분석 서버(250)에 포함된 학습 모델은 주기적으로 업데이트될 수 있다.
단계 930에서, 분석 서버(250)는 분석 결과에 따라 분석 서버(250)에 포함된 학습 모델을 업데이트할 수 있다. 예를 들어, 분석 서버(250)는 분석 결과를 학습 모델로 재학습시킬 수 있다.
도 4를 참조하여 전술한 바와 같이, 분석 서버(250)에서 생성한 사고 이벤트 분석 결과에는 사고 이벤트와 관련된 외부 객체의 크기 정보, 외부 객체의 종류 정보, 외부 객체의 충격 방향 정보, 외부 객체의 충격 속도 정보 및 차량 내부 탑승자의 상태 정보 중 적어도 어느 하나가 포함될 수 있다.
일 실시 예에 따르면 분석 서버(250)는 사고 이벤트 분석 결과를 생성(예를 들어, 단계 910 내지 단계 930)한 이후 단계 940에서, 분석 결과를 사고 이벤트와 관련된 엔티티(entity)로 전송할 수 있다. 예를 들어, 분석 서버(250)에서 생성된 분석 결과는 차량의 주변에 위치한 소방서의 서버, 경찰서의 서버, 및 차량과 연동된 보험사의 서버 중 적어도 어느 하나로 전송될 수 있다.
다른 일 실시 예에 따르면, 분석 결과는 다시 전자 장치(101)로 전송될 수 있다. 도 6의 동작 640을 참조하여 전술한 바와 같이, 전자 장치(101)는 분석 서버(250)로부터 수신한 분석 결과를 메모리(130)에 저장하고, 전자 장치(101)와 연동된 스마트폰으로 분석 결과를 전송하거나, 차량 제어 장치(230)로 전송할 수 있다. 차량 제어 장치(230)는 분석 결과를 저장하고, 차량의 HUD(head up display), CID(centrer information display), RSE(rear seat entertainment) 및 조수석 디스플레이 중 적어도 어느 하나를 통해 분석 결과를 디스플레이할 수 있다.
이상에서 설명된 실시예들은 하드웨어 구성요소, 소프트웨어 구성요소, 및/또는 하드웨어 구성요소 및 소프트웨어 구성요소의 조합으로 구현될 수 있다. 예를 들어, 실시예들에서 설명된 장치, 방법 및 구성요소는, 예를 들어, 프로세서, 콘트롤러, ALU(arithmetic logic unit), 디지털 신호 프로세서(digital signal processor), 마이크로컴퓨터, FPGA(field programmable gate array), PLU(programmable logic unit), 마이크로프로세서, 또는 명령(instruction)을 실행하고 응답할 수 있는 다른 어떠한 장치와 같이, 범용 컴퓨터 또는 특수 목적 컴퓨터를 이용하여 구현될 수 있다. 처리 장치는 운영 체제(OS) 및 상기 운영 체제 상에서 수행되는 소프트웨어 애플리케이션을 수행할 수 있다. 또한, 처리 장치는 소프트웨어의 실행에 응답하여, 데이터를 접근, 저장, 조작, 처리 및 생성할 수도 있다. 이해의 편의를 위하여, 처리 장치는 하나가 사용되는 것으로 설명된 경우도 있지만, 해당 기술분야에서 통상의 지식을 가진 자는, 처리 장치가 복수 개의 처리 요소(processing element) 및/또는 복수 유형의 처리 요소를 포함할 수 있음을 알 수 있다. 예를 들어, 처리 장치는 복수 개의 프로세서 또는 하나의 프로세서 및 하나의 컨트롤러를 포함할 수 있다. 또한, 병렬 프로세서(parallel processor)와 같은, 다른 처리 구성(processing configuration)도 가능하다.
소프트웨어는 컴퓨터 프로그램(computer program), 코드(code), 명령(instruction), 또는 이들 중 하나 이상의 조합을 포함할 수 있으며, 원하는 대로 동작하도록 처리 장치를 구성하거나 독립적으로 또는 결합적으로(collectively) 처리 장치를 명령할 수 있다. 소프트웨어 및/또는 데이터는, 처리 장치에 의하여 해석되거나 처리 장치에 명령 또는 데이터를 제공하기 위하여, 어떤 유형의 기계, 구성요소(component), 물리적 장치, 가상 장치(virtual equipment), 컴퓨터 저장 매체 또는 장치, 또는 전송되는 신호 파(signal wave)에 영구적으로, 또는 일시적으로 구체화(embody)될 수 있다. 소프트웨어는 네트워크로 연결된 컴퓨터 시스템 상에 분산되어서, 분산된 방법으로 저장되거나 실행될 수도 있다. 소프트웨어 및 데이터는 컴퓨터 판독 가능 기록 매체에 저장될 수 있다.
실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 저장할 수 있으며 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다.
위에서 설명한 하드웨어 장치는 실시예의 동작을 수행하기 위해 하나 또는 복수의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
이상과 같이 실시예들이 비록 한정된 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 이를 기초로 다양한 기술적 수정 및 변형을 적용할 수 있다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.
그러므로, 다른 구현들, 다른 실시예들 및 특허청구범위와 균등한 것들도 후술하는 특허청구범위의 범위에 속한다.

Claims (20)

  1. 전자 장치에 의해 수행되는 사고 이벤트 분석 방법에 있어서,
    상기 전자 장치가 탑재된 차량에 대한 사고 이벤트가 감지됨에 따라, 상기 사고 이벤트가 발생한 시각(time) 정보를 획득하는 단계;
    상기 시각 정보에 기초하여, 상기 사고 이벤트에 대한 제1 주변 환경 정보를 생성하는 단계;
    상기 시각 정보에 기초하여, 상기 차량을 제어하는 차량 제어 장치로부터 상기 사고 이벤트에 대한 제2 주변 환경 정보를 획득하는 단계;
    상기 제1 주변 환경 정보 및 상기 제2 주변 환경 정보에 기초하여 상기 사고 이벤트를 분석하기 위한 정보 처리량을 나타내는 복잡도를 제1 레벨 또는 제2 레벨로 결정하는 단계;
    상기 복잡도가 상기 제1 레벨로 결정됨에 따라, 상기 전자 장치가 상기 정보 처리를 수행하는 경우, 상기 제1 주변 환경 정보 및 상기 제2 주변 환경 정보를 분석함으로써 상기 사고 이벤트에 대한 분석 결과를 생성하는 단계; 및
    상기 복잡도가 상기 제2 레벨로 결정됨에 따라, 미리 결정된 분석 서버가 상기 정보 처리를 수행하는 경우, 상기 분석 서버로 상기 제1 주변 환경 정보 및 상기 제2 주변 환경 정보를 전송하는 단계 - 상기 분석 결과는 상기 분석 서버에 의해 생성됨 -
    를 포함하는,
    사고 이벤트 분석 방법.
  2. 제1항에 있어서,
    상기 사고 이벤트는,
    상기 전자 장치에 의해 감지되거나, 상기 차량 제어 장치와 통신하는 상기 차량에 탑재된 하나 이상의 차량용 센서에 의해 감지되는,
    사고 이벤트 분석 방법.
  3. 제1항에 있어서,
    상기 제1 주변 환경 정보는,
    상기 전자 장치와 연결된 촬영 장치, GPS 센서, 충격 감지 센서, 가속도 센서 및 사운드 감지 센서 중 적어도 어느 하나에 기초하여 생성되는,
    사고 이벤트 분석 방법.
  4. 제1항에 있어서,
    상기 제2 주변 환경 정보는,
    상기 차량에 탑재된 초음파(ultrasonic) 센서, 레이더(RADAR) 센서, 라이다(LiDAR) 센서, 조향각(steering angle) 센서, 가속도 센서, AVM(around view monitor) 용 카메라, 충격 감지 센서 및 사운드 감지 센서 중 적어도 어느 하나를 통해 획득되는,
    사고 이벤트 분석 방법.
  5. 제1항에 있어서,
    상기 복잡도를 제1 레벨 또는 제2 레벨로 결정하는 단계는,
    상기 제1 주변 환경 정보 및 상기 제2 주변 환경 정보에 기초하여 상기 차량이 주차 중인지 여부를 결정하는 단계;
    상기 차량이 주차 중이면, 상기 복잡도를 상기 제1 레벨로 결정하는 단계; 및
    상기 차량이 주차 중이 아니면, 상기 복잡도를 상기 제1 레벨보다 높은 상기 제2 레벨로 결정하는 단계
    를 포함하는,
    사고 이벤트 분석 방법.
  6. 제1항에 있어서,
    상기 복잡도를 제1 레벨 또는 제2 레벨로 계산하는 단계는,
    상기 제1 주변 환경 정보 또는 상기 제2 주변 환경 정보의 획득에 관여한 센서의 개수, 상기 제1 주변 환경 정보와 상기 제2 주변 환경 정보의 용량, 및 상기 제1 주변 환경 정보와 상기 제2 주변 환경 정보에 포함된 영상에서 객체 검출(object detection)의 난이도 중 적어도 어느 하나에 기초하여 상기 정보 처리의 복잡도를 상기 제1 레벨 또는 상기 제2 레벨로 결정하는 단계
    를 포함하는,
    사고 이벤트 분석 방법.
  7. 제1항에 있어서,
    상기 분석 결과는,
    상기 사고 이벤트와 관련된 외부 객체의 크기 정보, 상기 외부 객체의 종류 정보, 상기 외부 객체의 충격 방향 정보, 상기 외부 객체의 충격 속도 정보 및 상기 차량 내부의 탑승자의 상태 정보 중 적어도 어느 하나를 포함하는,
    사고 이벤트 분석 방법.
  8. 제1항에 있어서,
    상기 분석 결과는 상기 전자 장치가 상기 사고 이벤트에 대한 분석 결과를 생성하기 위해 이용되는 학습 모델 또는 상기 분석 서버가 상기 사고 이벤트에 대한 분석 결과를 생성하기 위해 이용되는 학습 모델에 기초하여 생성되고,
    상기 분석 결과는 상기 전자 장치의 학습 모델 또는 상기 분석 서버의 학습 모델을 재학습하기 위해 이용되는,
    사고 이벤트 분석 방법.
  9. 제1항에 있어서,
    상기 분석 서버가 상기 정보 처리를 수행하는 경우, 상기 분석 서버로부터 상기 분석 결과를 수신하는 단계; 및
    상기 분석 결과를 저장하고, 상기 분석 결과를 상기 전자 장치와 연동된 사용자 단말로 전송하는 단계
    를 더 포함하는,
    사고 이벤트 분석 방법.
  10. 제1항에 있어서,
    상기 분석 서버가 상기 정보 처리를 수행하는 경우,
    상기 분석 결과는 상기 사고 이벤트와 연관된 엔티티(entity) - 상기 엔티티는, 상기 차량의 주변에 위치한 소방서의 서버, 경찰서의 서버, 및 상기 차량과 연동된 보험사의 서버 중 적어도 어느 하나를 포함함 -로 전송되는,
    사고 이벤트 분석 방법.
  11. 제1항에 있어서,
    상기 차량은, 자율주행 차량(autonomous vehicle) 또는 어드밴스드 운전자 지원 시스템(advanced driver assistance system)을 지원하는 차량인,
    사고 이벤트 분석 방법.
  12. 제1항에 있어서,
    상기 전자 장치는 블랙박스(blackbox), 차량용 영상녹화장치(DVRS: Drive Video Record System) 중 어느 하나이고,
    상기 차량 제어 장치는 차량용 전자 제어 장치(ECU: Electronic Control Unit)인,
    사고 이벤트 분석 방법.
  13. 제1항 내지 제12항 중 어느 한 항의 방법을 수행하는 프로그램을 수록한 컴퓨터 판독 가능 기록 매체.
  14. 사고 이벤트 분석 방법을 수행하는 전자 장치에 있어서,
    상기 전자 장치가 탑재된 차량의 사고 이벤트에 대한 제1 주변 환경 정보를 획득하기 위한 센서부;
    상기 차량을 제어하는 차량 제어 장치 및 미리 결정된 사고 이벤트 분석 서버와 통신하기 위한 통신부;
    컴퓨터로 실행 가능한 명령어들(computer-executable instructions)이 저장된 메모리; 및
    상기 메모리에 억세스(access)하여 상기 명령어들을 실행하는 프로세서
    를 포함하고,
    상기 명령어들은,
    상기 사고 이벤트가 감지됨에 따라, 상기 사고 이벤트가 발생한 시각(time) 정보를 획득하고, 상기 시각 정보에 기초하여, 상기 센서부를 통해 상기 제1 주변 환경 정보를 생성하고, 상기 시각 정보에 기초하여, 상기 차량 제어 장치로부터 상기 사고 이벤트에 대한 제2 주변 환경 정보를 획득하고, 상기 제1 주변 환경 정보 및 상기 제2 주변 환경 정보에 기초하여 상기 사고 이벤트를 분석하기 위한 정보 처리량을 나타내는 복잡도를 제1 레벨 또는 제2 레벨로 결정하고, 상기 복잡도가 상기 제1 레벨로 결정됨에 따라, 상기 전자 장치가 상기 정보 처리를 수행하는 경우, 상기 제1 주변 환경 정보 및 상기 제2 주변 환경 정보를 분석함으로써 상기 사고 이벤트에 대한 분석 결과를 생성하고, 및 상기 복잡도가 상기 제2 레벨로 결정됨에 따라, 상기 분석 서버가 상기 정보 처리를 수행하는 경우, 상기 분석 서버로 상기 제1 주변 환경 정보 및 상기 제2 주변 환경 정보를 전송 - 상기 분석 결과는 상기 분석 서버에 의해 생성됨 -
    하도록 구성되는,
    전자 장치.
  15. 제14항에 있어서,
    상기 사고 이벤트는,
    상기 센서부에 의해 감지되거나, 상기 차량 제어 장치와 통신하는 상기 차량에 탑재된 하나 이상의 차량용 센서들에 의해 감지되는,
    전자 장치.
  16. 제14항에 있어서,
    상기 센서부는,
    상기 전자 장치와 연결된 촬영 장치, GPS 센서, 충격 감지 센서, 가속도 센서 및 사운드 감지 센서 중 적어도 어느 하나를 포함하는,
    전자 장치.
  17. 제14항에 있어서,
    상기 제2 주변 환경 정보는,
    상기 차량에 탑재된 초음파(ultrasonic) 센서, 레이더(RADAR) 센서, 라이다(LiDAR) 센서, 조향각(steering angle) 센서, 가속도 센서, AVM(around view monitor) 용 카메라, 충격 감지 센서 및 사운드 감지 센서 중 적어도 어느 하나를 통해 획득되는,
    전자 장치.
  18. 제14항에 있어서,
    상기 복잡도를 제1 레벨 또는 제2 레벨로 결정하는 단계는,
    상기 제1 주변 환경 정보 및 상기 제2 주변 환경 정보에 기초하여 상기 차량이 주차 중인지 여부를 결정하는 단계;
    상기 차량이 주차 중이면, 상기 복잡도를 상기 제1 레벨로 결정하는 단계; 및
    상기 차량이 주차 중이 아니면, 상기 복잡도를 상기 제1 레벨보다 높은 상기 제2 레벨로 결정하는 단계
    를 포함하는,
    전자 장치.
  19. 제14항에 있어서,
    상기 분석 결과는,
    상기 사고 이벤트와 관련된 외부 객체의 크기 정보, 상기 외부 객체의 종류 정보, 상기 외부 객체의 충격 방향 정보, 상기 외부 객체의 충격 속도 정보 및 상기 차량 내부의 탑승자의 상태 정보 중 적어도 어느 하나를 포함하는,
    전자 장치.
  20. 차량에 대한 사고 이벤트 분석 시스템에 있어서,
    상기 차량에 탑재되어 상기 사고 이벤트가 감지됨에 따라, 상기 사고 이벤트가 발생한 시각(time) 정보를 획득하고, 상기 시각 정보에 기초하여 상기 사고 이벤트에 대한 제1 주변 환경 정보를 생성하고, 상기 시각 정보에 기초하여 상기 차량을 제어하는 차량 제어 장치로부터 상기 사고 이벤트에 대한 제2 주변 환경 정보를 획득하고, 상기 제1 주변 환경 정보 및 상기 제2 주변 환경 정보에 기초하여 상기 사고 이벤트를 분석하기 위한 정보 처리량을 나타내는 복잡도를 제1 레벨 또는 제2 레벨로 결정하고, 상기 복잡도가 상기 제1 레벨인 경우 상기 사고 이벤트에 대한 분석 결과를 생성하는 전자 장치; 및
    상기 복잡도가 상기 제2 레벨인 경우, 상기 전자 장치로부터 상기 제1 주변 환경 정보 및 상기 제2 주변 환경 정보를 수신하여 상기 사고 이벤트에 대한 분석 결과를 생성하는 사고 이벤트 분석 서버
    를 포함하는,
    사고 이벤트 분석 시스템.
KR1020210161219A 2021-11-22 2021-11-22 차량의 사고 이벤트를 분석하기 위한 전자 장치 및 그 동작방법 Active KR102614325B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020210161219A KR102614325B1 (ko) 2021-11-22 2021-11-22 차량의 사고 이벤트를 분석하기 위한 전자 장치 및 그 동작방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020210161219A KR102614325B1 (ko) 2021-11-22 2021-11-22 차량의 사고 이벤트를 분석하기 위한 전자 장치 및 그 동작방법

Publications (2)

Publication Number Publication Date
KR20230075032A KR20230075032A (ko) 2023-05-31
KR102614325B1 true KR102614325B1 (ko) 2023-12-19

Family

ID=86543810

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020210161219A Active KR102614325B1 (ko) 2021-11-22 2021-11-22 차량의 사고 이벤트를 분석하기 위한 전자 장치 및 그 동작방법

Country Status (1)

Country Link
KR (1) KR102614325B1 (ko)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011123814A (ja) 2009-12-14 2011-06-23 Clarion Co Ltd 交通事故情報処理装置
JP2018180843A (ja) 2017-04-11 2018-11-15 株式会社デンソー 車両のデータ記憶装置
JP2021176090A (ja) 2017-08-09 2021-11-04 株式会社ユピテル 車載電子機器、サーバ、及びクライアント端末

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102111758B1 (ko) * 2013-04-29 2020-06-08 팅크웨어(주) 차량용 영상 처리 장치 및 이를 이용한 데이터 공유 방법

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011123814A (ja) 2009-12-14 2011-06-23 Clarion Co Ltd 交通事故情報処理装置
JP2018180843A (ja) 2017-04-11 2018-11-15 株式会社デンソー 車両のデータ記憶装置
JP2021176090A (ja) 2017-08-09 2021-11-04 株式会社ユピテル 車載電子機器、サーバ、及びクライアント端末

Also Published As

Publication number Publication date
KR20230075032A (ko) 2023-05-31

Similar Documents

Publication Publication Date Title
KR102613792B1 (ko) 촬상 장치, 화상 처리 장치 및 화상 처리 방법
US10457294B1 (en) Neural network based safety monitoring system for autonomous vehicles
US11367354B2 (en) Traffic prediction based on map images for autonomous driving
JP6724986B2 (ja) 自動運転車のためのホーンの適応検出および適用のための方法およびシステム
EP3324332B1 (en) Method and system to predict vehicle traffic behavior for autonomous vehicles to make driving decisions
US10668925B2 (en) Driver intention-based lane assistant system for autonomous driving vehicles
EP3332300B1 (en) Method and system to construct surrounding environment for autonomous vehicles to make driving decisions
US10507813B2 (en) Method and system for automated vehicle emergency light control of an autonomous driving vehicle
EP3378707B1 (en) Collision prediction and forward airbag deployment system for autonomous driving vehicles
US20190009713A1 (en) System and method for generating a parking alert
US12254772B2 (en) Signal processing device, signal processing method, and mobile device
CN111133448A (zh) 使用安全到达时间控制自动驾驶车辆
US11107227B1 (en) Object detection based on three-dimensional distance measurement sensor point cloud data
CN109085818B (zh) 基于车道信息控制自动驾驶车辆的车门锁的方法和系统
EP3700796B1 (en) Methods for obstacle filtering for non-nudge planning system in autonomous driving vehicle
WO2022138123A1 (en) Available parking space identification device, available parking space identification method, and program
KR102669061B1 (ko) 인공지능 기반의 차량과 객체 간의 충돌 위험도 검출 시스템
US11807221B2 (en) System for parking an autonomous vehicle
KR102614325B1 (ko) 차량의 사고 이벤트를 분석하기 위한 전자 장치 및 그 동작방법
KR102094405B1 (ko) 영상을 이용한 사고 유무 판단 방법 및 장치
US20210341926A1 (en) Dynamic tire rotation during collision

Legal Events

Date Code Title Description
PA0109 Patent application

Patent event code: PA01091R01D

Comment text: Patent Application

Patent event date: 20211122

PA0201 Request for examination
PG1501 Laying open of application
E902 Notification of reason for refusal
PE0902 Notice of grounds for rejection

Comment text: Notification of reason for refusal

Patent event date: 20230919

Patent event code: PE09021S01D

E701 Decision to grant or registration of patent right
PE0701 Decision of registration

Patent event code: PE07011S01D

Comment text: Decision to Grant Registration

Patent event date: 20231204

GRNT Written decision to grant
PR0701 Registration of establishment

Comment text: Registration of Establishment

Patent event date: 20231212

Patent event code: PR07011E01D

PR1002 Payment of registration fee

Payment date: 20231213

End annual number: 3

Start annual number: 1

PG1601 Publication of registration