[go: up one dir, main page]

KR102384404B1 - Vehicle driving information control system based camera and method of control ling vehicle driving information based camera - Google Patents

Vehicle driving information control system based camera and method of control ling vehicle driving information based camera Download PDF

Info

Publication number
KR102384404B1
KR102384404B1 KR1020200142456A KR20200142456A KR102384404B1 KR 102384404 B1 KR102384404 B1 KR 102384404B1 KR 1020200142456 A KR1020200142456 A KR 1020200142456A KR 20200142456 A KR20200142456 A KR 20200142456A KR 102384404 B1 KR102384404 B1 KR 102384404B1
Authority
KR
South Korea
Prior art keywords
information
driving
vehicle
image information
camera
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
KR1020200142456A
Other languages
Korean (ko)
Inventor
천의수
윤정원
김병도
Original Assignee
주식회사 아이에이
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 아이에이 filed Critical 주식회사 아이에이
Priority to KR1020200142456A priority Critical patent/KR102384404B1/en
Priority to PCT/KR2020/015366 priority patent/WO2022092381A1/en
Application granted granted Critical
Publication of KR102384404B1 publication Critical patent/KR102384404B1/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/0098Details of control systems ensuring comfort, safety or stability not otherwise provided for
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R11/00Arrangements for holding or mounting articles, not otherwise provided for
    • B60R11/04Mounting of cameras operative during drive; Arrangement of controls thereof relative to the vehicle
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/10Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to vehicle motion
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/09Arrangements for giving variable traffic instructions
    • G08G1/0962Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages
    • G08G1/0967Systems involving transmission of highway information, e.g. weather, speed limits
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/09Arrangements for giving variable traffic instructions
    • G08G1/0962Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages
    • G08G1/0968Systems involving transmission of navigation instructions to the vehicle
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
    • H04N5/2257
    • B60W2420/42

Landscapes

  • Engineering & Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • Transportation (AREA)
  • Mathematical Physics (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Atmospheric Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Traffic Control Systems (AREA)

Abstract

One embodiment of the present invention discloses a vehicle driving information control system based on a camera, comprising: a camera unit which is disposed on a vehicle and includes one or more camera members detecting vehicle driving condition information; a separation image information control unit which obtains and uses separation image information of a separation point separated from the vehicle; a determination control unit which selectively uses the driving condition information detected by the camera unit and the separation image information obtained by the separation image information control unit; and a driving information generation control unit which generates information required for driving of the vehicle based on the information used by the determination control unit. The vehicle driving information control system improves convenience and safety of a passenger.

Description

카메라 기반 차량 주행 정보 제어 시스템 및 카메라 기반 차량 주행 정보 제어 방법{Vehicle driving information control system based camera and method of control ling vehicle driving information based camera}Camera-based vehicle driving information control system and camera-based vehicle driving information control method {Vehicle driving information control system based camera and method of control ling vehicle driving information based camera}

본 발명은 카메라 기반 차량 주행 정보 제어 시스템 및 카메라 기반 차량 주행 정보 제어 방법에 관한 것이다.The present invention relates to a camera-based vehicle driving information control system and a camera-based vehicle driving information control method.

기술의 발전에 각종 이동 수단의 새로운 용도 및 개량에 관한 연구가 지속되고 있다.With the development of technology, research on new uses and improvements of various means of transportation is continuing.

예를들면 사람들이 차량의 다양한 편의와 운전 제어에 대한 연구가 활발하게 진행되고 있다.For example, people are actively researching various conveniences and driving control of vehicles.

특히, 차량에 대하여 사용자의 개입을 감소하고 사용자의 운전 편의와 안정성을 향상하는 스마트 주행에 대한 연구가 증대되고 있고, 예를들면 스마트 크루즈 컨트롤(Smart Cruise Control, SCC)을 들 수 있다.In particular, research on smart driving that reduces the user's intervention in the vehicle and improves the user's driving convenience and safety is increasing, for example, smart cruise control (SCC).

이러한 스마트 주행은 차량의 전방의 다양한 정보를 확보하는 것으로 진행할 수 있고, 예를들면 전방의 차량 이나 사람에 대한 정보를 확보할 수 있다.Such smart driving can proceed by securing various information in front of the vehicle, for example, information about the vehicle or person in front can be secured.

그러나, 차량 시스템의 전체적인 구조, 주행 특성 등으로 인하여 차량의 주행 시 주행 환경에 대한 정보를 확보하거나 확보된 정보의 정밀도를 향상하는 데 한계가 있다.However, due to the overall structure and driving characteristics of the vehicle system, there is a limit in securing information on the driving environment or improving the accuracy of the secured information when the vehicle is driving.

본 발명은 차량 주행의 안전성, 편의성 및 탑승자의 안전성을 향상할 수 있는 카메라 기반 차량 주행 정보 제어 시스템 및 카메라 기반 차량 주행 정보 제어 방법을 제공할 수 있다. The present invention may provide a camera-based vehicle driving information control system and a camera-based vehicle driving information control method capable of improving safety, convenience, and passenger safety of vehicle driving.

본 발명의 일 실시예는 차량에 배치되어 차량의 주행 상황 정보를 감지하는 하나 이상의 카메라 부재를 포함하는 카메라부, 상기 차량과 이격된 이격 지점의 이격 영상 정보를 획득하고 이용하는 이격 영상 정보 제어부, 상기 카메라부가 감지한 주행 상황 정보와 상기 이격 영상 정보 제어부를 통하여 획득한 이격 영상 정보를 선택적으로 이용하는 판단 제어부 및 상기 판단 제어부가 이용한 정보에 기반하여 상기 차량의 운전에 필요한 정보를 생성하는 운전 정보 생성 제어부를 포함하는 카메라 기반 차량 주행 정보 제어 시스템을 개시한다.An embodiment of the present invention includes a camera unit disposed in a vehicle and including one or more camera members for detecting driving situation information of the vehicle, a separation image information controller for obtaining and using separation image information of a separation point spaced apart from the vehicle, the above A determination control unit that selectively uses the driving situation information sensed by the camera and the separation image information obtained through the separation image information control unit, and a driving information generation control unit that generates information necessary for driving the vehicle based on the information used by the determination control unit Disclosed is a camera-based vehicle driving information control system comprising a.

본 실시예에 있어서 상기 카메라부는 복수의 카메라 부재를 포함할 수 있다.In this embodiment, the camera unit may include a plurality of camera members.

본 실시예에 있어서 상기 이격 영상 정보 제어부는 상기 차량과 이격된 영역에서 비행하는 드론 디바이스, 위성 또는 도로에 설치된 도로 정보용 카메라로부터 영상 정보를 획득할 수 있다. In this embodiment, the separation image information controller may acquire image information from a drone device flying in an area separated from the vehicle, a satellite, or a road information camera installed on a road.

본 발명의 다른 실시예는 차량에 배치되는 하나 이상의 카메라 부재를 포함하는 카메라부를 통하여 차량의 주행 상황 정보를 감지하는 카메라부 제어 단계, 상기 차량과 이격된 이격 지점의 이격 영상 정보를 획득하고 이용하는 이격 영상 정보 제어 단계, 상기 카메라부 제어 단계를 통하여 감지된 주행 상황 정보와 상기 이격 영상 정보 제어 단계를 통하여 획득한 이격 영상 정보를 선택적으로 이용하는 판단 제어 단계 및 상기 판단 제어 단계에서 이용한 정보에 기반하여 상기 차량의 운전에 필요한 정보를 생성하는 운전 정보 생성 제어 단계를 포함하는 카메라 기반 차량 주행 정보 제어 방법을 개시한다.Another embodiment of the present invention is a camera unit control step for detecting driving condition information of a vehicle through a camera unit including one or more camera members disposed on the vehicle, and the separation using the vehicle and the separation image information of the spaced apart point Based on the information used in the image information control step, the driving situation information detected through the camera unit control step, and the separation image information acquired through the separation image information control step, the judgment control step and the judgment control step selectively Disclosed is a camera-based vehicle driving information control method including a driving information generation control step of generating information necessary for driving a vehicle.

본 실시예에 있어서 상기 판단 제어 단계에서는, 상기 차량과 이격된 영역에서 발생한 주행 특이 지점을 파악하는 단계를 수행할 수 있다.In the judgment control step in the present embodiment, the step of recognizing a driving singular point generated in a region spaced apart from the vehicle may be performed.

전술한 것 외의 다른 측면, 특징, 이점이 이하의 도면, 특허청구범위 및 발명의 상세한 설명으로부터 명확해질 것이다. Other aspects, features and advantages other than those described above will become apparent from the following drawings, claims, and detailed description of the invention.

본 발명에 관한 카메라 기반 차량 주행 정보 제어 시스템 및 카메라 기반 차량 주행 정보 제어 방법은 차량 주행의 안전성, 편의성 및 탑승자의 안전성을 향상할 수 있다. The camera-based vehicle driving information control system and the camera-based vehicle driving information control method according to the present invention can improve vehicle driving safety, convenience, and occupant safety.

도 1은 본 발명의 일 실시예에 관한 카메라 기반 차량 주행 정보 제어 시스템을 개략적으로 도시한 도면이다.
도 2는 도 1의 카메라 기반 차량 주행 정보 제어 시스템의 카메라부의 선택적 실시예를 도시한 도면이다.
도 3은 도 1의 카메라 기반 차량 주행 정보 제어 시스템의 이격 영상 정보 제어부의 선택적 실시예를 도시한 도면이다.
도 4는 도 3의 원격 정보 수신 제어부의 선택적 실시예를 설명하기 위한 도면이다.
도 5는 도 1의 카메라 기반 차량 주행 정보 제어 시스템의 판단 제어부의 선택적 실시예를 도시한 도면이다.
도 6은 도 5의 정보 파악 제어부의 선택적 실시예를 설명하기 위한 도면이다.
도 7은 도 5의 정보 생성 제어부의 선택적 실시예를 설명하기 위한 도면이다.
도 8은 본 발명의 일 실시예에 관한 카메라 기반 차량 주행 정보 제어 방법을 개략적으로 도시한 도면이다.
도 9는 본 발명의 일 실시예에 관한 카메라 기반 차량 주행 정보 제어 시스템이 적용된 차량을 예시적으로 설명하기 위한 도면이다.
도 10은 본 발명의 일 실시예에 관한 카메라 기반 차량 주행 정보 제어 시스템이 적용된 차량이 이격 영상 정보를 획득하는 과정을 예시적으로 설명하기 위한 도면이다.
도 11 내지 도 15는 본 발명의 일 실시예에 관한 카메라 기반 차량 주행 정보 제어 시스템의 동작을 예시적으로 설명하기 위한 도면들이다.
도 16 및 도 17은 본 발명의 일 실시예에 관한 카메라 기반 차량 주행 정보 제어 시스템을 통하여 탑승자에게 정보를 고지하는 동작을 예시적으로 설명하기 위한 도면들이다.
1 is a diagram schematically illustrating a camera-based vehicle driving information control system according to an embodiment of the present invention.
FIG. 2 is a diagram illustrating an optional embodiment of a camera unit of the camera-based vehicle driving information control system of FIG. 1 .
3 is a diagram illustrating an optional embodiment of a separation image information control unit of the camera-based vehicle driving information control system of FIG. 1 .
FIG. 4 is a diagram for explaining an optional embodiment of the remote information reception control unit of FIG. 3 .
FIG. 5 is a diagram illustrating an optional embodiment of a determination control unit of the camera-based vehicle driving information control system of FIG. 1 .
FIG. 6 is a view for explaining an optional embodiment of the information grasping control unit of FIG. 5 .
FIG. 7 is a diagram for explaining an optional embodiment of the information generation control unit of FIG. 5 .
8 is a diagram schematically illustrating a camera-based vehicle driving information control method according to an embodiment of the present invention.
9 is a view for explaining a vehicle to which a camera-based vehicle driving information control system according to an embodiment of the present invention is applied.
FIG. 10 is a view for explaining a process in which a vehicle to which a camera-based vehicle driving information control system according to an embodiment of the present invention is applied acquires separation image information.
11 to 15 are diagrams for explaining an operation of a camera-based vehicle driving information control system according to an embodiment of the present invention.
16 and 17 are diagrams for explaining an operation of notifying information to a passenger through a camera-based vehicle driving information control system according to an embodiment of the present invention.

이하 첨부된 도면들에 도시된 본 발명에 관한 실시예를 참조하여 본 발명의 구성 및 작용을 상세히 설명한다.Hereinafter, the configuration and operation of the present invention will be described in detail with reference to the embodiments of the present invention shown in the accompanying drawings.

본 발명은 다양한 변환을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 아래에 상세하게 설명하고자 한다. 본 발명의 효과 및 특징, 그리고 그것들을 달성하는 방법은 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 다양한 형태로 구현될 수 있다. Since the present invention can apply various transformations and can have various embodiments, specific embodiments are illustrated in the drawings and will be described in detail below. Effects and features of the present invention, and a method for achieving them will become apparent with reference to the embodiments described below in detail in conjunction with the drawings. However, the present invention is not limited to the embodiments disclosed below and may be implemented in various forms.

이하, 첨부된 도면을 참조하여 본 발명의 실시예들을 상세히 설명하기로 하며, 도면을 참조하여 설명할 때 동일하거나 대응하는 구성 요소는 동일한 도면 부호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다. Hereinafter, embodiments of the present invention will be described in detail with reference to the accompanying drawings, and when described with reference to the drawings, the same or corresponding components are given the same reference numerals, and the overlapping description thereof will be omitted. .

이하의 실시예에서, 제1, 제2 등의 용어는 한정적인 의미가 아니라 하나의 구성 요소를 다른 구성 요소와 구별하는 목적으로 사용되었다. In the following embodiments, terms such as first, second, etc. are used for the purpose of distinguishing one component from another, not in a limiting sense.

이하의 실시예에서, 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. In the following examples, the singular expression includes the plural expression unless the context clearly dictates otherwise.

이하의 실시예에서, 포함하다 또는 가지다 등의 용어는 명세서상에 기재된 특징, 또는 구성요소가 존재함을 의미하는 것이고, 하나 이상의 다른 특징들 또는 구성요소가 부가될 가능성을 미리 배제하는 것은 아니다. In the following embodiments, terms such as include or have means that the features or components described in the specification are present, and the possibility that one or more other features or components will be added is not excluded in advance.

도면에서는 설명의 편의를 위하여 구성 요소들이 그 크기가 과장 또는 축소될 수 있다. 예컨대, 도면에서 나타난 각 구성의 크기 및 두께는 설명의 편의를 위해 임의로 나타내었으므로, 본 발명이 반드시 도시된 바에 한정되지 않는다. In the drawings, the size of the components may be exaggerated or reduced for convenience of description. For example, since the size and thickness of each component shown in the drawings are arbitrarily indicated for convenience of description, the present invention is not necessarily limited to the illustrated bar.

이하의 실시예에서, x축, y축 및 z축은 직교 좌표계 상의 세 축으로 한정되지 않고, 이를 포함하는 넓은 의미로 해석될 수 있다. 예를 들어, x축, y축 및 z축은 서로 직교할 수도 있지만, 서로 직교하지 않는 서로 다른 방향을 지칭할 수도 있다. In the following embodiments, the x-axis, the y-axis, and the z-axis are not limited to three axes on a Cartesian coordinate system, and may be interpreted in a broad sense including them. For example, the x-axis, y-axis, and z-axis may be orthogonal to each other, but may refer to different directions that are not orthogonal to each other.

어떤 실시예가 달리 구현 가능한 경우에 특정한 공정 순서는 설명되는 순서와 다르게 수행될 수도 있다. 예를 들어, 연속하여 설명되는 두 공정이 실질적으로 동시에 수행될 수도 있고, 설명되는 순서와 반대의 순서로 진행될 수 있다. In cases where certain embodiments may be implemented otherwise, a specific process sequence may be performed different from the described sequence. For example, two processes described in succession may be performed substantially simultaneously, or may be performed in an order opposite to the order described.

도 1은 본 발명의 일 실시예에 관한 카메라 기반 차량 주행 정보 제어 시스템을 개략적으로 도시한 도면이다.1 is a diagram schematically illustrating a camera-based vehicle driving information control system according to an embodiment of the present invention.

도 1을 참조하면 본 실시예의 카메라 기반 차량 주행 정보 제어 시스템(100)는 카메라부(110), 이격 영상 정보 제어부(120), 판단 제어부(130) 및 운전 정보 생성 제어부(140)를 포함할 수 있다.Referring to FIG. 1 , the camera-based vehicle driving information control system 100 of this embodiment may include a camera unit 110 , a separation image information control unit 120 , a determination control unit 130 , and a driving information generation control unit 140 . there is.

카메라부(110)는 차량에 배치되어 차량의 주행 상황 정보를 감지하는 하나 이상의 카메라 부재를 포함할 수 있다.The camera unit 110 may include one or more camera members disposed in the vehicle to detect driving situation information of the vehicle.

예를들면 카메라부(110)는 가시 광선 적용 카메라를 포함할 수 있다.For example, the camera unit 110 may include a visible light applied camera.

선택적 실시예로서 카메라부(110)는 서로 상이한 종류의 영상 정보를 감지하는 복수의 카메라 부재를 포함할 수 있다. 예를들면 카메라부(110)는 하나 이상의 가시 광선 적용 카메라, 하나 이상의 적외선 카메라, 하나 이상의 원적외선 카메라 또는 하나 이상의 근적외선 카메라를 포함할 수 있다.As an optional embodiment, the camera unit 110 may include a plurality of camera members for detecting different types of image information. For example, the camera unit 110 may include one or more visible light application cameras, one or more infrared cameras, one or more far-infrared cameras, or one or more near-infrared cameras.

카메라부(110)에서 획득한 주행 상황 정보는 차량의 주행 중 전방 정보를 포함할 수 있다. 또한, 차량의 측면 또는 후방 정보를 포함할 수 있다.The driving situation information acquired by the camera unit 110 may include forward information while the vehicle is driving. In addition, it may include side or rear information of the vehicle.

카메라부(110)를 통하여 서로 상이한 종류의 영상 정보를 감지한 경우 이러한 상이한 종류의 영상 정보 중 하나를 선택적으로 주행 정보로 이용하거나, 복수의 영상 정보를 종합하여 주행 정보로 이용할 수 있다. When different types of image information are detected through the camera unit 110 , one of these different types of image information may be selectively used as driving information, or a plurality of image information may be synthesized and used as driving information.

선택적 실시예로서 카메라부(110)의 복수의 상이한 종류의 영상 정보를 통하여 주행 중 차량, 사람 및 인공 도로 정보를 구별하여 이미지 정보로 생성할 수 있다.As an optional embodiment, vehicle, person, and artificial road information may be distinguished while driving through a plurality of different types of image information of the camera unit 110 and generated as image information.

선택적 실시예로서 카메라부(110)를 통하여 감지한 영상 정보를 저장할 수 있고, 카메라부(110)의 내부에 저장하거나 별도의 저장부에 저장할 수도 있다.As an optional embodiment, image information detected through the camera unit 110 may be stored, and may be stored inside the camera unit 110 or stored in a separate storage unit.

이격 영상 정보 제어부(120)는 차량과 이격된 이격 지점의 이격 영상 정보를 획득하고 이용할 수 있다.The separation image information controller 120 may obtain and use separation image information of a separation point spaced apart from the vehicle.

이격 영상 정보 제어부(120)는 차량의 주행 중 차량과 이격된 지점의 영상 정보를 획득할 수 있고, 예를들면 차량과 떨어진 지점에 비행중인 드론과 통신 연결되어 드론이 촬영한 영상 정보를 획득할 수 있다.The separation image information control unit 120 may acquire image information of a point spaced apart from the vehicle while the vehicle is driving, for example, communicate with a drone in flight at a point away from the vehicle to obtain image information captured by the drone. can

선택적 실시예로서 이격 영상 정보 제어부(120)는 미리 영상을 통신하기로 설정된 드론과 보안 연결을 위한 페어링 코드를 이용할 수 있고, 이를 통하여 설정된 드론과 보안을 유지하면서 영상을 획득할 수 있다.As an optional embodiment, the separation image information control unit 120 may use a pairing code for secure connection with a drone set to communicate an image in advance, and may acquire an image while maintaining security with the set drone through this.

선택적 실시예로서 이격 영상 정보 제어부(120)는 필요한 경우 드론이 전송하는 영상 정보 확인 중 위치 변경을 통한 영상 변경 요청 신호를 발생할 수 있고, 이에 따라 드론의 카메라 방향이나 각도를 변경하게 할 수 있고, 필요한 경우 드론의 비행 이동을 제어할 수 있다. 예를들면 드론에 의하여 전송된 영상을 통하여 주행 공사 지점과 같은 주행 특이 지점을 파악한 경우 주행 특이 지점의 부분 영상만을 확인한 경우 전체 영상을 확인할 수 있도록 미확인된 방향으로 드론 운동하도록 운동 신호가 생성되어 드론에 전송될 수 있다.As an optional embodiment, the separation image information control unit 120 may, if necessary, generate an image change request signal through position change while checking image information transmitted by the drone, and may change the camera direction or angle of the drone accordingly. If necessary, the flight movement of the drone can be controlled. For example, if a specific driving point such as a driving construction point is identified through the image transmitted by the drone, when only a partial image of the driving singular point is checked, a motion signal is generated to move the drone in an unconfirmed direction so that the entire image can be checked. can be transmitted to

선택적 실시예로서 이격 영상 정보 제어부(120)는 차량의 주행 중 차량과 이격된 지점의 영상 정보를 획득할 수 있고, 예를들면 위성이 촬영한 정보를 획득할 수 있고, 구체적인 예로서 실시간으로 획득할 수도 있다.As an optional embodiment, the separation image information controller 120 may acquire image information of a point spaced apart from the vehicle while the vehicle is driving, for example, may acquire information photographed by a satellite, and as a specific example, acquire it in real time You may.

이를 위하여 이격 영상 정보 제어부(120)는 위성 정보 제어 모듈을 포함할 수 있다.To this end, the distance image information control unit 120 may include a satellite information control module.

선택적 실시예로서 이격 영상 정보 제어부(120)는 차량의 주행 중 차량과 이격된 지점의 영상 정보를 획득할 수 있고, 예를들면 도로에 설치된 도로 정보용 카메라가 감지한 영상 정보를 획득할 수 있다.As an optional embodiment, the separation image information control unit 120 may acquire image information of a point spaced apart from the vehicle while the vehicle is driving, for example, may acquire image information detected by a road information camera installed on a road. .

이를 위하여 이격 영상 정보 제어부(120)는 도로에 설치된 도로 정보용 카메라와 통신할 수 있는 통신 모듈을 포함할 수 있다.To this end, the distance image information control unit 120 may include a communication module capable of communicating with a road information camera installed on a road.

판단 제어부(130)는 상기 카메라부(110)가 감지한 주행 상황 정보와 상기 이격 영상 정보 제어부(120)를 통하여 획득한 이격 영상 정보를 선택적으로 이용할 수 있다. The determination control unit 130 may selectively use the driving situation information detected by the camera unit 110 and the separation image information obtained through the separation image information control unit 120 .

선택적 실시예로서 판단 제어부(130)는 카메라부(110)가 감지한 주행 상황 정보와 이격 영상 정보 제어부(120)를 통하여 획득한 이격 영상 정보 중 하나를 이용하다가 필요 시 다른 정보를 이용할 수 있다.As an optional embodiment, the determination control unit 130 may use one of the driving situation information detected by the camera unit 110 and the separation image information acquired through the separation image information control unit 120 and use other information if necessary.

일 예로서 판단 제어부(130)는 카메라부(110)가 감지한 주행 상황 정보를 이용하다가 이격 영상 정보 제어부(120)를 통하여 획득한 이격 영상 정보가 설정 조건에 대응될 경우 이격 영상 정보 제어부(120)의 추가적 이용을 할 수 있다.As an example, the determination control unit 130 uses the driving situation information detected by the camera unit 110 and when the separation image information obtained through the separation image information control unit 120 corresponds to a setting condition, the separation image information control unit 120 ) can be used additionally.

선택적 실시예로서 카메라부(110)를 통한 정보를 이용하다가 이격 영상 정보 제어부(120)를 통하여 획득한 이격 영상 정보가 미리 설정한 주행 특이 지점 정보에 대응한 설정 조건에 부합할 경우 주행 특이 지점 발생 모드로 변경되어 주행 정보 취급을 위한 시스템의 처리 방법 등이 변경될 수 있고, 이러한 변경은 데이터 처리 또는 메모리 요구가 증가되는 타입으로의 변경일 수 있다.As an optional embodiment, when the separation image information acquired through the separation image information control unit 120 while using information through the camera unit 110 meets a setting condition corresponding to the predetermined driving singular point information, a driving singular point is generated The mode may be changed to change a processing method of the system for handling driving information, and this change may be a change to a type in which data processing or memory requirements are increased.

이를 통하여 차량 주행의 안전성을 효율적으로 확보할 수 있고, 차량 주행시 필요한 데이터 취급의 용이성을 향상하여 주행에 필요한 정보 생성 속도를 향상할 수 있다.Through this, it is possible to efficiently secure the safety of vehicle driving, and improve the easiness of handling data required for driving the vehicle, thereby increasing the speed of generating information required for driving.

상기 설정 조건은 주행 특이 지점 발생에 대한 것으로서, 차량 주행 시 비정상적 상황에 대응된 정보를 포함할 수 있다. 예를들면 이격 영상 정보를 통하여 공사 진행 정보, 도로 밀집 정보 또는 사고 현황 정보를 감지한 경우라고 판단할 때 설정 조건에 부합한 것이라고 할 수 있다.The setting condition relates to the occurrence of a driving singular point, and may include information corresponding to an abnormal situation during vehicle driving. For example, when it is determined that construction progress information, road density information, or accident status information is detected through separation image information, it can be said that the set condition is satisfied.

구체적 예로서 판단 제어부(130)는 카메라부(110)가 감지한 주행 상황 정보를 이용하다가 이격 영상 정보 제어부(120)를 통하여 획득한 이격 영상 정보가 공사 현장 정보를 포함하는 경우 이격 영상 정보 제어부(120)가 획득한 이격 영상 정보에 대한 이용을 심화할 수 있다. As a specific example, the determination control unit 130 uses the driving situation information detected by the camera unit 110 and when the separation image information acquired through the separation image information control unit 120 includes construction site information, the separation image information control unit ( 120) can deepen the use of the obtained separation image information.

이러한 공사 현황 정보 파악은 다양한 방법을 이용하여 수행할 수 있고, 예를들면 공사 현장에 배치된 원뿔 형태의 콘 또는 기타 공사 알림 구조물을 파악하는 방법을 이용할 수 있고, 도로의 차로들 중 공사가 진행되고 있어 차량 주행이 불가한 차로를 파악할 수 있다.This construction status information identification can be performed using various methods, for example, a method of identifying a cone-shaped cone or other construction notification structure placed at a construction site can be used, and construction is in progress among lanes on the road. Thus, it is possible to identify lanes in which vehicles cannot drive.

또한, 선택적 실시예로서 판단 제어부(130)는 카메라부(110)가 감지한 주행 상황 정보를 이용하다가 이격 영상 정보 제어부(120)를 통하여 획득한 이격 영상 정보가 도로 밀집 정보를 포함하는 경우 이격 영상 정보 제어부(120)가 획득한 이격 영상 정보를 이용할 수 있다. 이러한 도로 밀집 정보는 도로의 차로들 중 미리 설정한 밀집도에 대응하는 차로의 정보를 포함할 수 있다.In addition, as an optional embodiment, when the separation image information acquired through the separation image information control unit 120 while using the driving situation information detected by the camera unit 110 includes road density information, the separation image information The separation image information obtained by the information control unit 120 may be used. The road density information may include information on lanes corresponding to a preset density among lanes on the road.

이격 영상 정보 제어부(120)를 통하여 획득한 이격 영상 정보에서 차량의 움직임, 차량의 움직임의 속도 및 차량의 배치 등을 인식하여 차로의 밀집도 정보를 파악할 수 있다.By recognizing the movement of the vehicle, the speed of the vehicle's movement, the arrangement of the vehicle, etc. from the separation image information acquired through the separation image information controller 120 , information on the density of the lane may be grasped.

또한, 선택적 실시예로서 판단 제어부(130)는 카메라부(110)가 감지한 주행 상황 정보를 이용하다가 이격 영상 정보 제어부(120)를 통하여 획득한 이격 영상 정보가 사고 차로 정보를 포함하는 경우 이격 영상 정보 제어부(120)가 획득한 이격 영상 정보를 이용할 수 있다. 이러한 사고 차로 정보는 도로의 차로들 중 차량의 사고가 발생한 차로의 정보를 포함할 수 있다.In addition, as an optional embodiment, when the separation image information acquired through the separation image information control unit 120 while using the driving situation information detected by the camera unit 110 includes the accident lane information, the separation image information The separation image information obtained by the information control unit 120 may be used. The accident lane information may include information on lanes in which the vehicle accident occurred among lanes on the road.

이격 영상 정보 제어부(120)를 통하여 획득한 이격 영상 정보에서 차량의 정지 여부, 정지 시간, 경찰차 또는 구급차 등의 경광등 유무를 파악하여 사고 차로 정보를 파악할 수 있다. 또한, 도로의 차로들 중 사고 발생 차로 또는 사고 발생하여 주행이 불가한 영역에 대응된 차로 정보를 포함할 수 있다.From the separation image information acquired through the separation image information control unit 120 , it is possible to determine whether the vehicle is stopped, the stopping time, and the presence or absence of a warning light such as a police car or an ambulance to determine accident lane information. In addition, information on lanes corresponding to an accident-causing lane or an area in which driving is impossible due to an accident among lanes on the road may be included.

판단 제어부(130)는 상기의 정보 파악을 통하여 다양한 주행 정보를 확인할 수 있고, 정상적 주행이 용이하지 않은 특이 상황 발생 영역, 예를들면 사고 발생 지점, 밀집 차로 또는 공사 지점 차로의 위치를 파악할 수 있고, 이를 통하여 주행중인 차량으로부의 거리를 파악할 수 있다.The determination control unit 130 can check various driving information through the above information grasp, and can determine the location of a special situation occurrence area where normal driving is not easy, for example, an accident occurrence point, a dense road, or a construction point lane. , it is possible to grasp the distance to the vehicle being driven through this.

또한, 판단 제어부(130)는 이러한 거리 파악 및 주행중인 차량의 속도, 카메라부(110)가 인식한 전방 정보를 이용하여 상기 특이 상황 발생 영역까지 걸리는 시간에 대한 정보를 파악할 수 있다.Also, the determination control unit 130 may grasp information on the time it takes to reach the special situation occurrence area by using the distance, the speed of the driving vehicle, and forward information recognized by the camera unit 110 .

운전 정보 생성 제어부(140)는 상기 판단 제어부(130)가 이용 또는 획득한 정보에 기반하여 상기 차량의 운전에 필요한 정보를 생성할 수 있다.The driving information generation control unit 140 may generate information necessary for driving the vehicle based on the information used or acquired by the determination control unit 130 .

선택적 실시예로서 운전 정보 생성 제어부(140)는 주행 안내 정보를 생성할 수 있고, 특이 상황 발생 영역, 예를들면 사고 발생 지점, 밀집 차로 또는 공사 지점 차로의 위치를 차량 내의 탑승자에게 표현할 수 있고, 이 때 주행중인 차량으로부터 특이 상황 발생 영역까지의 거리 정보를 표현할 수 있다. 또한, 추가적으로 특이 상황 발생 영역까지 걸리는 주행 시간 정보를 표현할 수 있다.As an optional embodiment, the driving information generation control unit 140 may generate driving guidance information, and the location of a special situation occurrence area, for example, an accident occurrence point, a dense road, or a construction point lane, may be expressed to the occupants in the vehicle, In this case, distance information from the driving vehicle to the special situation occurrence region may be expressed. In addition, it is possible to additionally express information on the driving time required to the region where the special situation occurs.

이러한 정보의 표현은 텍스트 형태 또는 이미지 형태로 차량 내의 화면에 디스플레이하는 방식으로 수행될 수 있다. 선택적 실시예로서 음성 형태로 이러한 정보의 표현을 수행할 수도 있다.The expression of such information may be performed by displaying it on a screen in the vehicle in the form of text or an image. As an alternative embodiment, the representation of such information in a voice form may be performed.

선택적 실시예로서 운전 정보 생성 제어부(140)는 주행 안내 정보를 생성할 수 있고, 특이 상황 발생 영역, 예를들면 사고 발생 지점, 밀집 차로 또는 공사 지점 차로의 위치를 반영하여 주행 경로 변경, 구체적 예로서 차로 변경 조작 신호를 생성할 수 있고, 이러한 신호를 차량 운전 모듈에 전송할 수도 있다.As an optional embodiment, the driving information generation control unit 140 may generate driving guidance information, and change the driving route by reflecting the location of a special situation occurrence area, for example, an accident occurrence point, a dense road, or a construction point lane. It is also possible to generate a lane change operation signal as a signal, and transmit this signal to the vehicle driving module.

이를 통하여 본 실시예는 차량의 주행중에 전방 또는 후방의 차량 주변의 정보를 차량에 구비된 카메라부의 하나 이상의 카메라를 통하여 파악하여 실시간 운전 정보로 활용할 수 있다. 또한, 본 실시예는 실시간 또는 주기적으로 차량으로부터 적어도 일정 거리 떨어진 지점 또는 차량 탑승자가 육안으로 확인하기 힘들거나 차량의 카메라부가 확인할 수 없는 이격 지점의 이격 영상 정보를 획득할 수 있다. 또한 이러한 이격 영상 정보가 설정 조건에 해당할 경우 주행 특이 지점 발생으로 파악하여 주행 특이 지점 발생 모드로 변경하여 데이터 처리에 대한 수준을 변경하고 준비할 수 있다.Through this, in the present embodiment, information around the front or rear vehicle while the vehicle is being driven can be grasped through one or more cameras of the camera unit provided in the vehicle and utilized as real-time driving information. In addition, according to the present embodiment, it is possible to acquire separation image information of a point that is at least a certain distance away from the vehicle in real time or periodically, or a point that is difficult for a vehicle occupant to visually check or a camera unit of the vehicle cannot check. In addition, if the separation image information meets the set conditions, it is recognized as the occurrence of the driving singular point, and the level of data processing can be changed and prepared by changing to the driving singular point occurrence mode.

예를들면 차량의 주행 중 차량으로부터 멀리 떨어진 도로에서 공사 진행 현장이 있는 경우 이격 영상 정보를 통하여 파악하고, 이러한 정보를 이용하여 주행중인 도로의 차로들 중 어떤 차로에서 공사가 진행되고 있는지를 파악한 후 차량의 탑승자에게 표현할 수 있다.For example, if there is a construction site on a road far away from the vehicle while the vehicle is driving, it is identified through the separation image information, and by using this information, it is determined which lane of the lanes on the driving road is under construction. It can be expressed to the occupants of the vehicle.

또한, 이러한 표현과 함께 또는 선택적으로 차량의 주행에 필요한 신호를 생성할 수 있어서 차량의 주행의 안전성 및 편의성을 향상할 수 있다.In addition, it is possible to generate a signal necessary for driving of the vehicle together with or selectively with such an expression, thereby improving the safety and convenience of driving of the vehicle.

또한, 선택적 실시예로서 이러한 설정 조건에 해당하여 주행 특이 지점 발생 모드로 변경전과 변경후에 이격 영상 정보 획득 및 이용하는 수준에 차이를 두어서 이격 영상 정보를 획득하는데 필요한 통신 처리 과정 및 전력 또는 배터리 소비를 효율적으로 제어할 수 있다.In addition, as an optional embodiment, the communication processing process and power or battery consumption required to acquire the separation image information by differentiating the level of acquisition and use of the separation image information before and after the change to the driving singular point generation mode corresponding to these setting conditions are reduced. can be effectively controlled.

또한, 이러한 이격 영상 정보를 획득한 후 가공 및 이용하여 필요한 주행 변경 등의 정보 생성에 필요한 데이터 처리 시간, 전력 또는 배터리 소비의 효율성을 증대할 수 있다.In addition, it is possible to increase the efficiency of data processing time, power, or battery consumption required to generate information such as a necessary driving change by processing and using the distance image information after obtaining it.

도 2는 도 1의 카메라 기반 차량 주행 정보 제어 시스템의 카메라부의 선택적 실시예를 도시한 도면이다.FIG. 2 is a diagram illustrating an optional embodiment of a camera unit of the camera-based vehicle driving information control system of FIG. 1 .

도 2를 참조하면 카메라부(110')는 제1 카메라 부재(111') 및 제2 카메라 부재(112')를 포함할 수 있다.Referring to FIG. 2 , the camera unit 110 ′ may include a first camera member 111 ′ and a second camera member 112 ′.

제1 카메라 부재(111')는 차량의 내측 또는 외측에 배치될 수 있다. 예를들면 제1 카메라 부재(111')는 차량의 진행 시 전방을 향하도록 배치될 수 있고, 구체적 예로서 차량의 내측에 차량의 전방 윈도우 내측에 배치될 수 있다. 이를 통하여 차량의 전방의 사람, 장애물 및 도로 상황에 대한 정보를 감지할 수 있다.The first camera member 111 ′ may be disposed inside or outside the vehicle. For example, the first camera member 111 ′ may be disposed to face forward when the vehicle proceeds, and as a specific example, may be disposed inside the front window of the vehicle on the inside of the vehicle. Through this, information on people, obstacles, and road conditions in front of the vehicle can be detected.

제1 카메라 부재(111')는 제1 타입의 영상 정보를 감지하고 촬영하도록 형성될 수 있고, 예를들면 제1 카메라 부재(111)는 가시 광선 적용 카메라일 수 있고, 이미지 센서, 구체적 예로서 CCD(charge coupled device)를 포함할 수 있다.The first camera member 111 ′ may be configured to detect and photograph a first type of image information, for example, the first camera member 111 may be a visible light applied camera, and an image sensor, as a specific example It may include a charge coupled device (CCD).

선택적 실시예로서 제1 카메라 부재(111')는 복수 개로 구비되어 차량에 배치될 수도 있다.As an optional embodiment, a plurality of first camera members 111 ′ may be provided and disposed in a vehicle.

제2 카메라 부재(112')는 차량의 내측 또는 외측에 배치될 수 있다. The second camera member 112 ′ may be disposed inside or outside the vehicle.

예를들면 제2 카메라 부재(112')는 차량의 진행 시 전방을 향하도록 배치될 수 있고, 구체적 예로서 차량의 내측에 차량의 전방 윈도우 내측에 배치될 수 있다. 이를 통하여 차량의 전방의 사람, 장애물 및 도로 상황에 대한 정보를 감지할 수 있다.For example, the second camera member 112 ′ may be disposed to face forward when the vehicle proceeds, and as a specific example, may be disposed inside the front window of the vehicle on the inside of the vehicle. Through this, information on people, obstacles, and road conditions in front of the vehicle can be detected.

제2 카메라 부재(112')는 상기 제1 카메라 부재(111')과 다른 제2 타입의 영상 정보를 감지하고 촬영하도록 형성될 수 있다. 예를들면 제2 카메라 부재(112')는 적외선, 원적외선 및 근적외선 카메라 중 하나일 수 있고, 필요한 경우에 동일한 종류의 복수의 카메라 또는 서로 상이한 종류의 복수의 카메라를 포함할 수도 있다.The second camera member 112 ′ may be configured to sense and photograph a second type of image information different from that of the first camera member 111 ′. For example, the second camera member 112 ′ may be one of infrared, far-infrared, and near-infrared cameras, and may include a plurality of cameras of the same type or a plurality of cameras of different types if necessary.

도 3은 도 1의 카메라 기반 차량 주행 정보 제어 시스템의 이격 영상 정보 제어부의 선택적 실시예를 도시한 도면이다.3 is a diagram illustrating an optional embodiment of a separation image information control unit of the camera-based vehicle driving information control system of FIG. 1 .

도 3을 참조하면 이격 영상 정보 제어부(120')는 통신 부재(121'), 저장부(122') 및 원격 정보 수신 제어부(123')를 포함할 수 있다.Referring to FIG. 3 , the separation image information control unit 120 ′ may include a communication member 121 ′, a storage unit 122 ′, and a remote information reception control unit 123 ′.

통신 부재(121')는 차량과 이격된 지점과 통신할 수 있는 모듈을 포함할 수 있고, 예를들면 무선 통신 모듈을 포함할 수 있다. The communication member 121 ′ may include a module capable of communicating with a point spaced apart from the vehicle, and may include, for example, a wireless communication module.

저장부(122')는 차량과 이격된 지점의 영상 정보를 저장할 수 있는 형태로서 다양한 종류의 메모리를 포함할 수 있다.The storage unit 122 ′ is a form capable of storing image information of a point spaced apart from the vehicle, and may include various types of memories.

원격 정보 수신 제어부(123')는 다양한 종류의 이격 영상 정보를 수신할 수 있고, 예를들면 상기의 통신 부재(121')를 통하여 원격의 다양한 영상 정보 입수 부재로부터 영상 정보를 수신할 수 있다.The remote information reception control unit 123' may receive various types of separated image information, for example, may receive image information from various remote image information acquisition members through the communication member 121'.

도 4는 도 3의 원격 정보 수신 제어부의 선택적 실시예를 설명하기 위한 도면이다.FIG. 4 is a view for explaining an optional embodiment of the remote information reception control unit of FIG. 3 .

도 4를 참조하면 원격 정보 수신 제어부(123")는 드론 영상 정보 수신 제어부(123A"), 위성 영상 정보 수신 제어부(123B") 또는 도로 정보용 카메라 영상 정보 수신 제어부(123C")를 포함할 수 있다.Referring to FIG. 4, the remote information reception control unit 123" may include a drone image information reception control unit 123A", a satellite image information reception control unit 123B", or a camera image information reception control unit 123C" for road information. there is.

도 4는 설명의 편의를 위한 것으로 원격 정보 수신 제어부(123")는 드론 영상 정보 수신 제어부(123A"), 위성 영상 정보 수신 제어부(123B") 및 도로 정보용 카메라 영상 정보 수신 제어부(123C") 중 하나 이상을 포함할 수 있다.4 is for convenience of explanation, and the remote information reception control unit 123" includes the drone image information reception control unit 123A", the satellite image information reception control unit 123B", and the road information camera image information reception control unit 123C"). may include one or more of

드론 영상 정보 수신 제어부(123A")는 차량으로부터 이격된 지점, 예를들면 차량의 탑승자가 육안으로 확인이 힘든 원거리 지점에서 비행중인 드론이 촬영한 도로 상태 영상 정보를 수신할 수 있다.The drone image information reception control unit 123A" may receive road condition image information captured by the drone in flight at a point spaced apart from the vehicle, for example, at a remote point where it is difficult for an occupant of the vehicle to visually check it.

선택적 실시예로서, 이 때 드론 영상 정보 수신 제어부(123A")는 드론과 통신하기 전에 미리 설정된 보안 규칙을 갖고 드론과 페어링된 형태를 가질 수 있다.As an optional embodiment, in this case, the drone image information reception control unit 123A" may have a preset security rule before communicating with the drone and may have a form paired with the drone.

또한, 다른 예로서 차량은 드론으로부터 영상 정보를 받기 전에 상호간에 통신을 위한 보안 정보를 송신 및 수신하여 매칭되는 경우에 차량이 드론으로부터 영상 정보를 수신할 수 있다.In addition, as another example, when the vehicle transmits and receives security information for mutual communication before receiving the image information from the drone, and is matched, the vehicle may receive image information from the drone.

드론 영상 정보 수신 제어부(123A")는 상기 드론으로부터 영상 정보를 수신시에 다양한 정보, 예를들면 도로 상의 차량의 주행 정보, 도로 상의 차량의 밀집 정보, 도로 상의 차량의 사고 정보 또는 공사 현황 정보를 확보할 수 있다.When receiving the image information from the drone, the drone image information reception control unit 123A" receives various information, for example, driving information of vehicles on the road, dense information of vehicles on the road, accident information of vehicles on the road, or construction status information. can be obtained

또한, 다른 예로서 드론 영상 정보 수신 제어부(123A")는 도로의 형태를 확인할 수 있다.Also, as another example, the drone image information reception control unit 123A″ may check the shape of the road.

또한, 다른 예로서 드론 영상 정보 수신 제어부(123A")는 드론이 촬영한 영상 정보를 수신하여 도로 주변 환경 정보를 확인할 수 있고, 이때 다양한 학습 모듈을 이용할 수도 있다. 구체적 예로서 도로 주변의 건물 현황, 상점의 종류 등을 파악하여 도로 주변의 편의 시설 등의 정보를 용이하게 파악할 수 있고, 이러한 정보를 차량 탑승자에게 고지할 수 있다.In addition, as another example, the drone image information reception control unit 123A" may receive image information captured by the drone to check the environmental information around the road, and in this case, various learning modules may be used. As a specific example, the status of buildings around the road , types of shops, etc. can be easily grasped for information such as convenience facilities around the road, and such information can be notified to vehicle occupants.

위성 영상 정보 수신 제어부(123B")는 차량으로부터 이격된 지점, 예를들면 차량의 탑승자가 육안으로 확인이 힘든 원거리 지점에 대하여 위성이 촬영한 도로 상태 영상 정보를 수신할 수 있다.The satellite image information reception control unit 123B″ may receive road state image information captured by the satellite at a point spaced apart from the vehicle, for example, at a remote point that is difficult for an occupant of the vehicle to visually check.

선택적 실시예로서, 이 때 위성 영상 정보 수신 제어부(123B")는 복수의 위성으로부터 영상 정보를 수신할 수도 있다. As an optional embodiment, in this case, the satellite image information reception control unit 123B″ may receive image information from a plurality of satellites.

도로 정보용 카메라 영상 정보 수신 제어부(123C")는 차량으로부터 이격된 지점, 예를들면 차량의 탑승자가 육안으로 확인이 힘든 원거리에 있는 도로에 설치된 도로 정보용 카메라가 촬영한 영상 정보를 수신할 수 있다.The road information camera image information reception control unit (123C") may receive the image information taken by the road information camera installed on the road at a point spaced apart from the vehicle, for example, at a long distance where it is difficult for the occupant of the vehicle to visually check it. there is.

선택적 실시예로서, 이 때 도로 정보용 카메라 영상 정보 수신 제어부(123C")는 도로상에 배치되어 있는 복수의 도로 정보용 카메라로부터 영상 정보를 수신할 수 있다.As an optional embodiment, at this time, the camera image information receiving control unit 123C" for road information may receive image information from a plurality of road information cameras disposed on the road.

도 5는 도 1의 카메라 기반 차량 주행 정보 제어 시스템의 판단 제어부의 선택적 실시예를 도시한 도면이다.FIG. 5 is a diagram illustrating an optional embodiment of a determination control unit of the camera-based vehicle driving information control system of FIG. 1 .

도 5를 참조하면 판단 제어부(130')는 정보 파악 제어부(131') 또는 정보 생성 제어부(132')를 포함할 수 있다.Referring to FIG. 5 , the determination control unit 130 ′ may include an information grasp control unit 131 ′ or an information generation control unit 132 ′.

정보 파악 제어부(131')는 상기 이격 영상 정보 제어부(120 또는 120')를 통하여 획득한 원격 영상으로부터 주행 특이 지점을 파악할 수 있다.The information identification control unit 131 ′ may identify a driving singular point from the remote image acquired through the separation image information control unit 120 or 120 ′.

예를들면 도로의 주행 중 정상적 주행이 용이하지 않은 지점을 파악할 수 있고, 이는 전술한 획득한 영상의 이미지 분석을 통하여 진행할 수 있다. 또한, 선택적 실시예로서 다양한 종류의 기계 학습을 이용하여 정확도를 높일 수 있다.For example, it is possible to identify a point where normal driving is not easy while driving on a road, and this can be done through image analysis of the acquired image. In addition, as an optional embodiment, various types of machine learning may be used to increase accuracy.

정보 파악 제어부(131')는 공사 진행 정보를 파악할 수 있고, 예를들면 도로의 복수의 차로 중 공사가 진행되고 있는 차로의 정보를 파악할 수 있다. 이 때에 도로 현황을 알리는 표지, 구체적 예로서 콘이 영상에 있는지 여부를 통하여 확인할 수 있다.The information grasping control unit 131 ′ may grasp construction progress information, for example, may grasp information on a lane on which construction is in progress among a plurality of lanes of a road. At this time, it can be confirmed through a sign indicating the road condition, as a specific example, whether a cone is in the image.

정보 파악 제어부(131')는 사고 발생 영역 정보를 파악할 수 있고, 예를들면 도로의 복수의 차로 중 사고 발생 또는 사고 수습 영역에 대응된 차로의 정보를 파악할 수 있다. 이 때에 이격 영상 정보에서 차량의 정지 여부, 정지 시간, 경찰차 또는 구급차 등의 경광등 유무를 파악하여 사고 차로 정보를 파악할 수 있다. 또한, 도로의 차로들 중 사고 발생 차로 또는 사고 발생하여 주행이 불가한 영역에 대응된 차로 정보를 포함할 수 있다.The information identification control unit 131 ′ may grasp information on an accident occurrence area, for example, may grasp information on a lane corresponding to an accident occurrence or accident management area among a plurality of lanes on a road. In this case, information on the accident lane can be grasped by determining whether the vehicle is stopped, the stop time, and the presence or absence of a warning light such as a police car or an ambulance from the separation image information. In addition, information on lanes corresponding to an accident-causing lane or an area in which driving is impossible due to an accident among lanes on the road may be included.

정보 파악 제어부(131')는 비정상 주행 영역 정보를 파악할 수 있고, 예를들면 주변의 인접한 도로와 비교 시 설정된 조건의 통행 속도에 미치지 못하는 통행 속도를 갖는 경우에 비정상 주행 영역 정보로 파악할 수 있다.The information identification control unit 131 ′ may identify abnormal driving area information, and, for example, may identify it as abnormal driving region information when the vehicle has a traveling speed that is less than a traveling speed of a set condition when compared with a neighboring road.

선택적 실시예로서 도로의 복수의 차로 중 비정상 주행 영역, 예를들면 차량 주행 밀집도가 높은 차로의 정보를 파악할 수 있다. 이 때에 이격 영상 정보에서 차량의 정지 여부, 정지 시간, 주행 속도를 파악하여 비정상 주행 영역의 차로 정보를 파악할 수 있다. 이러한 방법을 통하여 차량의 주행중에 탑승자는 육안으로 확인이 되지 않는 원거리의 도로에 대하여 신속하게 또는 실시간으로 밀집도가 높은 도로 위치 또는 차로 정보까지도 용이하게 파악할 수 있다.As an optional embodiment, information on an abnormal driving area, for example, a lane with high vehicle driving density among a plurality of lanes on a road, may be grasped. In this case, information on the lane in the abnormal driving area may be grasped by determining whether the vehicle is stopped, the stopping time, and the driving speed from the separation image information. Through this method, the occupant can easily grasp even high-density road location or lane information quickly or in real time on a long-distance road that cannot be visually confirmed while the vehicle is being driven through this method.

정보 생성 제어부(132')는 상기 이격 영상 정보 제어부(120 또는 120')를 통하여 획득한 원격 영상으로부터 다양한 주행 제어 정보를 생성할 수 있다. 또한, 정보 생성 제어부(132')는 정보 파악 제어부(131')가 파악한 정보를 이용하여 주행 제어 정보를 생성할 수 있다.The information generation control unit 132' may generate various driving control information from the remote image acquired through the separation image information control unit 120 or 120'. Also, the information generation control unit 132' may generate driving control information using the information grasped by the information identification control unit 131'.

예를들면 정보 생성 제어부(132')는 주행 차로 변경 정보를 생성할 수 있고, 구체적 예로서 차량이 주행중인 차로가 이격된 지점의 비정상 영역, 예를들면 공사 영역에 대응되는 경우 그렇지 않은 차로 영역을 확인하고 차량이 변경하여야 할 안전한 차로 정보 또는 도로 차로들 중 제일 바람직한 차로 정보를 생성할 수 있다.For example, the information generation control unit 132 ′ may generate driving lane change information, and as a specific example, an abnormal region at a point where the lane on which the vehicle is traveling is spaced apart, for example, a lane region that does not correspond to a construction region. and can generate safe lane information to be changed by the vehicle or the most desirable lane information among road lanes.

또한, 정보 생성 제어부(132')는 주행중인 차량이 상기 주행 차로 변경 정보에 따라 차로를 변경해야 할 시간 정보를 생성할 수 있다. 예를들면 차량의 주행 중 차로를 변경해야 할 적절한 시간을 고지할 수 있고, 다른 예로서 차량의 주행 중 차로 변경할 임계적 시간 정보를 고지할 수 있다.In addition, the information generation control unit 132 ′ may generate information about the time when the driving vehicle needs to change lanes according to the driving lane change information. For example, it is possible to notify an appropriate time for changing a lane while the vehicle is driving, and as another example, critical time information for changing a lane while the vehicle is driving may be notified.

이러한 정보는 차량의 운행 속도, 차량이 비정상 차로 영역까지 떨어진 거리 등을 분석하여 파악할 수 있다.Such information can be identified by analyzing the driving speed of the vehicle, the distance the vehicle has fallen to the abnormal lane area, and the like.

또한 정보 생성 제어부(132')는 상기 이격 영상 정보 제어부(120 또는 120')를 통하여 획득한 원격 영상으로부터 다양한 주행 제어 정보로서 주행 제어 신호를 생성할 수 있다. 이러한 주행 제어 신호는 차량의 주행을 제어하는 제어 모듈에 전달될 수 있고, 이러한 주행 제어 신호에 따라 차량은 주행이 제어, 예를들면 차선의 변경등이 수행될 수 있다. In addition, the information generation control unit 132' may generate a driving control signal as various driving control information from the remote image acquired through the separation image information control unit 120 or 120'. The driving control signal may be transmitted to a control module that controls the driving of the vehicle, and according to the driving control signal, driving of the vehicle may be controlled, for example, lane change, etc. may be performed.

정보 생성 제어부(132')를 통하여 생성된 주행 제어 신호에 의하여 차량의 부분적 자율 또는 전체적 자율 주행 특성을 용이하게 향상할 수 있다.The partially autonomous or fully autonomous driving characteristics of the vehicle may be easily improved by the driving control signal generated through the information generation controller 132 ′.

선택적 실시예로서 판단 제어부(130')는 상기 이격 영상 정보 제어부(120 또는 120')에서 획득한 정보가 설정 조건에 대응되는 경우에 또는 설정 조건에 대응되는 경우에만 정보 파악 제어부(131') 또는 정보 생성 제어부(132')를 통한 과정을 수행할 수도 있다.As an optional embodiment, the determination control unit 130 'is only when the information obtained from the separation image information control unit 120 or 120' corresponds to a setting condition or corresponds to the setting condition, the information grasping control unit 131' or A process may be performed through the information generation control unit 132'.

예를들면 차량의 주행 중 이격 영상 정보 제어부를 통하여 획득한 정보가 통상의 도로 상황에 대한 정보인 경우가 아닌 공사 또는 사고 등 비정상적 도로 상황이라고 파악된 경우에만 정보 파악 제어부(131') 또는 정보 생성 제어부(132')를 통한 과정을 수행할 수 있고, 이를 통하여 차량의 주행 중 데이터의 수집, 처리 및 제어에 필요한 리소스 활용의 효율성을 향상할 수 있고, 차량의 주행 중 인접 정보에 대한 효과적인 활용을 통한 안전 운행 정밀도를 향상할 수 있다.For example, information acquired through the separation image information control unit while the vehicle is driving is not information about normal road conditions, but only when it is determined that the information is an abnormal road condition such as construction or an accident, the information grasping control unit 131' or information generation The process can be performed through the control unit 132', and through this, the efficiency of resource utilization required for data collection, processing and control while driving of the vehicle can be improved, and effective use of adjacent information while driving of the vehicle can be performed. It is possible to improve the precision of safe driving through

예를들면 인접 정보는 전방의 차선 정보, 전방 또는 인접한 차량 및 사람 등의 주행 장애물에 대한 감지 정보를 포함할 수 있다. For example, the adjacent information may include information on a front lane, and detection information on a driving obstacle such as a vehicle in front or an adjacent vehicle and a person.

도 6은 도 5의 정보 파악 제어부의 선택적 실시예를 설명하기 위한 도면이다.FIG. 6 is a view for explaining an optional embodiment of the information grasping control unit of FIG. 5 .

도 6을 참조하면 정보 파악 제어부(131")는 특이 지점 파악 제어부(131A"), 거리 파악 제어부(131B") 또는 시간 파악 제어부(131C")를 포함할 수 있다.Referring to FIG. 6 , the information identification control unit 131 ″ may include a singular point identification control unit 131A″, a distance identification control unit 131B″, or a time identification control unit 131C″.

특이 지점 파악 제어부(131A")는 상기 이격 영상 정보 제어부(120 또는 120')를 통하여 획득한 원격 영상으로부터 주행 특이 지점을 파악할 수 있다.The singular point identification control unit 131A″ may identify the driving singular point from the remote image acquired through the separation image information control unit 120 or 120 ′.

주행 특이 지점은 차량의 주행 중 탑승자의 주행 중 육안 또는 카메라부(110 또는 110')를 통한 정보 확인 중에 확인이 용이하지 않은 것으로서 차량의 주행에 추가 정보가 필요한 영역으로서 예를들면 차량의 주행 경로, 차선 또는 속도 등의 변경이 필요한 영역일 수 있다.The driving singular point is an area that requires additional information for driving of the vehicle as it is not easy to check while checking information through the naked eye or the camera unit 110 or 110' while the occupant is driving while the vehicle is driving. For example, the driving path of the vehicle. , may be an area requiring a change of lane or speed.

구체적으로 주행 특이 지점은 공사 지점일 수 있고, 공사 지점 앞에 설치된 콘을 인식하여 파악할 수 있다. 예를들면 콘이 배치된 차로의 위치 관련 정보, 콘이 배치된 형태 관련 정보, 콘의 개수 등의 정보를 파악할 수 있다.Specifically, the driving singular point may be a construction point, and it may be recognized by recognizing a cone installed in front of the construction point. For example, information such as location-related information of a road in which cones are disposed, information related to a shape in which cones are disposed, and the number of cones can be grasped.

특이 지점 파악 제어부(131A")는 상기 이격 영상 정보 제어부(120 또는 120')을 통하여 실시간 또는 주기적으로 영상을 획득한 후에 이러한 정보를 분석할 수 있고, 미리 저장된 설정 조건과 비교하여 특이 지점이 발생한 경우, 예를들면 콘의 배치를 통하여 공사 지점 발생하였음을 파악한 경우에 특이 지점 발생 신호를 생성할 수 있다.The singular point identification control unit 131A" may analyze this information after acquiring an image in real time or periodically through the separated image information control unit 120 or 120', and compare the information with a preset condition in which the singular point occurs In this case, for example, when it is determined that the construction point has occurred through the arrangement of cones, a singular point occurrence signal may be generated.

그리고, 이러한 특이 지점 발생 신호가 생성되면 차량의 주행 시에 카메라부를 통하여 획득한 정보 외에 이격 영상 정보 제어부를 통하여 획득한 정보 또는 이러한 이격 영상 정보 제어부를 통하여 획득한 정보를 가공하여 생성한 정보를 이용하도록 준비할 수 있다.And, when such a singular point occurrence signal is generated, in addition to the information obtained through the camera unit while the vehicle is driving, information obtained through the separation image information control unit or information obtained by processing the information obtained through the separation image information control unit is used can be prepared to do so.

이를 통하여 차량의 주행 시에 데이터 활용의 효율성을 향상하여 정보 이용 및 반응 속도를 향상하여 카메라부를 통한 차량의 주행 시에 탑승자의 운행의 편의성을 향상하고, 차량의 자율 주행 시에 주행 상황에 필요한 정보 처리 속도를 높여 자율 주행 시 발생할 수 있는 돌발 상황에 대처하는 속도를 향상할 수 있다.Through this, the efficiency of data utilization when driving the vehicle is improved, information use and reaction speed are improved, so that the convenience of the occupants when driving the vehicle through the camera unit is improved, and information necessary for the driving situation when the vehicle is autonomously driving. By increasing the processing speed, it is possible to improve the speed of responding to unexpected situations that may occur during autonomous driving.

또한, 특이 지점 발생 신호가 생성되면 보통 주행 상황이 아닌 상태로서 이격 영상 정보 제어부를 통하여 획득한 정보 및 카메라부를 통하여 획득한 정보를 함께 이용하도록 하여 탑승자가 용이하게 확인하기 힘든 이격 지점에서 발생한 특이 지점에 대응한 예측 운행을 용이하게 수행할 수 있다.In addition, when the singular point occurrence signal is generated, it is not a normal driving situation, and the information acquired through the separation image information control unit and the information acquired through the camera unit are used together, so that the singular point generated at the separation point that is difficult for passengers to check easily. It is possible to easily perform a predictive operation corresponding to .

선택적 실시예로서 이러한 특이 지점을 차량의 탑승자에게 디스플레이 형태로 고지할 수 있고, 다른 예로서 음성 정보로 고지할 수 있다.As an optional embodiment, the specific point may be notified to the occupants of the vehicle in the form of a display, and as another example, may be notified by voice information.

거리 파악 제어부(131B")는 상기 주행 특이 지점 발생 신호가 발생 시에 상기 특이 지점으로부터 차량 사이의 거리를 파악할 수 있다.The distance determination control unit 131B″ may determine the distance between the vehicle from the singular point when the driving singular point generation signal is generated.

주행 특이 지점이 발생한 위치 정보 및 상기 차량의 위치 정보를 이용하여 상호 간의 거리를 파악할 수 있다.The distance between each other may be determined using the location information at which the driving singular point occurs and the location information of the vehicle.

선택적 실시예로서 이러한 상호 간의 거리는 시간에 따라 변하고, 거리의 변하는 정도를 탑승자에게 디스플레이 형태로 고지할 수 있다.As an optional embodiment, the mutual distance may change with time, and the degree of change of the distance may be notified to the passenger in the form of a display.

시간 파악 제어부(131C")는 상기 주행 특이 지점까지의 예상 주행 시간을 파악할 수 있다.The time determination control unit 131C″ may determine the expected travel time up to the driving singular point.

차량의 주행 속도 정보를 파악하고, 상기 주행 특이 지점과 차량 사이의 거리 정보를 이용하여 예상 주행 시간을 파악할 수 있다. 이러한 예상 주행 시간은 차량 탑승자에게 주행 상태 변경, 예를들면 차로 변경 등의 주행 방법 변경의 최적 시간 또는 남은 시간 등의 정보를 제공할 수 있고, 자율 주행의 경우 차량의 주행 제어 신호 발생 기한을 생성할 수 있다.The driving speed information of the vehicle may be grasped, and the estimated driving time may be determined using the distance information between the driving specific point and the vehicle. The expected driving time may provide information such as the optimal time or remaining time for a driving state change, for example, a driving method change such as a lane change, to the vehicle occupant, and in the case of autonomous driving, a driving control signal generation deadline of the vehicle is generated can do.

도 7은 도 5의 정보 생성 제어부의 선택적 실시예를 설명하기 위한 도면이다.FIG. 7 is a diagram for explaining an optional embodiment of the information generation control unit of FIG. 5 .

도 7을 참조하면 정보 생성 제어부(132")는 운행 변경 정보 제어부(132A") 또는 주행 제어 신호 제어부(132B")를 포함할 수 있다.Referring to FIG. 7 , the information generation control unit 132″ may include a driving change information control unit 132A″ or a driving control signal control unit 132B″.

운행 정보 변경 제어부(132A")는 상기 주행 특이 지점으로 인하여 운행 변경에 대한 정보를 생성할 수 있다. 이 때, 이러한 운행 변경 정보는 변경할 차선 정보를 포함할 수 있다.The driving information change controller 132A″ may generate information on the driving change due to the driving specific point. In this case, the driving information change information may include information on the lane to be changed.

또한, 선택적 실시예로서 이러한 운행 변경 정보는 차선을 변경하여야 하는 시점에 대한 시간 정보를 포함할 수 있고, 변경에 대한 임계 시점 정보를 생성하여 탑승자에게 고지할 수 있다. 이러한 시간에 대한 정보는 주행 특이 지점까지의 거리 및 차량의 주행 속도를 파악하여 결정할 수 있다.In addition, as an optional embodiment, the driving change information may include time information on a time when a lane should be changed, and may generate critical time information for a change and notify the passenger. Information on such time may be determined by determining the distance to the driving singular point and the driving speed of the vehicle.

이를 통하여 차량에 탑승한 탑승자 또는 운전자는 육안으로 확인이 안되거나 차량의 카메라부를 통하여 확인이 안되는 원거리 지점에서의 공사 지점과 같은 주행 특이 지점이 발생 시, 이러한 주행 특이 지점 발생에 대한 정보를 확인하고, 주행에 더 바람직하도록 변경할 차로에 대한 정보를 확인할 수 있고, 이러한 변경할 차로에 대하여 언제까지 변경해야 실질적으로 효율적 차량이 주행될 수 있을지에 대한 정보를 용이하게 확인하여 운행 변경 시기를 놓치지 않을 수 있고, 차량의 주행의 원활한 제어를 할 수 있다.Through this, when a driving singular point such as a construction point at a remote point that cannot be visually confirmed by the occupant or driver in the vehicle or through the vehicle's camera unit occurs, information about the occurrence of such driving singular point is checked and , information on the lane to be changed to be more desirable for driving can be checked, and information on when to change the lane to be changed in order to effectively drive the vehicle can be easily checked so that the timing of the change of operation can not be missed. , it is possible to smoothly control the running of the vehicle.

주행 제어 신호 제어부(132B")는 상기 주행 특이 지점으로 인하여 운행 변경이 필요한 경우에 차량의 주행을 제어하는 주행 제어 신호를 생성할 수 있고, 이러한 주행 제어 신호에 따라 차량은 자율적으로 또는 일부 자율적으로 차로를 변경하거나 속도를 변경하는 등의 운행 방법을 변경할 수 있다.The driving control signal controller 132B″ may generate a driving control signal for controlling the driving of the vehicle when a driving change is required due to the driving specific point, and the vehicle autonomously or partially autonomously according to the driving control signal You can change the driving method, such as changing lanes or changing speed.

이를 통하여 자율 주행 차량의 안전성을 향상할 수 있다.Through this, the safety of the autonomous vehicle can be improved.

도 8은 본 발명의 일 실시예에 관한 카메라 기반 차량 주행 정보 제어 방법을 개략적으로 도시한 도면이다.8 is a diagram schematically illustrating a camera-based vehicle driving information control method according to an embodiment of the present invention.

도 8을 참조하면 본 실시예의 카메라 기반 차량 주행 정보 제어 방법은 카메라 제어 단계(S10), 이격 영상 정보 제어 단계(S20), 판단 제어 단계(S30) 및 운전 정보 생성 제어 단계(S40)를 포함할 수 있다.Referring to FIG. 8 , the camera-based vehicle driving information control method of this embodiment may include a camera control step (S10), a separation image information control step (S20), a determination control step (S30), and a driving information generation control step (S40). can

카메라 제어 단계(S10)는 차량에 배치되어 차량의 주행 상황 정보를 감지하는 하나 이상의 카메라 부재를 제어하는 단계를 포함할 수 있다.The camera control step ( S10 ) may include controlling one or more camera members disposed in the vehicle to detect driving situation information of the vehicle.

예를들면 카메라 제어 단계(S10)는 가시 광선 적용 카메라를 제어하는 단계를 포함할 수 있다.For example, the camera control step (S10) may include controlling the visible light applied camera.

선택적 실시예로서 카메라 제어 단계(S10)는 서로 상이한 종류의 영상 정보를 감지하는 복수의 카메라 부재를 제어하는 단계를 포함할 수 있다. 예를들면 카메라 제어 단계(S10)는 하나 이상의 가시 광선 적용 카메라, 하나 이상의 적외선 카메라, 하나 이상의 원적외선 카메라 또는 하나 이상의 근적외선 카메라를 제어하는 단계를 포함할 수 있다.As an optional embodiment, the camera control step ( S10 ) may include controlling a plurality of camera members that detect different types of image information. For example, the camera control step S10 may include controlling one or more visible light applied cameras, one or more infrared cameras, one or more far infrared cameras, or one or more near infrared cameras.

카메라 제어 단계(S10)에서 획득한 주행 상황 정보는 차량의 주행 중 전방 정보를 포함할 수 있다. 또한, 차량의 측면 또는 후방 정보를 포함할 수 있다.The driving situation information acquired in the camera control step S10 may include forward information while the vehicle is driving. In addition, it may include side or rear information of the vehicle.

카메라 제어 단계(S10)를 통하여 서로 상이한 종류의 영상 정보를 감지한 경우 이러한 상이한 종류의 영상 정보 중 하나를 선택적으로 주행 정보로 이용하거나, 복수의 영상 정보를 종합하여 주행 정보로 이용할 수 있다. When different types of image information are detected through the camera control step S10, one of these different types of image information may be selectively used as driving information, or a plurality of image information may be synthesized and used as driving information.

선택적 실시예로서 카메라 제어 단계(S10)에서 획득한 복수의 상이한 종류의 영상 정보를 통하여 주행 중 차량, 사람 및 인공 도로 정보를 구별하여 이미지 정보로 생성할 수 있다.As an optional embodiment, vehicle, person, and artificial road information may be distinguished while driving through a plurality of different types of image information acquired in the camera control step S10 and generated as image information.

선택적 실시예로서 카메라 제어 단계(S10)를 통하여 감지한 영상 정보를 저장할 수 있다.As an optional embodiment, image information detected through the camera control step (S10) may be stored.

이격 영상 정보 제어 단계(S20)는 차량과 이격된 이격 지점의 이격 영상 정보를 획득하고 이용할 수 있다.The separation image information control step ( S20 ) may obtain and use separation image information of a separation point spaced apart from the vehicle.

이격 영상 정보 제어 단계(S20)를 통하여 차량의 주행 중 차량과 이격된 지점의 영상 정보를 획득할 수 있고, 예를들면 이격 영상 정보 제어 단계(S20)에서는 차량이 차량과 멀리 떨어진 지점에서 비행중인 드론과 통신 연결되어 드론이 촬영한 영상 정보가 획득될 수 있다.Through the separation image information control step (S20), image information of a point spaced apart from the vehicle can be acquired while the vehicle is driving. For example, in the separation image information control step (S20), the vehicle is flying at a point far from the vehicle. By communicating with the drone, image information captured by the drone may be acquired.

선택적 실시예로서 이격 영상 정보 제어 단계(S20)에서는 미리 영상을 통신하기로 설정된 드론과 보안 연결을 위한 페어링 코드를 이용할 수 있고, 이를 통하여 차량은 설정된 드론과 보안 관계를 유지하면서 영상을 획득할 수 있다.As an optional embodiment, in the separation image information control step ( S20 ), a pairing code for secure connection with the drone set to communicate the image in advance may be used, and through this, the vehicle may acquire an image while maintaining a security relationship with the set drone. there is.

선택적 실시예로서 이격 영상 정보 제어 단계(S20)에서는 필요한 경우 드론이 전송하는 영상 정보 확인 중 위치 변경을 통한 영상 변경 요청 신호를 발생할 수 있고, 이에 따라 드론의 카메라 방향이나 각도를 변경하게 할 수 있고, 필요한 경우 드론의 비행 이동을 제어할 수 있다. 이를 통하여 드론을 통하여 무작위로 정해진 영상만을 획득하는 것 대신에, 필요에 따라 다양한 영상 정보를 취득할 수도 있다.As an optional embodiment, in the separation image information control step (S20), if necessary, an image change request signal may be generated through a position change while checking image information transmitted by the drone, and the camera direction or angle of the drone may be changed accordingly. , it can control the flight movement of the drone if necessary. Through this, instead of acquiring only randomly determined images through the drone, various image information may be acquired as needed.

선택적 실시예로서 이격 영상 정보 제어 단계(S20)에서는 차량의 주행 중 차량과 이격된 지점의 영상 정보를 획득할 수 있고, 예를들면 위성이 촬영한 정보를 획득할 수 있고, 구체적인 예로서 실시간으로 획득할 수도 있다.As an optional embodiment, in the separation image information control step ( S20 ), image information of a point spaced apart from the vehicle may be acquired while the vehicle is driving, for example, information photographed by a satellite may be acquired, and as a specific example, in real time may be obtained.

이를 위하여 이격 영상 정보 제어 단계(S20)에서는 위성 정보 제어 모듈을 이용하는 단계를 포함할 수 있다.To this end, the step of controlling the distance image information ( S20 ) may include using a satellite information control module.

선택적 실시예로서 이격 영상 정보 제어 단계(S20)는 차량의 주행 중 차량과 이격된 지점의 영상 정보를 획득할 수 있고, 예를들면 도로에 설치된 도로 정보용 카메라가 감지한 영상 정보를 획득하여 이용하는 단계를 포함할 수 있다.As an optional embodiment, the separation image information control step (S20) may acquire image information of a point spaced apart from the vehicle while the vehicle is driving, for example, obtain and use image information detected by a road information camera installed on a road may include steps.

이를 위하여 이격 영상 정보 제어 단계(S20)에서는 도로에 설치된 도로 정보용 카메라와 통신할 수 있는 통신 모듈을 이용하는 단계를 포함할 수 있다.To this end, the separation image information control step ( S20 ) may include using a communication module capable of communicating with a road information camera installed on a road.

판단 제어 단계(S30)에서는 상기 카메라 제어 단계(S10)에서 감지한 주행 상황 정보와 상기 이격 영상 정보 제어 단계(S20)를 통하여 획득한 이격 영상 정보를 선택적으로 이용할 수 있다. In the judgment control step (S30), the driving situation information detected in the camera control step (S10) and the separation image information obtained through the separation image information control step (S20) may be selectively used.

선택적 실시예로서 판단 제어 단계(S30)에서는 카메라 제어 단계(S10)에서 감지한 주행 상황 정보와 이격 영상 정보 제어 단계(S20)를 통하여 획득한 이격 영상 정보 중 하나를 이용하다가 필요 시 다른 정보를 이용할 수 있다.As an optional embodiment, in the judgment control step (S30), one of the driving situation information detected in the camera control step (S10) and the separation image information acquired through the separation image information control step (S20) is used, and other information is used when necessary. can

일 예로서 판단 제어 단계(S30)는 카메라 제어 단계(S10)에서 감지한 주행 상황 정보를 이용하다가 이격 영상 정보 제어 단계(S20)를 통하여 획득한 이격 영상 정보가 주행 특이 지점에 대응된 설정 조건에 부합되는 것으로 판단될 경우 주행 특이 지점 발생 모드로 변경될 수 있다. 예를들면 주행 특이 지점 발생 전과 발생 후의 이격 영상 정보 제어 단계를 통한 정보 획득 및 정보 이용의 수준이 변경될 수 있고, 구체적 예로서 예비적인 1차 수준에서 메인 단계로서의 2추 수준으로 변경될 수 있다.As an example, in the judgment control step (S30), the separation image information obtained through the separation image information control step (S20) while using the driving situation information detected in the camera control step (S10) is applied to the setting condition corresponding to the driving specific point. If it is determined that it matches, it may be changed to a driving singular point generation mode. For example, the level of information acquisition and information use through the separation image information control stage before and after the occurrence of a driving singular point may be changed, and as a specific example, it may be changed from the preliminary primary level to the secondary level as the main stage. .

이를 통하여 차량 주행의 안전성을 효율적으로 확보할 수 있고, 차량 주행시 필요한 데이터 취급의 용이성을 향상하여 주행에 필요한 정보 생성 속도를 향상할 수 있다.Through this, it is possible to efficiently secure the safety of vehicle driving, and improve the easiness of handling data required for driving the vehicle, thereby increasing the speed of generating information required for driving.

상기 설정 조건은 차량 주행 시 비정상적 상황에 대응된 정보를 포함할 수 있다. 예를들면 이격 영상 정보를 통하여 공사 진행 정보, 도로 밀집 정보 또는 사고 현황 정보를 감지한 경우라고 판단할 때 설정 조건에 부합한 것이라고 할 수 있다.The setting condition may include information corresponding to an abnormal situation during vehicle driving. For example, when it is determined that construction progress information, road density information, or accident status information is detected through separation image information, it can be said that the set condition is satisfied.

구체적 예로서 판단 제어 단계(S30)에서는 카메라 제어 단계(S10)에서 감지한 주행 상황 정보를 이용하다가 이격 영상 정보 제어 단계(S20)를 통하여 획득한 이격 영상 정보가 공사 현장 정보를 포함하는 경우 주행 특이 지점 발생 모드로 변경되고 이격 영상 정보 제어 단계(S20)에서 획득한 이격 영상 정보에 대한 이용 방법 또는 수준을 변경할 수 있다. As a specific example, in the judgment control step (S30), when the distance image information obtained through the distance image information control step (S20) while using the driving situation information detected in the camera control step (S10) includes construction site information, driving specific It is changed to the point generation mode, and the method or level of using the spaced image information obtained in the spaced image information control step S20 may be changed.

이러한 공사 현황 정보 파악은 다양한 방법을 이용하여 수행할 수 있고, 예를들면 공사 현장에 배치된 원뿔 형태의 콘 또는 기타 공사 알림 구조물을 파악하는 방법을 이용할 수 있고, 도로의 차로들 중 공사가 진행되고 있어 차량 주행이 불가한 차로를 파악할 수 있다.This construction status information identification can be performed using various methods, for example, a method of identifying a cone-shaped cone or other construction notification structure placed at a construction site can be used, and construction is in progress among lanes on the road. Thus, it is possible to identify lanes in which vehicles cannot drive.

또한, 선택적 실시예로서 판단 제어 단계(S30)는 카메라 제어 단계(S10)가 감지한 주행 상황 정보를 이용하다가 이격 영상 정보 제어 단계(S20)를 통하여 획득한 이격 영상 정보가 도로 밀집 정보를 포함하는 경우 주행 특이 지점 발생 모드로 변경되고 이격 영상 정보 제어 단계(S20)에서 획득한 이격 영상 정보에 대한 이용 방법 또는 수준을 변경할 수 있다. In addition, as an optional embodiment, in the judgment control step (S30), the distance image information obtained through the distance image information control step (S20) while using the driving situation information detected by the camera control step (S10) includes road density information In this case, it is changed to the driving singular point generation mode, and the method or level of use of the separation image information obtained in the separation image information control step S20 may be changed.

이러한 도로 밀집 정보는 도로의 차로들 중 미리 설정한 밀집도에 대응하는 차로의 정보를 포함할 수 있다.The road density information may include information on lanes corresponding to a preset density among lanes on the road.

이격 영상 정보 제어 단계(S20)를 통하여 획득한 이격 영상 정보에서 차량의 움직임, 차량의 움직임의 속도 및 차량의 배치 등을 인식하여 차로의 밀집도 정보를 파악할 수 있다.In the separation image information obtained through the separation image information control step ( S20 ), the vehicle movement, the speed of the vehicle movement, the vehicle arrangement, etc. may be recognized to determine the density information of the lane.

또한, 선택적 실시예로서 판단 제어 단계(S30)에서는 카메라 제어 단계(S10)를 통하여 감지한 주행 상황 정보를 이용하다가 이격 영상 정보 제어 단계(S20)를 통하여 획득한 이격 영상 정보가 사고 차로 정보를 포함하는 경우 주행 특이 지점 발생 모드로 변경되고 이격 영상 정보 제어 단계(S20)에서 획득한 이격 영상 정보에 대한 이용 방법 또는 수준을 변경할 수 있다. In addition, as an optional embodiment, in the judgment control step (S30), the separation image information obtained through the separation image information control step (S20) while using the driving situation information detected through the camera control step (S10) includes accident lane information In this case, it is changed to the driving singular point generation mode, and the method or level of use of the separation image information obtained in the separation image information control step S20 may be changed.

이러한 사고 차로 정보는 도로의 차로들 중 차량의 사고가 발생한 차로의 정보를 포함할 수 있다.The accident lane information may include information on lanes in which the vehicle accident occurred among lanes on the road.

이격 영상 정보 제어 단계(S20)를 통하여 획득한 이격 영상 정보에서 차량의 정지 여부, 정지 시간, 경찰차 또는 구급차 등의 경광등 유무를 파악하여 사고 차로 정보를 파악할 수 있다. 또한, 도로의 차로들 중 사고 발생 차로 또는 사고 발생하여 주행이 불가한 영역에 대응된 차로 정보를 포함할 수 있다.From the separation image information obtained through the separation image information control step (S20), it is possible to determine whether the vehicle is stopped, the stopping time, and the presence or absence of a warning light such as a police car or an ambulance to determine accident lane information. In addition, information on lanes corresponding to an accident-causing lane or an area in which driving is impossible due to an accident among lanes on the road may be included.

판단 제어 단계(S30)는 상기의 정보 파악을 통하여 다양한 주행 정보를 확인할 수 있고, 주행 특이 지점 발생 모드로 변경되면 정상적 주행이 용이하지 않은 특이 상황 발생 영역, 예를들면 사고 발생 지점, 밀집 차로 또는 공사 지점 차로의 위치를 파악할 수 있고, 이를 통하여 주행중인 차량으로부의 거리를 파악할 수 있다.In the decision control step (S30), various driving information can be checked through the above information grasp, and when the driving singular point generation mode is changed to the driving singular point occurrence mode, a special situation occurrence area where normal driving is not easy, for example, an accident occurrence point, a dense lane, or It is possible to grasp the location of the construction point lane, and through this, it is possible to determine the distance to the vehicle being driven.

또한, 판단 제어 단계(S30)는 이러한 거리 파악 및 주행중인 차량의 속도, 카메라 제어 단계(S10)가 인식한 전방 정보를 이용하여 상기 특이 상황 발생 영역까지 걸리는 시간에 대한 정보를 파악할 수 있다.In addition, the determination control step ( S30 ) can grasp information on the time taken to the special situation occurrence area using the distance recognition, the speed of the driving vehicle, and forward information recognized by the camera control step ( S10 ).

운전 정보 생성 제어 단계(S40)에서는 상기 판단 제어 단계(S30)에서 이용 또는 획득한 정보에 기반하여 상기 차량의 운전에 필요한 정보를 생성할 수 있다.In the driving information generation control step S40 , information necessary for driving the vehicle may be generated based on the information used or acquired in the judgment control step S30 .

선택적 실시예로서 운전 정보 생성 제어 단계(S40)는 주행 안내 정보를 생성할 수 있고, 특이 상황 발생 영역, 예를들면 사고 발생 지점, 밀집 차로 또는 공사 지점 차로의 위치를 차량 내의 탑승자에게 표현할 수 있고, 이 때 주행중인 차량으로부터 특이 상황 발생 영역까지의 거리 정보를 표현할 수 있다. 또한, 추가적으로 특이 상황 발생 영역까지 걸리는 주행 시간 정보를 표현할 수 있다.As an optional embodiment, the driving information generation control step (S40) may generate driving guidance information, and the location of a special situation occurrence area, for example, an accident occurrence point, a dense road, or a construction point lane, may be expressed to the occupants in the vehicle. , at this time, distance information from the driving vehicle to the special situation occurrence region may be expressed. In addition, it is possible to additionally express information on the driving time required to the region where the special situation occurs.

이러한 정보의 표현은 텍스트 형태 또는 이미지 형태로 차량 내의 화면에 디스플레이하는 방식으로 수행될 수 있다. 선택적 실시예로서 음성 형태로 이러한 정보의 표현을 수행할 수도 있다.Expression of such information may be performed in a manner of displaying on a screen in the vehicle in the form of text or images. As an alternative embodiment, the representation of such information in a voice form may be performed.

선택적 실시예로서 운전 정보 생성 제어 단계(S40)에서는 주행 안내 정보를 생성할 수 있고, 특이 상황 발생 영역, 예를들면 사고 발생 지점, 밀집 차로 또는 공사 지점 차로의 위치를 반영하여 주행 경로 변경, 구체적 예로서 차로 변경 조작 신호를 생성할 수 있고, 이러한 신호를 차량 운전 모듈에 전송할 수도 있다.As an optional embodiment, in the driving information generation control step (S40), driving guidance information may be generated, and the driving route may be changed, specific For example, a lane change operation signal may be generated, and this signal may be transmitted to the vehicle driving module.

이를 통하여 본 실시예는 차량의 주행중에 전방 또는 후방의 차량 주변의 정보를 차량에 구비된 카메라부의 하나 이상의 카메라를 통하여 파악하여 실시간 운전 정보로 활용할 수 있다. 또한, 본 실시예는 실시간 또는 주기적으로 차량으로부터 적어도 일정 거리 떨어진 지점 또는 차량 탑승자가 육안으로 확인하기 힘들거나 차량의 카메라부가 확인할 수 없는 이격 지점의 이격 영상 정보를 획득할 수 있다. 또한 이러한 이격 영상 정보가 설정 조건에 해당할 경우 주행 특이 지점 발생으로 파악하여 주행 특이 지점 발생 모드로 변경하여 데이터 처리에 대한 수준을 변경하고 준비할 수 있다.Through this, in the present embodiment, information around the front or rear vehicle while the vehicle is being driven can be grasped through one or more cameras of the camera unit provided in the vehicle and utilized as real-time driving information. In addition, according to the present embodiment, it is possible to acquire separation image information of a point that is at least a certain distance away from the vehicle in real time or periodically, or a point that is difficult for a vehicle occupant to visually check or a camera unit of the vehicle cannot check. In addition, if the separation image information meets the set conditions, it is recognized as the occurrence of the driving singular point, and the level of data processing can be changed and prepared by changing to the driving singular point occurrence mode.

예를들면 차량의 주행 중 차량으로부터 멀리 떨어진 도로에서 공사 진행 현장이 있는 경우 이격 영상 정보를 통하여 파악하고, 이러한 정보를 이용하여 주행중인 도로의 차로들 중 어떤 차로에서 공사가 진행되고 있는지를 파악한 후 차량의 탑승자에게 표현할 수 있다.For example, if there is a construction site on a road far away from the vehicle while the vehicle is driving, it is identified through the separation image information, and by using this information, it is determined which lane of the lanes on the driving road is under construction. It can be expressed to the occupants of the vehicle.

또한, 이러한 표현과 함께 또는 선택적으로 차량의 주행에 필요한 신호를 생성할 수 있어서 차량의 주행의 안전성 및 편의성을 향상할 수 있다.In addition, it is possible to generate a signal necessary for driving of the vehicle together with or selectively with such an expression, thereby improving the safety and convenience of driving of the vehicle.

또한, 선택적 실시예로서 이러한 설정 조건에 해당하여 주행 특이 지점 발생 모드로 변경전과 변경후에 이격 영상 정보 획득 및 이용하는 수준에 차이를 두어서 이격 영상 정보를 획득하는데 필요한 통신 처리 과정 및 전력 또는 배터리 소비를 효율적으로 제어할 수 있다.In addition, as an optional embodiment, the communication processing process and power or battery consumption required to acquire the separation image information by differentiating the level of acquiring and using the separation image information before and after the change to the driving singular point generation mode corresponding to these setting conditions are reduced. can be effectively controlled.

또한, 이러한 이격 영상 정보를 획득한 후 가공 및 이용하여 필요한 주행 변경 등의 정보 생성에 필요한 데이터 처리 시간, 전력 또는 배터리 소비의 효율성을 증대할 수 있다.In addition, it is possible to increase the efficiency of data processing time, power, or battery consumption required to generate information such as a necessary driving change by processing and using the distance image information after obtaining it.

도 9는 본 발명의 일 실시예에 관한 카메라 기반 차량 주행 정보 제어 시스템이 적용된 차량을 예시적으로 설명하기 위한 도면이다.9 is a view for explaining a vehicle to which a camera-based vehicle driving information control system according to an embodiment of the present invention is applied.

도 9를 참조하면 차량(MV)의 내측에는 룸미러부(RM)가 배치될 수 있다. Referring to FIG. 9 , a rearview mirror unit RM may be disposed inside the vehicle MV.

카메라부는 차량(MV)의 내측 또는 외측에 배치될 수 있다.The camera unit may be disposed inside or outside the vehicle MV.

선택적 실시예로서 카메라부는 차량(MV)의 내측에 배치될 수 있고, 예를들면 카메라부의 제1 카메라 부재(R10) 및 제2 카메라 부재(R20)가 차량(MV)의 내측에 배치될수 있다. 구체적 일 예로서 제1 카메라 부재(R10) 및 제2 카메라 부재(R20)는 룸미러부(RM)의 일면에 배치될 수 있다.As an alternative embodiment, the camera unit may be disposed inside the vehicle MV, for example, the first camera member R10 and the second camera member R20 of the camera unit may be disposed inside the vehicle MV. As a specific example, the first camera member R10 and the second camera member R20 may be disposed on one surface of the room mirror unit RM.

제1 카메라 부재(R10) 및 제2 카메라 부재(R20)는 차량(MV)의 내측에 룸미러부(RM)의 일면에 배치되고 차량(MV)의 전진 방향을 향하도록 배치될 수 있다.The first camera member R10 and the second camera member R20 may be disposed on one surface of the rearview mirror unit RM inside the vehicle MV and may be disposed to face a forward direction of the vehicle MV.

또한 도시하지 않았으나 차량(MV)의 다양한 위치에 제1 카메라 부재(R10) 및 제2 카메라 부재(R20)을 서로 인접하도록 배치 또는 서로 독립적으로 배치할 수 있다.Also, although not shown, the first camera member R10 and the second camera member R20 may be disposed adjacent to each other or disposed independently of each other at various positions of the vehicle MV.

제1 카메라 부재(R10) 및 제2 카메라 부재(R20)는 서로 동일한 타입의 영상 정보를 감지할 수 있고, 다른 예로서 서로 상이한 타입의 영상 정보를 감지할 수도 있다.The first camera member R10 and the second camera member R20 may detect the same type of image information, and as another example, may detect different types of image information.

예를들면 제1 카메라 부재(R10)는 가시 광선 적용 카메라일 수 있고, 제2 카메라 부재(R20)는 적외선, 원적외선 및 근적외선 카메라 중 하나일 수 있다.For example, the first camera member R10 may be a visible light application camera, and the second camera member R20 may be one of infrared, far-infrared, and near-infrared cameras.

도 10은 본 발명의 일 실시예에 관한 카메라 기반 차량 주행 정보 제어 시스템이 적용된 차량이 이격 영상 정보를 획득하는 과정을 예시적으로 설명하기 위한 도면이다.10 is a view for explaining a process by which a vehicle to which a camera-based vehicle driving information control system according to an embodiment of the present invention is applied acquires distance image information by way of example.

도 10을 참조하면 차량(MV)과 드론 디바이스(DRM)가 통신 연결(MW)된 것을 도시하고 있다.Referring to FIG. 10 , a communication connection MW between a vehicle MV and a drone device DRM is illustrated.

도 10에 차량(MV)이 도로(LN)에서 주행 중인 것이 도시되어 있다. 또한, 이 때 차량(MV)은 탑승자에 의하여 운행될 수 있고, 다른 예로서 차량(MV)에 구비된 자율 운행 제어 모듈 또는 차량(MV)과 별도로 구비된 외부의 제어 모듈에 의하여 운행되는 것일 수도 있다.10 shows that the vehicle MV is traveling on the road LN. In addition, at this time, the vehicle MV may be operated by the occupant, and as another example, may be operated by an autonomous driving control module provided in the vehicle MV or an external control module provided separately from the vehicle MV. there is.

드론 디바이스(DRM)는 차량(MV)과 이격된 지점에서 비행할 수 있고, 드론 디바이스(DRM)는 적어도 촬영 모듈을 구비하여 지면 영상 정보를 획득할 수 있다.The drone device DRM may fly at a point spaced apart from the vehicle MV, and the drone device DRM may have at least a photographing module to acquire ground image information.

구체적 예로서 드론 디바이스(DRM)는 촬영 구역(EAR)에 대한 영상 정보를 획득할 수 있다.As a specific example, the drone device (DRM) may acquire image information about the photographing area (EAR).

이러한 촬영 구역(EAR)은 드론 디바이스(DRM)의 촬영 모듈의 수준에 따라 상이할 수 있다. 또한 드론 디바이스(DRM)의 비행중 고도 등에 따라 변할 수도 있다.The imaging area EAR may be different depending on the level of the imaging module of the drone device DRM. In addition, it may change according to the altitude of the drone device (DRM) during flight.

차량(MV)은 드론 디바이스(DRM)가 획득한 촬영 구역(EAR)의 영상 정보를 획득할 수 있다.The vehicle MV may acquire image information of the shooting area EAR acquired by the drone device DRM.

드론 디바이스(DRM)가 획득한 영상 정보인 이격 영상 정보를 통하여 본 실시예의 카메라 기반 차량 주행 정보 제어 시스템은 촬영 구역(EAR)에 주행 특이 지점 발생 여부를 용이하게 파악할 수 있고, 주행 특이 지점이 발생한 경우 주행 특이 지점 발생 모드로 주행 제어 모드를 변경할 수 있다.The camera-based vehicle driving information control system of this embodiment can easily determine whether a driving singular point has occurred in the shooting area (EAR) through the distance image information, which is image information acquired by the drone device (DRM), and the driving singular point occurs. In this case, the driving control mode can be changed to the driving singular point generation mode.

도 11 내지 도 14는 본 발명의 일 실시예에 관한 카메라 기반 차량 주행 정보 제어 시스템의 동작을 예시적으로 설명하기 위한 도면들이다.11 to 14 are diagrams for explaining an operation of a camera-based vehicle driving information control system according to an embodiment of the present invention.

도 11을 참조하면 도로에 도로 상황 표시 구조물(EGAI)가 배치되어 있다. 이러한 Referring to FIG. 11 , a road condition indicating structure EGAI is disposed on the road. Such

도로는 경계선(GL), 중앙선(CL), 제1 차선(CL1), 제2 차선(CL2) 및 제3 차선(CL3)을 포함할 수 있다. The road may include a boundary line GL, a center line CL, a first lane CL1 , a second lane CL2 , and a third lane CL3 .

또한, 제1 차선(CL1), 제2 차선(CL2) 및 제3 차선(CL3)의 각각에 인접하도록 제1 차로(CA1), 제2 차로(CA2), 제3 차로(CA3) 및 제4 차로(CA4)가 형성될 수 있다. In addition, the first lane CA1 , the second lane CA2 , the third lane CA3 and the fourth lane are adjacent to each of the first lane CL1 , the second lane CL2 and the third lane CL3 . A road CA4 may be formed.

예를들면 도 11에 도시한 도로는 왕복 8차로를 구비하는 도로일 수 있다. 그러나 이는 설명의 편의를 위한 것으로서 차선의 개수 및 차로의 개수는 다양하게 결정될 수 있고, 본 실시예는 이러한 차선의 개수 및 차로의 개수의 다양한 조건에서 이용될 수 있다.For example, the road shown in FIG. 11 may be a road having 8 round trip lanes. However, this is for convenience of description, and the number of lanes and the number of lanes may be determined in various ways, and the present embodiment may be used under various conditions of the number of lanes and the number of lanes.

도 11을 참조하면 도로 상황 표시 구조물(EGAI)가 배치되어 있다. 예를들면 제1 차로(CA1)에 도로 상황 표시 구조물(EGAI)가 배치된 것이 도시되어 있다. 도로 상황 표시 구조물(EGAI)은 이동식 구조물일 수 있고, 구체적 예로서 주행 특이 지점을 고지하는 콘 형태를 가질 수 있다.Referring to FIG. 11 , a road condition indicating structure EGAI is disposed. For example, it is shown that the road condition indicating structure EGAI is disposed on the first lane CA1. The road condition indicating structure EGAI may be a mobile structure, and as a specific example, may have a cone shape for notifying a specific driving point.

선택적 실시예로서 제1 차로(CA1)상의 통행 제한 사유 포인트(EGA)의 전방에 도로 상황 표시 구조물(EGAI)가 배치되어 있다.As an optional embodiment, a road condition indicating structure EGAI is disposed in front of the traffic restriction cause point EGA on the first lane CA1.

통행 제한 사유 포인트(EGA)는 주행 특이 지점 발생 영역으로서 제1 차로(CA1)상의 통행을 제한하는 원인이 되는 것으로서, 예를들면 도로 공사 지점, 사고 지점 또는 씽크홀과 같은 도로 파손 지점을 포함할 수 있다. 그 외에도 통행 제한 사유 발생 포인트(EGA)는 도로의 제1 차로(CA1)상의 통행을 제한하기 위한 다양한 종류를 포함할 수 있다.An EGA is an area where a driving singular point occurs, which is a cause of restricting the passage on the first lane CA1. can In addition, the passage restriction cause occurrence point EGA may include various types for restricting passage on the first lane CA1 of the road.

도로 상의 공중에서는 드론 디바이스(DRM)을 통하여 촬영 구역(EAR)의 영상 정보를 획득할 수 있고, 예를들면 촬영 구역(EAR) 상의 도로 상황 표시 구조물(EGAI)의 배치를 확인할 수 있다. In the air on the road, image information of the photographing area EAR may be obtained through the drone device DRM, and, for example, the arrangement of the road condition indication structure EGAI on the photographing area EAR may be confirmed.

본 실시예의 주행 정보 제어 시스템은 이러한 도로 상황 표시 구조물(EGAI)의 배치를 확인하여 이러한 정보가 설정 조건에 부합함을 확인한 후에 차량(MV1)과 멀리 떨어진 이격 지점에 주행 특이 지점이 발생함을 파악하고 차량(MV1)에 대하여 주행 특이 지점 발생 모드로 변경하여 주행 제어 또는 주행 정보 제어를 수행할 수 있다.The driving information control system of the present embodiment checks the arrangement of the road condition indication structure (EGAI), and after confirming that the information meets the set condition, it is determined that a driving singular point occurs at a point far away from the vehicle MV1 and change to the driving singular point generation mode for the vehicle MV1 to perform driving control or driving information control.

예를들면 차량(MV1)의 탑승자에게 이러한 주행 특이 지점을 발생을 고지하고, 차량(MV1)의 차로 변경, 예를들면 주행 특이 지점 비발생한 제2 차로(CA2), 제3 차로(CA3) 및 제4 차로(CA4)로의 차로 변경 정보를 고지할 수 있다.For example, the occupant of the vehicle MV1 is notified of the occurrence of such a driving singular point, and the lane of the vehicle MV1 is changed, for example, the second lane CA2, the third lane CA3, and the driving singular point does not occur. Lane change information to the fourth lane CA4 may be notified.

또한, 이러한 주행 특이 지점까지 남은 거리를 고지하고, 차로 변경을 수행해야 하는 임계적 시간 범위를 고지할 수 있다.In addition, the remaining distance to the driving singular point may be notified, and a critical time range in which a lane change should be performed may be notified.

한편, 주행 특이 지점 발생 모드로 변경 후 차량(MV1)에 대한 자율 주행 제어 시 주행 특이 지점 비발생의 제2 차로(CA2), 제3 차로(CA3) 및 제4 차로(CA4)로의 차로 변경하도록 운행 제어 신호를 발생할 수 있다.On the other hand, when the autonomous driving control for the vehicle MV1 is changed to the driving singular point generation mode, the lanes are changed to the second lane (CA2), the third lane (CA3), and the fourth lane (CA4) where the driving singular point does not occur. A driving control signal may be generated.

이를 통하여 차량(MV1)의 탑승자들이 시각적으로 또는 차량(MV1)의 카메라부가 통행 제한 사유 포인트(EGA)를 확인할 수 없는 거리에서 차량(MV1)이 주행중인 경우에 주행 특이 지점에 대한 정보 확인 및 주행 편의성과 안전성을 향상할 수 있다.Through this, when the vehicle MV1 is driving at a distance where the occupants of the vehicle MV1 cannot visually or the camera unit of the vehicle MV1 can confirm the passage restriction point EGA, information about the driving specific point and driving Convenience and safety can be improved.

또한, 차량(MV1)의 주행 중 특이 지점 발상 모드 변경전과 변경후에 카메라부를 통한 정보 획득 및 드론 디바이스를 통한 정보 획득과 정보 이용의 수준을 변경할 수 있고, 이에 따라 차량의 주행 효율성을 향상할 수 있다.In addition, it is possible to change the level of information acquisition through the camera unit and information acquisition and information use through the drone device before and after changing the singular point idea mode while driving the vehicle MV1, thereby improving the driving efficiency of the vehicle. .

도 12를 참조하면 도로에 도로 상황 표시 구조물(EGAI)가 배치되어 있다. Referring to FIG. 12 , a road condition indicating structure EGAI is disposed on the road.

또한 도 12를 참조하면 인공 위성(STM)을 통하여 촬영한 도로 상의 촬영 구역의 영상 정보를 획득할 수 있고, 이를 통하여 도로 상황 표시 구조물(EGAI)의 배치를 확인할 수 있다. Also, referring to FIG. 12 , image information of a photographing area on a road photographed through an artificial satellite (STM) may be acquired, and the arrangement of the road condition indicating structure (EGAI) may be confirmed through this.

본 실시예의 주행 정보 제어 시스템은 인공 위성(STM)을 통하여 촬영한 도로 상의 촬영 구역의 영상 정보를 이용하여 도로 상황 표시 구조물(EGAI)의 배치를 확인하여 이러한 정보가 설정 조건에 부합함을 확인한 후에 차량(MV1)과 멀리 떨어진 이격 지점에 주행 특이 지점이 발생함을 파악하고 차량(MV1)에 대하여 주행 특이 지점 발생 모드로 변경하여 주행 제어 또는 주행 정보 제어를 수행할 수 있다.The driving information control system of this embodiment checks the arrangement of the road condition indication structure (EGAI) using the image information of the photographing area on the road photographed through the artificial satellite (STM), and after confirming that this information meets the setting conditions, It is possible to recognize that a driving singular point occurs at a point far away from the vehicle MV1 and change to a driving singular point generating mode for the vehicle MV1 to perform driving control or driving information control.

도 13을 참조하면 도로에 배치된 도로 상황 표시 구조물(EGAI)가 배치되어 있다. Referring to FIG. 13 , a road condition indicating structure EGAI disposed on a road is disposed.

또한 도 13을 참조하면 도로 정보용 카메라(CTM)을 통하여 촬영한 도로 상의 촬영 구역의 영상 정보를 획득할 수 있고, 이를 통하여 도로 상황 표시 구조물(EGAI)의 배치를 확인할 수 있다. Also, referring to FIG. 13 , image information of a photographing area on a road photographed through a road information camera (CTM) may be acquired, and the arrangement of the road condition indicating structure (EGAI) may be confirmed through this.

이 때, 제1 도로 상황 표시 구조물(EGAIA) 및 제2 도로 상황 표시 구조물(EGAIB)가 배치될 수 있고, 이들의 배치 간격(W)을 파악할 수 있다.In this case, the first road condition indication structure EGAIA and the second road condition indication structure EGAIB may be disposed, and an arrangement interval W between them may be determined.

이를 통하여 제1 차로(CA1) 및 제2 차로(CA2)가 주행 특이 지점 발생 지점임을 파악할 수 있다.Through this, it can be determined that the first lane CA1 and the second lane CA2 are the driving singular point occurrence points.

이러한 복수의 도로 상황 표시 구조물에 대한 내용은 전술한 실시예 및 후술할 실시예에도 선택적으로 적용할 수 있다.The contents of the plurality of road condition display structures may be selectively applied to the above-described embodiments and the embodiments to be described later.

본 실시예의 주행 정보 제어 시스템은 도로 정보용 카메라(CTM)를 통하여 촬영한 도로 상의 촬영 구역의 영상 정보를 이용하여 복수의 도로 상황 표시 구조물의 배치 형태 및 배치 간격 등을 확인하여 이러한 정보가 설정 조건에 부합함을 확인한 후에 차량(MV1)과 멀리 떨어진 이격 지점에 주행 특이 지점이 발생함을 파악하고 차량(MV1)에 대하여 주행 특이 지점 발생 모드로 변경하여 주행 제어 또는 주행 정보 제어를 수행할 수 있다.The driving information control system of this embodiment uses the image information of the shooting area on the road captured by the road information camera (CTM) to check the arrangement shape and arrangement interval of a plurality of road condition display structures, and such information is set condition After confirming that it conforms to the vehicle (MV1), it is determined that a driving singularity point occurs at a point far away from the vehicle (MV1), and the vehicle (MV1) is changed to the driving singular point generation mode to perform driving control or driving information control. .

도 14를 참조하면 도로에 배치된 복수의 도로 상황 표시 구조물(EGAIA, EGAIB, EGAIC, EGAID, EGAIE)가 배치되어 있다. Referring to FIG. 14 , a plurality of road condition indicating structures EGAIA, EGAIB, EGAIC, EGAID, and EGAIE disposed on a road are disposed.

또한 도 14를 참조하면 드론 디바이스(DRM)을 통하여 촬영 구역(EAR)의 영상 정보를 획득할 수 있다.Also, referring to FIG. 14 , image information of the capturing area EAR may be acquired through the drone device DRM.

이를 통하여 복수의 도로 상황 표시 구조물(EGAIA, EGAIB, EGAIC, EGAID, EGAIE)의 배치를 확인할 수 있다. Through this, the arrangement of the plurality of road condition indicating structures (EGAIA, EGAIB, EGAIC, EGAID, EGAIE) may be confirmed.

이 때, 복수의 도로 상황 표시 구조물(EGAIA, EGAIB, EGAIC, EGAID, EGAIE)의 도로 주행 방향으로의 길이(DS)를 파악할 수 있다.In this case, the length DS of the plurality of road condition display structures EGAIA, EGAIB, EGAIC, EGAID, and EGAIE in the road driving direction may be grasped.

이를 통하여 제1 차로(CA1)가 주행 특이 지점 발생 지점임을 파악할 수 있고, 제1 차로(CA1)에서 주행 특이 지점의 길이를 파악하여 주행중인 차량(MV1)의 차로 변경 예상 시나리오를 생성할 수 있다. 예를들면 제1 시점에 변경할 차로, 변경한 차로에서 주행을 유지하여야 하는 시간 또는 제2 시점에 변경할 새로운 차로 등의 정보를 생성할 수 있다.Through this, it can be determined that the first lane CA1 is the point where the driving singularity occurs, and the length of the driving singular point in the first lane CA1 can be identified to generate a lane change prediction scenario of the driving vehicle MV1. . For example, information such as a lane to be changed at the first time point, a time for maintaining driving in the changed lane, or a new lane to be changed at the second time point may be generated.

이러한 복수의 도로 상황 표시 구조물에 대한 내용은 전술한 실시예 및 후술할 실시예에도 선택적으로 적용할 수 있다.The contents of the plurality of road condition display structures may be selectively applied to the above-described embodiments and the embodiments to be described later.

본 실시예의 주행 정보 제어 시스템은 드론 디바이스(DRM)를 통하여 촬영한 도로 상의 촬영 구역의 영상 정보를 이용하여 복수의 도로 상황 표시 구조물의 배치 형태 및 배치 간격 등을 확인하여 이러한 정보가 설정 조건에 부합함을 확인한 후에 차량(MV1)과 멀리 떨어진 이격 지점에 주행 특이 지점이 발생함을 파악하고 차량(MV1)에 대하여 주행 특이 지점 발생 모드로 변경하여 주행 제어 또는 주행 정보 제어를 수행할 수 있다.The driving information control system of this embodiment uses the image information of the shooting area on the road photographed through the drone device (DRM) to check the arrangement shape and arrangement interval of a plurality of road condition display structures, so that this information meets the setting conditions After confirming that the vehicle MV1 is separated from the vehicle MV1, it is determined that a driving singular point occurs, and the vehicle MV1 is changed to a driving singular point generation mode to perform driving control or driving information control.

도 15를 참조하면 도로에 배치된 복수의 도로 상황 표시 구조물(EGAIA, EGAIB, EGAIC, EGAID)가 배치되어 있다. Referring to FIG. 15 , a plurality of road condition indicating structures EGAIA, EGAIB, EGAIC, and EGAID disposed on a road are disposed.

또한 도 145 참조하면 드론 디바이스(DRM)을 통하여 촬영 구역(EAR)의 영상 정보를 획득할 수 있다.Also, referring to FIG. 145 , image information of the photographing area EAR may be acquired through the drone device DRM.

이를 통하여 복수의 도로 상황 표시 구조물(EGAIA, EGAIB, EGAIC, EGAID)의 배치를 확인할 수 있다. Through this, the arrangement of the plurality of road condition indicating structures (EGAIA, EGAIB, EGAIC, and EGAID) may be confirmed.

이 때, 복수의 도로 상황 표시 구조물(EGAIA, EGAIB, EGAIC, EGAID)의 도로 주행 방향으로의 길이(DS) 및 이와 교차하는 방향으로 배치된 전체 폭(W)을 파악할 수 있다.In this case, the length DS in the road driving direction of the plurality of road condition display structures EGAIA, EGAIB, EGAIC, and EGAID and the overall width W disposed in a direction intersecting therewith may be grasped.

이를 통하여 적어도 제1 차로(CA1) 및 제2 차로(CA2)가 주행 특이 지점 발생 지점임을 파악할 수 있고, 제3 차로(CA3)는 경계임을 파악할 수 있다.Through this, it may be determined that at least the first lane CA1 and the second lane CA2 are the driving singular point occurrence points, and the third lane CA3 may be recognized as a boundary.

이러한 복수의 도로 상황 표시 구조물에 대한 내용은 전술한 실시예 및 후술할 실시예에도 선택적으로 적용할 수 있다.The contents of the plurality of road condition display structures may be selectively applied to the above-described embodiments and the embodiments to be described later.

본 실시예의 주행 정보 제어 시스템은 드론 디바이스(DRM)를 통하여 촬영한 도로 상의 촬영 구역의 영상 정보를 이용하여 복수의 도로 상황 표시 구조물의 배치 형태 및 배치 간격 등을 확인하여 이러한 정보가 설정 조건에 부합함을 확인한 후에 차량(MV1)과 멀리 떨어진 이격 지점에 주행 특이 지점이 발생함을 파악하고 차량(MV1)에 대하여 주행 특이 지점 발생 모드로 변경하여 주행 제어 또는 주행 정보 제어를 수행할 수 있다.The driving information control system of this embodiment uses the image information of the shooting area on the road photographed through the drone device (DRM) to check the arrangement shape and arrangement interval of a plurality of road condition display structures, so that this information meets the setting conditions After confirming that the vehicle MV1 is separated from the vehicle MV1, it is determined that a driving singular point occurs, and the vehicle MV1 is changed to a driving singular point generation mode to perform driving control or driving information control.

도 16 및 도 17은 본 발명의 일 실시예에 관한 카메라 기반 차량 주행 정보 제어 시스템을 통하여 탑승자에게 정보를 고지하는 동작을 예시적으로 설명하기 위한 도면들이다.16 and 17 are diagrams for explaining an operation of notifying information to a passenger through a camera-based vehicle driving information control system according to an embodiment of the present invention.

도 16을 참조하면 디스플레이부(DSP)가 도시되어 있다. 이러한 디스플레이부(DSP)는 사용자, 예를들면 차량 탑승자의 단말기의 디스플레이부일 수 있다. 또한 다른 예로서 디스플레이부(DSP)는 사용자가 탑승하고 있는 차량에 배치된 디스플레이부일 수 있고, 구체적 예로서 대쉬보드, 계기판, 헤드업 디스플레이 등 차량에 장착 또는 배치될 수 있는 다양한 화면을 포함할 수 있다.Referring to FIG. 16 , the display unit DSP is illustrated. The display unit DSP may be a display unit of a terminal of a user, for example, a vehicle occupant. Also, as another example, the display unit DSP may be a display unit disposed on a vehicle in which the user is riding, and as a specific example, it may include various screens that may be mounted or disposed on the vehicle, such as a dashboard, an instrument panel, a head-up display, etc. there is.

선택적 실시예로서 디스플레이부(DSP)는 전술한 실시예들에서 설명한 차량들(MV1, MV2, MV3, MV4, MV5)에 구비되는 화면 중 하나일 수 있다.As an optional embodiment, the display unit DSP may be one of screens provided in the vehicles MV1, MV2, MV3, MV4, and MV5 described in the above-described embodiments.

예를들면 주행 특이 지점 발생한 경우 차량(MV1)의 주행 중 특이 지점 발생 모드로 주행 모드가 변경되고 디스플레이부(DSP)에는 이러한 특이 지점 발생 관련 정보가 디스플레이될 수 있다. 구체적 예로서 도 16에 도시한 것과 같이 디스플레이부(DSP)에 텍스트 형태로 특이 지점 발생 관련 정보(AST)가 디스플레이될 수 있고, 구체적 예로서 주행 특이 지점 발생 사실, 주행 특이 지점까지 남은 거리 및 차로 변경 등의 정보가 디스플레이될 수 있다.For example, when a driving singular point occurs, the driving mode is changed to the singular point generating mode while the vehicle MV1 is driving, and information related to the occurrence of the singular point may be displayed on the display unit DSP. As a specific example, as shown in FIG. 16 , the singular point occurrence related information AST may be displayed in text form on the display unit DSP. Information such as change may be displayed.

또한 도 17을 참조하면 다른 예로서 디스플레이부(DSP)에는 특이 지점 발생 관련 주행 제어 정보(ASTS)가 디스플레이될 수 있다. Also, referring to FIG. 17 , as another example, driving control information ASTMS related to occurrence of a singular point may be displayed on the display unit DSP.

특이 지점 발생 관련 주행 제어 정보(ASTS)는 차량 주행 변경 제어 정보를 포함할 수 있고, 예를들면 주행 변경 임계 시간 정보(TD)와 함께 디스플레이부(DSP)에 디스플레이할 수 있다. 도 17에는 예시적으로 5분이 도시되어 있고, 적어도 5분 전에 특이 지점 발생 관련 주행 제어 정보(ASTS)로서 디스플레이된 주행 변경 제어 정보에 대응하도록 주행 변경, 구체적 예로서 현재 주행중인 차량의 차로를 3차로로 변경할 것을 디스플레이할 수 있다.The driving control information related to the occurrence of the singular point (ASTS) may include vehicle driving change control information, for example, may be displayed on the display unit DSP together with the driving change threshold time information (TD). 17 exemplarily shows 5 minutes, and changes the driving to correspond to the driving change control information displayed as the driving control information (ASTS) related to the occurrence of a singular point at least 5 minutes before, as a specific example, the lane of the currently driving vehicle is changed to 3 The change to lane can be displayed.

전술한 것과 같이 본 발명의 일 실시예에 관한 카메라 기반 차량 주행 정보 제어 시스템은 카메라부의 하나 이상의 종류의 카메라 부재를 통하여 영상 정보를 획득하고, 이러한 영상 정보를 이용하여 주행에 필요한 다양한 요소, 예를들면 주행중인 도로의 경계선, 도로의 형태, 차선 및 차로의 정보, 인접한 차량의 정보 및 긴급 장애물 출현 등을 감지하여 차량의 주행의 편의성 및 안전성을 향상하고 탑승자의 운행 또는 차량 자율 주행 특성을 향상할 수 있다.As described above, the camera-based vehicle driving information control system according to an embodiment of the present invention acquires image information through one or more types of camera members of the camera unit, and uses such image information to select various elements necessary for driving, for example For example, it is possible to improve the convenience and safety of the vehicle by detecting the boundary line of the road being driven, the shape of the road, information on lanes and lanes, information about adjacent vehicles, and the appearance of emergency obstacles, and improve the driving characteristics of passengers or autonomous driving of the vehicle. can

또한, 차량의 주행 중에 차량과 이격된 곳의 이격 영상을 드론 등으로부터 획득할 수 있고, 이러한 획득한 정보를 분석하여 설정된 조건에 부합할 경우, 예를들면 공사 지점 발견 등의 특이 상황 발생으로 파악하고, 이를 주행 특이 지점 발생 모드로 차량의 주행 정보 제어 수준을 변경할 수 있다.In addition, a separation image of a place separated from the vehicle can be obtained from a drone while the vehicle is driving, and when the obtained information is analyzed and the set conditions are met, it is identified as an occurrence of a special situation such as a construction site discovery, for example. And, it is possible to change the driving information control level of the vehicle to the driving singular point generation mode.

주행 특이 지점 발생 모드로 변경되면 드론 등으로부터 이격 영상을 받는 속도 및 주기를 향상하여 더 신속하고 더 많은 정보를 획득하게 할 수 있다. 주행 특이 지점 발생 모드로 변경 전보다 변경 후에 외부의 드론 등으로부터 이격 영상을 받는 속도를 높이고 주기를 짧게 하여 이격 영상을 받는데 필요한 네트워크 부하 및 전력 소모를 감소할 수 있다. If it is changed to the driving singular point generation mode, it is possible to obtain more information faster and more quickly by improving the speed and period at which the distance image is received from a drone, etc. It is possible to reduce the network load and power consumption required to receive the separation image by increasing the speed of receiving the separation image from an external drone, etc. and shortening the period after the change to the driving singular point generation mode.

또한, 주행 특이 지점 발생 모드로 변경 후에 집중적으로 이격 영상을 받아 이를 분석하여 특이 지점 발생 위치, 차량 간의 거리 또는 남은 시간 등의 정보를 파악하여 차량의 탑승자 및 차량의 운행 모듈에 전송할 수 있다. In addition, after changing to the driving singular point generation mode, the separation image is intensively received, analyzed, and information such as the singular point occurrence location, the distance between vehicles, or the remaining time can be identified and transmitted to the occupant of the vehicle and the driving module of the vehicle.

또한, 주행 특이 지점 발생 모드로 변경 후에 이격 영상에 대한 집중 분석 및 차량의 카메라부를 통하여 획득한 근거리 영상 정보를 조합할 수 있고, 차량의 주행 시 주행의 형태를 변경해야 하는 경우 구체적인 변경 정보를 생성할 수 있다. 예를들면 주행 특이 지점으로부터의 영향을 최소화하는 차로를 파악할 수 있고, 이러한 차로로 주행중인 차로를 변경할 것을 고지하거나 차로 변경 운행 신호를 생성할 수 있다.In addition, after changing to the driving singular point generation mode, it is possible to combine the intensive analysis of the separation image and the short-distance image information obtained through the camera unit of the vehicle. can do. For example, it is possible to identify a lane that minimizes the influence from a driving singular point, and notify a change of a driving lane to such a lane or generate a lane change operation signal.

또한, 선택적 실시예로서 이러한 차로 변경 시, 차로 변경 시점에 대한 정보 또는 적어도 차로 변경을 해야하는 차로 변경 임계 시점 정보를 생성할 수 있다.In addition, as an optional embodiment, when the lane is changed, information on a lane change time or at least lane change threshold time point information at which a lane change is required may be generated.

이를 통하여 차량의 주행의 안전성, 편의성 및 쾌적한 주행을 용이하게 구현할 수 있다.Through this, it is possible to easily implement safety, convenience, and comfortable driving of the vehicle.

이와 같이 본 발명은 도면에 도시된 실시예를 참고로 설명되었으나 이는 예시적인 것에 불과하며, 당해 기술 분야에서 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 다른 실시예가 가능하다는 점을 이해할 것이다. 따라서, 본 발명의 진정한 기술적 보호 범위는 첨부된 특허청구범위의 기술적 사상에 의하여 정해져야 할 것이다.As such, the present invention has been described with reference to the embodiments shown in the drawings, which are merely exemplary, and those of ordinary skill in the art will understand that various modifications and equivalent other embodiments are possible therefrom. . Accordingly, the true technical protection scope of the present invention should be determined by the technical spirit of the appended claims.

실시예에서 설명하는 특정 실행들은 일 실시 예들로서, 어떠한 방법으로도 실시 예의 범위를 한정하는 것은 아니다. 또한, "필수적인", "중요하게" 등과 같이 구체적인 언급이 없다면 본 발명의 적용을 위하여 반드시 필요한 구성 요소가 아닐 수 있다.The specific implementations described in the embodiment are only embodiments, and do not limit the scope of the embodiment in any way. In addition, unless there is a specific reference such as "essential" or "importantly", it may not be a necessary component for the application of the present invention.

실시예의 명세서(특히 특허청구범위에서)에서 "상기"의 용어 및 이와 유사한 지시 용어의 사용은 단수 및 복수 모두에 해당하는 것일 수 있다. 또한, 실시 예에서 범위(range)를 기재한 경우 상기 범위에 속하는 개별적인 값을 적용한 발명을 포함하는 것으로서(이에 반하는 기재가 없다면), 상세한 설명에 상기 범위를 구성하는 각 개별적인 값을 기재한 것과 같다. 마지막으로, 실시 예에 따른 방법을 구성하는 단계들에 대하여 명백하게 순서를 기재하거나 반하는 기재가 없다면, 상기 단계들은 적당한 순서로 행해질 수 있다. 반드시 상기 단계들의 기재 순서에 따라 실시 예들이 한정되는 것은 아니다. 실시 예에서 모든 예들 또는 예시적인 용어(예들 들어, 등등)의 사용은 단순히 실시 예를 상세히 설명하기 위한 것으로서 특허청구범위에 의해 한정되지 않는 이상 상기 예들 또는 예시적인 용어로 인해 실시 예의 범위가 한정되는 것은 아니다. 또한, 통상의 기술자는 다양한 수정, 조합 및 변경이 부가된 특허청구범위 또는 그 균등물의 범주 내에서 설계 조건 및 팩터에 따라 구성될 수 있음을 알 수 있다.In the specification of the embodiments (especially in the claims), the use of the term “above” and similar referential terms may be used in both the singular and the plural. In addition, when a range is described in the embodiment, it includes the invention to which individual values belonging to the range are applied (unless there is a description to the contrary), and each individual value constituting the range is described in the detailed description. . Finally, the steps constituting the method according to the embodiment may be performed in an appropriate order unless the order is explicitly stated or there is no description to the contrary. The embodiments are not necessarily limited according to the order of description of the above steps. The use of all examples or exemplary terms (eg, etc.) in the embodiment is merely for describing the embodiment in detail, and unless it is limited by the claims, the scope of the embodiment is limited by the examples or exemplary terminology. it is not In addition, those skilled in the art will appreciate that various modifications, combinations, and changes can be made according to design conditions and factors within the scope of the appended claims or equivalents thereof.

100: 카메라 기반 차량 주행 정보 제어 시스템
110: 카메라부
120: 이격 영상 정보 제어부
130: 판단 제어부
140: 운전 정보 생성 제어부
100: camera-based vehicle driving information control system
110: camera unit
120: separation image information control unit
130: judgment control unit
140: driving information generation control unit

Claims (5)

차량에 배치되어 차량의 주행 상황 정보를 감지하는 하나 이상의 카메라 부재를 포함하는 카메라부;
상기 차량과 이격된 이격 지점의 이격 영상 정보를 획득하고 이용하는 이격 영상 정보 제어부;
상기 카메라부가 감지한 주행 상황 정보와 상기 이격 영상 정보 제어부를 통하여 획득한 이격 영상 정보를 선택적으로 이용하는 판단 제어부; 및
상기 판단 제어부가 이용한 정보에 기반하여 상기 차량의 운전에 필요한 정보를 생성하는 운전 정보 생성 제어부를 포함하고,
상기 카메라부가 감지한 주행 상황 정보 및 상기 이격 영상 정보 제어부가 획득한 이격 영상 정보를 이용하다가,
상기 판단 제어부는, 상기 이격 영상 정보가 미리 설정한 주행 특이 지점 정보에 대응한 설정 조건에 부합할 경우를 파악하고,
상기 설정 조건에 부합한다고 판단된 경우 상기 차량의 주행 정보 취급을 위한 시스템의 처리 모드를 변경하는 것을 포함하는,
카메라 기반 차량 주행 정보 제어 시스템.
a camera unit disposed in the vehicle and including one or more camera members configured to detect driving condition information of the vehicle;
a separation image information controller for obtaining and using separation image information of a separation point spaced apart from the vehicle;
a determination control unit that selectively uses the driving situation information detected by the camera unit and the separation image information obtained through the separation image information control unit; and
a driving information generation control unit for generating information necessary for driving the vehicle based on the information used by the determination control unit;
While using the driving situation information detected by the camera unit and the separation image information obtained by the separation image information control unit,
The determination control unit detects a case in which the separation image information meets a setting condition corresponding to the predetermined driving singular point information,
including changing a processing mode of a system for handling driving information of the vehicle when it is determined that the setting condition is satisfied,
Camera-based vehicle driving information control system.
제1 항에 있어서,
상기 카메라부는 복수의 카메라 부재를 포함하는 카메라 기반 차량 주행 정보 제어 시스템.
According to claim 1,
The camera unit is a camera-based vehicle driving information control system including a plurality of camera members.
제1 항에 있어서,
상기 이격 영상 정보 제어부는 상기 차량과 이격된 영역에서 비행하는 드론 디바이스, 위성 또는 도로에 설치된 도로 정보용 카메라로부터 영상 정보를 획득하는 카메라 기반 차량 주행 정보 제어 시스템.
According to claim 1,
The separation image information control unit is a camera-based vehicle driving information control system for acquiring image information from a drone device flying in an area separated from the vehicle, a satellite, or a road information camera installed on a road.
차량에 배치되는 하나 이상의 카메라 부재를 포함하는 카메라부를 통하여 차량의 주행 상황 정보를 감지하는 카메라부 제어 단계;
상기 차량과 이격된 이격 지점의 이격 영상 정보를 획득하고 이용하는 이격 영상 정보 제어 단계;
상기 카메라부 제어 단계를 통하여 감지된 주행 상황 정보와 상기 이격 영상 정보 제어 단계를 통하여 획득한 이격 영상 정보를 선택적으로 이용하는 판단 제어 단계; 및
상기 판단 제어 단계에서 이용한 정보에 기반하여 상기 차량의 운전에 필요한 정보를 생성하는 운전 정보 생성 제어 단계를 포함하고,
상기 카메라부 제어 단계에서 감지된 주행 상황 정보 및 상기 이격 영상 정보 제어 단계에서 획득한 이격 영상 정보를 이용하다가,
상기 판단 제어 단계에서는, 상기 이격 영상 정보가 미리 설정한 주행 특이 지점 정보에 대응한 설정 조건에 부합할 경우를 파악하고,
상기 설정 조건에 부합한다고 판단된 경우 상기 차량의 주행 정보 취급을 위한 시스템의 처리 모드를 변경하는 것을 포함하는,
카메라 기반 차량 주행 정보 제어 방법.
a camera unit control step of detecting driving situation information of the vehicle through a camera unit including one or more camera members disposed in the vehicle;
a separation image information control step of acquiring and using separation image information of a separation point spaced apart from the vehicle;
a judgment control step of selectively using the driving situation information detected through the camera unit control step and the separation image information acquired through the separation image information control step; and
a driving information generation control step of generating information necessary for driving the vehicle based on the information used in the judgment control step;
While using the driving situation information detected in the camera unit control step and the separation image information obtained in the separation image information control step,
In the determination control step, it is determined when the separation image information meets a setting condition corresponding to the driving singular point information set in advance,
including changing a processing mode of a system for handling driving information of the vehicle when it is determined that the setting condition is satisfied,
A camera-based vehicle driving information control method.
제4 항에 있어서,
상기 판단 제어 단계에서는,
상기 차량과 이격된 영역에서 발생한 주행 특이 지점을 파악하는 단계를 수행하는 카메라 기반 차량 주행 정보 제어 방법.
5. The method of claim 4,
In the decision control step,
A camera-based vehicle driving information control method for performing the step of identifying a driving singular point occurring in an area separated from the vehicle.
KR1020200142456A 2020-10-29 2020-10-29 Vehicle driving information control system based camera and method of control ling vehicle driving information based camera Active KR102384404B1 (en)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020200142456A KR102384404B1 (en) 2020-10-29 2020-10-29 Vehicle driving information control system based camera and method of control ling vehicle driving information based camera
PCT/KR2020/015366 WO2022092381A1 (en) 2020-10-29 2020-11-05 Camera-based vehicle driving information control system and camera-based vehicle driving information control method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020200142456A KR102384404B1 (en) 2020-10-29 2020-10-29 Vehicle driving information control system based camera and method of control ling vehicle driving information based camera

Publications (1)

Publication Number Publication Date
KR102384404B1 true KR102384404B1 (en) 2022-04-08

Family

ID=81183066

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020200142456A Active KR102384404B1 (en) 2020-10-29 2020-10-29 Vehicle driving information control system based camera and method of control ling vehicle driving information based camera

Country Status (2)

Country Link
KR (1) KR102384404B1 (en)
WO (1) WO2022092381A1 (en)

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR200294619Y1 (en) * 2002-08-26 2002-11-08 석정호 System for Sensing Car
JP2006221339A (en) * 2005-02-09 2006-08-24 Honda Motor Co Ltd Vehicle steering system
JP2016151771A (en) * 2015-02-16 2016-08-22 修一 田山 Approaching body alarm notification device in automobile
KR20160134005A (en) * 2015-05-14 2016-11-23 경희대학교 산학협력단 The method of ensuring visibility using drone and adjacent vehicle and the display system using them
JP2018077652A (en) * 2016-11-09 2018-05-17 株式会社野村総合研究所 Vehicle driving support system and housing complex
WO2018155159A1 (en) * 2017-02-24 2018-08-30 パナソニックIpマネジメント株式会社 Remote video output system and remote video output device
KR20200023674A (en) * 2018-08-16 2020-03-06 주식회사 코암 Autonomous vehicle control system and method

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101315466B1 (en) * 2009-11-30 2013-10-04 한국전자통신연구원 Apparatus and method for controlling vehicle based on infra sensor
CN105825713B (en) * 2016-04-08 2018-07-24 重庆大学 The method of operation of vehicle-mounted unmanned aerial vehicle DAS (Driver Assistant System)
US10562624B2 (en) * 2016-11-18 2020-02-18 Magna Mirrors Of America, Inc. Vehicle vision system using aerial camera
CN109737983B (en) * 2019-01-25 2022-02-22 北京百度网讯科技有限公司 Method and device for generating a travel route

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR200294619Y1 (en) * 2002-08-26 2002-11-08 석정호 System for Sensing Car
JP2006221339A (en) * 2005-02-09 2006-08-24 Honda Motor Co Ltd Vehicle steering system
JP2016151771A (en) * 2015-02-16 2016-08-22 修一 田山 Approaching body alarm notification device in automobile
KR20160134005A (en) * 2015-05-14 2016-11-23 경희대학교 산학협력단 The method of ensuring visibility using drone and adjacent vehicle and the display system using them
JP2018077652A (en) * 2016-11-09 2018-05-17 株式会社野村総合研究所 Vehicle driving support system and housing complex
WO2018155159A1 (en) * 2017-02-24 2018-08-30 パナソニックIpマネジメント株式会社 Remote video output system and remote video output device
KR20200023674A (en) * 2018-08-16 2020-03-06 주식회사 코암 Autonomous vehicle control system and method

Also Published As

Publication number Publication date
WO2022092381A1 (en) 2022-05-05

Similar Documents

Publication Publication Date Title
CN106415693B (en) Vehicle cognitive notification device and vehicle cognitive notification system
JP7188394B2 (en) Image processing device and image processing method
JP7136106B2 (en) VEHICLE DRIVING CONTROL DEVICE, VEHICLE DRIVING CONTROL METHOD, AND PROGRAM
KR102180615B1 (en) Method for opening and closing door of vehicle for safe getting off of passenger
CN109781124B (en) Unmanned aerial vehicle rescue method and device, unmanned aerial vehicle and vehicle
US11590985B2 (en) Information processing device, moving body, information processing method, and program
WO2018180579A1 (en) Imaging control device, control method for imaging control device, and mobile object
US20190286135A1 (en) Vehicle control device, vehicle control method, and storage medium
JPWO2019181284A1 (en) Information processing equipment, mobile devices, and methods, and programs
CN108701418A (en) Conflict Resolution System for operation automation vehicle
KR20160147559A (en) Driver assistance apparatus for vehicle and Vehicle
US20200191975A1 (en) Information processing apparatus, self-position estimation method, and program
US20220319192A1 (en) Driving assistance device, driving assistance method, and non-transitory computer-readable medium
US11500381B2 (en) Stopping position control device, stopping position control method, and computer program for stopping position control
JP2022140026A (en) Image processing device, image processing method and program
JP2005005978A (en) Surrounding condition recognition system
US10249192B2 (en) Notification regarding an estimated movement path of a vehicle
CN115384540A (en) Vehicle-mounted safe driving detection device
KR102384404B1 (en) Vehicle driving information control system based camera and method of control ling vehicle driving information based camera
KR20210000220A (en) Method And Apparatus for using an UAV in a vehicle
US20220171063A1 (en) Target detection apparatus and vehicle having the same mounted thereon
KR20230114778A (en) Driving environment sharing system for autonomous vehicles
CN112389324A (en) Anti-collision system and method after vehicle fault
KR102568288B1 (en) Traffic safety system by communication with self driving cars
KR102058967B1 (en) Bus control system for safety operation

Legal Events

Date Code Title Description
PA0109 Patent application

Patent event code: PA01091R01D

Comment text: Patent Application

Patent event date: 20201029

PA0201 Request for examination
PE0902 Notice of grounds for rejection

Comment text: Notification of reason for refusal

Patent event date: 20210910

Patent event code: PE09021S01D

PE0701 Decision of registration

Patent event code: PE07011S01D

Comment text: Decision to Grant Registration

Patent event date: 20220104

GRNT Written decision to grant
PR0701 Registration of establishment

Comment text: Registration of Establishment

Patent event date: 20220404

Patent event code: PR07011E01D

PR1002 Payment of registration fee

Payment date: 20220405

End annual number: 3

Start annual number: 1

PG1601 Publication of registration
PR1001 Payment of annual fee

Payment date: 20250401

Start annual number: 4

End annual number: 4