[go: up one dir, main page]

KR102231556B1 - Apparatus and method for displaying buliding data around the junction when driving in an alley - Google Patents

Apparatus and method for displaying buliding data around the junction when driving in an alley Download PDF

Info

Publication number
KR102231556B1
KR102231556B1 KR1020140162259A KR20140162259A KR102231556B1 KR 102231556 B1 KR102231556 B1 KR 102231556B1 KR 1020140162259 A KR1020140162259 A KR 1020140162259A KR 20140162259 A KR20140162259 A KR 20140162259A KR 102231556 B1 KR102231556 B1 KR 102231556B1
Authority
KR
South Korea
Prior art keywords
image
intersection
server
driving
extracted
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
KR1020140162259A
Other languages
Korean (ko)
Other versions
KR20160060278A (en
Inventor
서선미
박연희
Original Assignee
현대엠엔소프트 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 현대엠엔소프트 주식회사 filed Critical 현대엠엔소프트 주식회사
Priority to KR1020140162259A priority Critical patent/KR102231556B1/en
Publication of KR20160060278A publication Critical patent/KR20160060278A/en
Application granted granted Critical
Publication of KR102231556B1 publication Critical patent/KR102231556B1/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/38Electronic maps specially adapted for navigation; Updating thereof
    • G01C21/3804Creation or updating of map data
    • G01C21/3807Creation or updating of map data characterised by the type of data
    • G01C21/3811Point data, e.g. Point of Interest [POI]
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/28Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network with correlation of data from several navigational instruments
    • G01C21/30Map- or contour-matching
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34Route searching; Route guidance
    • G01C21/36Input/output arrangements for on-board computers
    • G01C21/3602Input other than that of destination using image analysis, e.g. detection of road signs, lanes, buildings, real preceding vehicles using a camera
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34Route searching; Route guidance
    • G01C21/36Input/output arrangements for on-board computers
    • G01C21/3626Details of the output of route guidance instructions
    • G01C21/3647Guidance involving output of stored or live camera images or video streams
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/38Electronic maps specially adapted for navigation; Updating thereof
    • G01C21/3885Transmission of map data to client devices; Reception of map data by client devices
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/30Determination of transform parameters for the alignment of images, i.e. image registration
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/09Arrangements for giving variable traffic instructions
    • G08G1/0962Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages

Landscapes

  • Engineering & Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Navigation (AREA)
  • Instructional Devices (AREA)

Abstract

본 발명은 세도로 주행시 교차로 주변 건물 표시 방법에 관한 것으로서, 랜드마크나 관심지점에 관한 사전 정보가 없는 교차로 진입 지점의 경우에 작은 건물 또는 주택이나 빌라 등에 대한 건물 명칭이나 실사 이미지를 이용하여 지도에 중첩하여 표시되도록 하여 실시간이며 사실적으로 경로 안내를 할 수 있도록 하는 세도로 주행시 교차로 주변 건물 표시 방법에 관한 것이다.
본 발명의 세도로 주행시 교차로 주변 건물 표시 장치에 있어서, 차량의 경로 전방에 교차로 진입 지점의 건물 명칭이 지도 데이터에 존재하는지 판단하는 제어부, 블랙박스로부터 촬영된 영상 이미지를 수신하여 서버로 전송하는 통신부, 서버로부터 수신받은 실사 이미지와 정합 이미지를 저장하는 이미지 저장부, 실사 이미지 및 정합 이미지로부터 추출 이미지를 생성하는 이미지 추출부 및 추출 이미지를 내비게이션의 지도에 중첩하여 표시하며, 상기 건물 명칭이 상기 지도 데이터에 존재하는 경우 상기 건물 명칭을 확대하여 상기 추출 이미지와 함께 표시하는 디스플레이부를 포함함에 기술적 특징이 있다.
The present invention relates to a method of displaying buildings around an intersection when driving on three roads. In the case of an intersection entry point without prior information on a landmark or point of interest, the present invention is displayed on a map by using the building name or photorealistic image of a small building or house or villa. The present invention relates to a method of displaying buildings around an intersection when driving on three roads, allowing real-time and realistic route guidance by overlapping display.
In the apparatus for displaying buildings around an intersection when driving on three roads of the present invention, a control unit that determines whether a building name of an intersection entry point exists in the map data in front of a path of a vehicle, and a communication unit that receives a video image captured from a black box and transmits it to a server. , An image storage unit for storing the real image and the matched image received from the server, an image extracting unit for generating an extracted image from the real image and the matched image, and the extracted image are superimposed on the map of the navigation and displayed, and the building name is the map If it exists in the data, there is a technical feature in that the building name is enlarged and displayed together with the extracted image.

Description

세도로 주행시 교차로 주변 건물 표시 장치 및 방법{Apparatus and method for displaying buliding data around the junction when driving in an alley}Apparatus and method for displaying buliding data around the junction when driving in an alley}

본 발명은 세도로 주행시 교차로 주변 건물 표시 장치 및 방법에 관한 것으로서, 랜드마크나 관심지점에 관한 사전 정보가 없는 교차로 진입 지점의 경우에 작은 건물 또는 주택이나 빌라 등에 대한 건물 명칭이나 실사 이미지를 이용하여 지도에 중첩하여 표시되도록 하여 실시간이며 사실적으로 경로 안내를 할 수 있도록 하는 세도로 주행시 교차로 주변 건물 표시 장치 및 방법에 관한 것이다.
The present invention relates to an apparatus and method for displaying buildings around an intersection when driving on three roads. In the case of an intersection entry point without prior information about a landmark or point of interest, the present invention uses a building name or photorealistic image for a small building or house or villa. The present invention relates to an apparatus and method for displaying buildings around an intersection when driving on three roads, allowing real-time and realistic route guidance by being superimposed on a map.

일반적으로 내비게이션은 실제 도로나 건물, 시설물에 대한 정보를 일정한 형식에 따라 수치적인 지도데이터로 내비게이션 단말에 저장하고 GPS로부터 받은 차량의 현재 위치 좌표에 따라 지도데이터를 매칭시켜 이동체에 대한 목적지까지의 경로를 화면을 통해 안내한다.In general, navigation stores information on actual roads, buildings, and facilities as numerical map data in a certain format in the navigation terminal and matches the map data according to the coordinates of the vehicle's current location received from GPS, and the route to the destination for the moving object. Is guided through the screen.

내비게이션과 더불어 운전자에게 많이 사용되는 차량용 블랙박스는 구비된 카메라로 차량 주변의 영상을 촬영하여 동영상으로 기록해서, 교통 사고 등의 사고 발생시의 상황 및 정황을 파악하는데 필요한 정보를 제공한다.In addition to navigation, the vehicle black box, which is widely used by drivers, captures images around the vehicle with an equipped camera and records it as a video, thereby providing information necessary to grasp the situation and the situation at the time of an accident such as a traffic accident.

종래기술인 대한민국 등록특허공보 제10-0979640 '위치에 따른 실사 확대 표현 방법 및 장치'는 GPS 위성으로부터 이동체의 위치 정보를 수신하고 수신된 위치 정보를 기초로, 이동체가 가상으로 분할된 특정 도로 내 진입 영역 중 제1 진입 영역에 위치하는지 여부를 판단하여 판단 결과에 따른 제1 진입 영역에 맵핑되어 있는 제1 진입 영역의 이미지 정보를 추출하여 디스플레이하는 기술에 관한 것이다.Korean Patent Registration No. 10-0979640, a prior art,'A method and apparatus for real-life enlarged expression according to location' receives location information of a moving object from a GPS satellite and enters a specific road where the moving object is virtually divided based on the received location information. The present invention relates to a technology for determining whether to be located in a first access area among areas, extracting and displaying image information of a first access area mapped to a first access area according to a determination result.

하지만, 이동체가 특정 도로를 주행중에 가상으로 분할된 어느 진입 영역에 있는지 여부를 판단하여 기설정된 각 진입 영역에 따라 서로 다른 이미지를 디스플레이하는 것이며, 랜드마크나 관심 지점이 내비게이션에 지도 정보로 매핑되어 저장되어 있지 않은 좁은 골목도로를 주행하는 경우에 교차로에 진입하게 되면 운전자가 회전 안내를 놓치는 문제점이 있다. However, it is determined whether the moving object is in a virtually divided entry area while driving on a specific road, and displays different images according to each preset entry area, and a landmark or point of interest is mapped to the navigation as map information. In the case of driving on a narrow alleyway that is not stored, there is a problem that the driver misses the turn guidance when entering the intersection.

또한, 내비게이션 장치에 경로에 해당하는 모든 실사 이미지를 생성하여 저장하는 것은 용량의 한계가 있으며 또한 최신의 이미지를 표현하기 위해서는 적어도 내비게이션의 지도DB를 업데이트할 때 함께 이미지 정보도 업데이트되어야 하는 문제점이 있다.
In addition, there is a limitation in the capacity to create and store all photorealistic images corresponding to the route in the navigation device, and there is a problem that the image information must be updated at least when updating the map DB of the navigation system in order to represent the latest image. .

상기와 같은 종래 기술의 문제점을 해결하기 위하여 안출된 본 발명은 골목도로와 같은 세도로에서 주행할 경우에 랜드 마크 또는 관심지점에 관한 지도 정보가 부족한 경우가 많은 가운데, 교차로 진입지점의 랜드마크로 지정되지 않은 작은 건물 또는 주택이나 빌라 등에 대한 건물 명칭을 확대하여 표시하여 주고, 실사 이미지를 이용하여 단말기의 지도에 중첩하여 표시되도록 안내하므로 입체적이고 사실적으로 교차로에서의 회전 안내를 할 수 있도록 하기 위한 목적이 있다.The present invention, which was devised to solve the problems of the prior art as described above, is designated as a landmark of an intersection entry point, among many cases where map information on a landmark or a point of interest is insufficient when driving on a three road such as an alleyway. It is intended to provide a three-dimensional and realistic rotation guide at an intersection because the name of the building is enlarged and displayed for small buildings, houses or villas, etc. There is this.

또한, 본 발명은 교차로 진입 안내에 필요한 이미지만을 추출하여 통신하도록 하므로 통신부하 및 데이터 처리 시간을 단축하여 실시간으로 교차로에서의 회전 안내를 할 수 있는 다른 목적이 있다.
In addition, since the present invention extracts and communicates only an image necessary for guidance on entering an intersection, there is another object of enabling a rotation guide at an intersection in real time by reducing a communication load and data processing time.

본 발명의 목적은 세도로 주행시 교차로 주변 건물 표시 장치에 있어서, 차량의 경로 전방에 교차로 진입 지점의 건물 명칭이 지도 데이터에 존재하는지 판단하는 제어부, 블랙박스로부터 촬영된 영상 이미지를 수신하여 서버로 전송하는 통신부, 상기 서버로부터 수신받은 실사 이미지와 정합 이미지를 저장하는 이미지 저장부, 상기 실사 이미지 및 상기 정합 이미지로부터 추출 이미지를 생성하는 이미지 추출부 및 상기 추출 이미지를 내비게이션의 지도에 중첩하여 표시하며, 상기 건물 명칭이 상기 지도 데이터에 존재하는 경우 상기 건물 명칭을 확대하여 상기 추출 이미지와 함께 표시하는 디스플레이부를 포함하여 이루어지는 것을 특징으로 하는 세도로 주행시 교차로 주변 건물 표시 장치에 의해 달성된다.An object of the present invention is to provide an apparatus for displaying buildings around an intersection while driving on three roads, a control unit that determines whether a building name of an intersection entry point exists in map data in front of a vehicle's path, and receives a video image captured from a black box and transmits it to a server. A communication unit to perform, an image storage unit that stores the real image received from the server and a matched image, an image extracting unit that generates an extracted image from the real image and the matched image, and displays the extracted image by superimposing it on a map of the navigation, When the building name is present in the map data, the building name is enlarged and displayed with the extracted image by a display unit for displaying the building name along with the extracted image.

또한, 본 발명의 다른 목적은 세도로 주행시 교차로 주변 건물 표시 방법에 있어서, 차량의 경로 전방에 교차로 진입 지점의 건물 명칭이 지도 데이터에 존재하는지 확인하는 제1 단계, 상기 건물 명칭이 상기 지도 데이터에 존재하는 경우 상기 건물 명칭을 확대하여 표시하는 제2 단계, 상기 교차로 진입 지점의 실사 이미지를 서버로 요청하는 제3 단계, 상기 실사 이미지로부터 교차로 진입 안내에 필요한 추출 이미지를 생성하는 제4 단계, 블랙박스에서 촬영된 영상 이미지를 상기 서버로 전송하는 제5 단계, 상기 영상 이미지의 정보에 포함된 위치 좌표가 상기 교차로 진입 지점과 일치하는지 판단하여 정합 이미지를 생성하는 제6 단계, 상기 정합 이미지를 상기 서버로부터 수신받아 추출 이미지를 생성하는 제7 단계 및 상기 추출 이미지를 지도에 매칭되도록 출력하는 제8 단계를 포함하여 구성하는 것을 특징으로 하는 세도로 주행시 교차로 주변 건물 표시 방법에 의해 달성된다.
In addition, another object of the present invention is a method for displaying buildings around an intersection when driving on three roads, the first step of checking whether a building name of an intersection entry point exists in the map data in front of a path of a vehicle, and the building name is in the map data. If present, the second step of expanding and displaying the building name, a third step of requesting a real image of the intersection entry point from the server, a fourth step of generating an extracted image required for guidance on entering the intersection from the real image, black A fifth step of transmitting a video image captured from a box to the server, a sixth step of generating a matched image by determining whether the location coordinates included in the information of the video image coincide with the entrance point of the intersection, and generating the matched image. It is achieved by a method for displaying buildings around an intersection when driving on a three road, comprising: a seventh step of generating an extracted image received from a server and an eighth step of outputting the extracted image to match a map.

따라서, 본 발명의 세도로 주행시 교차로 주변 건물 표시 방법은, 세도로에서 주행할 경우에 교차로 진입시 랜드 마크 또는 관심지점에 관한 지도 정보가 부족한 경우가 많은 가운데, 랜드마크로 지정되지 않은 작은 건물 또는 주택이나 빌라 등에 대한 건물 명칭 또는 실사 이미지를 이용하여 지도에 중첩하여 표시되도록 안내하므로 사실적으로 교차로에서의 회전 안내를 할 수 있는 효과가 있다.Accordingly, the method of displaying buildings around an intersection when driving on a three road of the present invention is a small building or house that is not designated as a landmark while there are many cases where map information about a landmark or a point of interest is insufficient when entering an intersection when driving on a three road. Since it is guided to be displayed by superimposing on the map using the name of the building or the photorealistic image of the villa, etc., there is an effect that it is possible to realistically guide the rotation at the intersection.

또한, 본 발명은 교차로 진입 안내에 필요한 이미지만을 추출하여 통신하도록 하므로 통신 부하 및 데이터 처리 시간을 단축하여 실시간으로 교차로에서의 회전 안내를 할 수 있는 다른 효과가 있다.
In addition, since the present invention extracts and communicates only an image necessary for guidance on entering an intersection, there is another effect of reducing the communication load and data processing time, thereby providing rotation guidance at the intersection in real time.

도 1은 본 발명에 따른 세도로 주행시 교차로 주변 건물 표시 장치의 구성도,
도 2는 본 발명에 따른 세도로 주행시 교차로 주변 건물 표시 방법의 순서도,
도 3은 본 발명에 따른 세도로 주행시 교차로 주변 건물 표시 방법에 있어서 이미지를 추출하는 일 실시예,
도 4는 본 발명에 따른 세도로 주행시 교차로 주변 건물 표시 방법의 실시예를 나타내는 제1 예시도,
도 5는 본 발명에 따른 세도로 주행시 교차로 주변 건물 표시 방법의 실시예를 나타내는 제2 예시도,
도 6은 본 발명에 따른 세도로 주행시 교차로 주변 건물 표시 방법의 실시예를 나타내는 제3 예시도이다.
1 is a block diagram of an apparatus for displaying buildings around an intersection when driving on three roads according to the present invention;
2 is a flowchart of a method for displaying buildings around an intersection when driving on three roads according to the present invention;
3 is an embodiment of extracting an image in the method for displaying buildings around an intersection when driving on three roads according to the present invention;
4 is a first exemplary view showing an embodiment of a method for displaying buildings around an intersection when driving on three roads according to the present invention;
5 is a second exemplary view showing an embodiment of a method for displaying buildings around an intersection when driving on three roads according to the present invention;
6 is a third exemplary view showing an embodiment of a method for displaying buildings around an intersection when driving on three roads according to the present invention.

본 명세서 및 청구범위에 사용된 용어나 단어는 통상적이거나 사전적인 의미로 한정해서 해석되어서는 아니 되며, 발명자는 그 자신의 발명을 가장 최선의 방법으로 설명하기 위해 용어의 개념을 적절하게 정의할 수 있다는 원칙에 입각하여 본 발명의 기술적 사상에 부합하는 의미와 개념으로 해석되어야만 한다.The terms or words used in the specification and claims should not be construed as being limited to their usual or dictionary meanings, and the inventor may appropriately define the concept of terms in order to describe his own invention in the best way. It should be interpreted as a meaning and concept consistent with the technical idea of the present invention on the basis of the principle that there is.

따라서, 본 명세서에 기재된 실시예와 도면에 도시된 구성은 본 발명의 가장 바람직한 일 실시예에 불과할 뿐이고 본 발명의 기술적 사상을 모두 대변하는 것은 아니므로, 본 출원시점에 있어서 이들을 대체할 수 있는 다양한 균등물과 변형예들이 있을 수 있음을 이해하여야 한다.Accordingly, the embodiments described in the present specification and the configurations shown in the drawings are only the most preferred embodiment of the present invention, and do not represent all the technical spirit of the present invention. It should be understood that there may be equivalents and variations.

이하 첨부된 도면을 참조하여 본 발명의 바람직한 실시예를 상세히 설명하기로 한다. Hereinafter, preferred embodiments of the present invention will be described in detail with reference to the accompanying drawings.

도 1은 본 발명에 따른 세도로 주행시 교차로 주변 건물 표시 장치의 구성도로서, 도 1에 도시된 바와 같이 본 발명은 차량의 내비게이션(100), 서버(200) 및 블랙박스(300)를 포함하여 구성된다.1 is a configuration diagram of an apparatus for displaying buildings around an intersection when driving on a three road according to the present invention. As shown in FIG. 1, the present invention includes a vehicle navigation 100, a server 200, and a black box 300. It is composed.

내비게이션(100)은 차량 내부에 구비되어 출발지 및 목적지를 설정하고 경로를 설정하며 상기 서버(200)와는 무선통신 연결을 통하여 네트워크 접속이 가능한 기능을 포함한다.The navigation 100 includes a function that is provided inside the vehicle to set a starting point and a destination, set a route, and connect to a network through a wireless communication connection with the server 200.

상세하게는, 골목도로와 같은 세(細)도로의 경로 안내 도중에 교차로 진입지점에 도달하게 되는 경우에 차량의 경로 전방에 교차로 진입 지점의 건물 명칭이 지도 데이터에 존재하는지 판단하는 제어부(110), 블랙박스(300)로부터 촬영된 영상 이미지를 수신하여 서버(200)로 전송하는 통신부(120), 상기 서버(200)로부터 수신받은 실사 이미지와 정합 이미지를 저장하는 이미지 저장부(130), 상기 실사 이미지 및 상기 정합 이미지로부터 추출 이미지를 생성하는 이미지 추출부(140) 및 상기 건물 명칭을 확대하여 표시하거나 상기 추출 이미지를 내비게이션의 지도에 중첩하여 표시하는 디스플레이부(150)를 포함하여 구성한다.Specifically, the control unit 110 for determining whether the building name of the intersection entry point exists in the map data in the case of reaching the intersection entry point in the middle of guiding the route of three roads such as an alleyway, A communication unit 120 that receives the video image captured from the black box 300 and transmits it to the server 200, an image storage unit 130 that stores the live image received from the server 200 and the matched image, and the live image And an image extraction unit 140 for generating an extracted image from the image and the matched image, and a display unit 150 for expanding and displaying the building name or superimposing the extracted image on a map of the navigation system.

특히, 제어부(110)는 상기 건물 명칭이 상기 내비게이션(100)에 저장된 상기 지도 데이터에 교차로 진입 지점의 건물 명칭이 존재하는 경우에는 상기 건물 명칭을 확대하여 표시하도록 하며, 상기 지도 데이터가 존재하지 않는 경우에는 상기 실사 이미지를 상기 서버(200)로 요청하는데, 상기 서버(200)는 별도의 이미지 서버로 구성되었거나 또는 빅 데이터를 활용할 수 있다. In particular, the control unit 110 enlarges and displays the building name when the building name exists in the map data stored in the navigation 100 and the building name at the intersection entry point, and the map data does not exist. In this case, the real image is requested to the server 200, and the server 200 may be configured as a separate image server or may utilize big data.

바람직하게는, 상기 지도 데이터에 상기 건물 명칭이 존재하지 않는 경우에는 상기 추출 이미지만을 표시하겠지만, 존재하는 경우에는 상기 건물 명칭을 확대하여 상기 추출 이미지와 함께 지도에 중첩하여 표시하도록 한다.Preferably, if the building name does not exist in the map data, only the extracted image will be displayed, but if there is, the building name is enlarged and superimposed on the map together with the extracted image.

한편, 상기 서버(200) 등에 실사 이미지가 없는 경우에는 상기 블랙박스(300)에 구비된 카메라로 촬영한 영상을 저용량의 영상 이미지로 변환하여 상기 내비게이션(100)으로 수신받을 수 있도록 상기 블랙박스(300)에 요청하도록 한다.On the other hand, when there is no real image in the server 200, the black box ( 300).

또한, 이렇게 수신받은 상기 영상 이미지는 상기 통신부(120)를 통하여 상기 서버(200)로 전송하도록 하고. 상기 서버(200)로 전송된 상기 영상 이미지의 정보에 포함된 위치 좌표가 상기 교차로 진입 지점과 일치하는 경우에는 이때의 영상을 정합 이미지로 생성하도록 상기 서버(200)로 요청한다.In addition, the video image received in this way is transmitted to the server 200 through the communication unit 120. When the location coordinates included in the information of the video image transmitted to the server 200 coincide with the intersection entry point, a request is made to the server 200 to generate the video at this time as a matched image.

통신부(120)는 상기 서버(200)로부터 상기 실사 이미지 및 상기 정합 이미지를 수신받고, 상기 이미지 저장부(130)에 저장하게 된다.The communication unit 120 receives the real image and the matched image from the server 200 and stores it in the image storage unit 130.

이미지 추출부(140)는 상기 이미지 저장부(130)에 저장된 상기 실사 이미지 및 상기 정합 이미지에 대하여 교차로 진입지점을 포함하여 경로 안내되는 차량의 진행경로에 따른 방향의 주변 건물 정보에 대하여만 추출 이미지를 생성하도록 하는데, 이때 축척에 비례하여 도로와 건물이 만나는 점을 기준으로 운전자의 시야로 확인할 수 있는 만큼의 건물 높이까지만 추출하게 된다.The image extracting unit 140 extracts only the information of the surrounding buildings in the direction according to the traveling route of the vehicle, including the intersection entry point, with respect to the photorealistic image and the matching image stored in the image storage unit 130. At this time, in proportion to the scale, only the height of the building that can be confirmed by the driver's field of view is extracted based on the point where the road and the building meet.

한편, 이외에 일반적으로 상기 내비게이션(100)에 포함되는 구성요소의 설명을 생략하기로 한다.On the other hand, in general, descriptions of components included in the navigation device 100 will be omitted.

도 2는 본 발명에 따른 세도로 주행시 교차로 주변 건물 표시 방법의 순서도이다. 도 2에 도시된 바와 같이, 목적지에 대한 경로 탐색을 하고 경로 안내에 따라 차량이 주행중에 랜드 마크 또는 관심지점(POI, Point of Interest)에 관한 정보가 부족한 좁은 골목길 등의 세(細))도로에 진입하여 교차로에 다다를 때에 교차로 진입 지점에 건물 명칭이 지도 데이터에 존재하는지 확인하고(S110), 건물 명칭이 존재한다면 상기 건물 명칭을 확대하여 상기 디스플레이부(150)에 표시하도록 한다(S120).2 is a flowchart of a method for displaying buildings around an intersection when driving on three roads according to the present invention. As shown in Fig. 2, three roads such as narrow alleyways that lack information on landmarks or points of interest (POI) while the vehicle is driving according to the route search and route guidance When entering and reaching the intersection, it is checked whether the building name exists in the map data at the intersection entry point (S110), and if the building name exists, the building name is enlarged and displayed on the display unit 150 (S120).

상기 건물 명칭이 지도 데이터에 없는 교차로 지점일 경우에는 교차로 지점의 건물 실사 이미지를 검색하기 위하여 상기 서버(200)로 검색을 요청하여(S130), 수신받은 상기 실사 이미지로부터 교차로 지점에서의 회전 안내에 필요한 이미지 정보만을 크롭(Crop, 이하 추출이라 함)하게 된다(S140). If the building name is an intersection point that is not in the map data, a search is requested to the server 200 to search for a real image of the building at the intersection point (S130), and a rotation guide at the intersection point is provided from the received real image. Only necessary image information is cropped (hereinafter referred to as extraction) (S140).

상세하게는, 상기 실사 이미지로부터 교차로 진입 지점을 포함하여 경로 안내되는 차량의 진행경로에 따른 방향의 주변 건물 정보에 대하여만 추출하도록 하는데, 이때 추출되는 추출 이미지는 축척에 비례하도록 하면서 도로와 건물이 만나는 점을 기준으로 운전자의 시야로 확인할 수 있는 만큼의 건물 높이까지만 추출하게 된다.In detail, only the surrounding building information in the direction according to the path of the vehicle to be guided, including the intersection entry point, is extracted from the photorealistic image. In this case, the extracted image is proportional to the scale while the road and the building are Based on the point of encounter, only the height of the building that can be confirmed by the driver's field of view is extracted.

한편, 교차로 지점에 해당하는 상기 건물 명칭이 지도 데이터에 없거나 상기 실사 이미지가 상기 서버(200) 또는 상기 빅 데이터 등에 존재하지 않는 경우에는 차량 내 상기 블랙박스(300)에 구비된 카메라로 촬영된 영상 이미지를 수신받아 상기 서버(200)로 전송하도록 한다(S150).On the other hand, when the building name corresponding to the intersection point is not in the map data or the real image does not exist in the server 200 or the big data, an image captured by a camera provided in the black box 300 in the vehicle The image is received and transmitted to the server 200 (S150).

이때, 촬영된 상기 영상 이미지는 데이터의 용량이 커서 이동통신망을 사용하여 전송하기에는 곤란하므로 우선 저용량 형식으로 변환하여 수신받도록 한다.At this time, since the captured video image has a large data capacity and is difficult to transmit using a mobile communication network, it is first converted into a low-capacity format to be received.

다음으로는, 상기 영상 이미지의 정보에 포함된 위치 좌표를 분석하여 상기 교차로 진입 지점과 일치하는지 확인하고, 교차로 주변의 이미지라면 이때의 이미지를 정합 이미지로 생성하며(S160), 내비게이션(100)은 상기 정합 이미지를 수신받아 상기 (S140) 단계와 마찬가지의 방법으로 추출 이미지를 생성한다(S170).Next, by analyzing the location coordinates included in the information of the video image, it is checked whether it matches the intersection entry point, and if it is an image around the intersection, the image at this time is generated as a matched image (S160), and the navigation 100 is The matched image is received and an extracted image is generated in the same manner as in the step (S140) (S170).

마지막으로, 상기 (S140) 단계와 상기 (S170) 단계에서 생성한 최소한의 이미지 정보만을 가진 상기 추출 이미지의 객체 정보를 추출하여 HTML5(Hyper text markup language 5)의 API(Application programming interface)를 사용하여 구현한 웹기반의 벡터지도 위에 매칭하여 실시간으로 그려주도록 한다(S180). Finally, object information of the extracted image having only the minimum image information generated in the (S140) and (S170) steps is extracted, and an application programming interface (API) of HTML5 (Hyper Text Markup Language 5) is used. Matched on the implemented web-based vector map and drawn in real time (S180).

이때 종래기술과 같이 지도가 작아지면서 추출 이미지가 그려지면 사용자가 혼란을 겪을 수 있으므로, 지도의 크기는 변하지 않으면서 상기 추출 이미지를 운전자가 보고 있는 지도에 매칭해서 중첩하여 보여줌으로써 이동수단이 이동하여 진행하는 도로가 실사로 변하여 보이듯이 하여 운전자가 회전 안내를 지나치지 않도록 한다.At this time, as the map becomes smaller and the extracted image is drawn, as in the prior art, the user may experience confusion. Therefore, the size of the map is not changed and the extracted image is matched to the map the driver is looking at and overlapped to show the moving means. The road you are going on is made to appear realistically so that the driver does not pass the turn guidance.

도 3은 본 발명에 따른 세도로 주행시 교차로 주변 건물 표시 방법에 있어서 이미지를 추출하는 일 실시예이다. 도 2에 도시된 바와 같이, 상기 서버(200)와 상기 내비게이션(100) 간에 통신되는 이미지 정보의 양을 줄이기 위하여, 차량이 교차로와 같은 회전지점에서 진행하는 방향(좌회전, 우회전)에 대한 주변 건물 정보에 대하여만, 그리고 운전자의 시야로 확인할 수 있는 만큼의 건물 높이 까지만 상기 실사 이미지로부터 추출하여 추출 이미지를 생성한다.3 is an embodiment of extracting an image in the method for displaying buildings around an intersection when driving on a three road according to the present invention. As shown in Figure 2, in order to reduce the amount of image information communicated between the server 200 and the navigation 100, the surrounding buildings in the direction (left turn, right turn) that the vehicle travels at a turn point such as an intersection The extracted image is generated by extracting from the actual image only for information and only up to the height of the building that can be confirmed by the driver's field of view.

즉, 도로와 건물이 만나는 점을 기준으로 하여 상측으로 1.2 미터 정도의 높이까지 축척에 비례하도록 추출하고, 탐색하여 설정된 안내 경로가 상기 교차로에서 진행방향이 우측일 경우에는 상기 교차로를 포함하여 교차로 우측의 주변 실사 이미지에 대하여만 추출하도록 하여 보다 적은 용량으로 통신할 수 있도록 한다.That is, if the guide path set by searching is extracted in proportion to the scale up to a height of about 1.2 meters based on the intersection of the road and the building, and the direction of progress is the right at the intersection, the right side of the intersection including the intersection. It is possible to communicate with a smaller capacity by extracting only the real-world image of the surrounding area.

도 4는 본 발명에 따른 세도로 주행시 교차로 주변 건물 표시 방법의 실시예를 나타내는 제1 예시도로서, 교차로 진입 지점의 건물 명칭이 존재하는지 확인하고 존재하는 경우 상기 건물 명칭을 확대하여 표시한 상태를 나타낸다.4 is a first exemplary view showing an embodiment of a method for displaying buildings around an intersection when driving on a three road according to the present invention. It is checked whether the building name at the intersection entry point exists, and if it exists, the building name is enlarged and displayed. Show.

도 5와 도 6은 본 발명에 따른 세도로 주행시 교차로 주변 건물 표시 방법의 실시예를 나타내는 제2 예시도와 제3 예시도로서, 교차로 진입 지점의 건물 명칭이 존재하지 않는 경우 상기 교차로 진입 지점의 실사 이미지를 서버로 요청하고 수신받은 실사 이미지로부터 안내에 필요한 추출 이미지를 추출하여 지도에 매칭되도록 출력한 상태를 나타낸다. 5 and 6 are a second exemplary diagram and a third exemplary diagram showing an embodiment of a method for displaying buildings around an intersection when driving on a three road according to the present invention. When the building name of the intersection entry point does not exist, a real picture of the intersection entry point The image is requested to the server, and the extracted image required for guidance is extracted from the received real image and output to match the map.

도 5에 도시된 바와 같이, 교차로에서 경로안내에 따른 차량의 진입방향이 교차로의 좌측인 경우에, 교차로의 진입 지점을 포함하는 좌측의 실사 이미지만을 추출하여 지도에 중첩하여 나타내는데, 이때 운전자의 시야로 확인할 수 있는 만큼의 건물 높이까지만 상기 실사 이미지를 추출하여 나타내게 된다.As shown in Fig. 5, when the vehicle entrance direction according to the route guidance at the intersection is the left side of the intersection, only the photorealistic image of the left side including the entrance point of the intersection is extracted and superimposed on the map. At this time, the driver's field of view The photorealistic image is extracted and displayed only up to the height of the building that can be confirmed by.

도 6은 교차로에서 경로안내에 따른 차량의 진입방향이 교차로의 우측인 경우에 교차로의 진입 지점을 포함하는 우측의 실사 이미지만을 추출하여 나타낸 것이다.FIG. 6 is a diagram illustrating only the actual image on the right side including the entry point of the intersection when the vehicle entrance direction according to the route guidance at the intersection is the right side of the intersection.

이와 같이, 골목길과 같은 세도로에서 주행할 경우에는 랜드 마크로 지정되지 않은 작은 건물 또는 주택이나 빌라 등이 많으므로 본 발명에 따른 세도로 주행시 교차로 주변 건물 표시 방법에 의하여 운전자에게 정확한 경로안내를 제공할 수 있게 되며, 또한 필요한 이미지만을 통신하도록 하고 실사 이미지가 지도에 중첩하여 표시되므로 실시간이며 사실적으로 교차로에서의 회전 안내를 할 수 있게 된다.In this way, when driving on a three road such as an alley, there are many small buildings, houses, or villas that are not designated as landmarks, so when driving on a three road according to the present invention, accurate route guidance can be provided to the driver by the method of displaying buildings around the intersection. In addition, since only necessary images are communicated and real images are superimposed on the map and displayed, it is possible to guide turns at intersections in real time and realistically.

본 발명은 이상에서 살펴본 바와 같이 바람직한 실시예를 들어 도시하고 설명하였으나, 상기한 실시예에 한정되지 아니하며 본 발명의 정신을 벗어나지 않는 범위 내에서 당해 발명이 속하는 기술분야에서 통상의 지식을 가진 자에 의해 다양한 변경과 수정이 가능할 것이다.
The present invention has been shown and described with a preferred embodiment as described above, but is not limited to the above-described embodiment, and within the scope of the spirit of the present invention to those of ordinary skill in the art. Various changes and modifications will be possible.

100 : 내비게이션 110 : 제어부
120 : 통신부 130 : 이미지 저장부
140 : 이미지 추출부 150 : 디스플레이부
200 : 서버 300 : 블랙박스
100: navigation 110: control unit
120: communication unit 130: image storage unit
140: image extracting unit 150: display unit
200: server 300: black box

Claims (11)

세도로 주행시 교차로 주변 건물 표시 장치에 있어서,
차량의 전방 영상을 촬영하는 블랙박스; 및
내비게이션;을 포함하고,
상기 내비게이션은,
상기 차량의 경로 전방에 위치한 교차로 진입 지점의 건물 명칭이 지도 데이터에 존재하는지 판단하고,
상기 건물 명칭이 상기 지도 데이터에 존재하지 않는 경우, 상기 교차로 진입 지점의 실사 이미지를 서버로부터 수신하고,
상기 서버에 상기 실사 이미지가 존재하지 않는 경우, 상기 블랙박스로부터 촬영된 영상 이미지를 상기 서버로 전송하고, 상기 서버에서 상기 영상 이미지에 대응하여 생성된 정합 이미지를 수신하고,
상기 수신된 실사 이미지 또는 정합 이미지로부터 추출 이미지를 생성하고,
상기 생성된 추출 이미지를 지도에 중첩하여 표시하는 것을 특징으로 하는 세도로 주행시 교차로 주변 건물 표시 장치.
In the display device for buildings around the intersection when driving on three roads,
A black box for photographing a front image of the vehicle; And
Including; navigation;
The above navigation,
Determine whether the building name of the intersection entry point located in front of the vehicle's path exists in the map data,
If the building name does not exist in the map data, a real image of the intersection entry point is received from the server,
If the real image does not exist in the server, the video image captured from the black box is transmitted to the server, and the server receives a matched image generated in response to the video image,
Generate an extracted image from the received real image or matched image,
Building display device around an intersection when driving on three roads, wherein the generated extracted image is superimposed on a map and displayed.
제1 항에 있어서,
상기 내비게이션은 상기 영상 이미지의 정보에 포함된 위치 좌표가 상기 교차로 진입 지점과 일치하는 경우의 영상을 상기 정합 이미지로 생성하도록 상기 서버로 요청하는 것을 특징으로 하는 세도로 주행시 교차로 주변 건물 표시 장치.
The method of claim 1,
And the navigation requests the server to generate an image as the matched image when the location coordinates included in the information of the image image coincide with the intersection entry point.
삭제delete 삭제delete 제1 항에 있어서,
상기 내비게이션은 교차로 진입 지점을 포함하여 경로 안내되는 차량의 진행경로에 따른 방향의 주변 건물 정보에 대하여만 상기 추출 이미지를 생성하는 것을 특징으로 하는 세도로 주행시 교차로 주변 건물 표시 장치.
The method of claim 1,
The navigation device for displaying buildings around an intersection when driving on three roads, wherein the navigation generates the extracted image only for information on neighboring buildings in a direction according to a path of a vehicle to be guided, including an intersection entry point.
제1 항에 있어서,
상기 내비게이션은 축척에 비례하여 도로와 건물이 만나는 점을 기준으로 운전자의 시야로 확인할 수 있는 만큼의 건물 높이까지만 상기 추출 이미지를 생성하는 것을 특징으로 하는 세도로 주행시 교차로 주변 건물 표시 장치.
The method of claim 1,
The navigation device for displaying buildings around an intersection when driving on three roads, characterized in that for generating the extracted image only up to a height of a building that can be confirmed by a driver's field of view based on a point where a road and a building meet in proportion to a scale.
세도로 주행시 교차로 주변 건물 표시 방법에 있어서,
차량의 경로 전방에 위치한 교차로 진입 지점의 건물 명칭이 지도 데이터에 존재하는지 판단하는 단계;
상기 건물 명칭이 상기 지도 데이터에 존재하지 않는 경우, 상기 교차로 진입 지점의 실사 이미지를 서버로부터 수신하는 단계;
상기 서버에 상기 실사 이미지가 존재하지 않는 경우, 블랙박스로부터 촬영된 영상 이미지를 상기 서버로 전송하는 단계;
상기 서버로부터 상기 영상 이미지에 대응하여 생성된 정합 이미지 수신하는 단계;
상기 수신된 실사 이미지 또는 정합 이미지로부터 추출 이미지를 생성하는 단계; 및
상기 생성된 추출 이미지를 지도에 중첩하여 표시하는 단계;를 포함하는 것을 특징으로 하는 세도로 주행시 교차로 주변 건물 표시 방법.
In the method of marking the buildings around the intersection when driving on three roads,
Determining whether the building name of the intersection entry point located in front of the vehicle's path exists in the map data;
If the building name does not exist in the map data, receiving a photorealistic image of the intersection entry point from the server;
Transmitting a video image captured from a black box to the server when the real image does not exist in the server;
Receiving a matched image generated corresponding to the video image from the server;
Generating an extracted image from the received real image or matched image; And
And displaying the generated extracted image by superimposing it on a map.
제7 항에 있어서,
상기 추출 이미지는 교차로 진입 지점을 포함하여 경로 안내되는 차량의 진행경로에 따른 방향의 주변 건물 정보에 대하여만 추출하는 것을 특징으로 하는 세도로 주행시 교차로 주변 건물 표시 방법.
The method of claim 7,
The extracted image is a method for displaying buildings around an intersection when driving on three roads, wherein the extracted image is extracted only for information on surrounding buildings in a direction according to a progress route of a vehicle to be guided, including an intersection entry point.
제7 항에 있어서,
상기 추출 이미지는 축척에 비례하여 도로와 건물이 만나는 점을 기준으로 운전자의 시야로 확인할 수 있는 만큼의 건물 높이까지만 추출하는 것을 특징으로 하는 세도로 주행시 교차로 주변 건물 표시 방법.
The method of claim 7,
The extracted image is a method for displaying buildings around an intersection when driving on three roads, wherein the extracted image is extracted only to a height of a building that can be confirmed by a driver's field of view based on a point where the road and the building meet in proportion to the scale.
제7 항에 있어서,
상기 추출 이미지는 지도의 크기는 변하지 않으면서 상기 지도에 매칭되어 중첩하여 표시되도록 하는 것을 특징으로 하는 세도로 주행시 교차로 주변 건물 표시 방법.
The method of claim 7,
The extracted image is matched to the map without changing the size of the map so that the extracted image is displayed by overlapping with the map.
제7 항에 있어서,
상기 서버는 상기 실사 이미지에 대한 별도의 이미지 서버이거나 빅 데이터를 활용하는 것을 특징으로 하는 세도로 주행시 교차로 주변 건물 표시 방법.















The method of claim 7,
The server is a separate image server for the real image or a method for displaying buildings around an intersection when driving on three roads, characterized in that using big data.















KR1020140162259A 2014-11-20 2014-11-20 Apparatus and method for displaying buliding data around the junction when driving in an alley Active KR102231556B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020140162259A KR102231556B1 (en) 2014-11-20 2014-11-20 Apparatus and method for displaying buliding data around the junction when driving in an alley

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020140162259A KR102231556B1 (en) 2014-11-20 2014-11-20 Apparatus and method for displaying buliding data around the junction when driving in an alley

Publications (2)

Publication Number Publication Date
KR20160060278A KR20160060278A (en) 2016-05-30
KR102231556B1 true KR102231556B1 (en) 2021-03-24

Family

ID=57124487

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020140162259A Active KR102231556B1 (en) 2014-11-20 2014-11-20 Apparatus and method for displaying buliding data around the junction when driving in an alley

Country Status (1)

Country Link
KR (1) KR102231556B1 (en)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110823234B (en) * 2018-08-10 2022-04-01 北京搜狗科技发展有限公司 Data processing method and device and electronic equipment

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100886330B1 (en) * 2008-06-11 2009-03-02 팅크웨어(주) User view output system and method

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100594144B1 (en) * 2003-11-28 2006-06-28 삼성전자주식회사 Telematics System Using Image Data and Its Path Guidance Method
KR20100072971A (en) * 2008-12-22 2010-07-01 엘지전자 주식회사 Navigation termninal and method for guiding route thereof
KR101037068B1 (en) * 2009-06-10 2011-05-26 현대엠엔소프트 주식회사 Navigation device and method of navigation
KR101246589B1 (en) * 2010-07-08 2013-03-25 에스케이플래닛 주식회사 Method And Apparatus Providing Customized Moving Path

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100886330B1 (en) * 2008-06-11 2009-03-02 팅크웨어(주) User view output system and method

Also Published As

Publication number Publication date
KR20160060278A (en) 2016-05-30

Similar Documents

Publication Publication Date Title
US11692842B2 (en) Augmented reality maps
US11698268B2 (en) Street-level guidance via route path
US9116011B2 (en) Three dimensional routing
US20130162665A1 (en) Image view in mapping
CN111065891A (en) Indoor navigation system based on augmented reality
US20110288763A1 (en) Method and apparatus for displaying three-dimensional route guidance
JP2008128827A (en) Navigation device, navigation method, and program thereof
EP3521758A1 (en) Navigation route generating method and device
KR100839578B1 (en) Vehicle navigation device for controlling image based route guidance and method
JP6345381B2 (en) Augmented reality system
JP2018054456A (en) Route guidance system, and route guidance program
JP6179166B2 (en) Point display system, method and program
TWI426237B (en) Instant image navigation system and method
KR102231556B1 (en) Apparatus and method for displaying buliding data around the junction when driving in an alley
JP2007309823A (en) On-board navigation device
KR20060036259A (en) Image-based navigation system and method
KR102442239B1 (en) Indoor navigation apparatus using digital signage
JP6689530B2 (en) Electronic device
JP2010286340A (en) Apparatus for creating intersection guide information
KR101404976B1 (en) System for generating a walking route POI based on image using 3Dmatching
JP2005241386A (en) Navigation system for walker and navigation program for walker
JP2019105581A (en) Navigation device
KR100682976B1 (en) Image based route information generation system and method
KR100813002B1 (en) Image-based route information providing terminal and method
JP2009276266A (en) Navigation device

Legal Events

Date Code Title Description
PA0109 Patent application

Patent event code: PA01091R01D

Comment text: Patent Application

Patent event date: 20141120

PG1501 Laying open of application
A201 Request for examination
PA0201 Request for examination

Patent event code: PA02012R01D

Patent event date: 20191010

Comment text: Request for Examination of Application

Patent event code: PA02011R01I

Patent event date: 20141120

Comment text: Patent Application

E902 Notification of reason for refusal
PE0902 Notice of grounds for rejection

Comment text: Notification of reason for refusal

Patent event date: 20200901

Patent event code: PE09021S01D

E701 Decision to grant or registration of patent right
PE0701 Decision of registration

Patent event code: PE07011S01D

Comment text: Decision to Grant Registration

Patent event date: 20210316

GRNT Written decision to grant
PR0701 Registration of establishment

Comment text: Registration of Establishment

Patent event date: 20210318

Patent event code: PR07011E01D

PR1002 Payment of registration fee

Payment date: 20210319

End annual number: 3

Start annual number: 1

PG1601 Publication of registration
PR1001 Payment of annual fee

Payment date: 20240122

Start annual number: 4

End annual number: 4