[go: up one dir, main page]

KR101567194B1 - 착탈식 차량 정보 인디케이터 및 이를 이용한 차량 정보 인디케이팅 방법 - Google Patents

착탈식 차량 정보 인디케이터 및 이를 이용한 차량 정보 인디케이팅 방법 Download PDF

Info

Publication number
KR101567194B1
KR101567194B1 KR1020140025335A KR20140025335A KR101567194B1 KR 101567194 B1 KR101567194 B1 KR 101567194B1 KR 1020140025335 A KR1020140025335 A KR 1020140025335A KR 20140025335 A KR20140025335 A KR 20140025335A KR 101567194 B1 KR101567194 B1 KR 101567194B1
Authority
KR
South Korea
Prior art keywords
user
specific device
vehicle
vehicle information
indicator
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
KR1020140025335A
Other languages
English (en)
Other versions
KR20150103828A (ko
Inventor
김범식
Original Assignee
현대자동차주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 현대자동차주식회사 filed Critical 현대자동차주식회사
Priority to KR1020140025335A priority Critical patent/KR101567194B1/ko
Priority to US14/611,445 priority patent/US9607488B2/en
Priority to CN201510069869.6A priority patent/CN104890570B/zh
Publication of KR20150103828A publication Critical patent/KR20150103828A/ko
Application granted granted Critical
Publication of KR101567194B1 publication Critical patent/KR101567194B1/ko
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B5/00—Visible signalling systems, e.g. personal calling systems, remote indication of seats occupied
    • G08B5/22—Visible signalling systems, e.g. personal calling systems, remote indication of seats occupied using electric transmission; using electromagnetic transmission
    • G08B5/36—Visible signalling systems, e.g. personal calling systems, remote indication of seats occupied using electric transmission; using electromagnetic transmission using visible light sources
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/10—Input arrangements, i.e. from user to vehicle, associated with vehicle functions or specially adapted therefor
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/20—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
    • B60K35/21—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor using visual output, e.g. blinking lights or matrix displays
    • B60K35/23—Head-up displays [HUD]
    • B60K35/235—Head-up displays [HUD] with means for detecting the driver's gaze direction or eye points
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/20—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
    • B60K35/29—Instruments characterised by the way in which information is handled, e.g. showing information on plural displays or prioritising information according to driving conditions
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/65—Instruments specially adapted for specific vehicle types or users, e.g. for left- or right-hand drive
    • B60K35/654—Instruments specially adapted for specific vehicle types or users, e.g. for left- or right-hand drive the user being the driver
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/80—Arrangements for controlling instruments
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R16/00—Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for
    • B60R16/02—Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for electric constitutive elements
    • B60R16/023—Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for electric constitutive elements for transmission of signals between vehicle parts or subsystems
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • B60W40/09—Driving style or behaviour
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/10—Interpretation of driver requests or demands
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B27/0172—Head mounted characterised by optical features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/02—Input arrangements using manually operated switches, e.g. using keyboards or dials
    • G06F3/023—Arrangements for converting discrete items of information into a coded form, e.g. arrangements for interpreting keyboard generated codes as alphanumeric codes, operand codes or instruction codes
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/18—Information management
    • B60K2360/182—Distributing information between displays
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/18—Information management
    • B60K2360/184—Displaying the same information on different displays
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/55—Remote control arrangements

Landscapes

  • Engineering & Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Transportation (AREA)
  • Physics & Mathematics (AREA)
  • Combustion & Propulsion (AREA)
  • Chemical & Material Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Optics & Photonics (AREA)
  • Electromagnetism (AREA)
  • Mathematical Physics (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

본 발명은 차량 정보 인디케이터 및 이를 이용한 차량 정보 인디케이팅 방법에 관한 것으로서, 더욱 상세하게는 운전자가 직접 착용한 상태에서 차량의 실내공간내에 존재하는 각종 기기를 좌표화하고, 좌표화된 각종 기기에 조작 명령을 내릴 수 있도록 한 차량 정보 인디케이터 및 이를 이용한 차량 정보 인디케이팅 방법에 관한 것이다.
즉, 본 발명은 운전자가 직접 착용한 상태에서 차량의 실내공간내에 존재하는 각종 기기를 좌표화한 후, 운전자의 시선을 주기적으로 인식하는 방법 또는 운전자의 행동이 미리 입력된 방향 또는 패턴과 일치하는지 여부를 판정하는 등의 방법을 통하여, 좌표화된 각종 기기에 조작 명령을 내릴 수 있도록 한 차량 정보 인디케이터 및 이를 이용한 차량 정보 인디케이팅 방법을 제공하고자 한 것이다.

Description

착탈식 차량 정보 인디케이터 및 이를 이용한 차량 정보 인디케이팅 방법{Glass for indicating vehicle information and method for indicating vehicle information using the same}
본 발명은 착탈식 차량 정보 인디케이터 및 이를 이용한 차량 정보 인디케이팅 방법에 관한 것으로서, 더욱 상세하게는 운전자가 직접 착용한 상태에서 차량의 실내공간내에 존재하는 각종 기기를 좌표화하고, 좌표화된 각종 기기에 조작 명령을 내릴 수 있도록 한 착탈식 차량 정보 인디케이터 및 이를 이용한 차량 정보 인디케이팅 방법에 관한 것이다.
차량의 각종 정보를 운전자가 인식할 수 있는 가장 기본적인 수단은 운전석 전면부에 장착되는 클러스터를 들 수 있고, 그 밖에 차량의 각종 정보를 운전자가 쉽게 그리고 빠르게 인식할 수 있는 다양한 방안이 모색되고 있다.
최근, 안경 모양의 스마트 기기인 구글 글래스가 출시되고 있고, 이 구글 글래스는 스마트 폰과의 연동을 통해 다양한 응용 프로그램을 구동하는데 사용되고 있다.
상기 구글 글래스는 안경 형태의 헤드셋 모양으로서, 작은 컴퓨터 본체와 카메라, 프리즘 타입의 디스플레이, 마이크, 스피커, 배터리 등을 포함하여 구성되어 있고, 500만 화소 카메라, 720p 동영상 촬영, 802.11 b/g WiFi, 블루투스 기능 등을 가지고 있으며, 음성 인식 또는 터치 동작에 의해 작동된다.
그러나, 구글 글래스는 일정 공간내의 각종 물체 등을 좌표화하지 못하는 단점이 있고, 특히 운전시 착용하면 오히려 안전운전을 위한 주의력을 떨어뜨리는 원인이 될 수 있다.
본 발명은 상기와 같은 점을 감안하여 안출한 것으로서, 운전자가 직접 착용한 상태에서 차량의 실내공간내에 존재하는 각종 기기를 좌표화한 후, 운전자의 시선을 주기적으로 인식하는 방법 또는 운전자의 행동이 미리 입력된 방향 또는 패턴과 일치하는지 여부를 판정하는 등의 방법을 통하여, 좌표화된 각종 기기에 조작 명령을 내릴 수 있도록 한 착탈식 차량 정보 인디케이터 및 이를 이용한 차량 정보 인디케이팅 방법을 제공하는데 그 목적이 있다.
상기한 목적을 달성하기 위한 본 발명은: 차량내 공간을 하나의 공간 좌표로 설정하고, 공간 좌표의 기준점인 아이 영역을 중심으로 사용자의 시선 변화 거리을 인식하여 공간 좌표내의 원하는 영역을 세부 영역 좌표로 설정하는 좌표설정 모듈과; 사용자의 신체 모션 패턴 및 횟수, 또는 사용자의 시선 움직임 방향 및 거리를 인식하여 차량내 각종 기기에 작동 명령을 내리는 사용자 명령모듈과; 사용자 명령모듈과 차량과의 무선 통신을 위한 무선통신 모듈과; 상기 각 모듈에 동작을 위한 전원을 제공하는 배터리; 가 내장되고, 사용자의 눈에 착용 가능한 구조로 제작된 것을 특징으로 하는 차량 정보 인디케이터를 제공한다.
본 발명의 바람직한 구현예에 따른 상기 좌표설정 모듈은: 사용자의 시선 변화를 센싱하는 자이로 또는 가속도 센서와; 사용자의 시선이 멈추는 지점을 입력하는 입력모듈과; 입력모듈에서 입력된 지점을 하나의 좌표값으로 인식하는 제어기; 를 포함하여 구성된 것을 특징으로 한다.
바람직하게는, 상기 입력모듈은 사용자의 시선이 멈추는 시간을 계측하는 타이머와, 사용자가 직접 입력 가능한 터치패드 중 하나로 채택되는 것을 특징으로 한다.
또한, 상기한 목적을 달성하기 위한 본 발명은: 사용자가 인디케이터를 착용한 상태에서 차량내 원하는 공간영역을 좌표화시키는 공간 좌표 설정 단계와; 상기 인디케이터의 공간 좌표 기준점인 아이 영역을 중심으로 사용자의 시선 변환 거리를 인식하여 공간 좌표내의 원하는 영역을 세부 영역 좌표로 설정하는 단계와; 사용자의 시선 움직임 방향 및 거리가 세부 영역 좌표내의 특정 기기와 매칭되면, 특정 기기에 대한 사용자의 작동 명령 신호가 무선 통신을 통하여 전송되는 단계와; 전송된 작동 명령 신호에 의하여 특정 기기가 작동하는 단계; 를 포함하는 것을 특징으로 하는 차량 정보 인디케이터를 이용한 차량 정보 인디케이팅 방법을 제공한다.
본 발명의 차량 정보 인디케이팅 방법은 상기 특정 기기의 작동하는 도중, 사용자의 신체 모션 패턴 및 횟수를 특정 기기의 세부 작동 명령 신호로 인식하는 단계와; 세부 작동 명령 신호에 따라 특정 기기의 세부 메뉴가 조작되는 단계; 를 더 포함하는 것을 특징으로 한다.
본 발명의 차량 정보 인디케이팅 방법은 상기 사용자의 작동 명령 신호가 무선 통신을 통하여 차량내 특정 기기에 전달되면, 특정 기기의 작동 정보가 차량내 디스플레이에 표시되는 단계를 더 포함하는 것을 특징으로 한다.
바람직하게는, 상기 인디케이터의 공간 좌표 기준점인 아이 영역을 일정 시간 이상 벗어나면, 안전주행을 위한 경고 단계가 이루어지는 것을 특징으로 한다.
본 발명의 차량 정보 인디케이팅 방법은 상기 인디케이터의 아이 영역에 대한 위치와, 좌표 설정을 위한 시선 패턴과, 작동 명령을 위한 신체 패턴을 분석하여 사용자를 구별하는 단계와; 차량에 사용자 구별 신호를 전송하는 단계와; 사용자 구별 신호에 따라, 핸들, 시트, 사이드 미러의 위치가 자동 조절되는 단계; 를 더 포함하는 것을 특징으로 한다.
상기한 과제 해결 수단을 통하여, 본 발명은 다음과 같은 효과를 제공한다.
첫째, 사용자는 공간에 제약 없이 안경 형태의 인디케이터만을 착용한 채 차량 정보를 얻을 수 있고, 필요 시 차량 제어도 가능하며, 센서를 통한 메뉴 조작이 가능하기 때문에 두 손은 자유롭게 사용이 가능하므로, 사용자 편의성을 향상시킬 수 있다.
둘째, 본 발명의 오토 인디케이터 즉, 인디케이터는 사용자 얼굴에 착용되어 시선 이동에 따라 필요한 정보를 제공하기 때문에 주행 중에 스위치 조작으로 인한 위험성을 최소화하여 안전 운전을 도모할 수 있고, 또한 차량 정보를 신속히 제공하여 사고의 위험을 줄일 수 있다.
셋째, 카메라 또는 디스플레이가 안경내에 탑재되지 않고, 무선 통신을 통해 자동차와 연결되어 차량내 기기(카메라, 디스플레이 등)를 활용할 수 있기 때문에 자체 무게를 최소화시킬 수 있고, 저렴한 비용으로 제작할 수 있다.
도 1은 본 발명에 따른 차량 정보 인디케이터에 내장되는 각 모듈을 나타낸 구성도,
도 2 및 도 3은 본 발명에 따른 차량 정보 인디케이터의 공간 좌표 및 세부 영역 좌표 설정 과정을 나타낸 개략도,
도 4는 본 발명에 따른 차량 정보 인디케이터의 공간 좌표 및 세부 영역 좌표 설정 과정을 나타낸 순서도,
도 5 내지 도 9는 본 발명에 따른 인디케이터을 이용한 차량 정보 인디케이팅 방법에 대한 각 실시예를 나타낸 도면.
이하, 본 발명의 바람직한 실시예를 첨부도면을 참조로 상세하게 설명하기로 한다.
본 발명은 운전자가 마치 일반 안경을 착용하는 것 처럼 인디케이터를 착용한 상태에서, 인디케이터가 차량의 실내공간내에 존재하는 각종 기기를 좌표화하고, 이후 운전자의 시선을 주기적으로 인식하는 과정 또는 운전자의 행동이 미리 입력된 방향 또는 패턴과 일치하는지 여부를 판정하는 등의 과정을 통하여, 좌표화된 각종 기기에 조작 명령을 내릴 수 있도록 한 점에 주안점이 있다.
본 발명에서의 인디케이터에 대한 외관 구조는 안경 형태의 디바이스 또는 이와 유사한 형태로 된 디바이스로서, 사용자(운전자)가 간편하게 착탈 가능하고, 착용시 시각적으로 볼 수 있는 모든 구조를 의미한다.
첨부한 도 1은 본 발명에 따른 차량 정보 인디케이터에 내장되는 각 모듈을 나타낸 구성도이다.
본 발명의 인디케이터는 일반 안경과 같이 렌즈부와, 렌즈부를 지지하는 골격 및 다리부로 구성되고, 골격 및 다리부에는 일정 공간을 좌표로 인식하여 설정하는 좌표설정 모듈(10)과, 사용자의 신체 모션이나 시선 등을 인식하여 차량내 각종 기기에 작동 명령을 내리는 사용자 명령모듈(20)과, 사용자 명령모듈(20)과 차량과의 무선 통신을 위한 무선통신 모듈(30)과, 각 모듈에 동작을 위한 전원을 제공하는 배터리(40) 등이 내장된다.
상기 좌표설정 모듈(10)은 차량내 공간을 하나의 공간 좌표로 설정하고, 공간 좌표의 기준점인 아이 영역을 중심으로 사용자의 시선 변화 거리을 인식하여 공간 좌표내의 원하는 영역을 세부 영역 좌표로 설정하는 역할을 한다.
이를 위해, 상기 좌표설정 모듈(10)은 사용자의 시선 변화(예를 들어, 시선 변화에 따른 머리의 움직임)를 센싱하는 자이로 또는 가속도 센서(12)와, 사용자의 시선이 일시적으로(약 수초) 멈추는 지점을 입력하는 입력모듈(14)과, 입력모듈(14)에서 입력된 지점을 하나의 좌표값으로 인식하는 제어기(16)를 포함하여 구성된다.
바람직하게는, 상기 입력모듈(14)은 인디케이터내에 내장되어 사용자의 시선이 멈추는 시간을 계측하는 타이머로 채택될 수 있고, 또는 사용자가 직접 입력 가능하도록 인디케이터의 다리부에 형성되는 스위치 또는 터치패드로 채택될 수 있다.
여기서, 상기한 구성의 인디케이터을 이용한 차량 정보 인디케이팅 방법을 설명하면 다음과 같다.
첨부한 도 2 및 도 3은 본 발명에 따른 차량 정보 인디케이터의 공간 좌표 및 세부 영역 좌표 설정 과정을 나타낸 개략도이다.
먼저, 운전자가 오토 인디케이터 즉, 인디케이터에 전원이 들어오면 초기화 및 사용자 정보를 메모리(18)로부터 로드하고, 인디케이터이 무선통신 모듈(30)을 통하여 차량과 무선통신 가능하게 연결된다.
다음으로, 상기 인디케이터은 프리셋 동작으로 사용자에게 맞춤형 좌표영역 설정하는 프리셋 동작을 수행한다.
상기 프리셋 동작은 공간 좌표 설정 단계와, 설정된 공간 좌표내에 세부 영역 좌표를 설정하는 단계를 포함하고, 사용자가 인디케이터을 착용한 상태에서 차량내 원하는 공간영역을 좌표화시키는 공간 좌표 설정 단계가 먼저 진행된다.
예를 들어, 도 2에서 보듯이 특정 공간(차량의 실내공간)을 각각 A(0,0), B(0,Y), C(X,Y), D(X,0) 등으로 좌표화하여 하나의 공간 좌표로 한정시킴으로써, 도 3에서 보듯이 차량의 실내공간(예를 들어, 운전자가 정면을 바라 볼 때 좌우측 사이드미러를 비롯하여 핸들, 센터 페시아 등이 한정된 하나의 공간 좌표내에 존재하게 된다.
연이어, 상기 인디케이터의 공간 좌표 기준점인 아이 영역을 중심으로 사용자의 시선 변환 거리를 인식하여 공간 좌표내의 원하는 영역을 1~N까지의 세부 영역 좌표로 설정하는 단계가 진행된다.
예를 들어, 도 2에서 보듯이 공간 좌표의 기준점인 아이 영역을 중심으로 사용자의 시선이 1번(좌측 사이드 미러), 2번(클러스터), 3번(AVN 시스템), 4번(변속기어), 5번(우측 사이드 미러)으로 각각 움직인 다음, 시선이 멈추는 시간을 타이머로 계측하여 일정 시간 이상이거나 또는 사용자가 직접 입력모듈을 이용하여 입력하는 경우 위의 1번 내지 5번이 세부 영역 좌표로 설정된다.
이렇게 상기 프리셋 동작이 완료되면, 운전자가 착용한 인디케이터의 작동 준비가 완료된 상태가 된다.
따라서, 상기 공간 좌표내의 세부 영역 좌표로 인식되는 각종 기기를 작동시키기 위하여, 인디케이터에 내장된 사용자 명령모듈(20)에서 사용자의 시선 움직임 방향 및 거리를 인식한다.
이때, 사용자의 시선 움직임 방향 및 거리가 세부 영역 좌표내의 특정 기기와 매칭되면, 특정 기기에 대한 사용자의 작동 명령 신호가 무선 통신을 통하여 전송되고, 전송된 작동 명령 신호에 의하여 특정 기기가 작동하게 된다.
이렇게 상기 특정 기기의 작동하는 도중, 사용자의 신체 모션 패턴 및 횟수(예를 들어, 머리를 상하좌우로 돌리는 동작 및 횟수)를 특정 기기의 세부 작동 명령 신호로 인식하고, 세부 작동 명령 신호에 따라 특정 기기의 세부 메뉴가 작동될 수 있다.
또한, 사용자의 작동 명령 신호가 무선 통신을 통하여 차량내 특정 기기에 전달되어, 특정 기기가 작동될 때 특정 기기의 작동 정보가 AVN 제어기에 의하여 차량내의 디스플레이에 동시에 표시되도록 함으로써, 운전자는 두 손에 의한 별도의 조작 동작을 취하지 않고도 원하는 특정 기기의 작동이 이루어지게 되므로, 주행 안전성을 도모할 수 있다.
여기서, 본 발명에 따른 차량 정보 인디케이터를 이용한 차량 정보 인디케이팅 방법에 대한 각 실시예를 살펴보면 다음과 같다.
제1실시예
도 5를 참조하면, 인디케이터의 아이 영역과 세부 영역 좌표 중 1번(좌측 사이드 미러)과 5번(우측 사이드 미러)으로 사용자의 시선이 위치한 후, 다시 시선이 정면 즉, 아이 영역으로 복귀하면, 인디케이터에 내장된 사용자 명령모듈(20)에서 AVN 시스템에 해당 사이드 미러의 카메라 영상을 표시하라는 작동 명령을 전송한다.
이에, HUD(head up display)나 클러스터 LCD, 또는 AVN 시스템의 디스플레이 등에 사이드 미러의 후방 영상이 표시되어, 사용자가 쉽게 차선 변경 및 도로 주행 상황을 파악할 수 있게 된다.
제2실시예
도 6을 참조하면, 인디케이터의 아이(EYE) 영역과 세부 영역 좌표 중 2번(클러스터 존)에 사용자의 시선이 위치한 후, 다시 시선이 아이 영역으로 복귀하면 차량 정보를 트립할 수 있는 화면이 HUD에 나타나 주행하면서 차량 정보를 쉽게 조작할 수 있다.
또한, 클러스터내에 LCD가 있다면, 사용자의 신체 모션 패턴 및 횟수(예를 들어, 머리를 상하좌우로 돌리는 동작 및 횟수)를 LCD내의 메뉴를 조작하는 세부 작동 명령 신호로 인식하여, LCD 내의 차량 정보 메뉴를 좌, 우 또는 상, 하 등으로 조작할 수 있다.
제3실시예
도 7을 참조하면, 인디케이터의 아이(EYE) 영역과 세부 영역 좌표 중 3번(AVN 시스템)에 사용자의 시선이 위치한 후, 다시 시선이 아이 영역으로 복귀하면 AVN을 조작할 수 있는 메뉴가 나타나고, 사용자가 원하는 메뉴를 사용자의 머리 회전을 통해 조작할 수 있다.
즉, AVN 시스템의 작동에 따른 메뉴들이 디스플레이 화면에 표시된 후, 사용자의 신체 모션 패턴 및 횟수(예를 들어, 머리를 상하좌우로 돌리는 동작 및 횟수)를 메뉴를 조작하기 위한 세부 작동 명령 신호로 인식하여, AVN 시스템의 각종 메뉴를 조작할 수 있다.
제4실시예
도 8을 참조하면, EYE 영역이 운전자 영역을 장시간 벗어나면 졸음 운전 또는 위험 상황으로 간주하여 사용자에게 경고음과 함께 경고 메시지를 디스플레이 하도록 함으로써, 이를 통해 안전 운전을 도모할 수 있다.
제5실시예
도 9를 참조하면, 상기 인디케이터의 아이 영역에 대한 위치와, 좌표 설정을 위한 시선 패턴과, 작동 명령을 위한 신체 패턴을 분석하여 사용자를 구별하고, 차량에 사용자 구별 신호를 전송하면, 사용자 구별 신호에 따라, 핸들, 시트, 사이드 미러의 위치가 자동 조절되어, 사용자 편의성을 향상시킬 수 있다.
10 : 좌표설정 모듈
20 : 사용자 명령모듈
30 : 무선통신 모듈
40 : 배터리

Claims (9)

  1. 차량내 공간을 하나의 공간 좌표로 설정하고, 공간 좌표의 기준점인 아이 영역을 중심으로 사용자의 시선 변화 거리를 인식하여 공간 좌표내의 원하는 영역을 세부 영역 좌표로 설정하는 좌표설정 모듈과;
    사용자의 신체 모션 패턴 및 횟수, 또는 사용자의 시선 움직임 방향 및 거리를 인식하여 차량내 각종 기기에 작동 명령을 내리는 사용자 명령모듈과;
    사용자 명령모듈과 차량과의 무선 통신을 위한 무선통신 모듈과;
    상기 각 모듈에 동작을 위한 전원을 제공하는 배터리;
    가 내장되고, 사용자의 눈에 착용 가능한 구조로 제작되며,
    상기 좌표설정 모듈은:
    사용자의 시선 변화를 센싱하는 자이로 또는 가속도 센서와;
    사용자의 시선이 멈추는 지점을 입력하는 입력모듈과;
    입력모듈에서 입력된 지점을 하나의 좌표값으로 인식하는 제어기;
    를 포함하여 구성된 것을 특징으로 하는 차량 정보 인디케이터.
  2. 삭제
  3. 청구항 1에 있어서,
    상기 입력모듈은 사용자의 시선이 멈추는 시간을 계측하는 타이머와, 사용자가 직접 입력 가능한 터치패드 중 하나로 채택되는 것을 특징으로 하는 차량 정보 인디케이터.
  4. 사용자가 인디케이터을 착용한 상태에서 차량내 원하는 공간영역을 좌표화시키는 공간 좌표 설정 단계와;
    상기 인디케이터의 공간 좌표 기준점인 아이 영역을 중심으로 사용자의 시선 변환 거리를 인식하여 공간 좌표내의 원하는 영역을 세부 영역 좌표로 설정하는 단계와;
    사용자의 시선 움직임 방향 및 거리가 세부 영역 좌표내의 특정 기기와 매칭되면, 특정 기기에 대한 사용자의 작동 명령 신호가 무선 통신을 통하여 전송되는 단계와;
    전송된 작동 명령 신호에 의하여 특정 기기가 작동하는 단계;
    를 포함하고,
    상기 특정 기기의 작동 도중, 사용자의 신체 모션 패턴 및 횟수를 특정 기기의 세부 작동 명령 신호로 인식하는 단계와;
    세부 작동 명령 신호에 따라 특정 기기의 세부 메뉴가 조작되는 단계;
    를 더 포함하는 것을 특징으로 하는 차량 정보 인디케이터을 이용한 차량 정보 인디케이팅 방법.
  5. 삭제
  6. 청구항 4에 있어서,
    상기 사용자의 작동 명령 신호가 무선 통신을 통하여 차량내 특정 기기에 전달되면, 특정 기기의 작동 정보가 차량내 디스플레이에 표시되는 단계;
    를 더 포함하는 것을 특징으로 하는 차량 정보 인디케이터을 이용한 차량 정보 인디케이팅 방법.
  7. 청구항 4에 있어서,
    상기 인디케이터의 공간 좌표 기준점인 아이 영역을 일정 시간 이상 벗어나면, 안전주행을 위한 경고 단계가 이루어지는 것을 특징으로 하는 차량 정보 인디케이터을 이용한 차량 정보 인디케이팅 방법.
  8. 청구항 4에 있어서,
    상기 인디케이터의 아이 영역에 대한 위치와, 좌표 설정을 위한 시선 패턴과, 작동 명령을 위한 신체 패턴을 분석하여 사용자를 구별하는 단계와;
    차량에 사용자 구별 신호를 전송하는 단계와;
    사용자 구별 신호에 따라, 핸들, 시트, 사이드 미러의 위치가 자동 조절되는 단계;
    를 더 포함하는 것을 특징으로 하는 차량 정보 인디케이터을 이용한 차량 정보 인디케이팅 방법.
  9. 사용자가 인디케이터을 착용한 상태에서 차량내 원하는 공간영역을 좌표화시키는 공간 좌표 설정 단계와;
    상기 인디케이터의 공간 좌표 기준점인 아이 영역을 중심으로 사용자의 시선 변환 거리를 인식하여 공간 좌표내의 원하는 영역을 세부 영역 좌표로 설정하되, 사용자의 시선 변화를 센싱하는 과정과, 사용자의 시선이 멈추는 지점을 입력하는 과정과, 입력된 시선이 멈추는 지점을 하나의 좌표값으로 인식하는 과정으로 이루어지는 세부 영역 좌표 설정 단계와;
    사용자의 시선 움직임 방향 및 거리가 세부 영역 좌표내의 특정 기기와 매칭되면, 특정 기기에 대한 사용자의 작동 명령 신호가 무선 통신을 통하여 전송되는 단계와;
    전송된 작동 명령 신호에 의하여 특정 기기가 작동하는 단계;
    를 포함하고,
    상기 특정 기기의 작동 도중, 사용자의 신체 모션 패턴 및 횟수를 특정 기기의 세부 작동 명령 신호로 인식하는 단계와;
    세부 작동 명령 신호에 따라 특정 기기의 세부 메뉴가 조작되는 단계;
    를 더 포함하는 것을 특징으로 하는 차량 정보 인디케이터을 이용한 차량 정보 인디케이팅 방법.
KR1020140025335A 2014-03-04 2014-03-04 착탈식 차량 정보 인디케이터 및 이를 이용한 차량 정보 인디케이팅 방법 Active KR101567194B1 (ko)

Priority Applications (3)

Application Number Priority Date Filing Date Title
KR1020140025335A KR101567194B1 (ko) 2014-03-04 2014-03-04 착탈식 차량 정보 인디케이터 및 이를 이용한 차량 정보 인디케이팅 방법
US14/611,445 US9607488B2 (en) 2014-03-04 2015-02-02 Wearable vehicle information indicator and method of indicating vehicle information using the same
CN201510069869.6A CN104890570B (zh) 2014-03-04 2015-02-10 佩戴式车辆信息指示器以及使用其指示车辆信息的方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020140025335A KR101567194B1 (ko) 2014-03-04 2014-03-04 착탈식 차량 정보 인디케이터 및 이를 이용한 차량 정보 인디케이팅 방법

Publications (2)

Publication Number Publication Date
KR20150103828A KR20150103828A (ko) 2015-09-14
KR101567194B1 true KR101567194B1 (ko) 2015-11-06

Family

ID=54017901

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020140025335A Active KR101567194B1 (ko) 2014-03-04 2014-03-04 착탈식 차량 정보 인디케이터 및 이를 이용한 차량 정보 인디케이팅 방법

Country Status (3)

Country Link
US (1) US9607488B2 (ko)
KR (1) KR101567194B1 (ko)
CN (1) CN104890570B (ko)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR3032155B1 (fr) * 2015-02-03 2017-01-13 Faurecia Interieur Ind Dispositif d'affichage d'au moins un pictogramme a l'interieur d'un habitacle de vehicule
DE102016224246B4 (de) * 2016-12-06 2024-07-04 Volkswagen Aktiengesellschaft Verfahren und Vorrichtung zur Interaktion mit einer grafischen Benutzerschnittstelle
KR20180070401A (ko) * 2016-12-16 2018-06-26 현대자동차주식회사 자율주행차량의 운전 제어권 이양을 판단하는 시스템 및 방법
GB2567164A (en) * 2017-10-04 2019-04-10 Continental Automotive Gmbh Display system in a vehicle
CN110386087B (zh) * 2018-04-23 2022-04-12 上海擎感智能科技有限公司 基于车辆的拍摄方法、存储介质、电子设备、及车辆
US10929099B2 (en) * 2018-11-02 2021-02-23 Bose Corporation Spatialized virtual personal assistant
CN112109550A (zh) * 2020-09-08 2020-12-22 中国第一汽车股份有限公司 基于ar-hud的预警信息的显示方法、装置、设备及车辆
CN115610345B (zh) * 2022-09-28 2025-02-18 郑州森鹏电子技术股份有限公司 一种车载电子后视镜及其控制电路

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010049383A (ja) * 2008-08-20 2010-03-04 Mazda Motor Corp 車両の警報装置
JP2012006552A (ja) * 2010-06-28 2012-01-12 Honda Motor Co Ltd 車載機器操作装置
JP2013027718A (ja) * 2004-04-01 2013-02-07 William C Torch 目の動きをモニターするバイオセンサ、コミュニケーター及びコントローラー並びにそれらの使用方法

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6614344B1 (en) * 2000-10-17 2003-09-02 Douglas H. Frasher Optical sensor for an adjustable vehicle seating system
WO2006001809A1 (en) 2004-06-30 2006-01-05 Ford Motor Company Information display and method of displaying information for a vehicle
US7764247B2 (en) * 2006-02-17 2010-07-27 Microsoft Corporation Adaptive heads-up user interface for automobiles
KR20080085256A (ko) 2007-03-19 2008-09-24 현대자동차주식회사 차량용 주행정보 디스플레이 장치 및 그 제어 방법
DE102007018072A1 (de) 2007-04-17 2008-10-30 Volkswagen Ag Anzeigeeinrichtung für ein Fahrzeug zum Anzeigen von den Betrieb des Fahrzeugs betreffende Informationen und Verfahren zum Anzeigen dieser Informationen
JP2010149580A (ja) 2008-12-24 2010-07-08 Toyota Motor Corp 車両内情報表示装置
JP4837762B2 (ja) * 2009-06-18 2011-12-14 本田技研工業株式会社 車載機器操作装置
US8605009B2 (en) * 2010-12-05 2013-12-10 Ford Global Technologies, Llc In-vehicle display management system
KR20120127790A (ko) 2011-05-16 2012-11-26 경북대학교 산학협력단 시선추적 시스템 및 그 방법
KR20130008979A (ko) 2011-07-14 2013-01-23 에스케이플래닛 주식회사 헤드 업 디스플레이 기반의 차량정보 제공 시스템, 이를 위한 방법, 이를 위한 단말기 및 이를 위한 서비스장치
US20130187845A1 (en) * 2012-01-20 2013-07-25 Visteon Global Technologies, Inc. Adaptive interface system
EP2908726B1 (en) * 2012-10-19 2022-12-21 Veoneer Sweden AB Method and device for detecting decreased attentiveness of vehicle driver

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013027718A (ja) * 2004-04-01 2013-02-07 William C Torch 目の動きをモニターするバイオセンサ、コミュニケーター及びコントローラー並びにそれらの使用方法
JP2010049383A (ja) * 2008-08-20 2010-03-04 Mazda Motor Corp 車両の警報装置
JP2012006552A (ja) * 2010-06-28 2012-01-12 Honda Motor Co Ltd 車載機器操作装置

Also Published As

Publication number Publication date
CN104890570A (zh) 2015-09-09
US9607488B2 (en) 2017-03-28
US20150254945A1 (en) 2015-09-10
KR20150103828A (ko) 2015-09-14
CN104890570B (zh) 2018-12-28

Similar Documents

Publication Publication Date Title
KR101567194B1 (ko) 착탈식 차량 정보 인디케이터 및 이를 이용한 차량 정보 인디케이팅 방법
JP7060031B2 (ja) 運転者監視システム
CN105829994B (zh) 用于在用于控制车辆的菜单内进行导航以及从菜单选择菜单项的设备和方法
US8874321B2 (en) Display control apparatus for vehicle
US11045366B2 (en) Personal vehicle, and control apparatus and control method therefore
US10162409B2 (en) Locating a head mounted display in a vehicle
US11626028B2 (en) System and method for providing vehicle function guidance and virtual test-driving experience based on augmented reality content
WO2015136874A1 (ja) 表示制御装置、表示装置、表示制御プログラム、表示制御方法、及び記録媒体
JP6330411B2 (ja) 情報呈示装置及び情報呈示方法
EP3163407B1 (en) Method and apparatus for alerting to head mounted display user
JP2018116495A (ja) ドライバ状態検出装置
EP3220359B1 (en) Vehicle and vehicle control method
KR20160016560A (ko) 웨어러블 장치 및 그 제어 방법
CN106184055A (zh) 用于使用头戴式显示器监测驾驶员状态的方法和装置
KR20120048981A (ko) 운전자를 위한 다기능 신체착용 컴퓨터
CN106585532B (zh) 一种汽车内后视镜视频切换方法及装置
KR102262879B1 (ko) 차량의 주행 경로 특성에 따른 사각지대 검출 및 알림 방법
KR101648021B1 (ko) 시선 인식 기능을 갖는 차량 및 그 제어방법과 시선 인식 시스템
US10642033B2 (en) Image display device and image display method
CN115185080B (zh) 一种车用可穿戴ar抬头显示系统
WO2017150466A1 (ja) 運転者監視システム
KR20130076215A (ko) 차량의 영상 변화 알림 장치
JP2015026255A (ja) 運転支援システムおよび運転支援方法
CN112241237B (zh) 图像显示装置、图像显示系统以及图像显示方法
JP6670965B2 (ja) 表示システム及び表示方法

Legal Events

Date Code Title Description
A201 Request for examination
PA0109 Patent application

Patent event code: PA01091R01D

Comment text: Patent Application

Patent event date: 20140304

PA0201 Request for examination
E902 Notification of reason for refusal
PE0902 Notice of grounds for rejection

Comment text: Notification of reason for refusal

Patent event date: 20150313

Patent event code: PE09021S01D

E701 Decision to grant or registration of patent right
PE0701 Decision of registration

Patent event code: PE07011S01D

Comment text: Decision to Grant Registration

Patent event date: 20150901

PG1501 Laying open of application
GRNT Written decision to grant
PR0701 Registration of establishment

Comment text: Registration of Establishment

Patent event date: 20151102

Patent event code: PR07011E01D

PR1002 Payment of registration fee

Payment date: 20151102

End annual number: 3

Start annual number: 1

PG1601 Publication of registration
FPAY Annual fee payment

Payment date: 20181030

Year of fee payment: 4

PR1001 Payment of annual fee

Payment date: 20181030

Start annual number: 4

End annual number: 4

FPAY Annual fee payment

Payment date: 20191029

Year of fee payment: 5

PR1001 Payment of annual fee

Payment date: 20191029

Start annual number: 5

End annual number: 5

PR1001 Payment of annual fee

Payment date: 20201028

Start annual number: 6

End annual number: 6

PR1001 Payment of annual fee

Payment date: 20211027

Start annual number: 7

End annual number: 7

PR1001 Payment of annual fee

Payment date: 20231025

Start annual number: 9

End annual number: 9