[go: up one dir, main page]

KR20130021980A - 차량의 승원 파악 및 시트벨트 경고 시스템과 그 방법 - Google Patents

차량의 승원 파악 및 시트벨트 경고 시스템과 그 방법 Download PDF

Info

Publication number
KR20130021980A
KR20130021980A KR1020110084587A KR20110084587A KR20130021980A KR 20130021980 A KR20130021980 A KR 20130021980A KR 1020110084587 A KR1020110084587 A KR 1020110084587A KR 20110084587 A KR20110084587 A KR 20110084587A KR 20130021980 A KR20130021980 A KR 20130021980A
Authority
KR
South Korea
Prior art keywords
seat belt
vehicle
person
bcm
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
KR1020110084587A
Other languages
English (en)
Inventor
박유태
황재호
송현
문진기
황영수
Original Assignee
현대모비스 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 현대모비스 주식회사 filed Critical 현대모비스 주식회사
Priority to KR1020110084587A priority Critical patent/KR20130021980A/ko
Publication of KR20130021980A publication Critical patent/KR20130021980A/ko
Ceased legal-status Critical Current

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Q—ARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q5/00—Arrangement or adaptation of acoustic signal devices
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R21/00—Arrangements or fittings on vehicles for protecting or preventing injuries to occupants or pedestrians in case of accidents or other traffic risks
    • B60R21/01—Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R21/00—Arrangements or fittings on vehicles for protecting or preventing injuries to occupants or pedestrians in case of accidents or other traffic risks
    • B60R21/02—Occupant safety arrangements or fittings, e.g. crash pads
    • B60R21/16—Inflatable occupant restraints or confinements designed to inflate upon impact or impending impact, e.g. air bags
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R21/00—Arrangements or fittings on vehicles for protecting or preventing injuries to occupants or pedestrians in case of accidents or other traffic risks
    • B60R21/02—Occupant safety arrangements or fittings, e.g. crash pads
    • B60R21/16—Inflatable occupant restraints or confinements designed to inflate upon impact or impending impact, e.g. air bags
    • B60R21/18—Inflatable occupant restraints or confinements designed to inflate upon impact or impending impact, e.g. air bags the inflatable member formed as a belt or harness or combined with a belt or harness arrangement
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R22/00—Safety belts or body harnesses in vehicles
    • B60R22/48—Control systems, alarms, or interlock systems, for the correct application of the belt or harness

Landscapes

  • Engineering & Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Automation & Control Theory (AREA)
  • Emergency Alarm Devices (AREA)

Abstract

차량 내에 고화각 카메라를 설치하여 승객 탑승 유무를 판단하고 이를 차량의 BCM(Body Control Module)에 전달하여 시트벨트 경고에 사용한다. 즉, 본 발명의 일면에 따른 차량의 승원 파악 및 시트벨트 경고 시스템은, 차체의 천장에 장착된 고화각 카메라와, 영상 인식 SBR(Seat Belt Reminder) 및 BCM(Body Control Module)을 포함하고, 상기 고화각 카메라는 180도 이상의 화각을 갖는 것이 바람직하며, 어안 렌즈를 구비한 카메라일 수 있다. 본 발명의 다른 면에 따른 차량의 승원 파악 및 시트벨트 경고 방법은, 고화각 카메라에 의하여 차량 내의 영상을 촬영하는 단계와, 촬영한 영상을 미리 저장하여 둔 승원 미탑승시의 영상과 비교하여 상기 차량의 탑승 물체를 추출하는 단계와, 추출된 상기 탑승 물체가 사람인지의 여부를 판단하는 단계와, 상기 탑승 물체가 사람이라고 판단되면, BCM(Body Control Module)에 승원 있음을 전송하는 단계를 포함한다.

Description

차량의 승원 파악 및 시트벨트 경고 시스템과 그 방법{System and method of passenger detection and seat belt reminder of vehicle}
본 발명은 차량의 승원 파악 및 시트벨트 경고 시스템과 그 방법에 관한 것으로서, 더 구체적으로는 에 관한 것이다.
SBR(Seat Belt Reminder) 시스템은 승객의 탑승 여부 및 시트벨트 착용여부를 확인하고 이 정보를 BCM(Body Control Module)에 전달하는 시스템이다.
BCM은 SBR에서 제공된 정보를 이용하여 승객이 탑승하여 시트벨트를 착용하지 않을 경우 알람을 통하여 경고를 한다.
SBR 시스템의 기본 기능 요구사항은 5% 여성보다 크거나 무거운 사람을 인식하는 것이다. EURO NCAP, CHINA NCAP 등의 각국의 인증제도에서는 해당 기능을 적용한 차량에 대하여 안전성 가점제도를 운영 또는 계획하고 있다.
도 1은 종래기술에 따른 SBR 장치를 나타내는 도면이다.
도 1에 나타난 바와 같이, 차량 내의 좌석에 센서가 구비된 SBR 매트(10)가 장착되어 있어 승객(30)의 탑승 여부를 판단하고, 버클 스위치(20)를 시트벨트 착용 여부를 판단하여, 판단 결과를 BCM(40)으로 전달한다. BCM(40)에서는 전달된 결과를 통해 승객(30)이 탑승하였으나 시트벨트를 착용하지 않은 것으로 판단되는 경우 경고등이나 차임벨 등을 통해 경고한다.
도 2는 통상 SBR 매트(10) 내에 구비되는 센서의 구성을 나타낸 것이다. 도 2에 나타난 바와 같은 센서는 대부분 시트 쿠션의 폼 위에 놓이게 되며, 이러한 제품들은 승객의 탑승에 따라 지속적인 스트레스를 받게 된다. 또한 하나의 센서당 하나의 자리에 대한 승원 감지밖에 하지 못하기 때문에 후석 승객의 탑승 여부를 판단하기 위해서는 후석 승원 착좌부에 별도의 센서가 필요하다는 불리한 점이 존재한다.
본 발명은 상술한 바와 같은 기술적 배경에서 안출된 것으로서, 간단한 장치를 이용하여 차량의 승원을 파악하고 및 시트벨트 착용을 경고할 수 있는 장치 및 방법을 제공하는 것을 그 목적으로 한다.
이와 같은 과제를 해결하기 위하여 본 발명에서는 차량 내에 고화각 카메라를 설치하여 승객 탑승 유무를 판단하고 이를 차량의 BCM(Body Control Module)에 전달한다.
즉, 본 발명의 일면에 따른 차량의 승원 파악 및 시트벨트 경고 시스템은, 차체의 천장에 장착된 고화각 카메라와, 영상 인식 SBR(Seat Belt Reminder) 및 BCM(Body Control Module)을 포함하여 이루어진다.
여기에서, 상기 고화각 카메라는 180도 이상의 화각을 갖는 것이 바람직하며, 어안 렌즈를 구비한 카메라일 수 있다.
본 발명의 다른 면에 따른 차량의 승원 파악 및 시트벨트 경고 방법은, 고화각 카메라에 의하여 차량 내의 영상을 촬영하는 단계와, 촬영한 영상을 미리 저장하여 둔 승원 미탑승시의 영상과 비교하여 상기 차량의 탑승 물체를 추출하는 단계와, 추출된 상기 탑승 물체가 사람인지의 여부를 판단하는 단계와, 상기 탑승 물체가 사람이라고 판단되면, BCM(Body Control Module)에 승원 있음을 전송하는 단계를 포함한다.
여기에서, 상기 사람인지의 여부를 판단하는 단계는, 원형의 형상이 존재할 경우 사람의 머리 형상으로 판단하여 사람인지의 여부를 판단하거나, 상기 탑승 물체의 움직임을 통하여 사람인지의 여부를 판단할 수 있다.
또한, 상기 BCM이 시트벨트 버클 센서로부터 시트벨트 착용 여부 정보를 확인하는 단계와, 상기 시트벨트 착용 여부 정보의 확인 결과 시트벨트를 착용하지 않은 경우, 경고를 표시하는 단계를 더 포함할 수도 있다.
본 발명에 따르면, 모델 기반 고장 검출 알고리즘에 벌점을 도입하여 고장 검출의 성능이 향상된다. 또한, 센서 고장과 엑츄에이터 고장 검출을 위해 각각 다른 필터를 적용함으로써 고장 모델만을 이용한 종래의 고장 검출 기법에 비해 계산량이 감소하고 차량의 리소스를 적게 사용한다.
도 1은 종래 기술에 따른 시트벨트 경고 시스템의 구성을 나타내는 도면이다.
도 2는 종래 기술에 따른 시트벨트 경고 시스템에서 사용되는 센서를 나타내는 도면이다.
도 3은 본 발명의 실시예에 따른 차량의 승원 파악 및 시트벨트 경고 시스템의 구성을 나타내는 블록도이다.
도 4는 본 발명의 실시예에 따른 차량의 승원 파악 및 시트벨트 경고 시스템에서 승원을 감지하는 방법을 예시하는 도면이다.
도 5와 도 6은 본 발명의 실시예에 따른 차량의 승원 파악 및 시트벨트 경고 시스템의 동작을 나타내는 흐름도이다.
본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 것이며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하며, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다. 한편, 본 명세서에서 사용된 용어는 실시예들을 설명하기 위한 것이며 본 발명을 제한하고자 하는 것은 아니다. 본 명세서에서, 단수형은 문구에서 특별히 언급하지 않는 한 복수형도 포함한다. 명세서에서 사용되는 "포함한다(comprises)" 및/또는 "포함하는(comprising)"은 언급된 구성요소, 단계, 동작 및/또는 소자는 하나 이상의 다른 구성요소, 단계, 동작 및/또는 소자의 존재 또는 추가를 배제하지 않는다.
이하에서, 첨부한 도면을 참고로 하여 본 발명의 실시예에 따른 차량의 승원 파악 및 시트벨트 경고 시스템에 대하여 상세히 설명하기로 한다.
도 3은 본 발명의 실시예에 따른 차량의 승원 파악 및 시트벨트 경고 시스템의 구성을 나타내는 블록도이다.
도 3에 나타난 바와 같이, 본 발명의 실시예에 따른 차량의 승원 파악 및 시트벨트 경고 시스템(100)은 차량 내에 장착된 고화각 카메라(110)와 영상 인식 SBR(Seat Belt Reminder)(120) 및 BCM(Body Control Module)(130)을 포함하여 이루어진다.
고화각 카메라(110)는 180도 이상의 고화각을 가진 카메라로서 차체의 천장에 장착된다.
고화각 카메라(110)는 어안 렌즈(Fish-Eye Lens)를 이용한 카메라일 수 있다.
어안 렌즈는 180도 또는 그 이상의 화각을 갖는 극초광각 렌즈로 수중에서 물고기가 위를 쳐다보았을 때 물의 굴절률로 수면 위의 모든 것을 볼 수 있다는 데서 '어안 렌즈'라는 명칭이 붙여졌으며, '전천 렌즈' 또는 'Sky Lens;라고도 한다.
어안 렌즈는 구면수차를 역이용하여 만든 렌즈로, 전면부의 대형 오목렌즈를 이용하여 초점이 맺어지는 원리로 만들어졌으며, 이 오목렌즈 때문에 술통 모양의 둥근 왜곡이 생기게 된다.
이러한 렌즈를 사용하게 되면 180도 이상의 화각을 확보할 수 있으며, 이러한 기술을 사용하여 하나의 카메라로 차량의 전체 내부를 모니터링할 수 있다.
본 발명의 실시예에 따른 차량의 승원 파악 및 시트벨트 경고 시스템(100)에서는 전장에 위치한 하나의 고화각 카메라(110)로 차량 내부 전체의 영상을 촬영하고, 영상인식 SBR(120)에서는 초기 영상(승원 미탑승시)와 현재 영상 간의 차이와 사람의 머리 형상(원형) 등을 파악하여 승원 유무를 파악한다.
도 4는 본 발명의 실시예에 따른 차량의 승원 파악 및 시트벨트 경고 시스템에서 승원을 감지하는 방법을 예시하는 도면으로서, 도 4에 나타난 바와 같이, 원형의 형상이 존재할 경우 사람의 머리 형상으로 판단하여 승원 유무를 판단할 수 있다.
또한, 지속적인 모션 디텍팅을 통하여 차량 주행 중에 차량 탑승물(현재 촬영 영상-승원 미탑승시의 영상)이 계속 움직인다면 이 또한 사람이 탑승했다는 정보로 활용한다.
이와 같이 영상인식 SBR(120)에 의해 파악된 승원 유무는 BCM(130)으로 전달된다.
이제, 본 발명의 실시예에 따른 차량의 승원 파악 및 시트벨트 경고 시스템의 동작에 대하여 도면을 참고로 상세히 설명하기로 한다.도 5와 도 6은 본 발명의 실시예에 따른 차량의 승원 파악 및 시트벨트 경고 시스템의 동작을 나타내는 흐름도로서, 각각 영상인식 SBR(120)과 BCM(130)에서의 동작을 나타낸다.
도 5에 나타난 바와 같이, 먼저 차량 내의 영상을 촬영한다(S510). 다음 촬영한 영상을 미리 저장하여 둔 초기 영상(승원 미탑승시의 영상)과 비교하여 차량의 탑승 물체를 추출한다(S520).
탑승 물체가 없는 것으로 판단된 경우(S530의 아니오)에는 BCM으로 승원 없음을 전송하고 종료한다(S540).
반대로, 탑승 물체가 있는 것으로 판단된 경우(S530의 예), 탑승 물체가 사람인지의 여부를 판단한다(S550). 이 때 탑승 물체가 사람인지의 여부를 판단하는 데 가장 간단하게 사용할 수 있는 방법은 사람의 머리 모양이 원형인 점을 감안하여 물체 외곽선 형상 중 원형이 존재하는지의 여부를 확인하는 것이다. 뿐만 아니라, 눈, 코, 입 등의 얼굴 특징을 모니터링할 수도 있다.
탑승 물체가 사람이라고 판단된 경우라면(S560의 예), BCM에 승원 있음을 전송한다(S570).
한편, S550 단계의 승원 판단을 보강하기 위하여, 모션 디텍팅을 이용할 수도 있다. 즉, 차량 내의 물체가 움직인다면 사람이라고 판단할 수 있을 것이며, 만약 물체라면 주행 중 움직임이 없을 것이다.
즉, S560 단계에서 탑승 물체가 사람이 아니라고 판단된 경우에도(S560의 아니오), 모션 디텍팅을 하여(S580), 움직임이 있으면(S590의 예) BCM에 승원 있음을 전송하고(S570), 움직임이 없으면(S590의 아니오) BCM에 승원 없음을 전송한다(S540).
도 6은 이와 같은 동작에 따라 승원 유무를 전달받은 BCM의 동작을 나타낸다.
도 6에 나타난 바와 같이, 영상인식 SBR로부터 승원 유무 정보를 확인하여(S610), 승원이 없을 경우에는(S620의 아니오) 아무 역할도 수행하지 않고 종료하게 되지만, 승원이 있을 경우에는(S620의 예) 시트벨트 버클 센서로부터 시트벨트 착용 여부의 정보를 확인한다(S630).
시트벨트를 착용하지 않은 승원이 있는 것으로 판단되는 경우(S640의 예) 경고음 및/또는 경고등을 통하여 시트벨트 미착용을 경고한다(S650).
이상에서 바람직한 실시예를 기준으로 본 발명을 설명하였지만, 본 발명의 장치 및 방법은 반드시 상술된 실시예에 제한되는 것은 아니며 발명의 요지와 범위로부터 벗어남이 없이 다양한 수정이나 변형을 하는 것이 가능하다. 따라서, 첨부된 특허청구의 범위는 본 발명의 요지에 속하는 한 이러한 수정이나 변형을 포함할 것이다.

Claims (7)

  1. 차체의 천장에 장착된 고화각 카메라와,
    영상 인식 SBR(Seat Belt Reminder) 및
    BCM(Body Control Module)을 포함하는 차량의 승원 파악 및 시트벨트 경고 시스템.
  2. 제1항에 있어서, 상기 고화각 카메라는,
    180도 이상의 화각을 갖는 차량의 승원 파악 및 시트벨트 경고 시스템.
  3. 제1항에 있어서, 상기 고화각 카메라는,
    어안 렌즈를 구비한 카메라인 차량의 승원 파악 및 시트벨트 경고 시스템.
  4. 고화각 카메라에 의하여 차량 내의 영상을 촬영하는 단계와,
    촬영한 영상을 미리 저장하여 둔 승원 미탑승시의 영상과 비교하여 상기 차량의 탑승 물체를 추출하는 단계와,
    추출된 상기 탑승 물체가 사람인지의 여부를 판단하는 단계와,
    상기 탑승 물체가 사람이라고 판단되면, BCM(Body Control Module)에 승원 있음을 전송하는 단계를 포함하는 차량의 승원 파악 및 시트벨트 경고 방법.
  5. 제4항에 있어서, 상기 사람인지의 여부를 판단하는 단계는,
    원형의 형상이 존재할 경우 사람의 머리 형상으로 판단하여 사람인지의 여부를 판단하는 차량의 승원 파악 및 시트벨트 경고 방법.
  6. 제4항에 있어서, 상기 사람인지의 여부를 판단하는 단계는,
    상기 탑승 물체의 움직임을 통하여 사람인지의 여부를 판단하는 차량의 승원 파악 및 시트벨트 경고 방법.
  7. 제4항에 있어서,
    상기 BCM이 시트벨트 버클 센서로부터 시트벨트 착용 여부 정보를 확인하는 단계와,
    상기 시트벨트 착용 여부 정보의 확인 결과 시트벨트를 착용하지 않은 경우, 경고를 표시하는 단계를 더 포함하는 차량의 승원 파악 및 시트벨트 경고 방법.
KR1020110084587A 2011-08-24 2011-08-24 차량의 승원 파악 및 시트벨트 경고 시스템과 그 방법 Ceased KR20130021980A (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020110084587A KR20130021980A (ko) 2011-08-24 2011-08-24 차량의 승원 파악 및 시트벨트 경고 시스템과 그 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020110084587A KR20130021980A (ko) 2011-08-24 2011-08-24 차량의 승원 파악 및 시트벨트 경고 시스템과 그 방법

Publications (1)

Publication Number Publication Date
KR20130021980A true KR20130021980A (ko) 2013-03-06

Family

ID=48174750

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020110084587A Ceased KR20130021980A (ko) 2011-08-24 2011-08-24 차량의 승원 파악 및 시트벨트 경고 시스템과 그 방법

Country Status (1)

Country Link
KR (1) KR20130021980A (ko)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101461911B1 (ko) * 2013-07-25 2014-11-13 현대자동차주식회사 안전벨트 체결 상태 가이드 장치 및 방법
US10640008B2 (en) 2017-10-03 2020-05-05 Ford Global Technologies, Llc Systems and methods for vehicle seat occupancy detection
US11613230B2 (en) 2020-07-21 2023-03-28 Hyundai Mobis Co., Ltd. Passenger detection apparatus and method

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101461911B1 (ko) * 2013-07-25 2014-11-13 현대자동차주식회사 안전벨트 체결 상태 가이드 장치 및 방법
US10640008B2 (en) 2017-10-03 2020-05-05 Ford Global Technologies, Llc Systems and methods for vehicle seat occupancy detection
US11613230B2 (en) 2020-07-21 2023-03-28 Hyundai Mobis Co., Ltd. Passenger detection apparatus and method

Similar Documents

Publication Publication Date Title
CN111417990B (zh) 使用面向驾驶员的成像装置来监视驾驶员行为以用于车辆的车队中的车辆车队管理的系统和方法
CN106463065B (zh) 驾驶员的驾驶不能状态检测装置
CN106663377B (zh) 驾驶员的驾驶不能状态检测装置
CN106471556B (zh) 驾驶员的驾驶不能状态检测装置
CN102874210B (zh) 一种防止安全带假系的装置
US9558414B1 (en) Method for calculating a response time
JP2008199515A (ja) 同乗者着座姿勢検出・判定装置及び方法
CN102555982B (zh) 基于机器视觉的安全带佩带识别方法及装置
US10293836B2 (en) Vehicle assistant system and vehicle
CN110525340B (zh) 车辆的乘员监视装置
JP2008269496A (ja) 乗員情報検出システム、乗員拘束システム、車両
JP2007022401A (ja) 乗員情報検出システム、乗員拘束装置、車両
KR102601354B1 (ko) 영상기반 승객 검출 및 안전벨트 착용 검출 장치와 방법
CN105730392A (zh) 安全带未系提醒系统及方法
TW201621760A (zh) 乘客攔車提示方法與裝置
JP6256433B2 (ja) 運転者状態検出装置
CN107891806A (zh) 一种车辆安全系统及其使用方法
KR20130021980A (ko) 차량의 승원 파악 및 시트벨트 경고 시스템과 그 방법
CN202518219U (zh) 基于机器视觉的安全带佩带识别装置
JP2015169980A (ja) 運転監視装置
KR102557351B1 (ko) 차량 탑승자의 안전벨트 착용 검지 시스템
CN112277940B (zh) 基于图像信息的司机状态控制系统
KR101684020B1 (ko) 사각 지대에 있는 차량을 검출하는 장치 및 방법
JP7624790B2 (ja) 車両のわき見監視装置
KR102781436B1 (ko) 전기버스의 디지털 콕핏 시스템 및 전기버스 디지털 콕핏의 디스플레이 방법

Legal Events

Date Code Title Description
PA0109 Patent application

Patent event code: PA01091R01D

Comment text: Patent Application

Patent event date: 20110824

PG1501 Laying open of application
A201 Request for examination
PA0201 Request for examination

Patent event code: PA02012R01D

Patent event date: 20160824

Comment text: Request for Examination of Application

Patent event code: PA02011R01I

Patent event date: 20110824

Comment text: Patent Application

E902 Notification of reason for refusal
PE0902 Notice of grounds for rejection

Comment text: Notification of reason for refusal

Patent event date: 20170718

Patent event code: PE09021S01D

E601 Decision to refuse application
PE0601 Decision on rejection of patent

Patent event date: 20171121

Comment text: Decision to Refuse Application

Patent event code: PE06012S01D

Patent event date: 20170718

Comment text: Notification of reason for refusal

Patent event code: PE06011S01I