[go: up one dir, main page]

KR101841948B1 - 차량 내 분실물 예방 서비스 제공장치, 제공방법 및 이동 단말기 - Google Patents

차량 내 분실물 예방 서비스 제공장치, 제공방법 및 이동 단말기 Download PDF

Info

Publication number
KR101841948B1
KR101841948B1 KR1020150139344A KR20150139344A KR101841948B1 KR 101841948 B1 KR101841948 B1 KR 101841948B1 KR 1020150139344 A KR1020150139344 A KR 1020150139344A KR 20150139344 A KR20150139344 A KR 20150139344A KR 101841948 B1 KR101841948 B1 KR 101841948B1
Authority
KR
South Korea
Prior art keywords
vehicle
display
unit
processor
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
KR1020150139344A
Other languages
English (en)
Other versions
KR20170040015A (ko
Inventor
제갈찬
Original Assignee
엘지전자 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 엘지전자 주식회사 filed Critical 엘지전자 주식회사
Priority to KR1020150139344A priority Critical patent/KR101841948B1/ko
Priority to EP16000491.7A priority patent/EP3151158A1/en
Priority to CN201610158189.6A priority patent/CN106560836B/zh
Priority to US15/150,092 priority patent/US10431069B2/en
Publication of KR20170040015A publication Critical patent/KR20170040015A/ko
Application granted granted Critical
Publication of KR101841948B1 publication Critical patent/KR101841948B1/ko
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Q—ARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q9/00—Arrangement or adaptation of signal devices not provided for in one of main groups B60Q1/00 - B60Q7/00, e.g. haptic signalling
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B21/00—Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
    • G08B21/02—Alarms for ensuring the safety of persons
    • G08B21/0202—Child monitoring systems using a transmitter-receiver system carried by the parent and the child
    • G08B21/0277—Communication between units on a local network, e.g. Bluetooth, piconet, zigbee, Wireless Personal Area Networks [WPAN]
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B21/00—Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
    • G08B21/02—Alarms for ensuring the safety of persons
    • G08B21/0202—Child monitoring systems using a transmitter-receiver system carried by the parent and the child
    • G08B21/0294—Display details on parent unit
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B21/00—Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
    • G08B21/18—Status alarms
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B21/00—Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
    • G08B21/18—Status alarms
    • G08B21/24—Reminder alarms, e.g. anti-loss alarms
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B25/00—Alarm systems in which the location of the alarm condition is signalled to a central station, e.g. fire or police telegraphic systems
    • G08B25/01—Alarm systems in which the location of the alarm condition is signalled to a central station, e.g. fire or police telegraphic systems characterised by the transmission medium
    • G08B25/10—Alarm systems in which the location of the alarm condition is signalled to a central station, e.g. fire or police telegraphic systems characterised by the transmission medium using wireless transmission systems
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B25/00—Alarm systems in which the location of the alarm condition is signalled to a central station, e.g. fire or police telegraphic systems
    • G08B25/14—Central alarm receiver or annunciator arrangements
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B5/00—Visible signalling systems, e.g. personal calling systems, remote indication of seats occupied
    • G08B5/22—Visible signalling systems, e.g. personal calling systems, remote indication of seats occupied using electric transmission; using electromagnetic transmission
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/80—Services using short range communication, e.g. near-field communication [NFC], radio-frequency identification [RFID] or low energy communication
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/20—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of display used
    • B60R2300/205—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of display used using a head-up display
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W88/00—Devices specially adapted for wireless communication networks, e.g. terminals, base stations or access point devices
    • H04W88/02—Terminal devices

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Emergency Management (AREA)
  • Business, Economics & Management (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Mechanical Engineering (AREA)
  • Human Computer Interaction (AREA)
  • Emergency Alarm Devices (AREA)
  • Health & Medical Sciences (AREA)
  • Child & Adolescent Psychology (AREA)
  • General Health & Medical Sciences (AREA)
  • Electromagnetism (AREA)
  • User Interface Of Digital Computer (AREA)
  • Traffic Control Systems (AREA)
  • Navigation (AREA)

Abstract

실시예에 따른 분실물 예방 서비스 제공장치는 차량 내부의 물체를 감지하는 센서부와, 상기 검출된 물체의 특징을 검출하고, 상기 특징에 따라 차량 내 물체 상태 정보를 생성하는 프로세서와, 상기 차량 내 물체 상태 정보를 알림하는 알람부를 포함하고, 상기 프로세서는, 상기 물체의 위치, 상기 물체의 종류 및 상기 물체의 분실 시점 중 적어도 하나 이상의 상기 물체의 특징이 나타나도록 상기 차량 내 물체 상태 정보를 생성하고 상기 알람부의 알림 방법을 제어한다.

Description

차량 내 분실물 예방 서비스 제공장치, 제공방법 및 이동 단말기 {Apparatus, Method and Mobile Terminal for providing service to prevent lost article on inner Vehicle}
본 발명은 차량 내 분실물 예방 서비스 제공장치, 제공방법 및 이동 단말기에 관한 것이다.
차량은 탑승하는 사용자가 원하는 방향으로 이동시키는 장치이다. 대표적으로 자동차를 예를 들 수 있다.
한편, 차량을 이용하는 사용자의 편의를 위해, 각 종 센서와 전자 장치 등이 구비되고 있는 추세이다. 특히, 사용자의 운전 편의를 위한 다양한 장치 등이 개발되고 있다.
최근에는 탑승자가 하차할 때, 소지한 물체를 차량 내 두고 내리는 것을 방지하기 위하여, 차량에 위치한 물체를 감지하고 하차 전 알려주는 분실물 방지 시스템 들이 제안되고 있다.
그러나 기존 분실물 방지 시스템은 차량 내에 물체 유무를 감지하는데 불과하고, 분실물 방지 경고를 놓치고 차량을 하차한 탑승자에게는 분실 여부를 알리지 못하는 한계가 있다.
실시예는 전술한 한계를 극복하기 위한 차량 내 분실물 예방 서비스 제공장치, 제공방법 및 이동 단말기를 제공하고자 한다.
실시예에 따른 분실물 예방 서비스 제공장치는 차량 내부의 물체를 감지하는 센서부; 상기 검출된 물체의 특징을 검출하고, 상기 특징에 따라 차량 내 물체 상태 정보를 생성하는 프로세서; 및 상기 차량 내 물체 상태 정보를 알림하는 알람부를 포함하고, 상기 프로세서는, 상기 물체의 위치, 상기 물체의 종류 및 상기 물체의 분실 시점 중 적어도 하나 이상의 상기 물체의 특징이 나타나도록 상기 차량 내 물체 상태 정보를 생성하고 상기 알람부의 알림 방법을 제어한다.
또한, 다른 측면에서 실시예에 따른 분실물 예방 서비스 제공장치는 차량 내부의 물체를 감지하는 센서부; 상기 검출된 물체의 특징을 검출하고, 상기 특징에 따라서 차량 내 물체 상태 정보를 생성하는 프로세서; 및 상기 차량 내 물체 상태 정보를 이미지로 표시하는 디스플레이부를 포함하고, 상기 디스플레이부는, 상기 차량의 사이드 글라스에 상기 차량 내 물체 상태 정보를 이미지로 표시하는 윈도우 디스플레이를 포함한다.
또한, 실시예에 따른 분실물 예방 서비스 제공방법은 탑승 전 차량 내부 이미지, 탑승 후 차량 내부 이미지, 정차시 차량 내부 이미지 및 하차 후 차량 내부 이미지 중 적어도 둘 이상을 센싱하는 단계; 상기 차량 내부 이미지들 중 적어도 둘 이상을 비교하여 상기 차량 내부 물체를 검출하고 상기 물체의 특징 정보를 생성하는 단계; 상기 물체의 소지 여부를 검출하고, 미소지시 상기 물체의 특징 정보를 상기 차량 내의 알람부를 통해 알림하는 단계; 및 하차 후에 상기 물체 검출시 이동 단말기에 상기 특징 정보를 전송하는 단계을 포함한다.
또한, 실시예에 따른 분실물 예방 서비스를 제공하는 이동 단말기는 차량 내부 물체의 특징을 반영한 차량 내 물체 상태 정보를 수신하는 무선 통신부; 상기 차량 내 물체 상태 정보를 표시하는 터치 스크린; 및 상기 차량 내 물체 상태 정보를 관리하는 그래픽 유저 인터페이스를 상기 터치 스크린을 통해 제공하는 제어부를 포함하고, 상기 물체의 특징은 상기 물체의 위치, 상기 물체의 종류, 상기 물체의 소유자, 상기 물체의 분실 시점 및 상기 물체를 상징하는 아이콘 중 적어도 하나를 포함한다.
이러한 실시예에 따른 분실물 예방 서비스 제공장치는 사용자가 차량 내에서 물체를 분실하는 것을 효과적으로 방지할 수 있고, 나아가 차량 내 물건을 손쉽게 관리할 수 있는 인터페이스를 제공할 수 있다.
자세히, 실시예에 따른 분실물 예방 서비스 제공장치는 차량 내 물체의 특징 정보를 상세하게 검출하고, 필요 시점에 적절한 특징 정보를 제공해줌으로써, 차량 내에서 물체를 분실하는 것을 방지할 수 있다.
이때, 실시예에 따른 분실물 예방 서비스 제공장치는 탑승자 별, 물체의 소유자에 대응되는 출력부로 분실 상태를 알림할 수 있다. 자세히, 실시예에 따른 분실물 예방 서비스 제공장치는 탑승자가 하차하는 방향에 사이드 글라스에 특징 정보를 표시하여, 물체를 두고 나가는 탑승자가 직관적으로 물체 분실을 인지하게 하여, 분실을 방지할 수 있다.
또한, 실시예에 따른 분실물 예방 서비스 제공장치는 알림이 필요한 적절한 시점에 따라 적절한 정보를 제공해 줄 수 있다. 자세히, 주행 중과 정차시, 하차시, 하차 이후에 필요한 알림을 제공해주고, 이를 손쉽게 관리할 수 있는 사용자 인터페이스를 제공해줄 수 있다.
특히, 실시예에 따른 분실물 예방 서비스 제공장치는 하차한 이후에도 통신부를 통해 사용자에게 차량 내 물건 소지 상태를 알려줌으로써, 사용자가 차량 내 물건을 효율적으로 관리하도록 도울 수 있다.
도 1은 본 발명의 실시예에 따른 분실물 예방 서비스 제공 시스템의 블록도를 나타낸다.
도 2는 본 발명의 실시예에 따른 분실물 예방 서비스 제공장치의 블록도를 나타낸다.
도 3은 본 발명의 실시예에 따른 분실물 예방 서비스 제공장치를 구비하는 차량의 내관을 도시한 도면이다.
도 4a 내지 도 4c는 본 발명의 실시예에 따른 센서부가 차량 내 물체를 검출하는 방법을 설명하기 위한 도면들이다.
도 5는 본 발명의 실시예에 따른 차량 내 물체의 종류를 검출하는 방법을 설명하기 위한 도면이다.
도 6은 본 발명의 실시예에 따른 디스플레이부의 내부 블록도이다.
도 7은 본 발명의 실시예에 따른 디스플레이부를 나타내는 차량의 평면도이다.
도 8은 본 발명의 실시예에 따른 차량 내 물체 상태 정보를 나타내는 윈도우 디스플레이를 차량 내부에서 바라본 모습을 나타낸다.
도 9는 본 발명의 실시예에 따른 차량 내 물체 상태 정보를 나타내는 윈도우 디스플레이를 차량 외부에서 바라본 모습을 나타낸다.
도 10은 본 발명의 실시예에 따른 좌석 디스플레이를 나타낸다.
도 11 내지 14는 본 발명의 실시예에 따른 차량 내 물체 상태 정보를 나타내는 표시방식들의 일례이다.
도 15는 본 발명의 실시예에 따른 분실물 예방 서비스 제공방법을 설명하기 위한 흐름도이다.
도 16은 본 발명의 실시예에 따른 분실물 예방 서비스의 구체적인 실시 방법을 설명하기 위한 흐름도이다.
도 17은 본 발명의 실시예에 따른 차량 내부 촬영 영상을 나타낸다.
도 18 및 도 19는 본 발명의 실시예에 따른 차량 내 물체 상태 정보를 표시하고 관리하는 GUI들을 나타낸다. 도 20 내지 22는 본 발명의 실시예에 따른 예약 알림 방법을 설명하기 위한 도면들이다.
도 23은 본 발명의 실시예에 따른 목적지 도착시 윈드실드 디스플레이가 차량 내 물체 상태 정보를 표시하는 모습을 나타낸다.
도 24는 본 발명의 실시예에 따른 목적지 도착시 윈도우 디스플레이가 차량 내 물체 상태 정보를 표시하는 모습을 나타낸다.
도 25는 본 발명의 실시예에 따른 하차시 알람부가 차량 내 물체 상태 정보를 알림하는 모습을 나타낸다.
도 26은 본 발명의 실시예에 따른 하차 후 알람부가 차량 내 물체 상태 정보를 알림하는 모습을 나타낸다.
도 27은 본 발명의 실시예에 따른 하차한 후 이전 탑승자들에게 차량 내 물체 상태 정보를 알림하는 모습을 나타낸다.
도 28은 본 발명의 실시예에 따른 분실물 예방 서비스를 제공하는 이동 단말기의 블록도이다.
도 29 내지 도 31은 본 발명의 실시예에 따른 차량 내 물체 상태 정보를 표시하고 관리하도록 제공되는 그래픽 유저 인터페이스의 일례들을 나타낸다.
도 32는 본 발명의 실시예에 따른 분실물 예방 서비스를 제공하는 웨어러블 디바이스를 나타낸다.
도 33은 분실물 예방 서비스 제공장치를 포함하는 차량의 내부 블록도의 일 예이다.
이하, 첨부된 도면을 참조하여 본 명세서에 개시된 실시 예를 상세히 설명하되, 도면 부호에 관계없이 동일하거나 유사한 구성요소는 동일한 참조 번호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다. 이하의 설명에서 사용되는 구성요소에 대한 접미사 "모듈" 및 "부"는 명세서 작성의 용이함만이 고려되어 부여되거나 혼용되는 것으로서, 그 자체로 서로 구별되는 의미 또는 역할을 갖는 것은 아니다. 또한, 본 명세서에 개시된 실시 예를 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 본 명세서에 개시된 실시 예의 요지를 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다. 또한, 첨부된 도면은 본 명세서에 개시된 실시 예를 쉽게 이해할 수 있도록 하기 위한 것일 뿐, 첨부된 도면에 의해 본 명세서에 개시된 기술적 사상이 제한되지 않으며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.
제1, 제2 등과 같이 서수를 포함하는 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되지는 않는다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다.
어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다.
단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다.
본 출원에서, "포함한다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
본 명세서에서 기술되는 차량은, 자동차, 오토바이를 포함하는 개념일 수 있다. 이하에서는, 차량에 대해 자동차를 위주로 기술한다.
본 명세서에서 기술되는 차량은, 동력원으로서 엔진을 구비하는 내연기관 차량, 동력원으로서 엔진과 전기 모터를 구비하는 하이브리드 차량, 동력원으로서 전기 모터를 구비하는 전기 차량 등을 모두 포함하는 개념일 수 있다.
이하의 설명에서 차량의 좌측은 차량의 주행 방향의 좌측을 의미하고, 차량의 우측은 차량의 주행 방향의 우측을 의미한다.
이하의 설명에서 별도로 언급되지 않는 한 LHD(Left Hand Drive) 차량을 중심으로 설명한다.
도 1은 본 발명의 실시예에 따른 분실물 예방 서비스 제공 시스템의 블록도를 나타낸다.
도 1을 참조하면, 분실물 예방 서비스 제공 시스템은 차량 내에 구비되는 분실물 예방 서비스 제공장치(100), 분실물 예방 서비스를 제공하는 이동 단말기(600) 및 이미지 검색 데이터베이스를 포함하는 서버(500)를 포함할 수 있다.
먼저, 분실물 예방 서비스 제공장치(100)는 차량 내 물체를 검출할 수 있다. 이때, 분실물 예방 서비스 제공장치(100)는 물체를 검출할 뿐만 아니라, 물체의 특징을 검출하고 특징을 반영한 차량 내 물체 상태 정보를 사용자에게 알림으로써, 탑승자가 하차시 물체를 분실하지 않도록 분실물 예방 서비스를 제공할 수 있다. 여기서, 분실이란 탑승자가 차량 내에 물건을 놓고 내리는 동작을 의미한다.
또한, 물체의 특징은 물체의 위치, 물체의 종류, 물체의 소유자, 물체의 분실 시점 및 물체를 상징하는 아이콘 중 적어도 하나를 포함할 수 있으며, 물체의 특징들은 특징 정보로 저장될 수 있다.
또한, 분실물 예방 서비스 제공장치(100)는 하차 후에도 분실 물체에 대한 정보를 탑승자의 이동 단말기(600)로 송신하여, 탑승자가 분실 상태를 인지하도록 도울 수 있다. 이때, 분실 물체에 대한 정보에는 특징 정보를 포함하여, 탑승자는 분실한 물체의 소지 필요성을 파악할 수 있고, 차량 내 물건 보유 상태를 알고 효과적으로 관리할 수 있다.
한편, 분실물 예방 서비스 제공장치(100)는 특징 정보를 생성하기 위하여, 이미지 검색 데이터베이스를 포함하는 서버(500)를 이용할 수 있다.
먼저, 도 2 내지 도 10을 참조하여, 상기 분실물 예방 서비스 제공장치(100)에 대해 좀더 상세히 설명한다.
먼저, 분실물 예방 서비스 제공장치(100)는 차량 내에 구비될 수 있다.
여기서, 분실물 예방 서비스 제공장치(100)는 차량과 별도의 장치로서, 차량과 데이터 통신을 통해 필요 정보를 주고 받으며 분실물 예방 서비스를 제공할 수 있고, 차량의 유닛 중 일부의 집합을 분실물 예방 서비스 제공장치(100)로 정의할 수도 있다.
별도의 장치일 때, 분실물 예방 서비스 제공장치(100)의 각 유닛들 중 일부는 분실물 예방 서비스 제공장치(100)에 포함되지 않고, 차량 또는 차량에 탑재된 다른 장치의 유닛일 수 있다. 이러한 유닛들은 분실물 예방 서비스 제공장치(100)의 인터페이스부를 통해 데이터 송수신함으로써, 분실물 예방 서비스 제공장치(100)에 포함되는 것으로 이해할 수 있다.
도 2를 참조하면, 이러한 분실물 예방 서비스 제공장치(100)는 입력부(110), 통신부(120), 인터페이스부(130), 메모리(140), 센서부(150), 프로세서(170), 알람부(180) 및 전원 공급부(190)를 포함할 수 있다. 이때, 도 2에 도시된 구성요소들은 분실물 예방 서비스 제공장치(100)를 구현하는데 있어서 필수적인 것은 아니어서, 본 명세서 상에서 설명되는 분실물 예방 서비스 제공장치(100)는 위에서 열거된 구성요소들 보다 많거나, 또는 적은 구성요소들을 가질 수 있다.
먼저, 분실물 예방 서비스 제공장치(100)는 사용자의 입력을 감지하는 입력부(110)를 포함할 수 있다.
입력부(110)는 사용자로부터 분실물 예방 서비스 기능을 온/오프하거나, 분실물 예방 서비스 제공장치(100)의 자체의 전원을 온/오프시키는 실행 입력을 감지할 수 있다.
또한, 사용자는 입력부(110)를 통해 분실물 예방 서비스 기능을 제어하는 사용자 입력을 감지할 수 있다.
이러한 입력부(110)는 사용자 제스쳐를 감지하는 제스쳐 입력부, 터치를 감지하는 터치 입력부 및 음성 입력을 감지하는 마이크로 폰 중 적어도 하나 이상을 포함하여, 사용자 입력을 감지할 수 있다.
특히, 터치 입력부는 디스플레이부와 결합하여 터치 스크린으로 구현되고, 프로세서(170)는 터치 스크린을 통해 분실물 예방 서비스 제공장치(100)와 사용자 사이의 그래픽 유저 인터페이스(Graphic user interface, GUI)를 제공할 수 있다.
다음으로, 분실물 예방 서비스 제공장치(100)는 타차량(510), 이동 단말기(600) 및 서버(500) 등과 통신하는 통신부(120)를 포함할 수 있다.
프로세서(170)는 통신부(120)를 통해 이동 단말기(600)와 차량 내 물체에 대한 데이터를 주고 받음으로써, 하차 후에도 사용자에게 분실물 예방 서비스를 제공할 수 있다.
또한, 프로세서(170)는 통신부(120)를 통해 이미지 검색 데이터베이스를 포함하는 서버(500)에 차량 내 물체 이미지를 검색을 요청하여, 물체의 종류 등을 검출할 수 있다.
자세히, 통신부(120)는 이동 단말기(600) 또는 서버(500)와 무선(wireless) 방식으로 데이터를 교환할 수 있다. 특히, 통신부(120)는 차량 내외의 사용자의 이동 단말기(600)와 무선으로 데이터를 교환할 수 있다.
자세히, 이동 단말기(600)가 차량에 근접할 경우, 통신부(120)는 근거리 통신(Short range communication)을 위한 것으로서, 블루투스(Bluetooth™), RFID(Radio Frequency Identification), 적외선 통신(Infrared Data Association; IrDA), UWB (Ultra Wideband), ZigBee, NFC(Near Field Communication), Wi-Fi(Wireless-Fidelity), Wi-Fi Direct, Wireless USB(Wireless Universal Serial Bus) 통신기술 중 적어도 하나를 이용하여, 이동 단말기(600)와의 통신을 지원할 수 있다.
만약, 이동 단말기(600)가 차량에서 원거리에 위치할 경우, 통신부(120)는 WLAN(Wireless LAN), Wi-Fi(Wireless-Fidelity), Wi-Fi(Wireless Fidelity) Direct, DLNA(Digital Living Network Alliance), WiBro(Wireless Broadband), WiMAX(World Interoperability for Microwave Access), HSDPA(High Speed Downlink Packet Access), HSUPA(High Speed Uplink Packet Access), LTE(Long Term Evolution), LTE-A(Long Term Evolution-Advanced) 등의 무선 인터넷 통신 방식을 통해 이동 단말기(600)와의 통신을 지원할 수 있다.
또한, 사용자가 차량에 탑승한 경우, 사용자의 이동 단말기(600)와 분실물 예방 서비스 제공장치(100)는 자동으로 또는 사용자의 애플리케이션 실행에 의해 서로 페어링(pairing)을 실행할 수도 있다.
만약, 프로세서(170)는 탑승자의 하차시에도 이동 단말기(600)의 페어링이 유지되면, 이동 단말기(600)가 분실 상태임을 검출할 수 있다. 즉, 프로세서(170)는 통신부(120)를 센서부(150)로 활용하여, 이동 단말기(600)가 분실 물체임을 검출하고, 이동 단말기(600)에 대한 특징 정보를 생성할 수 있다.
다음으로, 분실물 예방 서비스 제공장치(100)는 차량 관련 데이터를 수신하거나 프로세서(170)에서 처리 또는 생성된 신호를 외부로 전송하는 인터페이스부(130)를 포함할 수 있다.
자세히, 분실물 예방 서비스 제공장치(100)는 인터페이스부(130)를 통해 차량의 센싱부(760)로부터 센서 정보를 전달 받을 수 있다.
또한, 분실물 예방 서비스 제공장치(100)가 통신부(120)를 포함하지 않는 경우, 인터페이스부(130)를 통해 차량의 통신부(120)와 연결하여 이동 단말기(600) 또는 서버(500)와 무선(wireless) 방식으로 데이터를 교환할 수 있다.
이를 위해, 인터페이스부(130)는 유선 통신 또는 무선 통신 방식에 의해 차량 내부의 제어부(770), AVN(Audio Video Navigation) 장치(400) 및 센싱부(760) 등과 데이터 통신을 수행할 수 있다.
인터페이스부(130)는 제어부(770), AVN 장치(400) 또는/및 별도의 내비게이션 장치와의 데이터 통신에 의해 내비게이션 정보를 수신할 수 있다.
그리고 내비게이션 정보는 목적지, 경로 정보, 차량 위치 정보 및 탑승자 이동 단말기의 위치 정보를 포함할 수 있다.
또한, 인터페이스부(130)는 제어부(770) 또는 센싱부(760)로부터 센서 정보를 수신할 수 있다.
여기서, 센서 정보는 탑승자의 승하차 정보, 차량의 정차 정보, 차량 수납부의 온/오프 정보를 포함할 수 있다.
예를 들어, 차량의 센싱부는 차량의 도어 온/오프 센서를 포함하고, 이를 통해 인터페이스부(130)는 탑승자의 승하차 여부, 승하차 위치를 수신할 수 있다.
또한, 차량의 센싱부는 차량의 시동 온/오프 센서를 포함하여, 인터페이스부(130)는 시동 온/오프에 따라 차량의 정차 여부를 센서 정보로 수신할 수 있다.
인터페이스부(130)는 차량의 사용자 입력부(110)를 통해 수신되는 사용자 입력을 수신할 수 있다. 인터페이스부(130)는 사용자 입력을 차량의 입력부로부터 수신하거나 제어부(770)를 거쳐 수신할 수 있다. 즉, 입력부가 차량 자체 내에 구성으로 배치된 경우, 인터페이스부(130)를 통해 사용자 입력을 전달받을 수 있다.
인터페이스부(130)는 서버(500)로부터 획득된 교통 정보를 수신할 수도 있다. 서버(500)는 교통을 관제하는 교통 관제소에 위치하는 서버(500)일 수 있다. 예를 들면, 차량의 통신부(120)를 통해 서버(500)로부터 교통 정보가 수신되는 경우 인터페이스부(130)는 교통 정보를 제어부(770)로부터 수신할 수도 있다.
다음, 메모리(140)는 프로세서(170)의 처리 또는 제어를 위한 프로그램 등 분실물 예방 서비스 제공장치(100) 전반의 동작을 위한 다양한 데이터를 저장할 수 있다.
또한, 메모리(140)는 오브젝트 확인을 위한 데이터를 저장할 수 있다. 예를 들면, 메모리(140)는, 이미지 센서를 통해 획득된 차량 내부 영상에서, 소정 오브젝트가 검출되는 경우, 소정 알고리즘에 의해, 상기 오브젝트가 무엇에 해당하는지 확인하기 위한 데이터를 저장할 수 있다.
예를 들어, 메모리(140)는 오브젝트 확인을 위한 데이터로 물체 정보에 대한 데이터를 저장할 수 있다. 예를 들면, 메모리(140)는, 카메라를 통해 획득된 영상에서, 이동 단말기(600), 열쇠 등의 소정의 물체가 검출되는 경우, 소정 알고리즘에 의해, 물체의 종류와 대응시키는 이미지 검색 데이터베이스를 직접 포함할 수도 있다.
이러한 메모리(140)는 하드웨어적으로, ROM, RAM, EPROM, 플래시 드라이브, 하드 드라이브 등과 같은 다양한 저장기기 일 수 있다.
다음으로, 분실물 예방 서비스 제공장치(100)는 차량 내부 물체를 감지하는 센서부(150)를 포함할 수 있다.
자세히, 센서부(150)는 차량 내부의 이미지를 감지하는 이미지 센서(151), 보조 센서(153) 및 기타 센서(155)를 포함할 수 있다.
도 3을 참조하면, 이미지 센서(151)는 차량의 천장 면에 배치되어 차량 내부 이미지를 촬영하여 카메라일 수 있다. 이러한 카메라는 이미지 센서(151)와 영상 처리 모듈을 포함할 수 있다. 카메라는 이미지 센서(151)(예를 들면, CMOS 또는 CCD)에 의해 얻어지는 정지영상 또는 동영상을 처리할 수 있다. 영상 처리 모듈은 이미지 센서(151)를 통해 획득된 정지영상 또는 동영상을 가공하여, 필요한 정보를 추출하고, 추출된 정보를 프로세서(170)에 전달할 수 있다.
이하, 이미지 센서(151)와 프로세서(170)가 차량 내 물체를 검출하고, 물체의 특징 정보를 생성하는 과정을 도 4 내지 도 5를 참조하여 상세히 설명한다.
먼저, 이미지 센서(151)는 탑승 전 차량 내부 이미지, 탑승 후 차량 내부 이미지, 정차시 차량 내부 이미지 및 하차 후 차량 내부 이미지 중 적어도 둘 이상을 센싱할 수 있다.
자세히, 이미지 센서(151)는 탑승 전 차량 내부 이미지를 획득할 수 있고, 획득된 이미지는 비교 대상 이미지로 사용될 수 있다. 즉, 프로세서(170)는 탑승 전 차량 내부 이미지에서 기초로, 이후 촬영된 차량 내부 이미지에서 추가된 오브젝트(Object, O)를 차량 내 물체로 검출할 수 있다.
또한, 프로세서(170)는 탑승 전 차량 내부 이미지에서 공간을 나누어 물체를 검출함으로써, 물체의 위치를 특징 정보로 생성할 수 있다. 자세히, 프로세서(170)는 차량의 좌석을 기준으로 공간을 나누고, 수납부를 별도의 공간으로 지정하여 각 공간에 물체 검출시 물체의 위치를 정확하게 파악할 수 있다.
예를 들어, 도 4a를 참조하면, 프로세서(170)는 차량 좌석에 따라 제 1 공간(S1) 내지 제 2 공간(S2)으로 나누고, 제 2 공간(S2) 앞 차량 수납부를 제 1 수납부(C1)로, 제 1 공간(S1)과 제 2 공간(S2) 사이에 수납부를 제 2 수납부(C2)로 지정한 후 검출된 물체가 위치한 공간이나 수납부를 물체의 위치로 검출할 수 있다.
이미지 센서(151)는 탑승 후 차량 내부 이미지를 획득할 수 있고, 획득된 이미지는 차량 내 물체 검출에 사용될 수 있다.
자세히, 프로세서(170)는 탑승 전 차량 내부 이미지와 탑승 후 차량 내부 이미지를 비교하여, 탑승 전 차량 내부 이미지에서 추가된 오브젝트를 차량 내부 물체로 검출할 수 있다.
이때, 탑승자를 나타내는 오브젝트는 검출 대상에서 제외되고, 탑승자의 위치를 파악하는 정보로 활용될 수 있다. 그리고 프로세서(170)는 탑승자의 위치를 파악하는 정보를 이용하여 이후 분실 물체의 소유자를 검출할 수 있다. 프로세서는(170)은 이와 같이 검출한 탑승자의 위치에 따라서 알림 위치를 결정할 수 있다.
예를 들어, 도 4b를 참조하면, 프로세서(170)는 탑승 후 이미지에서 제 1 공간(S1)과 제 4 공간(S4)에 탑승자들이 승차한 것을 검출할 수 있고, 제 2 수납부(C2)에 제 1 오브젝트(O1)가 배치됨을 검출할 수 있다.
그리고 프로세서(170)는 검출된 제 1 오브젝트(O1)를 이미지 검색하여 제 1 오브젝트(O1)의 특징 정보를 검출할 수 있다.
예를 들어, 프로세서(170)는 제 1 오브젝트(O1)를 메모리(140)에 저장된 이미지 검색 데이터베이스를 이용하거나, 통신부(120)를 이용하여 이미지 검색을 제공하는 서버(500)를 이용하여 제 1 오브젝트(O1)의 물체 종류를 검출할 수 있다.
나아가, 프로세서(170)는 제 1 오브젝트(O1)의 물체 종류를 상징하는 아이콘을 함께 검색하여, 이후 알람부(180)가 특징 정보 출력시 활용할 수 있다.
따라서, 프로세서(170)는 이동 단말기(600)가 차량에 놓여 졌음을 특징 정보로 생성할 수 있고, 이동 단말기(600)는 제 1 공간(S1) 측에 위치하였으므로 소유자가 제 1 공간(S1)의 탑승자임을 추가로 특징 정보에 저장할 수 있다.
그리고 프로세서(170)는 이와 같은 차량 내 물체 상태 정보를 차량 정차시 알람부(180)를 통해 탑승자들에게 출력하여, 하차 전 차량 내부에 위치한 물체를 파악할 수 있는 분실물 예방 서비스를 제공할 수 있다.
이때, 프로세서(170)는 물체 상태 정보를 물체 위치에 대응되는 탑승자에게 출력하도록 알람부(180)를 제어할 수 있다.
또한, 이미지 센서(151)는 하차시 차량 내부 이미지를 획득할 수 있고, 획득된 이미지는 차량 내 물체 검출에 사용될 수 있다.
자세히, 프로세서(170)는 탑승 전 차량 내부 이미지와 하차시 차량 내부 이미지를 비교하여, 하차시 차량 내부 이미지에서 추가된 오브젝트를 차량 내부 물체로 검출할 수 있다.
그리고 프로세서(170)는 탑승자의 위치를 파악하는 정보를 이용하여 이후 분실 물체의 소유자를 검출할 수 있다.
예를 들어, 도 4c를 참조하면, 프로세서(170)는 탑승 전 이미지와 비교하여 하차시 차량 내부 이미지에서 제 1 공간(S1)에 제 2 오브젝트(O2)가 검출하고, 제 2 수납부(C2)에 이동 단말기(600)가 검출하고, 제 4 공간(S4)에 제 3 오브젝트(O3)가 검출할 수 있다.
그리고 프로세서(170)는 검출된 제 1 내지 제 3 오브젝트(O1, O2, O3)를 이미지 검색하여 오브젝트들의 특징 정보를 생성할 수 있다.
예를 들어, 프로세서(170)는 제 1 내지 제 3 오브젝트(O1, O2, O3)들을 포함하는 이미지를 추출한 후, 메모리(140)에 저장된 이미지 검색 데이터베이스를 이용하거나, 통신부(120)를 이용하여 이미지 검색을 제공하는 서버(500)를 이용하여 오브젝트들의 물체 종류를 검색할 수 있다.
도 5를 참조하면, 프로세서(170)는 제 1 오브젝트(O1)가 열쇠임을 검색하여 열쇠 엠블램을 제 1 오브젝트(O1)의 아이콘으로 검색하고, 제 2 오브젝트(O2)가 이동 단말기(600)임을 검색하여 이동 단말기(600) 엠블램을 제 2 오브젝트(O2)의 아이콘으로 검색하고, 제 3 오브젝트(O3)가 선글라스임을 검색하여 선글라스 엠블램을 제 3 오브젝트(O3)의 아이콘으로 검색할 수 있다.
나아가, 프로세서(170)는 오브젝트들의 물체 종류를 상징하는 아이콘을 메모리(140)나 서버(500)에서 검색하여 특징 정보로 저장하고, 이후 알람부(180) 출력시 활용할 수 있다.
또한, 프로세서(170)는 제 1 오브젝트(O1)와 제 2 오브젝트(O2)는 제 1 공간(S1) 측에 위치하였으므로 물체의 소유자가 제 1 공간(S1)의 탑승자임을 특징 정보로 추가 저장할 수 있다. 그리고 제 3 오브젝트(O3)는 제 4 공간(S4)에 위치하였으므로 물체 소유자가 제 4 공간(S4) 탑승자임을 특징 정보로 추가 저장할 수 있다.
그리고 프로세서(170)는 이와 같이 생성된 특징 정보를 반영하여 차량 내 물체 상태 정보를 생성할 수 있다. 그리고 프로세서(170)는 필요한 알림 시점에서 알람부(180)를 통해 탑승자들에게 물체 상태 정보를 알림하여, 하차 전 차량 내부에 위치한 물체를 효과적으로 파악할 수 있는 분실물 예방 서비스를 제공할 수 있다.
이때, 프로세서(170)는 물체 내 상태 정보를 물체 위치에 해당하는 탑승자에게 출력하도록 알람부(180)를 제어할 수 있다.
그리고 프로세서(170)는 하차가 완료된 후에도 검출된 물체들이 분실 상태이면 탑승자의 이동 단말기(600)에 차량 내 물체 상태 정보를 함께 전송하여, 다시 한번 사용자에게 분실 예방 서비스를 제공할 수 있다.
한편, 센서부(150)는 보조 센서(153)를 포함하여 차량 내 물체를 감지할 수 있고, 이를 통해 프로세서(170)는 물체의 특징 정보를 더 정확하게 검출할 수 있다.
실시예에서, 보조 센서(153)는 이미지 센서(151)에서 검출된 물체의 위치를 정밀하게 감지하는 초음파 센서와, 수납부의 열림/닫힘을 감지하는 수납부 센서와, 이동 단말기(600)와 페어링하는 통신부(120) 중 적어도 하나를 포함할 수 있다.
자세히, 초음파 센서는 이미지 센서(151)에서 오브젝트가 검출되면, 오브젝트에 초음파를 조사하고 오브젝트에서 반사된 반사파를 수신하여 오브젝트의 위치를 정확하게 검출함으로써 물체 위치를 정확하게 특징 정보에 포함시키도록 보조할 수 있다.
또한, 수납부 센서는 수납부가 열렸다 닫힌 경우, 수납부 내에 물체가 위치하였음을 특징 정보에 포함시킬 수 있다. 즉, 이미지 센서(151)는 수납부 내를 촬영할 수 없으므로, 프로세서(170)는 수납부 센서에서 열림/닫힘 정보를 이용하여 수납부 내에 물체 위치하였음을 가정하여 특징 정보에 포함시킬 수 있다.
또한, 통신부(120)는 이동 단말기(600)와 페어링 여부를 감지하여, 프로세서(170)는 이동 단말기(600)가 차량 내부에 위치하였음을 특징 정보에 포함시킬 수 있다.
또한, 센서부(150)는 차량 내 물체 분실 알림 시점 또는/및 이미지 센싱 시점을 결정하기 위한 센서 정보를 감지하는 기타 센서(155)를 더 포함할 수 있다.
예를 들어, 기타 센서(155)는 도어 열림/닫힘 센서로 탑승자의 승하차 시점을 감지할 수 있다.
또한, 기타 센서(155)는 시동 온/오프 센서로 차량의 정차 시점을 감지할 수 있다.
이러한 기타 센서(155)들은 전술한 바와 같이 차량 센싱부에 포함되고, 인터페이스부(130)를 통해 센서 정보를 전달받는 실시예도 가능할 것이다.
한편, 전술한 바와 같이, 센서부(150)에서 감지된 데이터를 프로세서(170)가 처리하여 산출한 특징 정보는 알람부(180)를 통해 탑승자에게 분실 알림을 제공할 수 있다.
자세히, 알람부(180)는 차량 내 물체 상태 정보를 표시하는 디스플레이부(160), 물체의 분실을 오디오로 출력하는 오디오 출력부(181) 및 물체의 위치를 광을 조사하여 표시하는 광원 출력부(185), 물체 분실 여부를 진동으로 알리는 햅틱 모듈(187) 중 적어도 하나를 포함할 수 있다.
먼저, 디스플레이부(160)는 차량 내 물체 상태 정보를 시각적으로 표시하여 사용자에게 분실 물체를 알릴 수 있다.
이러한 디스플레이부(160)는 복수의 디스플레이를 포함할 수 있다.
도 6을 참조하면, 디스플레이부(160)는 윈드실드 디스플레이(161), 윈도우 디스플레이(162), AVN 디스플레이 (163), 좌석 디스플레이(164), 클러스터 디스플레이(165) 중 적어도 하나 이상을 포함할 수 있다.
자세히, 도 3을 참조하면, 디스플레이부(160)는 차량의 전면 윈드실드(W)에 이미지를 표시하는 윈드실드 디스플레이(161)을 포함할 수 있다. 윈드실드 디스플레이(161)은 윈드실드에 이미지를 표시하므로, 운전자에게 차량 내 물체 상태 정보를 표시할 때 사용할 수 있다. 이때, 운전자 좌석 측에 인접하여 제 1 오디오 출력부(181a)가 배치되고, 제 1 오디오 출력부(181a)는 제 1 좌석의 탑승자에게 물체 분실을 소리로 알릴 수 있다.
이러한 윈드실드 디스플레이(161)는 HUD(Head Up Display)로, 윈드 실드(W)에 이미지를 투사하는 투사 모듈을 포함할 수 있다. 그리고 투사 모듈이 투사하는 투사 이미지는 일정 투명도를 가져, 사용자는 투사 이미지 뒤 모습과 투사 이미지를 동시에 볼 수도 있다.
또한, 디스플레이부(160)는 사이드 글라스에 이미지를 표시하는 적어도 하나 이상의 윈도우 디스플레이(162)를 포함할 수 있다.
도 7을 참조하면, 윈도우 디스플레이(162)는 운전자 좌석을 기준으로, 좌측 사이드 글라스에 이미지를 표시하는 제 1 윈도우 디스플레이(162a)와, 우측 사이드 글라스에 이미지를 표시하는 제 2 윈도우 디스플레이(162b), 후방 좌측 사이드 글라스에 이미지를 표시하는 제 3 윈도우 디스플레이(162c)와, 후방 우측 사이드 글라스에 이미지를 표시하는 제 4 윈도우 디스플레이(162d)를 포함할 수 있다.
이러한 윈도우 디스플레이(162)는 사이드 글라스에 차량 내 물체 상태 정보를 표시할 수 있으며, 특히, 프로세서(170)는 탑승자의 위치에 따라서 물체 상태 정보를 표시할 윈도우 디스플레이(162)를 결정하고, 결정된 윈도우 디스플레이(162)에 상태 정보를 표시할 수 있다.
자세히, 도 8을 참조하면, 운전자가 탑승한 경우, 제 1 윈도우 디스플레이(162a)에는 차량 내 물체 상태 정보가 이미지로 표시되어, 탑승자는 차량 내부에서 물체 상태 정보 표시를 볼 수 있다. 따라서, 하차시 운전자는 차량 문을 여는 과정에서 제 1 윈도우 디스플레이(162a)를 통해 차량 내 물체를 확인할 수 있어, 물체 분실이 예방될 수 있다.
그리고 도 9를 참조하면, 제 1 윈도우 디스플레이(162a)는 차량 외부에서도 차량 내 물체 상태 정보를 볼 수 있도록 표시할 수 있다. 이때, 오디오 출력부(181)는 오디오를 통해 물체를 분실했음을 소리로 알릴 수도 있다. 따라서, 운전자는 차량 문을 닫은 후에 사이드 글라스에서 분실한 물체를 확인할 수 있어, 물체 분실아 예방될 수 있다.
이러한 윈도우 디스플레이(162)는 헤드 업 디스플레이와 같은 원리로 글라스에 이미지를 투사하는 투사 모듈을 포함할 수 있다.
또한, 윈도우 디스플레이(162)는 전자 잉크를 이용하여 글라스에 이미지를 표시하는 방식을 사용할 수 있다. 자세히, 윈도우 디스플레이(162)는 전자잉크 디스플레이(e-ink display)로 특징 정보를 표시할 경우, 하차 후에도 저전력으로 이미지를 표시한 상태를 유지할 수 있다.
또한, 이러한 윈도우 디스플레이(162)에는 전술한 터치 입력부가 배치되어, 프로세서(170)는 윈도우 디스플레이와 터치 입력부를 이용하여 분실 예방 서비스에 대한 그래픽 유저 인터페이스를 제공할 수 있다.
한편, 도 3을 참조하면, 디스플레이부(160)는 운전자 측에 내비게이션 정보와 물체 상태 정보를 표시하는 AVN 디스플레이(163)를 더 포함할 수 있다.
이러한 AVN 디스플레이(163)는 운전자가 볼 수 있도록 물체 상태 정보를 표시할 수 있다. 그리고 프로세서(170)는 내비게이션 정보와 물체 상태 정보를 함께 표시하도록 제어할 수 있다. 예를 들어, AVN 디스플레이(163)는 특정 위치에서 소지해야 할 물체 정보를 표시할 수 있다.
이러한 AVN 디스플레이(163)는 액정 디스플레이(liquid crystal display, LCD), 박막 트랜지스터 액정 디스플레이(thin film transistor-liquid crystal display, TFT LCD), 유기 발광 다이오드(organic light-emitting diode, OLED), 플렉서블 디스플레이(flexible display), 3차원 디스플레이(3D display), 전자잉크 디스플레이(e-ink display) 중에서 적어도 하나로 구현될 수 있다.
또한, 도 3 내지 도 10을 참조하면, 디스플레이부(160)는 각 좌석에 배치된 별도의 좌석 디스플레이(164)를 더 포함할 수 있다.
자세히, 제 1 좌석 디스플레이(164b)는 운전자 우측의 제 1 좌석 측에 배치되어, 제 1 좌석의 탑승자에게 차량 내 물체 상태 정보를 표시할 수 있다. 이때, 제 1 좌석 디스플레이(164b)에 인접하여 제 2 오디오 출력부(181b)가 배치되고, 제 2 오디오 출력부(181b)는 제 1 좌석의 탑승자에게 물체 분실을 소리로 알릴 수 있다.
또한, 제 2 좌석 디스플레이(164c)는 운전자 후방의 제 2 좌석 측에 배치되어, 제 2 좌석의 탑승자에게 차량 내 물체 상태 정보를 표시할 수 있다. 이때, 제 2 좌석 디스플레이(164c)에 인접하여 제 3 오디오 출력부(181c)가 배치되고, 제 3 오디오 출력부(181c)는 제 2 좌석의 탑승자에게 물체 분실을 소리로 알릴 수 있다.
또한, 제 3 좌석 디스플레이(164d)는 운전자 후방의 제 3 좌석 측에 배치되어, 제 3 좌석의 탑승자에게 차량 내 물체 상태 정보를 표시할 수 있다. 이때, 제 3 좌석 디스플레이(164d)에 인접하여 제 4 오디오 출력부(181d)가 배치되고, 제 4 오디오 출력부(181d)는 제 3 좌석의 탑승자에게 물체 분실을 소리로 알릴 수 있다.
프로세서(170)는 탑승자의 위치에 따라서 물체 상태 정보를 표시할 좌석 디스플레이(164)를 결정하고, 결정된 좌석 디스플레이(164)에 물체 상태 정보를 표시할 수 있다.
이러한 좌석 디스플레이(164)는 액정 디스플레이(liquid crystal display, LCD), 박막 트랜지스터 액정 디스플레이(thin film transistor-liquid crystal display, TFT LCD), 유기 발광 다이오드(organic light-emitting diode, OLED), 플렉서블 디스플레이(flexible display), 3차원 디스플레이(3D display), 전자잉크 디스플레이(e-ink display) 중에서 적어도 하나로 구현될 수 있다.
또한, 이러한 좌석 디스플레이(164)에는 전술한 터치 입력부가 배치되어, 프로세서(170)는 좌석 디스플레이와 터치 입력부를 이용하여 분실 예방 서비스에 대한 그래픽 유저 인터페이스를 제공할 수 있다.
한편, 도 3을 참조하면, 디스플레이부(160)는 운전자 측에 물체 상태 정보를 표시하는 클러스터 디스플레이(165)를 더 포함할 수 있다. 이러한 클러스터 디스플레이(165)는 액정 디스플레이(liquid crystal display, LCD), 박막 트랜지스터 액정 디스플레이(thin film transistor-liquid crystal display, TFT LCD), 유기 발광 다이오드(organic light-emitting diode, OLED), 플렉서블 디스플레이(flexible display), 3차원 디스플레이(3D display), 전자잉크 디스플레이(e-ink display) 중에서 적어도 하나로 구현될 수 있다.
한편, 프로세서(170)는 탑승자의 위치에 따라서 물체 상태 정보를 표시할 디스플레이를 결정할 수 있다.
자세히, 프로세서(170)는 운전자에게 물체 상태 정보를 표시할 경우, 운전자 측 디스플레이인 윈드실드 디스플레이(161), 제 1 윈도우 디스플레이(162a), AVN 디스플레이(163) 및 클러스터 디스플레이(165) 중 적어도 하나의 디스플레이에 물체 상태 정보를 표시할 수 있다.
또한, 프로세서(170)는 특정 좌석의 탑승자에게 물체 상태 정보를 표시하기 위해, 특정 좌석 측 윈도우 디스플레이(162)와 좌석 디스플레이(164)를 선택하여 표시할 수 있다.
한편, 프로세서(170)는 차량 내 물체 정보를 다양한 표시 방식으로 이미지를 생성하여 디스플레이부(160)를 통해 표시할 수 있다.
도 11을 참조하면, 제 1 표시방식(200a)으로, 프로세서(170)는 차량을 나타내는 가상 이미지(205)를 표시하고, 차량의 가상 이미지(205)에 물체의 위치가 대응되도록 분실 물체를 상징하는 아이콘(201)을 표시하고, 물체에 대한 설명(202)을 추가 표시할 수 있다.
프로세서(170)는 이러한 제 1 표시방식(200a)은 물체의 위치를 부각하는 방식으로 차량 내 전체 물체의 상태 정보를 전체적으로 확인할 수 있다. 이러한 제 1 표시 방식(200a)은 운전자 측에 제공될 수 있다. 자세히, 프로세서(170)는 운전자 측에 배치된 디스플레이인 윈드실드 디스플레이(161), 제 1 윈도우 디스플레이(162a), AVN 디스플레이(163) 및 클러스터 디스플레이(165) 중 적어도 하나는 제 1 표시 방식의 이미지를 표시하여, 운전자가 차량 내부에 위치한 물체들을 한눈에 확인할 수 있도록 제공할 수 있다.
도 12를 참조하면, 프로세서(170)는 차량 내부에 위치한 물체를 상징하는 아이콘(201)과 물체에 대한 설명(203)을 나열하여 표시하는 제 2 표시 방식(200b)을 제공할 수 있다.
이때, 프로세서(170)는 물체 분실 시점이나 중요도를 고려하여 아이콘(201)들의 정렬 순서를 결정할 수 있다. 예를 들어, 가장 최근에 차량에 놓인 물체를 최상단에 표시하고, 오래된 순서대로 나열될 수 있다.
도 13을 참조하면, 프로세서(170)는 아이콘(201)을 나열하여 표시하고, 물건을 소지하라는 경고 메시지(210)를 더 포함하여 표시하는 제 3 표시방식(200c)을 제공할 수 있다.
프로세서(170)는 이러한 제 3 표시방식(200c)으로 물체의 소유자가 하차하는 위치에 해당하는 디스플레이부(160)에 소유자의 물체의 아이콘을 정렬하여 표시할 수 있다. 예를 들어, 운전자가 하차할 경우, 프로세서(170)는 제 1 윈도우 디스플레이(161a)에 제 3 표시방식(200c)으로 차량 내 물체 상태 정보를 표시할 수 있다.
이때, 프로세서(170)는 물체의 분실 시점이나, 중요도 등을 고려하여 순서를 결정하여 아이콘(201)들을 표시할 수 있다.
여기서, 중요도는 차 내 오랫동안 보관 중인 물품, 항상 차량에 놓아야 하는 물품, 여러 번 알렸음에도 계속 남아있는 소지품 등은 중요도를 낮은 물체로 판단할 수 있다.
한편, 디스플레이부(160) 상에 터치 입력부가 배치되어 터치 스크린으로 구현될 경우, 프로세서(170)는 분실 예방 서비스에 대한 그래픽 유저 인터페이스를 제공할 수 있다.
자세히, 도 12 및 도 13을 참조하면, 프로세서(170)는 디스플레이부(160)에 표시된 아이콘(201)을 사용자가 터치하는 입력을 감지할 경우, 아이콘(201)에 해당하는 물체의 상세 특징 정보와 알림 유지 여부(213)를 더 표시할 수 있다. 예를 들어, 프로세서(170)는 물체의 촬영 이미지(211), 물체 분실 시점(212) 및 알림 온/오프 표시(213) 중 적어도 하나를 포함하는 상세 특징 정보를 더 표시할 수 있다.
한편, 프로세서(170)는 내비게이션 정보와 물체 상태 정보를 매칭하여 물체 분실 알림을 표시하는 제 4 표시방식(200d)도 제공할 수 있다.
예를 들어, 도 14를 참조하면, AVN 디스플레이부(163)에는 목적지로 이동 경로(214)가 표시되고, 목적지에서 차량 내 물체 중 소지해야할 물체의 아이콘(201)을 더 표시하여, 해당 위치에서 물체를 소지할 수 있도록 보조할 수 있다. 이와 같이, 해당 위치에서 물체를 소지하라는 예약 알림에 대한 상세한 설명은 후술한다.
한편, 또한, 알람부(180)는 물체의 특징 정보를 오디오로 출력하는 오디오 출력부(181)를 더 포함할 수 있다. 이러한 오디오 출력부(181)은 소리로 물체 분실을 알려, 사용자 주의를 이끌 수 있다.
자세히, 오디오 출력부(181)는 전술한 바와 같이, 차량 내부에서 각 좌석에 위치한 탑승자들에게 각각 분실 알림을 소리로 출력할 수 있다.
또한, 오디오 출력부(181)는 차량의 각 문측에 각각 배치되어 차량 외부에서 분실 알림을 소리로 출력하는 비프(beep)를 포함할 수 있다.
프로세서(170)는 디스플레이부(160)에 물체 상태 정보 표시와 더불어, 탑승자 위치에 해당하는 오디오 출력부(181)를 통해 소리로 분실 알림을 제공하여, 사용자가 분실 상태를 인지하도록 보조할 수 있다.
또한, 출력부(180)는 물체의 위치를 광을 조사하여 표시하는 광원 출력부(185)를 더 포함할 수 있다. 예를 들어, 광원 출력부(185)는 수납부에 배치된 발광 소자(185A, 185B, 도 3 참조)일 수 있다.
프로세서(170)는 물체가 수납부에 배치된 경우, 수납부에 배치된 발광 소자(185A, 185B)를 작동시켜, 물체 분실 상태를 표시할 수 있다.
마지막으로, 분실물 예방 서비스 제공장치(100)는 분실물 예방 서비스 제공장치(100) 내의 각 유닛의 전반적인 동작을 제어하는 프로세서(170)를 포함할 수 있다.
이러한 프로세서(170)는 ASICs (application specific integrated circuits), DSPs(digital signal processors), DSPDs(digital signal processing devices), PLDs(programmable logic devices), FPGAs(field programmable gate arrays), 프로세서(170)(processors), 제어기(controllers), 마이크로 컨트롤러(micro-controllers), 마이크로 프로세서(microprocessors), 기타 기능 수행을 위한 전기적 유닛 중 적어도 하나를 이용하여 구현될 수 있다.
그리고 이러한 프로세서(170)는 차량의 제어부(760)의 제어를 받거나, 제어부(760)를 통해 차량을 여러 기능을 제어할 수 있다.
이하, 프로세서(170)가 분실물 예방 서비스 제공장치(100) 내의 각 유닛 동작을 제어하여 분실물 예방 서비스를 제공하는 방법을 도 15를 참조하여 상세히 설명한다.
도 15를 참조하면, 먼저, 프로세서(170)는 이미지 센서(151)를 이용하여 탑승 전 차량 내부의 이미지를 획득할 수 있다. (S101) 그리고 이와 같이 획득된 탑승 전 차량 내부 이미지는 이후 프로세서(170)에서 차량 내부 물체 검출을 위한 비교 대상 이미지로 사용될 수 있다.
이후, 프로세서(170)는 탑승 후 차량 내부의 이미지를 획득할 수 있다. (S103) 자세히, 프로세서(170)는 도어 센서를 통해 차량에 탑승 여부를 검출하고, 탑승을 감지하면 이미지 센서(151)로 탑승 후 차량 내부를 촬영하여 이미지를 획득할 수 있다.
다음, 프로세서(170)는 탑승 전 차량 내부 이미지와 탑승 후 차량 내부 이미지를 비교하여, 탑승 전 차량 내부 이미지에서 추가된 오브젝트를 차량 내부 물체로 검출할 수 있다. (S105)
이때, 프로세서(170)는 차량 내부 이미지에서 공간을 나누어 물체를 검출함으로써, 물체의 위치를 특징 정보로 검출할 수 있다.
자세히, 프로세서(170)는 차량의 좌석을 기준으로 공간을 나누고, 수납부를 별도의 공간으로 지정하여 각 공간에 물체 검출시 물체의 위치를 정확하게 파악할 수 있다.
그리고 탑승자를 나타내는 오브젝트는 검출 대상에서 제외되고, 탑승자의 위치를 파악하는 정보로 활용될 수 있다. 그리고 프로세서(170)는 탑승자의 위치를 파악하는 정보를 이용하여 이후 분실 물체의 소유자를 검출하여 특징 정보에 포함시킬 수 있다.
이러한 특징 정보 검출 중 물체의 종류는 이미지 검색을 통해 검출될 수 있다.
자세히, 프로세서(170)는 탑승 후 이미지에서 추가된 오브젝트를 물체로 검출하고, 상기 물체에 대한 이미지를 통신부(120)를 통해 이미지 검색을 제공하는 서버(500)에서 이미지 검색할 수 있다. (S107, S108)
그리고 서버(500)에서 이미지 검색 결과를 수신하여, 물체의 종류를 파악할 수 있다. (S109)
나아가, 프로세서(170)는 오브젝트들의 물체 종류를 상징하는 아이콘(201)을 서버(500)에서 더 검색하여 특징 정보로 저장하는 등의 물체의 특징 정보를 더 검출하고 생성할 수 있다. (S111)
다음, 프로세서(170)는 차량 내 물체 상태에 대한 특징 정보를 디스플레이부(160)를 통해 출력할 수 있다. (S113)
자세히, 프로세서(170)는 정차시 차량 내에 물체를 검출하고, 검출된 물체에 대한 특징 정보를 디스플레이부(160)에 표시하여, 탑승자가 하차 전에 차량 내부에 위치한 물체를 파악할 수 있는 분실물 예방 서비스를 제공할 수 있다.
다음으로, 프로세서(170)는 탑승자가 하차시점을 검출할 수 있다. (S115) 자세히, 도어 센서에서 도어가 열림을 감지하였을 때, 하차 시점임을 알 수 있다.
프로세서(170)는 이미지 센서(151)를 통해 하차시 차량 내부 이미지를 획득하고, 프로세서(170)는 획득된 이미지를 통해 차량 내 분실 물체를 재 검출할 수 있다. (S117)
자세히, 프로세서(170)는 탑승 전 차량 내부 이미지와 하차시 차량 내부 이미지를 비교하여, 하차시 차량 내부 이미지에서 추가된 오브젝트를 차량 내부 물체로 검출하고, 물체에 대한 특징 정보를 생성할 수 있다.
다음으로, 프로세서(170)는 이와 같은 차량 내 분실 물체 특징 정보를 차량 하차시 알람부(180)를 통해 탑승자들에게 출력하여, 하차시점에서 차량 내부에 위치한 물체를 효과적으로 파악할 수 있는 분실물 예방 서비스를 제공할 수 있다. (S119)
자세히, 프로세서(170)는 특징 정보 중 물체의 소유자가 하차하는 위치에 해당하는 알람부(180)를 통해 특징 정보를 출력할 수 있다.
다음으로, 프로세서(170)는 지속적으로 물체의 분실 상태가 유지될 경우, 통신부(120)를 통해 분실 상태에 대한 특징 정보를 서버(500)를 거치거나 직접 이동 단말기(600)에 전송할 수 있다. (S121, S123, S124)
다음으로, 이동 단말기(600)에서는 차량 내 분실 물체를 관리하는 사용자 인터페이스가 제공될 수 있다. (S125)
이후, 프로세서(170)는 통신부(120)를 통해 이동 단말기(600)에서 사용자 입력을 전송 받을 수 있다. (S127) 예를 들어, 프로세서(170)는 사용자가 이동 단말기(600)를 통해 이후 탑승시 소지할 것을 알림하는 요청을 수신할 수 있다.
이러한 요청을 수신한 프로세서(170)는 다음 탑승자가 하차시 물체를 소지할 것을 알람부(180)를 통해 알릴 수 있다. (S129)
정리하면, 프로세서(170)는 센서부(150)를 통해 차량 내 놓인 물체를 검출할 수 있다. 그리고 프로세서(170)는 센서부(150)에서 검출된 물체의 특징을 검출하고 특징 정보를 생성할 수 있다.
그리고 프로세서(170)는 특징 정보를 반영한 차량 내 물체 상태 정보를 알람부(180)를 통해 사용자에게 알려, 분실을 방지할 수 있다.
자세히, 프로세서(170)는 차량 내 물체 상태 정보를 출력할 알림 시점을 검출할 수 있다. 예를 들어, 프로세서(170)는 차량 탑승시, 정차시, 목적지 도착시, 하차시 및 하차 후 중 적어도 한 시점을 검출하고, 차량 내 물체 상태 정보를 알릴 수 있다.
또한, 프로세서(170)는 탑승자 위치에 따라서 차량 내 물체 상태 정보를 알리는 알림 위치를 결정할 수 있다. 예를 들어, 프로세서(170)는 탑승자 위치를 검출하고, 탑승자 위치에 인접한 디스플레이와 오디오 출력부를 이용하여 사용자에게 차량 내 물체 상태 정보를 알릴 수 있다.
또한, 프로세서(170)는 특징 정보에 따라서 차량 내 물체 상태 정보를 알리는 방법을 선택하고 출력할 수 있다. 자세히, 프로세서(170)는 운전자 측에는 차량 내 물체를 전체적으로 확인할 수 있는 제 1 표시방식(200a)으로 운전자 측 디스플레이에 표시할 수 있다. 그리고 프로세서(170)는 탑승자 위치의 디스플레이에는 탑승자의 물체를 제 3 표시방식(200c)으로 탑승자 측 디스플레이에 표시할 수 있다.
그리고 프로세서(170)는 탑승자가 하차한 이후에도 차량 내 물체 상태 정보를 알릴 수 있다. 예를 들어, 프로세서(170)는 하차한 이후에도 윈도우 디스플레이(162)와 외부 오디오 출력부(181)를 이용하여 차량 내 물체 상태 정보를 출력할 수 있다.
또한, 프로세서(170)는 검출된 물체 중 알림을 할 물체를 결정할 수 있다. 예를 들어, 프로세서(170)는 특정 물체가 알림 횟수가 적어도 1회 이상인 경우, 차량 내 물체 상태 정보에서 특정 물체를 제외할 수 있다.
그리고 프로세서(170)는 하차한 후 사용자가 차량에서 일정 반경을 벗어나 알람부(180)를 통해 차량 내 물체 상태 정보 알림이 어려울 경우, 통신부(120)를 통해 사용자의 이동 단말기(600)에 차량 내 물체 상태 정보를 전송할 수 있다.
이하, 도 16 내지 도 27을 참조하여, 분실 예방 서비스 제공장치가 구체적으로 사용자에게 차량 내 물체 상태 정보를 알리는 실시예에 대해 설명한다.
먼저, 프로세서(170)는 차량 내 물체를 검출하고, 물체에 대한 특징를 검출한 후 특징 정보를 생성할 수 있다. (S201, S202)
예를 들어, 도 17의 경우, 프로세서(170)는 제 2 수납부(C1)에 스마트 폰(O1)과 컵(O2), 제 1 공간(S1)에 선글라스(O2), 제 1 수납부(C1)에 노트북(O6), 제 4 공간(S4)에 지갑(O4), 제 3 공간(S3)에 모자(O7)가 분실됨을 검출하고 특징 정보로 생성할 수 있다. 이때, 열쇠(O4)는 제 4 공간(S4)에 있으나, 탑승자가 소지하여 검출되지 않는다.
즉, 프로세서(170)는 탑승자가 접촉하고 있는 물체는 소지한 것으로 보아, 물체가 분실되지 않을 것으로 보아, 분실 물체에 포함시키지 않을 수 있다. 또한, 탑승자의 소지로 이미지 센서에 의해 감지되지 않을 수 있다. 즉, 프로세서(170)는 물체 소지 여부를 탑승자와 물체의 접촉 여부로 판단하고, 소지시 알림 대상에서 제외할 수 있다.
다음, 프로세서(170)는 특징 정보를 반영하여 차량 내 물체 상태 정보를 탑승자들에게 알리고 관리하는 모드를 제공할 수 있다. (S203)
도 18을 참조하면, 프로세서(170)는 제 1 표시방식(200a)으로 검출한 스마트 폰(O1), 컵(O2), 모자(O7), 지갑(O4) 및 노트북(O6)이 각각 종류를 나타내는 아이콘(I1, I2, I4, I6, I7)으로 놓여진 위치에 대응되도록 가상 차량 이미지 내에 표시될 수 있다. 이때, 프로세서(170)는 선글라스(O3)의 경우, 기 알림 횟수가 3회 이상 넘어 더 이상 알림을 제공하지 않고, 차량 내 상태 정보에서 제외할 수 있다.
프로세서(170)는 이와 같이 제 1 표시방식(200a)으로 표시된 이미지를 운전자 측 디스플레이에 표시하여 운전자가 차량 내 전체 물체의 위치를 파악하고 관리할 수 있는 그래픽 유저 인터페이스를 제공할 수 있다.
또한, 프로세서(170)는 운전자 외 탑승자(이하, “동승자”)에게도 차량 내 물체 관리 모드를 제공할 수 있다. 자세히, 프로세서(170)는 탑승자 측 디스플레이에 탑승자 위치에서 검출된 물체를 관리하는 그래픽 유저 인터페이스를 제공할 수 있다.
도 19를 참조하면, 프로세서(170)는 제 3 표시방식(200c)로 제 4 공간(S4) 측의 윈도우 디스플레이에 도 19와 같이 제 4 공간(S4)에서 검출된 지갑(O4)을 제 4 아이콘(I4)으로 표시할 수 있다. 그리고 아이콘(I4) 터치를 통해 알림 여부, 물체 상세 내역을 확인할 수 있는 차량 내 물체 관리 모드를 제공할 수 있다.
한편, 프로세서(170)는 내비게이션 정보와 연동하여 차량 내 물체를 관리할 수 있는 예약 알림 서비스를 더 제공할 수 있다.
자세히, 도 20을 참조하면, 프로세서(170)는 AVN 디스플레이에 목적지, 목적지 경로를 내비게이션 정보로 표시할 수 있다. 그리고 프로세서(170)는 목적지에 대한 터치 입력(예컨대, 1초 이상의 롱 터치)을 감지하면 팝업창으로 알림 설정할 수 있는 차량 내 물체들을 제 2 표시방식(200b)으로 표시할 수 있다.
또한, 프로세서(170)는 사용자 이동 단말기(600)를 통해 전송된 예약 알림을 수신할 수도 있다. 자세히, 도 21을 참조하면, 사용자는 이동 단말기(600)의 차량 내 물체 관리 어플리케이션에서 다음 탑승시에 알림 설정한 물체를 선택하고 분실 예방 서비스 제공장치(100)로 송신할 수 있다. 프로세서(170)는 이를 통신부(120)를 통해 수신하여, 설정된 알림시점에서 알림 설정한 물체를 알려 사용자가 물체를 챙길 수 있도록 보조할 수 있다.
프로세서(170)는 차량이 예약 알림 설정된 목적지 도착시에 알람부(180)를 통해 해당 물체를 소지할 것을 알릴 수 있다. 예를 들어, 도 22를 참조하면, 프로세서(170)는 AVN 디스플레이(163)에 팝업창으로 목적지 도착 표시와 함께 소지하여야 할 예약 알림 물체에 대한 아이콘을 표시하고 소리 알림을 제공할 수 있다.
한편, 프로세서(170)는 차량 내 물체 상태 정보를 출력할 알림 시점을 판단할 수 있다. (S204) 예를 들어, 프로세서(170)는 차량 탑승시, 정차시, 목적지 도착시, 하차시 및 하차 후 중 적어도 한 시점을 검출하고, 차량 내 물체 상태 정보를 알릴 수 있다.
또한, 프로세서(170)는 검출된 물체 중 알림을 할 물체를 결정할 수 있다. (S205) 예를 들어, 프로세서(170)는 특정 물체가 알림 횟수가 적어도 1회 이상인 경우, 차량 내 물체 상태 정보에서 특정 물체를 제외할 수 있다. 예를 들어, 프로세서(170)는 선글라스(O3)가 3회 이상 알림했음에도 사용자가 차량 내 구비할 경우, 차량 내 구비 물건으로 보아 차량 내 물체 상태 정보에서 제거할 수 있다.
또한, 프로세서(170)는 차량 내 물체 상태 정보를 알림 방법 및 알림 위치를 결정할 수 있다. (S206) 예를 들어, 도 17의 경우에는 제 1 공간(S1)과 제 4 공간(S4)에 탑승자가 위치하였음으로, 제 1 공간(S1)과 제 4 공간(S4)에 위치한 알람부(180)를 알림 위치로 결정할 수 있다. 또한 프로세서(170)는 디스플레이 종류나 위치에 따라서 표시방식을 결정하는 등의 알림 방법을 선택할 수 있다.
자세히, 프로세서(170)는 차량이 목적지 도착했음을 검출하면, 운전자 측 디스플레이에 차량 전체 물체를 확인할 수 있도록 차량 내 물체 상태 정보를 알릴 수 있다. 예를 들어, 도 23을 참조하면, 프로세서(170)는 차량이 목적지 도착하였을 때, 제 1 표시방식(200a)의 이미지를 윈드실드 디스플레이(161)에 팝업으로 표시하고 운전자 측 오디오 출력부(181)를 통해 소리로 알림을 제공할 수 있다.
또한, 도 24를 참조하면, 프로세서(170)는 각 탑승자 위치의 윈도우 디스플레이(162)에 차량 내 물체 상태정보를 제 3 표시방식(200c)의 이미지로 팝업하여 알릴 수 있다. 자세히, 제 1 윈도우 디스플레이(162a)에는 제 1 공간(S1)에 분실된 스마트 폰(O1)과 컵(O2)을 나타내는 제 1 아이콘(I1)과 제 2 아이콘(I2)에 표시될 수 있다. 또한, 제 4 공간(S4) 측 제 3 윈도우 디스플레이(162c)에는 제 4 공간(S4)에서 검출된 지갑(O4)을 나타내는 아이콘(I4)이 표시될 수 있다.
또한, 프로세서(170)는 탑승자 하차시를 검출하고, 하차시에 분실 물체를 검출하여 알람부(180)를 통해 알릴 수 있다.
예를 들어, 도 25를 참조하면, 프로세서(170)는 문이 열림을 하차시로 검출하고, 이때, 하차하는 탑승자 공간에 물체를 검출하여, 검출시 탑승자 측 알람부(180)를 통해 분실 물체가 있음을 알릴 수 있다. 좀더 자세히, 프로세서(170)는 하차하는 탑승자 측 윈도우 디스플레이에 분실 물체를 나타내는 아이콘(I5)과 설명(210)을 표시하고 탑승자 측 비프를 통해 소리 알림을 줄 수 있다.
또한, 프로세서(170)는 탑승자의 하차를 검출하고, 하차한 후에 분실 물체를 검출하여 알람부(180)를 통해 알릴 수 있다.
자세히, 도 26을 참조하면, 프로세서(170)는 문이 닫힘을 하차로 검출할 수 있다. 그리고 프로세서(170)는 하차 후 탑승자의 위치의 분실 물체를 검출할 수 있다. 검출시 프로세서는(170)는 검출된 물체를 나타내는 아이콘(201)을 탑승자 측 윈도우 디스플레이에 표시하고, 하차한 문 측 비프를 통해 소리 알림을 줄 수 있다.
또한, 프로세서(170)는 탑승자가 차량에서 일정 반경 벗어남을 검출하고, 분실 물체를 통신부(120)를 통해 알릴 수 있다.
자세히, 도 27 (a)를 보면, 제 1 공간(S1)의 운전자의 이동 단말기(600S1)에는 차량 내 전체 물체의 상태를 나타내는 제 1 표시방식(200a)으로 물체 상태 정보가 표시될 수 있다. 또한, 도 27 (b)를 보면, 제 4 공간(S4)의 탑승자의 이동 단말기(600S2)에는 제 4 공간(S4)에서 검출된 분실 물체를 나타내는 아이콘(I5)과 특징 정보들이 표시될 수 있다.
한편, 전술한 바와 같이 이동 단말기(600)에서도 분실물 예방 서비스가 제공될 수 있다.
이하, 도 28 내지 도 31을 참조하여, 이동 단말기(600)에서 제공되는 분실물 예방 서비스에 대해 좀더 상세히 설명한다.
분실물 예방 서비스는 사용자가 차와 멀리 떨어져 있을 때, 이동 단말기(600)의 어플리케이션을 통해 제공할 수 있다.
이러한 이동 단말기(600)는 무선 통신부(610), 출력부(650), 저장부(670), 제어부(680) 및 전원 공급부(690)를 포함할 수 있다.
먼저, 무선 통신부(610)는 차량 또는 차량 내 분실물 예방 서비스 제공장치(100) 사이에 무선 통신을 가능하게 하는 하나 이상의 모듈을 포함할 수 있다.
자세히, 이러한 무선 통신부(610)는, 방송 수신 모듈(611), 이동통신 모듈(612), 무선 인터넷 모듈(613), 근거리 통신 모듈(614), 위치정보 모듈(615) 중 적어도 하나를 포함하고, 이러한 모듈 중 하나 이상을 이용하여 분실물 예방 서비스 제공장치(100)와 무선으로 데이터 통신을 수행할 수 있다.
그리고 출력부(650)는 시각, 청각 또는 촉각 등과 관련된 출력을 발생시키기 위한 것으로, 음향 출력부(652), 햅팁 모듈(653), 광 출력 모듈(654) 중 적어도 하나를 포함할 수 있고, 디스플레이부와 터치 센서가 상호 레이어 구조를 이룬 터치 스크린(651)을 포함할 수 있다.
그리고 이러한 터치 스크린(651)은, 이동 단말기(600)와 사용자 사이의 입력 인터페이스를 제공하는 사용자 입력부로써 기능함과 동시에, 이동 단말기(600)와 사용자 사이의 출력 인터페이스를 제공할 수 있다.
즉, 터치 스크린(651)를 통해 사용자에게 차량 내 물건 관리 그래픽 인터페이스를 제공할 수 있다.
또한, 저장부(670)는 이동 단말기(600)의 다양한 기능을 지원하는 데이터를 저장한다. 저장부(670)는 이동 단말기(600)에서 구동되는 다수의 응용 프로그램(application program) 또는 애플리케이션(application), 이동 단말기(600)의 동작을 위한 데이터들, 명령어들을 저장할 수 있다. 분실물 예방 서비스에 과한 응용 프로그램은 메모리(140)에 저장될 수 있다.
한편, 응용 프로그램은, 저장부(670)에 저장되고, 이동 단말기(600) 상에 설치되어, 제어부(680)에 의하여 이동 단말기(600)의 동작(또는 기능)을 수행하도록 구동될 수 있다.
제어부(680)는 상기 응용 프로그램과 관련된 동작 외에도, 통상적으로 이동 단말기(600)의 전반적인 동작을 제어한다. 제어부(680)는 위에서 살펴본 구성요소들을 통해 입력 또는 출력되는 신호, 데이터, 정보 등을 처리하거나 저장부(670)에 저장된 응용 프로그램을 구동함으로써, 사용자에게 적절한 정보 또는 기능을 제공 또는 처리할 수 있다.
또한, 제어부(680)는 저장부(670)에 저장된 응용 프로그램을 구동하기 위하여, 도 12와 함께 살펴본 구성요소들 중 적어도 일부를 제어할 수 있다.
나아가, 제어부(680)는 상기 응용 프로그램의 구동을 위하여, 이동 단말기(600)에 포함된 구성요소들 중 적어도 둘 이상을 서로 조합하여 동작시킬 수 있다.
전원 공급부(690)는 제어부(680)의 제어 하에서, 외부의 전원, 내부의 전원을 인가 받아 이동 단말기(600)에 포함된 각 구성요소들에 전원을 공급한다. 이러한 전원공급부(190)는 배터리를 포함하며, 배터리는 내장형 배터리 또는 교체가능한 형태의 배터리가 될 수 있다.
상기 각 구성요소들 중 적어도 일부는, 이하에서 설명되는 다양한 실시 예들에 따른 이동 단말기(600)의 동작, 제어, 또는 제어방법을 구현하기 위하여 서로 협력하여 동작할 수 있다. 또한, 이동 단말기(600)의 동작, 제어, 또는 제어방법은 저장부(670)에 저장된 적어도 하나의 응용 프로그램의 구동에 의하여 이동 단말기(600) 상에서 구현될 수 있다.
이하, 제어부(680)가 터치 스크린(651)을 통해 차량 내 물건 관리 그래픽 인터페이스를 제공하는 일례들을 도 13 내지 도 15를 참조하여 설명한다.
제어부(680)는 무선 통신부(610)를 통해 수신한 특징 정보를 다양한 방식으로 정렬하여 터치 스크린(651)을 통해 표시할 수 있다.
도 29를 참조하면, 제어부(680)는 터치 스크린(651)에 차량을 나타내는 가상 이미지(205)를 표시하고, 차량의 가상 이미지(205)에 물체의 위치가 대응되도록 분실 물체를 상징하는 아이콘(201)을 표시할 수 있고, 물체에 대한 설명(202)을 추가 표시할 수 있다.
이때, 제어부(680)는 특징 정보를 표현하는 방식을 선택하는 입력 표시(221)도 추가로 제공할 수 있다.
도 30을 참조하면, 제어부(680)는 차량 내 물체들을 중요도(222)에 따라 물체 정보를 나열하는 방식으로 표시할 수 있다. 이와 달리, 제어부(680)는 물체들이 차량에 보관된 분실 시점에 따라 물체 정보를 나열하는 방식으로 표시할 수도 있다.
제어부(680)는 사용자의 터치 입력을 하여 차량 내 물체를 관리하는 인터페이스를 제공할 수 있다.
자세히, 도 31을 참조하면, 제어부(680)는 위치에 대응되도록 표시한 아이콘(201)을 드래그할 경우, 알림 내역에서 삭제할 수 있다.
또한, 제어부(680)는 아이콘(201)을 사용자가 터치하는 입력을 감지할 경우, 아이콘(201)에 해당하는 물체의 상세 특징 정보와 알림 유지 여부를 더 표시할 수 있다. 예를 들어, 제어부(680)는 물체의 촬영 이미지, 물체 분실 시점 및 알림 온/오프 표시 중 적어도 하나를 포함하는 상세 특징 정보를 더 표시할 수 있다.
한편, 이동 단말기(600)는 사용자의 몸, 목, 머리, 손목에 착용되는 웨어러블 디바이스(601)를 포함할 수 있다.
예를 들면, 사용자의 목에 착용되는 넷밴드 타입 디바이스(neckband type device), 사용자의 머리에 착용되는 헤드셋 타입 디바이스(headset type device) 또는 사용자의 손목에 착용되는 워치 타입 디바이스가 있다.
그리고 이러한 웨어러블 디바이스(601)에도 분실물 예방 서비스가 제공될 수 있다. 예를 들어, 도 32와 같이 사용자가 지갑(O4)을 차량에 두고 내릴 경우, 웨어러블 디바이스 화면에 지갑(O4) 아이콘(201)이 표시되고 햅틱 모듈로 진동을 주어 사용자 물체 분실을 예방할 수 있다.
한편, 도 33을 참조하면, 분실물 예방 서비스 제공장치(100)는 차량(700)에 포함되어, 차량은 분실물 예방 서비스를 제공할 수 있다.
이러한 차량(700)은 통신부(710), 입력부(720), 센싱부(760), 출력부(740), 차량 구동부(750), 메모리(730), 인터페이스부(780), 제어부(770), 전원부(790), 분실물 예방 서비스 제공장치(100) 및 AVN 장치(400)를 포함할 수 있다.
통신부(710)는, 차량과 이동 단말기(600) 사이, 차량과 외부 서버(500) 사이 또는 차량과 타차량(510)과의 무선 통신을 가능하게 하는 하나 이상의 모듈을 포함할 수 있다. 또한, 통신부(710)는 차량을 하나 이상의 망(network)에 연결하는 하나 이상의 모듈을 포함할 수 있다.
통신부(710)는, 방송 수신 모듈(711), 무선 인터넷 모듈(712), 근거리 통신 모듈(713), 위치 정보 모듈(714) 및 광통신 모듈(715)을 포함할 수 있다.
방송 수신 모듈(711)은, 방송 채널을 통하여 외부의 방송 관리 서버로부터 방송 신호 또는 방송 관련된 정보를 수신한다. 여기서, 방송은 라디오 방송 또는 TV 방송을 포함한다.
무선 인터넷 모듈(712)은, 무선 인터넷 접속을 위한 모듈을 말하는 것으로, 차량에 내장되거나 외장될 수 있다. 무선 인터넷 모듈(712)은 무선 인터넷 기술들에 따른 통신망에서 무선 신호를 송수신하도록 이루어진다.
무선 인터넷 기술로는, 예를 들면, WLAN(Wireless LAN), Wi-Fi(Wireless-Fidelity), Wi-Fi(Wireless Fidelity) Direct, DLNA(Digital Living Network Alliance), WiBro(Wireless Broadband), WiMAX(World Interoperability for Microwave Access), HSDPA(High Speed Downlink Packet Access), HSUPA(High Speed Uplink Packet Access), LTE(Long Term Evolution), LTE-A(Long Term Evolution-Advanced) 등이 있으며, 상기 무선 인터넷 모듈(712)은 상기에서 나열되지 않은 인터넷 기술까지 포함한 범위에서 적어도 하나의 무선 인터넷 기술에 따라 데이터를 송수신하게 된다. 예를 들면, 무선 인터넷 모듈(712)은 외부 서버(510)와 무선으로 데이터를 교환할 수 있다. 무선 인터넷 모듈(712)은 외부 서버(510)로부터 날씨 정보, 도로의 교통 상황 정보(예를 들면, TPEG(Transport Protocol Expert Group))정보를 수신할 수 있다.
근거리 통신 모듈(713)은, 근거리 통신(Short range communication)을 위한 것으로서, 블루투스(Bluetooth™), RFID(Radio Frequency Identification), 적외선 통신(Infrared Data Association; IrDA), UWB(Ultra Wideband), ZigBee, NFC(Near Field Communication), Wi-Fi(Wireless-Fidelity), Wi-Fi Direct, Wireless USB(Wireless Universal Serial Bus) 기술 중 적어도 하나를 이용하여, 근거리 통신을 지원할 수 있다.
이러한, 근거리 통신 모듈(713)은, 근거리 무선 통신망(Wireless Area Networks)을 형성하여, 차량과 적어도 하나의 외부 디바이스 사이의 근거리 통신을 수행할 수 있다. 예를 들면, 근거리 통신 모듈(713)은 이동 단말기(600)와 무선으로 데이터를 교환할 수 있다. 근거리 통신 모듈(713)은 이동 단말기(600)로부터 날씨 정보, 도로의 교통 상황 정보(예를 들면, TPEG(Transport Protocol Expert Group))를 수신할 수 있다. 가령, 사용자가 차량에 탑승한 경우, 사용자의 이동 단말기(600)와 차량은 자동으로 또는 사용자의 애플리케이션 실행에 의해, 서로 페어링을 수행할 수 있다.
위치 정보 모듈(714)은, 차량의 위치를 획득하기 위한 모듈로서, 그의 대표적인 예로는 GPS(Global Positioning System) 모듈이 있다. 예를 들면, 차량은 GPS모듈을 활용하면, GPS 위성에서 보내는 신호를 이용하여 차량의 위치를 획득할 수 있다.
광통신 모듈(715)은, 광발신부 및 광수신부를 포함할 수 있다.
광수신부는, 광(light)신호를 전기 신호로 전환하여, 정보를 수신할 수 있다. 광수신부는 광을 수신하기 위한 포토 다이오드(PD, Photo Diode)를 포함할 수 있다. 포토 다이오드는 빛을 전기 신호로 전환할 수 있다. 예를 들면, 광수신부는 전방 차량에 포함된 광원에서 방출되는 광을 통해, 전방 차량의 정보를 수신할 수 있다.
광발신부는 전기 신호를 광 신호로 전환하기 위한 발광 소자를 적어도 하나 포함할 수 있다. 여기서, 발광 소자는 LED(Light Emitting Diode)인 것이 바람직하다. 광발신부는, 전기 신호를 광 신호로 전환하여, 외부에 발신한다. 예를 들면, 광 발신부는 소정 주파수에 대응하는 발광소자의 점멸을 통해, 광신호를 외부에 방출할 수 있다. 실시예에 따라, 광발신부는 복수의 발광 소자 어레이를 포함할 수 있다. 실시예에 따라, 광발신부는 차량에 구비된 램프와 일체화될 수 있다. 예를 들면, 광발신부는 전조등, 후미등, 제동등, 방향 지시등 및 차폭등 중 적어도 어느 하나일 수 있다. 예를 들면, 광통신 모듈(715)은 광 통신을 통해 타차량(520)과 데이터를 교환할 수 있다.
입력부(720)는, 운전 조작 수단(721), 카메라(195), 마이크로 폰(723) 및 사용자 입력부(724)를 포함할 수 있다.
운전 조작 수단(721)은, 차량 운전을 위한 사용자 입력을 수신한다.
조향 입력 수단(721)은, 사용자로부터 차량의 진행 방향 입력을 수신한다. 조향 입력 수단(721)은 회전에 의해 조향 입력이 가능하도록 휠 형태로 형성되는 것이 바람직하다. 실시예에 따라, 조향 입력 수단(721)은 터치 스크린, 터치 패드 또는 버튼으로 형성될 수도 있다.
쉬프트 입력 수단(721)은, 사용자로부터 차량의 주차(P), 전진(D), 중립(N), 후진(R)의 입력을 수신한다. 쉬프트 입력 수단(721)은 레버 형태로 형성되는 것이 바람직하다. 실시예에 따라, 쉬프트 입력 수단(721)은 터치 스크린, 터치 패드 또는 버튼으로 형성될 수도 있다.
가속 입력 수단(721)은, 사용자로부터 차량의 가속을 위한 입력을 수신한다. 브레이크 입력 수단(721)은, 사용자로부터 차량의 감속을 위한 입력을 수신한다. 가속 입력 수(721C) 및 브레이크 입력 수단(721)은 페달 형태로 형성되는 것이 바람직하다. 실시예에 따라, 가속 입력 수단(721) 또는 브레이크 입력 수단(721)은 터치 스크린, 터치 패드 또는 버튼으로 형성될 수도 있다.
카메라(722)는, 이미지 센서와 영상 처리 모듈을 포함할 수 있다. 카메라(722)는 이미지 센서(예를 들면, CMOS 또는 CCD)에 의해 얻어지는 정지영상 또는 동영상을 처리할 수 있다. 영상 처리 모듈은 이미지 센서를 통해 획득된 정지영상 또는 동영상을 가공하여, 필요한 정보를 추출하고, 추출된 정보를 제어부(770)에 전달할 수 있다.
마이크로 폰(723)은, 외부의 음향 신호를 전기적인 데이터로 처리할 수 있다. 처리된 데이터는 차량에서 수행 중인 기능에 따라 다양하게 활용될 수 있다. 마이크로폰(723)은 사용자의 음성 명령을 전기적인 데이터로 전환할 수 있다. 전환된 전기적인 데이터는 제어부(770)에 전달될 수 있다.
한편, 실시예에 따라, 카메라(722) 또는 마이크로폰(723)는 입력부(720)에 포함되는 구성요소가 아닌, 센싱부(760)에 포함되는 구성요소일 수도 있다.
사용자 입력부(724)는 사용자로부터 정보를 입력받기 위한 것이다. 사용자 입력부(724)를 통해, 정보가 입력되면, 제어부(770)는 입력된 정보에 대응되도록 차량의 동작을 제어할 수 있다. 사용자 입력부(724)는 터치식 입력수단 또는 기계식 입력 수단을 포함할 수 있다. 실시예에 따라, 사용자 입력부(724)는 스티어링 휠의 일 영역에 배치될 수 있다. 이경우, 운전자는 스티어링 휠을 잡은 상태에서, 손가락으로 사용자 입력부(724)를 조작할 수 있다.
센싱부(760)는, 차량의 주행 등과 관련한 신호를 센싱한다. 이를 위해, 센싱부(760)는, 충돌 센서, 휠 센서(wheel sensor), 속도 센서, 경사 센서, 중량 감지 센서, 헤딩 센서(heading sensor), 요 센서(yaw sensor), 자이로 센서(gyro sensor), 포지션 모듈(position module), 차량 전진/후진 센서, 배터리 센서, 연료 센서, 타이어 센서, 핸들 회전에 의한 스티어링 센서, 차량 내부 온도 센서, 차량 내부 습도 센서, 초음파 센서, 레이더, 라이더 등을 포함할 수 있다.
이에 의해, 센싱부(760)는, 차량 충돌 정보, 차량 방향 정보, 차량 위치 정보(GPS 정보), 차량 각도 정보, 차량 속도 정보, 차량 가속도 정보, 차량 기울기 정보, 차량 전진/후진 정보, 배터리 정보, 연료 정보, 타이어 정보, 차량 램프 정보, 차량 내부 온도 정보, 차량 내부 습도 정보, 스티어링 휠 회전 각도 등에 대한 센싱 신호를 획득할 수 있다.
한편, 센싱부(760)는, 그 외, 가속페달센서, 압력센서, 엔진 회전 속도 센서(engine speed sensor), 공기 유량 센서(AFS), 흡기 온도 센서(ATS), 수온 센서(WTS), 스로틀 위치 센서(TPS), TDC 센서, 크랭크각 센서(CAS), 등을 더 포함할 수 있다.
센싱부(760)는 생체 인식 정보 감지부를 포함할 수 있다. 생체 인식 정보 감지부는 탑승자의 생체 인식 정보를 감지하여 획득한다. 생체 인식 정보는 지문 인식(Fingerprint) 정보, 홍채 인식(Iris-scan) 정보, 망막 인식(Retina-scan) 정보, 손모양(Hand geo-metry) 정보, 안면 인식(Facial recognition) 정보, 음성 인식(Voice recognition) 정보를 포함할 수 있다. 생체 인식 정보 감지부는 탑승자의 생체 인식 정보를 센싱하는 센서를 포함할 수 있다. 여기서, 모니터링부(150) 및 마이크로 폰(723)이 센서로 동작할 수 있다. 생체 인식 정보 감지부는 모니터링부(150)를 통해, 손모양 정보, 안면 인식 정보를 획득할 수 있다.
출력부(740)는, 제어부(770)에서 처리된 정보를 출력하기 위한 것으로, 디스플레이부(741), 음향 출력부(742) 및 햅틱 출력부(743)를 포함할 수 있다.
디스플레이부(741)는 제어부(770)에서 처리되는 정보를 표시할 수 있다. 예를 들면, 디스플레이부(741)는 차량 관련 정보를 표시할 수 있다. 여기서, 차량 관련 정보는, 차량에 대한 직접적인 제어를 위한 차량 제어 정보, 또는 차량 운전자에게 운전 가이드를 위한 차량 운전 보조 정보를 포함할 수 있다. 또한, 차량 관련 정보는, 현재 차량의 상태를 알려주는 차량 상태 정보 또는 차량의 운행과 관련되는 차량 운행 정보를 포함할 수 있다.
디스플레이부(741)는 액정 디스플레이(liquid crystal display, LCD), 박막 트랜지스터 액정 디스플레이(thin film transistor-liquid crystal display, TFT LCD), 유기 발광 다이오드(organic light-emitting diode, OLED), 플렉서블 디스플레이(flexible display), 3차원 디스플레이(3D display), 전자잉크 디스플레이(e-ink display) 중에서 적어도 하나를 포함할 수 있다.
디스플레이부(741)는 터치 센서와 상호 레이어 구조를 이루거나 일체형으로 형성됨으로써, 터치 스크린을 구현할 수 있다. 이러한 터치 스크린은, 차량와 사용자 사이의 입력 인터페이스를 제공하는 사용자 입력부(724)로써 기능함과 동시에, 차량와 사용자 사이의 출력 인터페이스를 제공할 수 있다. 이경우, 디스플레이부(741)는 터치 방식에 의하여 제어 명령을 입력 받을 수 있도록, 디스플레이부(741)에 대한 터치를 감지하는 터치센서를 포함할 수 있다. 이를 이용하여, 디스플레이부(741)에 대하여 터치가 이루어지면, 터치센서는 상기 터치를 감지하고, 제어부(770)는 이에 근거하여 상기 터치에 대응하는 제어명령을 발생시키도록 이루어질 수 있다. 터치 방식에 의하여 입력되는 내용은 문자 또는 숫자이거나, 각종 모드에서의 지시 또는 지정 가능한 메뉴항목 등일 수 있다.
한편, 디스플레이부(741)는 운전자가 운전을 함과 동시에 차량 상태 정보 또는 차량 운행 정보를 확인할 수 있도록 클러스터(cluster)를 포함할 수 있다. 클러스터는 대시보드 위에 위치할 수 있다. 이경우, 운전자는, 시선을 차량 전방에 유지한채로 클러스터에 표시되는 정보를 확인할 수 있다.
한편, 실시예에 따라, 디스플레이부(741)는 HUD(Head Up Display)로 구현될 수 있다. 디스플레이부(741)가 HUD로 구현되는 경우, 윈드 쉴드에 구비되는 투명 디스플레이를 통해 정보를 출력할 수 있다. 또는, 디스플레이부(741)는 투사 모듈을 구비하여 윈드 쉴드에 투사되는 이미지를 통해 정보를 출력할 수 있다.
음향 출력부(742)는 제어부(770)로부터의 전기 신호를 오디오 신호로 변환하여 출력한다. 이를 위해, 음향 출력부(742)는 스피커 등을 구비할 수 있다. 음향 출력부(742)는, 사용자 입력부(724) 동작에 대응하는, 사운드를 출력하는 것도 가능하다.
햅틱 출력부(743)는 촉각적인 출력을 발생시킨다. 예를 들면, 햅틱 출력부(743)는, 스티어링 휠, 안전 벨트, 시트를 진동시켜, 사용자가 출력을 인지할 수 있게 동작할 수 있다.
차량 구동부(750)는, 차량 각종 장치의 동작을 제어할 수 있다. 차량 구동부(750)는 동력원 구동부(751), 조향 구동부(752), 브레이크 구동부(753), 램프 구동부(754), 공조 구동부(755), 윈도우 구동부(756), 에어백 구동부(757), 썬루프 구동부(758) 및 서스펜션 구동부(759)를 포함할 수 있다.
동력원 구동부(751)는, 차량 내의 동력원에 대한 전자식 제어를 수행할 수 있다.
예를 들면, 화석 연료 기반의 엔진(미도시)이 동력원인 경우, 동력원 구동부(751)는, 엔진에 대한 전자식 제어를 수행할 수 있다. 이에 의해, 엔진의 출력 토크 등을 제어할 수 있다. 동력원 구동부(751)가 엔진인 경우, 제어부(770)의 제어에 따라, 엔진 출력 토크를 제한하여 차량의 속도를 제한할 수 있다.
다른 예로, 전기 기반의 모터(미도시)가 동력원인 경우, 동력원 구동부(751)는, 모터에 대한 제어를 수행할 수 있다. 이에 의해, 모터의 회전 속도, 토크 등을 제어할 수 있다.
조향 구동부(752)는, 차량 내의 조향 장치(steering apparatus)에 대한 전자식 제어를 수행할 수 있다. 이에 의해, 차량의 진행 방향을 변경할 수 있다.
브레이크 구동부(753)는, 차량 내의 브레이크 장치(brake apparatus)(미도시)에 대한 전자식 제어를 수행할 수 있다. 예를 들면, 바퀴에 배치되는 브레이크의 동작을 제어하여, 차량의 속도를 줄일 수 있다. 다른 예로, 좌측 바퀴와 우측 바퀴에 각각 배치되는 브레이크의 동작을 달리하여, 차량의 진행 방향을 좌측, 또는 우측으로 조정할 수 있다.
램프 구동부(754)는, 차량 내, 외부에 배치되는 램프의 턴 온/턴 오프를 제어할 수 있다. 또한, 램프의 빛의 세기, 방향 등을 제어할 수 있다. 예를 들면, 방향 지시 램프, 브레이크 램프 등의 대한 제어를 수행할 수 있다.
공조 구동부(755)는, 차량 내의 공조 장치(air cinditioner)(미도시)에 대한 전자식 제어를 수행할 수 있다. 예를 들면, 차량 내부의 온도가 높은 경우, 공조 장치가 동작하여, 냉기가 차량 내부로 공급되도록 제어할 수 있다.
윈도우 구동부(756)는, 차량 내의 윈도우 장치(window apparatus)에 대한 전자식 제어를 수행할 수 있다. 예를 들면, 차량의 측면의 좌,우 윈도우들에 대한 개방 또는 폐쇄를 제어할 수 있다.
에어백 구동부(757)는, 차량 내의 에어백 장치(airbag apparatus)에 대한 전자식 제어를 수행할 수 있다. 예를 들면, 위험시, 에어백이 터지도록 제어할 수 있다.
썬루프 구동부(758)는, 차량 내의 썬루프 장치(sunroof apparatus)(미도시)에 대한 전자식 제어를 수행할 수 있다. 예를 들면, 썬루프의 개방 또는 폐쇄를 제어할 수 있다.
서스펜션 구동부(759)는, 차량 내의 서스펜션 장치(suspension apparatus)(미도시)에 대한 전자식 제어를 수행할 수 있다. 예를 들면, 도로면에 굴곡이 있는 경우, 서스펜션 장치를 제어하여, 차량의 진동이 저감되도록 제어할 수 있다.
메모리(730)는, 제어부(770)와 전기적으로 연결된다. 메모리(770)는 유닛에 대한 기본데이터, 유닛의 동작제어를 위한 제어데이터, 입출력되는 데이터를 저장할 수 있다. 메모리(790)는, 하드웨어적으로, ROM, RAM, EPROM, 플래시 드라이브, 하드 드라이브 등과 같은 다양한 저장기기 일 수 있다. 메모리(730)는 제어부(770)의 처리 또는 제어를 위한 프로그램 등, 차량 전반의 동작을 위한 다양한 데이터를 저장할 수 있다.
인터페이스부(780)는, 차량에 연결되는 다양한 종류의 외부 기기와의 통로 역할을 수행할 수 있다. 예를 들면, 인터페이스부(780)는 이동 단말기(600)와 연결 가능한 포트를 구비할 수 있고, 상기 포트를 통해, 이동 단말기(600)와 연결할 수 있다. 이경우, 인터페이스부(780)는 이동 단말기(600)와 데이터를 교환할 수 있다.
한편, 인터페이스부(780)는 연결된 이동 단말기(600)에 전기 에너지를 공급하는 통로 역할을 수행할 수 있다. 이동 단말기(600)가 인터페이스부(780)에 전기적으로 연결되는 경우, 제어부(770)의 제어에 따라, 인터페이스부(780)는 전원부(790)에서 공급되는 전기 에너지를 이동 단말기(600)에 제공한다.
제어부(770)는, 차량 내의 각 유닛의 전반적인 동작을 제어할 수 있다. 제어부(770)는 ECU(Electronic Contol Unit)로 명명될 수 있다.
이러한 제어부(770)은 분실물 예방 서비스 제공장치의 실행 신호 전달에 따라서, 전달된 신호에 대응되는 기능을 실행할 수 있다.
제어부(770)는, 하드웨어적으로, ASICs (application specific integrated circuits), DSPs(digital signal processors), DSPDs(digital signal processing devices), PLDs(programmable logic devices), FPGAs(field programmable gate arrays), 프로세서(processors), 제어기(controllers), 마이크로 컨트롤러(micro-controllers), 마이크로 프로세서(microprocessors), 기타 기능 수행을 위한 전기적 유닛 중 적어도 하나를 이용하여 구현될 수 있다.
제어부(770)는 전술한 프로세서(170)의 역할을 위임할 수 있다. 즉, 분실물 예방 서비스 제공장치의 프로세서(170)는 차량의 제어부(770)에 직접 셋팅될 수 있다. 이러한 실시예에서는 분실물 예방 서비스 제공장치는 차량의 일부 구성들을 합하여 지칭하는 것으로 이해할 수 있다.
또는, 제어부(770)는 프로세서(170)에서 요청하는 정보를 전송해주도록 구성들을 제어할 수도 있다.
전원부(790)는, 제어부(770)의 제어에 따라, 각 구성요소들의 동작에 필요한 전원을 공급할 수 있다. 특히, 전원부(770)는, 차량 내부의 배터리(미도시) 등으로부터 전원을 공급받을 수 있다.
AVN(Audio Video Navigation) 장치(400)는 제어부(770)와 데이터를 교환할 수 있다. 제어부(770)는 AVN 장치(400) 또는 별도의 내비게이션 장치(미도시)로부터 내비게이션 정보를 수신할 수 있다. 여기서, 여기서, 내비게이션 정보는 설정된 목적지 정보, 상기 목적지에 따른 경로 정보, 차량 주행과 관련한, 맵(map) 정보 또는 차량 위치 정보를 포함할 수 있다.
상술한 실시예에 설명된 특징, 구조, 효과 등은 본 발명의 적어도 하나의 실시예에 포함되며, 반드시 하나의 실시예에만 한정되는 것은 아니다. 나아가, 각 실시예에서 예시된 특징, 구조, 효과 등은 실시예들이 속하는 분야의 통상의 지식을 가지는 자에 의하여 다른 실시예들에 대해서도 조합 또는 변형되어 실시 가능하다. 따라서 이러한 조합과 변형에 관계된 내용들은 본 발명의 범위에 포함되는 것으로 해석되어야 할 것이다.
또한, 이상에서 실시예들을 중심으로 설명하였으나 이는 단지 예시일 뿐 본 발명을 한정하는 것이 아니며, 본 발명이 속하는 분야의 통상의 지식을 가진 자라면 본 실시예의 본질적인 특성을 벗어나지 않는 범위에서 이상에 예시되지 않은 여러 가지의 변형과 응용이 가능함을 알 수 있을 것이다. 예를 들어, 실시예들에 구체적으로 나타난 각 구성 요소는 변형하여 실시할 수 있는 것이다. 그리고 이러한 변형과 응용에 관계된 차이점들은 첨부한 청구 범위에서 규정하는 본 발명의 범위에 포함되는 것으로 해석되어야 할 것이다.

Claims (22)

  1. 차량 내부의 물체를 감지하기 위한 센서부;
    상기 센서부를 이용하여 상기 차량 내부의 물체를 감지하고, 감지된 물체의 특징을 검출하고, 검출된 특징에 따라 차량 내 물체 상태 정보를 생성하는 프로세서; 및
    상기 차량 내 물체 상태 정보를 알림하는 알람부를 포함하고,
    상기 프로세서는,
    상기 물체의 위치, 상기 물체의 종류 및 상기 물체의 분실 시점 중 적어도 하나 이상의 상기 물체의 특징이 나타나도록 상기 차량 내 물체 상태 정보를 생성하고 상기 알람부의 알림 방법을 제어하고,
    상기 센서부는,
    탑승 전 차량 내부 이미지, 탑승 후 차량 내부 이미지, 정차시 차량 내부 이미지, 및 하차 후 차량 내부 이미지 중 적어도 둘 이상을 감지하는 이미지 센서를 포함하고,
    상기 프로세서는,
    상기 차량 내부 이미지들 중 적어도 둘 이상을 비교하여 상기 차량 내부의 물체를 감지하고,
    상기 프로세서는,
    상기 차량 내부 이미지들로부터 상기 물체와 탑승자의 접촉 여부를 검출하고, 접촉 여부에 따라서 상기 물체 상태 정보의 알림 여부를 결정하는
    분실물 예방 서비스 제공장치.
  2. 삭제
  3. 삭제
  4. 삭제
  5. 제 1 항에 있어서,
    이동 단말기와 무선으로 데이터를 송수신하는 통신부를 더 포함하고,
    상기 프로세서는,
    상기 하차 후 차량 내부 이미지에서 분실 물체가 감지되면 상기 통신부를 통해 상기 이동 단말기에 상기 분실 물체의 정보를 송신하는
    분실물 예방 서비스 제공장치.
  6. 제 1 항에 있어서,
    상기 프로세서는,
    내비게이션 정보와 상기 차량 내 물체 상태 정보를 연동하여 차량 내 물체를 관리하는 예약 알림 서비스를 제공하는
    분실물 예방 서비스 제공장치.
  7. 제 1 항에 있어서,
    이미지 검색 데이터베이스를 구비한 서버와 무선으로 데이터를 송수신하는 통신부를 더 포함하고,
    상기 프로세서는,
    상기 물체가 포함된 차량 내부 이미지를 상기 통신부를 통해 이미지 검색하여 상기 물체의 종류를 검출하는
    분실물 예방 서비스 제공장치.
  8. 제 1 항에 있어서,
    상기 센서부는,
    상기 차량 내부의 수납부에 물체가 배치됨을 감지하는 수납부 센서;
    상기 물체의 위치를 감지하는 초음파 센서; 및
    이동 단말기와의 페어링하여 상기 이동 단말기의 소지 여부를 감지하는 통신부 중 적어도 하나를 포함하는
    분실물 예방 서비스 제공장치.
  9. 제 1 항에 있어서,
    상기 알람부는,
    상기 차량 내 물체 상태 정보를 이미지로 표시하는 디스플레이부;
    상기 물체의 분실을 소리로 출력하는 오디오 출력부; 및
    상기 물체의 위치를 광을 조사하여 표시하는 광원 출력부 중 적어도 하나를 포함하는
    분실물 예방 서비스 제공장치.
  10. 제 9 항에 있어서,
    상기 디스플레이부는,
    상기 차량의 윈드 실드에 이미지를 표시하는 윈드실드 디스플레이 및 상기 차량의 사이드 글라스 각각에 이미지를 표시하는 윈도우 디스플레이 중 적어도 하나 이상의 디스플레이를 포함하는 분실물 예방 서비스 제공장치.
  11. 제 10 항에 있어서,
    상기 프로세서는,
    상기 물체가 감지된 좌석 측의 사이드 글라스에 상기 물체의 상태 정보를 표시하도록 상기 디스플레이부를 제어하는
    분실물 예방 서비스 제공장치.
  12. 제 10 항에 있어서,
    상기 디스플레이 상에 배치된 터치 입력부를 더 포함하고,
    상기 프로세서는,
    상기 디스플레이와 상기 터치 입력부를 이용하여 차량 내 물체를 관리하는 그래픽 유저 인터페이스를 제공하는
    분실물 예방 서비스 제공장치.
  13. 제 9 항에 있어서,
    상기 알람부는 복수개로, 상기 차량의 복수의 좌석 각각에 알림을 제공하고,
    상기 프로세서는,
    상기 감지된 물체의 위치에 상기 알림을 제공하도록 상기 알람부를 제어하는
    분실물 예방 서비스 제공장치.
  14. 제 10 항에 있어서,
    상기 프로세서는,
    가상 차량 이미지와, 상기 가상 차량 이미지 상에 상기 물체의 위치에 대응되도록 상기 감지된 물체의 종류를 상징하는 아이콘을 표시하는 제 1 표시방식으로 상기 차량 내 물체 상태 정보를 표시하도록 상기 알람부를 제어하는
    분실물 예방 서비스 제공장치.
  15. 제 14 항에 있어서,
    상기 프로세서는,
    좌석에 인접한 디스플레이에 상기 제 1 표시방식으로 상기 차량 내 물체 상태 정보를 표시하는
    분실물 예방 서비스 제공장치.
  16. 제 10 항에 있어서,
    상기 프로세서는,
    상기 감지된 물체의 위치에 인접한 상기 윈도우 디스플레이에 상기 감지된 물체에 대한 차량 내 물체 상태 정보를 표시하는
    분실물 예방 서비스 제공장치.
  17. 차량 내부의 물체를 감지하는 센서부;
    상기 감지된 물체의 특징을 검출하고, 상기 특징에 따라서 차량 내 물체 상태 정보를 생성하는 프로세서; 및
    상기 차량 내 물체 상태 정보를 이미지로 표시하는 디스플레이부를 포함하고,
    상기 디스플레이부는,
    상기 차량의 사이드 글라스에 상기 차량 내 물체 상태 정보를 이미지로 표시하는 윈도우 디스플레이를 포함하고,
    상기 프로세서는,
    상기 감지된 물체의 위치에 인접한 상기 사이드 글라스에 상기 차량 내 물체 상태 정보를 표시하도록 상기 윈도우 디스플레이를 제어하는
    분실물 예방 서비스 제공장치.
  18. 제 17 항에 있어서,
    상기 윈도우 디스플레이는 운전자의 좌석을 기준으로,
    좌측 사이드 글라스에 이미지를 표시하는 제 1 윈도우 디스플레이와, 우측 사이드 글라스에 이미지를 표시하는 제 2 윈도우 디스플레이와, 후방 좌측 사이드 글라스에 이미지를 표시하는 제 3 윈도우 디스플레이와, 후방 우측 사이드 글라스에 이미지를 표시하는 제 4 윈도우 디스플레이를 포함하는
    분실물 예방 서비스 제공장치.
  19. 삭제
  20. 삭제
  21. 삭제
  22. 삭제
KR1020150139344A 2015-10-02 2015-10-02 차량 내 분실물 예방 서비스 제공장치, 제공방법 및 이동 단말기 Active KR101841948B1 (ko)

Priority Applications (4)

Application Number Priority Date Filing Date Title
KR1020150139344A KR101841948B1 (ko) 2015-10-02 2015-10-02 차량 내 분실물 예방 서비스 제공장치, 제공방법 및 이동 단말기
EP16000491.7A EP3151158A1 (en) 2015-10-02 2016-03-01 Apparatus, method and mobile terminal for providing object loss prevention service in vehicle
CN201610158189.6A CN106560836B (zh) 2015-10-02 2016-03-18 在车辆中提供防物品遗失服务的设备、方法和移动终端
US15/150,092 US10431069B2 (en) 2015-10-02 2016-05-09 Apparatus, method and mobile terminal for providing object loss prevention service in vehicle

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020150139344A KR101841948B1 (ko) 2015-10-02 2015-10-02 차량 내 분실물 예방 서비스 제공장치, 제공방법 및 이동 단말기

Publications (2)

Publication Number Publication Date
KR20170040015A KR20170040015A (ko) 2017-04-12
KR101841948B1 true KR101841948B1 (ko) 2018-03-26

Family

ID=55586985

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020150139344A Active KR101841948B1 (ko) 2015-10-02 2015-10-02 차량 내 분실물 예방 서비스 제공장치, 제공방법 및 이동 단말기

Country Status (4)

Country Link
US (1) US10431069B2 (ko)
EP (1) EP3151158A1 (ko)
KR (1) KR101841948B1 (ko)
CN (1) CN106560836B (ko)

Families Citing this family (59)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105809902B (zh) * 2016-04-13 2017-03-29 京东方科技集团股份有限公司 一种出租车监控方法、装置及系统
DE102016212813A1 (de) * 2016-07-13 2018-01-18 Audi Ag Fahrzeug mit einer Bedien- und Anzeigevorrichtung und Verfahren zum Betreiben eines solchen Fahrzeugs
DE102016216415B4 (de) * 2016-08-31 2023-11-09 Audi Ag Verfahren zum Steuern einer Anzeigevorrichtung für ein Kraftfahrzeug und Kraftfahrzeug mit einer Anzeigevorrichtung
US10416671B2 (en) * 2017-07-11 2019-09-17 Waymo Llc Methods and systems for vehicle occupancy confirmation
CN107450361A (zh) * 2017-08-02 2017-12-08 深圳市盛路物联通讯技术有限公司 一种车辆控制方法及装置
US20190095714A1 (en) * 2017-09-28 2019-03-28 Panasonic Automotive Systems Company Of America, Division Of Panasonic Corporation Of North America Vehicle interior lidar detection systems
CN108162856A (zh) * 2017-10-31 2018-06-15 刘红飞 车内物品防遗失装置
KR102410943B1 (ko) * 2017-11-02 2022-06-20 현대자동차주식회사 블루투스 페어링을 활용한 차량 내 분실 이동단말기를 찾는 방법 및 시스템
JP6586985B2 (ja) * 2017-12-12 2019-10-09 トヨタ自動車株式会社 荷物管理システム及び荷物管理方法
JP7078951B2 (ja) * 2017-12-21 2022-06-01 株式会社木村技研 トイレ管理システム、及びトイレ管理方法
US11073838B2 (en) 2018-01-06 2021-07-27 Drivent Llc Self-driving vehicle systems and methods
DE112018006598B4 (de) 2018-01-31 2024-07-04 Mitsubishi Electric Corporation Fahrzeuginnenraumüberwachungsvorrichtung und Fahrzeuginnenraumüberwachungsverfahren
JP2019168815A (ja) * 2018-03-22 2019-10-03 東芝メモリ株式会社 情報処理装置、情報処理方法、及び情報処理プログラム
US10311704B1 (en) * 2018-03-29 2019-06-04 Futurewei Technologies, Inc. Passenger-related item loss mitigation
DE112019000967T5 (de) * 2018-03-29 2020-11-12 Robert Bosch Gmbh Verfahren und system für auf fahrzeug-vorinformationen basierende, sichtbasierte fahrzeuginnenraumumgebungsabfühlung
US11117594B2 (en) * 2018-06-22 2021-09-14 GM Global Technology Operations LLC System and method for detecting objects in an autonomous vehicle
WO2020016635A1 (en) * 2018-07-19 2020-01-23 Bosch Car Multimedia Portugal S.a. Method and system for detecting and identifying an interior abnormal condition in a passenger vehicle
CN109117772A (zh) * 2018-08-01 2019-01-01 上海博泰悦臻网络技术服务有限公司 提醒物品遗落的方法及系统
US10515535B1 (en) * 2018-08-24 2019-12-24 General Motors Llc System and method to provide a misplacement notification
CN109515315A (zh) * 2018-09-14 2019-03-26 纵目科技（上海）股份有限公司 一种无人驾驶车辆内物体识别方法、系统、终端和存储介质
US10289922B1 (en) * 2018-09-18 2019-05-14 Eric John Wengreen System for managing lost, mislaid, or abandoned property in a self-driving vehicle
US11221621B2 (en) 2019-03-21 2022-01-11 Drivent Llc Self-driving vehicle systems and methods
US11644833B2 (en) 2018-10-01 2023-05-09 Drivent Llc Self-driving vehicle systems and methods
DE102018124213A1 (de) * 2018-10-01 2020-04-02 Brose Fahrzeugteile Gmbh & Co. Kommanditgesellschaft, Bamberg Türbaugruppe mit Sender- und Empfängereinheit zur drahtlosen Übertragung von Energie und/oder Daten
FR3091379A1 (fr) * 2018-10-31 2020-07-03 Valeo Comfort And Driving Assistance Unite, systeme et procede de detection d'un objet ou d'une degradation dans un habitacle d'un vehicule automobile
CN109532664B (zh) * 2018-12-05 2021-09-07 英华达（上海）科技有限公司 离车时提醒用户携带物品的方法及系统
CN109733281A (zh) * 2018-12-11 2019-05-10 大乘汽车有限公司 一种安全用车系统及方法
KR102127169B1 (ko) * 2018-12-28 2020-06-26 주식회사 유라코퍼레이션 차량 내 분실물 알림 시스템 및 그 방법
KR102673869B1 (ko) * 2019-01-16 2024-06-07 엘에스오토모티브테크놀로지스 주식회사 차량의 실내 침입 및 동승자를 감지하는 장치
CN109816947A (zh) * 2019-02-28 2019-05-28 广州骅视电子技术有限公司 一种多功能智能分析物品丢失报警监控系统
DE102019105276A1 (de) * 2019-03-01 2020-09-03 Connaught Electronics Ltd. Verfahren und System zum Detektieren eines Objekts im Fahrgastraum eines Fahrzeugs
CN111986453A (zh) * 2019-05-21 2020-11-24 奥迪股份公司 提醒系统、包括其的车辆及相应的方法和介质
KR102800179B1 (ko) * 2019-07-05 2025-04-28 (주)엠아이웨어 인공지능을 이용한 차량내 분실물 검출 시스템 및 이를 이용한 분실물 검출 방법
US11435196B2 (en) * 2019-07-19 2022-09-06 Lg Electronics Inc. Method and apparatus for managing lost property in shared autonomous vehicle
KR102340720B1 (ko) * 2019-07-24 2021-12-20 김대훈 차량 관리 시스템
JP2021057707A (ja) * 2019-09-27 2021-04-08 トヨタ自動車株式会社 車室内検出装置及び車室内検出システム
US12147229B2 (en) 2019-11-08 2024-11-19 Drivent Llc Self-driving vehicle systems and methods
KR102712459B1 (ko) * 2019-11-19 2024-10-07 엘지전자 주식회사 전자 장치 및 그의 동작 방법
US11117547B2 (en) * 2019-12-11 2021-09-14 Ford Global Technologies, Llc Vehicle storage system
JP7055785B2 (ja) * 2019-12-18 2022-04-18 矢崎総業株式会社 車載装置
US11062416B1 (en) * 2020-02-28 2021-07-13 Sos Lab Co., Ltd. Shared vehicle service providing method performed by server communicating with user device of passenger and autonomous vehicle
KR20210111932A (ko) * 2020-03-03 2021-09-14 현대자동차주식회사 자율주행차량 내 분실물 처리 시스템 및 방법
CN111415347B (zh) * 2020-03-25 2024-04-16 上海商汤临港智能科技有限公司 遗留对象检测方法和装置及交通工具
CN113496447A (zh) * 2020-04-03 2021-10-12 奥迪股份公司 物品归还方法、装置、计算机设备和存储介质
CN111652114B (zh) * 2020-05-29 2023-08-25 深圳市商汤科技有限公司 一种对象检测方法、装置、电子设备及存储介质
KR102202137B1 (ko) * 2020-06-16 2021-01-13 (주)엔스텝 개인형 이동체의 후방 차량 접근 경보 장치
CN112036303A (zh) * 2020-08-31 2020-12-04 上海商汤临港智能科技有限公司 遗留物品的提醒方法及装置、电子设备和存储介质
CN114435243A (zh) * 2020-10-30 2022-05-06 上海海拉电子有限公司 一种车辆中的告警方法及告警系统
CN112509279A (zh) * 2020-11-23 2021-03-16 启明信息技术股份有限公司 车内生命体和物品遗留的检测和保护方法及系统
CN115515066B (zh) * 2021-06-21 2024-11-19 上海海拉电子有限公司 一种车内智能终端的跌落报警方法及系统
WO2022269814A1 (ja) * 2021-06-23 2022-12-29 日産自動車株式会社 遺失物防止装置、遺失物防止プログラム及び遺失物防止方法
JP7517272B2 (ja) * 2021-06-30 2024-07-17 株式会社デンソー 車載装置、物体の報知方法、及びプログラム
CN113593204A (zh) * 2021-07-22 2021-11-02 恒大新能源汽车投资控股集团有限公司 车内物品防遗忘提醒方法及电子设备
US20220012490A1 (en) * 2021-09-23 2022-01-13 Charmaine Rui Qin CHAN Abandoned object detection
KR20230065042A (ko) 2021-11-04 2023-05-11 현대모비스 주식회사 승객의 소지품 분실 방지방법 및 시스템
CN119110969A (zh) * 2022-04-27 2024-12-10 株式会社电装 异常检测系统以及异常检测方法
CN115902860A (zh) * 2022-09-26 2023-04-04 成都赛力斯科技有限公司 一种车辆内的检测装置及方法
EP4542504A1 (en) * 2023-10-17 2025-04-23 Valeo Comfort and Driving Assistance A vehicle trunk monitoring system
CN118397493B (zh) * 2024-05-07 2025-03-21 润芯微科技(江苏)有限公司 一种车辆内部遗失物品查找系统及其方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008027239A (ja) 2006-07-21 2008-02-07 Denso Corp 忘れ物防止装置
JP2009075756A (ja) * 2007-09-19 2009-04-09 Denso Corp 車内忘れ物防止装置
JP2012123491A (ja) * 2010-12-06 2012-06-28 Fujitsu Ten Ltd 車載装置および忘れ物確認サービス
JP2013191053A (ja) * 2012-03-14 2013-09-26 Nec Access Technica Ltd 車内点検装置および車内点検方法

Family Cites Families (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6820897B2 (en) * 1992-05-05 2004-11-23 Automotive Technologies International, Inc. Vehicle object detection system and method
CN2243412Y (zh) * 1995-11-27 1996-12-25 韩全成 出租车乘客遗物提醒器
US5949340A (en) * 1998-07-28 1999-09-07 Rossi; Marc A. Warning system for detecting presence of a child in an infant seat
CN2471634Y (zh) * 2001-03-23 2002-01-16 刘智 出租汽车乘客提醒器
WO2012125726A1 (en) * 2011-03-14 2012-09-20 Intelligent Technologies International, Inc. Cargo theft prevention system and method
US8350686B2 (en) * 2007-12-05 2013-01-08 Bosch Corporation Vehicle information display system
US20090187640A1 (en) * 2008-01-23 2009-07-23 International Business Machines Corporation In-flight information system
CN101697036B (zh) * 2009-11-13 2012-05-30 深圳市博视创电子有限公司 汽车玻璃信息显示系统及其成像的方法
CN101937609A (zh) * 2010-09-20 2011-01-05 奇瑞汽车股份有限公司 一种提醒乘客物品遗失的方法及装置
CN202394343U (zh) * 2011-12-12 2012-08-22 浙江金刚汽车有限公司 一种用于出租车防遗忘物品的语音提示系统
US9449488B2 (en) * 2011-12-29 2016-09-20 Intel Corporation Object recognition and notification
KR101404090B1 (ko) 2012-04-04 2014-06-05 주식회사 만도 차량용 분실물 방지 시스템
KR20140005561A (ko) 2012-07-04 2014-01-15 현대모비스 주식회사 차량용 오디오 출력장치 및 그 음원 경로 설정방법
KR102028720B1 (ko) 2012-07-10 2019-11-08 삼성전자주식회사 위험 요소에 대한 정보를 디스플레이하는 투명 디스플레이 장치 및 그 방법
GB2510567B (en) * 2013-02-06 2016-02-17 Ford Global Tech Llc Reminder system for items stored in a vehicle.
US9041645B2 (en) * 2013-02-15 2015-05-26 International Business Machines Corporation Transparent display field of view region determination
EP2992481A4 (en) * 2013-05-03 2017-02-22 Kofax, Inc. Systems and methods for detecting and classifying objects in video captured using mobile devices
CN103226712B (zh) * 2013-05-19 2016-01-20 南京新方向智能技术有限公司 一种基于有限状态机的遗留物检测方法
US9904852B2 (en) * 2013-05-23 2018-02-27 Sri International Real-time object detection, tracking and occlusion reasoning
GB2518234B (en) * 2013-09-17 2017-06-21 Ford Global Tech Llc Reminder apparatus for items left in a vehicle
US9767655B2 (en) * 2013-10-31 2017-09-19 GM Global Technology Operations LLC Methods, systems and apparatus for providing notification that a wireless communication device has been left inside a vehicle
CN104104928A (zh) * 2014-08-04 2014-10-15 河海大学常州校区 车用行李存放视频监控提醒系统及使用该系统的车辆
US9616773B2 (en) * 2015-05-11 2017-04-11 Uber Technologies, Inc. Detecting objects within a vehicle in connection with a service
CN104881643B (zh) * 2015-05-22 2018-06-12 深圳市赛为智能股份有限公司 一种快速的遗留物检测方法及系统

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008027239A (ja) 2006-07-21 2008-02-07 Denso Corp 忘れ物防止装置
JP2009075756A (ja) * 2007-09-19 2009-04-09 Denso Corp 車内忘れ物防止装置
JP2012123491A (ja) * 2010-12-06 2012-06-28 Fujitsu Ten Ltd 車載装置および忘れ物確認サービス
JP2013191053A (ja) * 2012-03-14 2013-09-26 Nec Access Technica Ltd 車内点検装置および車内点検方法

Also Published As

Publication number Publication date
CN106560836B (zh) 2022-04-05
US10431069B2 (en) 2019-10-01
CN106560836A (zh) 2017-04-12
EP3151158A1 (en) 2017-04-05
KR20170040015A (ko) 2017-04-12
US20170098364A1 (en) 2017-04-06

Similar Documents

Publication Publication Date Title
KR101841948B1 (ko) 차량 내 분실물 예방 서비스 제공장치, 제공방법 및 이동 단말기
KR101853396B1 (ko) 차량 내 휴대 기기를 제어하는 장치 및 방법
US10304340B2 (en) Control device mounted on vehicle and method for controlling the same
US11318961B2 (en) Robot for vehicle and control method thereof
KR101750178B1 (ko) 차량 외부 알람방법, 이를 실행하는 차량 운전 보조장치 및 이를 포함하는 차량
KR101708657B1 (ko) 차량 및 그 제어방법
EP3178728B1 (en) Steering input apparatus for vehicle and vehicle
KR101731719B1 (ko) 정차 이동모드 제공방법, 이를 제공하는 차량 보조장치 및 이를 포함하는 차량
KR101750159B1 (ko) 차량 주행 보조 장치, 이의 동작 방법, 및 이를 포함하는 차량
KR20170016177A (ko) 차량 및 그 제어방법
KR101823230B1 (ko) 외장형 모듈 및 이와 연결되는 차량
KR101917412B1 (ko) 이동 단말기를 이용한 차량용 긴급 구조 서비스 제공장치 및 이를 포함하는 차량
KR20200009986A (ko) 차량용 로봇 및 상기 로봇의 제어 방법
KR20190030089A (ko) 사용자 인터페이스 장치
KR20170002087A (ko) 디스플레이 장치 및 이를 포함하는 차량
KR101732263B1 (ko) 차량 운전 보조장치 및 이를 포함하는 차량
KR101929816B1 (ko) 차량에 구비된 차량 제어 장치 및 그의 제어 방법
KR101897350B1 (ko) 차량 운전 보조장치
KR101705454B1 (ko) 차량 주행 보조 장치 및 이를 구비한 차량
KR101843528B1 (ko) 정차 이동모드 제공방법, 이를 제공하는 차량 보조장치 및 이를 포함하는 차량
KR101894636B1 (ko) 차량 운전 보조장치 및 이를 포함하는 차량
KR20170017169A (ko) 차량 보조 장치 및 차량

Legal Events

Date Code Title Description
PA0109 Patent application

Patent event code: PA01091R01D

Comment text: Patent Application

Patent event date: 20151002

A201 Request for examination
PA0201 Request for examination

Patent event code: PA02012R01D

Patent event date: 20160824

Comment text: Request for Examination of Application

Patent event code: PA02011R01I

Patent event date: 20151002

Comment text: Patent Application

PG1501 Laying open of application
E902 Notification of reason for refusal
PE0902 Notice of grounds for rejection

Comment text: Notification of reason for refusal

Patent event date: 20170621

Patent event code: PE09021S01D

E701 Decision to grant or registration of patent right
PE0701 Decision of registration

Patent event code: PE07011S01D

Comment text: Decision to Grant Registration

Patent event date: 20171228

GRNT Written decision to grant
PR0701 Registration of establishment

Comment text: Registration of Establishment

Patent event date: 20180320

Patent event code: PR07011E01D

PR1002 Payment of registration fee

Payment date: 20180321

End annual number: 3

Start annual number: 1

PG1601 Publication of registration
PR1001 Payment of annual fee

Payment date: 20210209

Start annual number: 4

End annual number: 4

PR1001 Payment of annual fee

Payment date: 20220209

Start annual number: 5

End annual number: 5

PR1001 Payment of annual fee

Payment date: 20240207

Start annual number: 7

End annual number: 7

PR1001 Payment of annual fee

Payment date: 20250210

Start annual number: 8

End annual number: 8