[go: up one dir, main page]

KR20180097962A - 영상 분석 기반 상황 판단형 가이드 장치 및 방법 - Google Patents

영상 분석 기반 상황 판단형 가이드 장치 및 방법 Download PDF

Info

Publication number
KR20180097962A
KR20180097962A KR1020170024810A KR20170024810A KR20180097962A KR 20180097962 A KR20180097962 A KR 20180097962A KR 1020170024810 A KR1020170024810 A KR 1020170024810A KR 20170024810 A KR20170024810 A KR 20170024810A KR 20180097962 A KR20180097962 A KR 20180097962A
Authority
KR
South Korea
Prior art keywords
user
information
image
event
analyzed
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
KR1020170024810A
Other languages
English (en)
Inventor
양창모
김동칠
박성주
송재종
Original Assignee
전자부품연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 전자부품연구원 filed Critical 전자부품연구원
Priority to KR1020170024810A priority Critical patent/KR20180097962A/ko
Publication of KR20180097962A publication Critical patent/KR20180097962A/ko
Withdrawn legal-status Critical Current

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61H—PHYSICAL THERAPY APPARATUS, e.g. DEVICES FOR LOCATING OR STIMULATING REFLEX POINTS IN THE BODY; ARTIFICIAL RESPIRATION; MASSAGE; BATHING DEVICES FOR SPECIAL THERAPEUTIC OR HYGIENIC PURPOSES OR SPECIFIC PARTS OF THE BODY
    • A61H3/00—Appliances for aiding patients or disabled persons to walk about
    • A61H3/06—Walking aids for blind persons
    • A61H3/061—Walking aids for blind persons with electronic detecting or guiding means
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61F—FILTERS IMPLANTABLE INTO BLOOD VESSELS; PROSTHESES; DEVICES PROVIDING PATENCY TO, OR PREVENTING COLLAPSING OF, TUBULAR STRUCTURES OF THE BODY, e.g. STENTS; ORTHOPAEDIC, NURSING OR CONTRACEPTIVE DEVICES; FOMENTATION; TREATMENT OR PROTECTION OF EYES OR EARS; BANDAGES, DRESSINGS OR ABSORBENT PADS; FIRST-AID KITS
    • A61F9/00—Methods or devices for treatment of the eyes; Devices for putting in contact-lenses; Devices to correct squinting; Apparatus to guide the blind; Protective devices for the eyes, carried on the body or in the hand
    • A61F9/08—Devices or methods enabling eye-patients to replace direct visual perception by another kind of perception
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B21/00—Teaching, or communicating with, the blind, deaf or mute
    • G09B21/001—Teaching or communicating with blind persons
    • G09B21/003—Teaching or communicating with blind persons using tactile presentation of the information, e.g. Braille displays
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61H—PHYSICAL THERAPY APPARATUS, e.g. DEVICES FOR LOCATING OR STIMULATING REFLEX POINTS IN THE BODY; ARTIFICIAL RESPIRATION; MASSAGE; BATHING DEVICES FOR SPECIAL THERAPEUTIC OR HYGIENIC PURPOSES OR SPECIFIC PARTS OF THE BODY
    • A61H2201/00—Characteristics of apparatus not provided for in the preceding codes
    • A61H2201/01—Constructive details
    • A61H2201/0173—Means for preventing injuries
    • A61H2201/0184—Means for preventing injuries by raising an alarm
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61H—PHYSICAL THERAPY APPARATUS, e.g. DEVICES FOR LOCATING OR STIMULATING REFLEX POINTS IN THE BODY; ARTIFICIAL RESPIRATION; MASSAGE; BATHING DEVICES FOR SPECIAL THERAPEUTIC OR HYGIENIC PURPOSES OR SPECIFIC PARTS OF THE BODY
    • A61H2201/00—Characteristics of apparatus not provided for in the preceding codes
    • A61H2201/50—Control means thereof
    • A61H2201/5023—Interfaces to the user

Landscapes

  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Animal Behavior & Ethology (AREA)
  • Veterinary Medicine (AREA)
  • Public Health (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Vascular Medicine (AREA)
  • Educational Administration (AREA)
  • Biomedical Technology (AREA)
  • Ophthalmology & Optometry (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Business, Economics & Management (AREA)
  • Physics & Mathematics (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Educational Technology (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Epidemiology (AREA)
  • Pain & Pain Management (AREA)
  • Physical Education & Sports Medicine (AREA)
  • Rehabilitation Therapy (AREA)
  • Traffic Control Systems (AREA)

Abstract

본 발명은 시각 장애인이나 노인과 같이 주변 환경을 빠르게 파악하고 대응하기 어려운 사용자의 안정을 위해 카메라로부터 입력되는 영상 정보를 분석하여 사용자에게 주변 환경을 가이드하도록 하는 영상 분석 기반 상황 판단형 가이드 장치 및 방법에 관한 것으로서, 상기 장치는, 사용자의 선택에 따라 보행중 각 방향에 대한 영상을 획득하는 영상 획득부; 상기 획득한 영상으로부터 객체를 분할하고, 분할된 객체의 크기, 객체와의 거리, 객체의 속도, 객체의 이동방향 및 객체의 종류를 분석한 후, 분석된 정보를 기반으로 사용자의 보행을 가이드해야 할 이벤트가 발생하였는지를 판단하고, 이벤트가 발생된 경우, 사용자와 객체의 방향 정보를 분석하여 사용자에게 이를 통지하기 위한 알림 정보를 생성하는 제어부; 및 상기 제어부에서 생성된 알림 정보를 음성 또는 진동으로 출력하는 출력부를 포함한다.

Description

영상 분석 기반 상황 판단형 가이드 장치 및 방법{SITUATION DETERMINING GUIDE APPARATUS AND METHOD BASED IMAGE ANALYSIS}
본 발명은 영상 분석 기반 상황 판단형 가이드 장치 및 방법에 관한 것으로서, 특히 시각 장애인이나 노인과 같이 주변 환경을 빠르게 파악하고 대응하기 어려운 사용자의 안정을 위해 카메라로부터 입력되는 영상 정보를 분석하여 사용자에게 주변 환경을 가이드하도록 하는 영상 분석 기반 상황 판단형 가이드 장치 및 방법에 관한 것이다.
일반적으로, 시각장애인들은 외부의 환경에 대한 정보를 획득하기 어렵기 때문에 보행이 매우 제한되어 있으며, 장애물과 같은 위험한 요소들에 대해 적절한 대응을 하기가 어렵다.
현재 시각장애인들의 안전한 보행을 위한 도구 장치 및 시스템들이 국내외에서 활발히 연구되고 있다.
종래의 시각장애인 보행 안내 시스템들은 초음파, 촉각, 레이저, GPS 등을 이용하여 시각장애인의 보행을 보조하기 위한 안내정보를 제공하였다.
초음파를 사용한 시각장애인 보행 안내 시스템은, 벨트의 형태로 구성된 초음파 센서 묶음을 착용하고 가방의 형태로 착용된 컴퓨터를 통해 각 방향에 대한 정보들을 분석하여 시각장애인에게 알려주도록 되어 있다. 이러한 초음파 센서를 이용한 시각장애인 보행 안내 시스템은 그 구현이 비교적 간단하며 계산량이 많지 않다는 장점이 있지만, 주변 장애물의 유무만을 판단할 수 있을 뿐, 물체가 가지는 질감, 색상에 대한 정보를 얻을 수 없고, 물체의 이동정보를 얻기에 제한이 많은 단점을 가지고 있다.
초음파 센서를 사용하는 다른 형태의 시각장애인 보행 안내 시스템으로는 지팡이 형태로 되어 있는 길 안내 시스템이 있다. 이 길 안내 시스템은 일반 시각장애인용 안내 지팡이에 초음파 센서를 장착하여 장애물을 검출하고 위험하지 않은 방향으로 길을 안내하도록 되어 있다. 이와 같은 길 안내 시스템도 구조가 간단하고 적용하기가 쉽지만, 전방의 작은 물체나 가까이 있는 장애물만을 검출할 수 있기 때문에 감지 거리에 제한이 있는 단점을 가지고 있다.
레이저를 사용한 시각장애인 보행 안내 시스템은, 사용자가 레이저 센서 도구를 들고 좌우로 흔들어 주변에 존재하는 지역적인 정보를 획득할 수 있고, 시간적인 측면에서 계단, 낭떨어지와 같은 이동에 위험한 요소를 분석함에 따라 굴곡이 있거나 단일 카메라를 이용해 알 수 없는 거리정보를 획득할 수 있다는 장점이 있다. 하지만, 근접한 지역에 대해서만 적용이 가능하며 검출된 물체의 색상이나 질감에 대한 특징을 알 수 없는 단점을 가지고 있다.
GPS를 이용한 시각장애인 보행 안내 시스템은, 미리 경험적으로 획득하여 저장된 지역 맵 정보를 이용하여 보행자에게 길을 안내하도록 하는 시스템으로, 목적지까지의 순차적인 길의 경로를 제공한다. 이 GPS를 이용한 시각장애인 보행 안내 시스템은 지역적 정보를 담고 있는 데이터베이스를 가지고 있으며, 음성변환기술과 음성인식기술을 통해 컴퓨터와 사람간의 의사소통이 가능하도록 하고, 특정 지역의 목적지에 대한 경로를 제공하여 편리성을 준다. 하지만, 보행자와 바로 인접한 요소들에 대한 위험성을 분석할 수 없는 단점을 가지고 있다.
따라서, 본 발명은 상기한 문제점을 해결하기 위한 것으로, 본 발명의 목적은, 시각 장애인 및 노인과 같이 주변 환경 정보를 빠르게 파악 및 대응하기 어려운 사용자의 안전을 위해, 보행 중 주변 영상정보를 획득한 후 획득된 영상정보를 기반으로 주변 환경 정보를 분석하고, 분석된 정보를 음성 혹은 진동과 같은 방법을 통해 사용자에게 전달함으로써, 사용자의 안전을 도모할 수 있도록 한 영상 분석 기반 상황 판단형 가이드 장치 및 방법을 제공함에 있다.
한편, 본 발명의 다른 목적은, 상기한 목적을 달성할 수 있도록 하는 가이드 장치를 안경, 모자, 어깨 착용기기 형태로 구성함으로써, 시각 장애인이나 노인 등이 보행시 휴대가 용이하도록 한 영상 분석 기반 상황 판단형 가이드 장치 및 방법을 제공함에 있다.
상기한 목적을 달성하기 위한 본 발명의 일 측면에 따른 영상 분석 기반 상황 판단형 가이드 장치는, 사용자의 선택에 따라 보행중 각 방향에 대한 영상을 획득하는 영상 획득부; 상기 획득한 영상으로부터 객체를 분할하고, 분할된 객체의 크기, 객체와의 거리, 객체의 속도, 객체의 이동방향 및 객체의 종류를 분석한 후, 분석된 정보를 기반으로 사용자의 보행을 가이드해야 할 이벤트가 발생하였는지를 판단하고, 이벤트가 발생된 경우, 사용자와 객체의 방향 정보를 분석하여 사용자에게 이를 통지하기 위한 알림 정보를 생성하는 제어부; 및 상기 제어부에서 생성된 알림 정보를 음성 또는 진동으로 출력하는 출력부를 포함할 수 있다.
상기 가이드 장치는 안경, 어깨 장착형 기기, 모자 중 적어도 하나의 형태로 적용될 수 있다.
상기 제어부는, 이벤트가 발생한 경우, 영상 획득부의 각도 및 상기 분할된 객체의 크기, 객체와의 거리, 객체의 속도, 객체의 이동방향 정보를 기반으로 이벤트가 발생한 방향을 분석한다.
한편, 본 발명의 다른 측면에 따른 영상 분석 기반 상황 판단형 가이드 방법은, 사용자의 선택에 따라 보행중 각 방향에 대한 영상을 획득하는 단계; 상기 획득한 영상으로부터 객체를 분할하고, 분할된 객체의 크기, 객체와의 거리, 객체의 속도, 객체의 이동방향 및 객체의 종류를 분석한 후, 분석된 정보를 기반으로 사용자의 보행을 가이드해야 할 이벤트가 발생하였는지를 판단하고, 이벤트가 발생된 경우, 사용자와 객체의 방향 정보를 분석하여 사용자에게 이를 통지하기 위한 알림 정보를 생성하는 단계; 및 상기 제어부에서 생성된 알림 정보를 출력하는 단계를 포함할 수 있다.
상기 이벤트가 발생한 경우, 영상 획득부의 각도 및 상기 분할된 객체의 크기, 객체와의 거리, 객체의 속도, 객체의 이동방향 정보를 기반으로 이벤트가 발생한 방향을 분석한다.
상기 알림정보의 출력은, 음성 또는 진동을 통해 출력할 수 있다.
본 발명에 따르면, 시각 장애인 및 노인과 같이 주변 환경 정보를 빠르게 파악 및 대응하기 어려운 사용자의 안전을 위해, 보행 중 주변 영상정보를 획득한 후 획득된 영상정보를 기반으로 주변 환경 정보를 분석하고, 분석된 정보를 음성 혹은 진동과 같은 방법을 통해 사용자에게 전달함으로써, 시각 장애인 또는 노인과 같이 주변 환경 정보를 빠르게 파악하고 대응하기 어려운 사회적 약자의 생활안전에 기여하는 한편, 사회적 약자의 안전사고로 인해 발생되는 다양한 사회적 비용 절감 가능한 것이다.
또한, 본 발명에 따르면, 본 발명에 따른 가이드 장치를 안경, 모자, 어깨 착용기기 형태로 구성함으로써, 시각 장애인이나 노인 등이 보행시 휴대가 용이한 것이다.
도 1은 본 발명에 따른 영상 분석 기반 상황 판단형 가이드 장치에 대한 블록 구성을 나타낸 도면.
도 2는 본 발명에 따른 영상 분석 기반 상황 판단형 가이드 방법에 대한 동작 플로우챠트를 나타낸 도면.
본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시 예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시 예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 것이며, 단지 본 실시 예들은 본 발명의 개시가 완전하도록 하며, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 용이하게 이해할 수 있도록 제공되는 것이며, 본 발명은 청구항의 기재에 의해 정의된다. 한편, 본 명세서에서 사용된 용어는 실시 예들을 설명하기 위한 것이며 본 발명을 제한하고자 하는 것은 아니다. 본 명세서에서, 단수형은 문구에서 특별히 언급하지 않는 한 복수형도 포함한다. 명세서에서 사용되는 "포함한다(comprises)" 또는 "포함하는(comprising)"은 언급된 구성요소, 단계, 동작 및/또는 소자 이외의 하나 이상의 다른 구성요소, 단계, 동작 및/또는 소자의 존재 또는 추가를 배제하지 않는다.
이하, 본 발명에 따른 영상 분석 기반 상황 판단형 가이드 장치 및 방법에 대한 바람직한 실시예에 대하여 첨부한 도면을 참조하여 상세하게 설명하기로 한다.
먼저, 본 발명의 구체적인 구성 및 동작을 설명하기에 앞서, 본 발명을 간단하게 요약해 보면, 본 발명은 시각 장애인 또는 노인과 같이 주변 환경 정보를 빠르게 파악하고 대응하기 어려운 사회적 약자의 안전을 위한 것으로서, 본 발명에 따른 영상 분석 기반 상황 판단형 기기를 안경형 또는 어깨 착용형 기기 형태로 제작하여 보행시 용이하게 이용할 수 있도록 한 것이다. 이러한 기기를 착용한 경우, 해당 기기는 카메라로부터 입력되는 영상정보를 분석하여 주변 환경 정보를 파악하고, 파악된 주변 환경 정보를 음성 혹은 진동과 같은 방법을 사용하여 사용자에게 제공하도록 한 것이다. 이러한 기기에 대한 구체적인 구성 및 동작에 대하여 살펴보자.
도 1은 본 발명에 따른 영상 분석 기반 상황 판단형 가이드 장치에 대한 블록 구성을 나타낸 도면이다.
도 1에 도시된 바와 같이, 본 발명에 따른 영상 분석 기반 상황 판단형 가이드 장치는, 구동 선택부(10), 영상 획득부(20), 제어부(30), 저장부(40) 및 출력부(50)를 포함할 수 있다. 이러한 구성은 상기한 바와 같이 안경이나, 어깨 등에 착용할 수 있도록 하나의 장치로 구성될 수 있다.
상기 구동 선택부(10)는 본 발명에 따른 장치의 구동 및 종료를 사용자로부터 입력이 가능하도록 한 것이다. 사용자로부터 구동 선택부(10)를 통해 구동 신호가 선택된 경우, 해당 구동 선택 신호는 제어부(30)로 제공한다.
영상 획득부(20)는 구동 선택부(10)를 통해 사용자가 구동 선택신호를 입력한 경우, 주변 즉, 전방의 영상을 획득하여 획득한 영상을 제어부(30)로 제공한다.
제어부(30)는 상기 구동 선택부(10)으로부터 제공되는 사용자의 구동 선택신호에 따라 영상 획득부(20)를 통해 전방 영상의 촬영이 이루어지도록 영상 획득부(20)를 제어한다.
제어부(30)는 영상 획득부(20)를 통해 제공되는 획득 영상은 저장부(40)에 저장하고, 획득한 영상을 분석하여 분석 영상을 기반으로 사용자에게 가이드가 이루어져야 할 이벤트가 발행했는지를 판단한다.
상기 이벤트 판단 결과, 이벤트가 발생되지 않은 경우, 제어부(30)는 상기와 같은 영상 분석 및 이벤트 발생 여부를 지속적으로 판단하고, 이벤트가 발생한 경우 제어부(30)는 사용자와 객체의 방향 정보를 분석하게 된다.
제어부(30)는 이벤트가 발생하여 상기와 같이 사용자와 객체의 방향 정보가 분석되면, 출력부(50)로 이벤트 발생 및 객체의 방향을 알리는 알림 정보를 제공하여 사용작사 이를 확인할 수 있도록 한다.
출력부(50)는 상기 제어부(30)에서 제공되는 알림 정보를 음성으로 출력하거나, 진동을 발생하여 사용자에게 피드백하는 것이다.
이와 같이 구성된 본 발명에 따른 영상 분석 기반 상황 판단형 가이드 장치의 구체적인 동작에 대하여 살펴보자.
먼저, 사용자가 구동 선택부(10)를 통해 본 발명에 따른 장치의 구동을 위한 구동 선택신호가 선택되면, 해당 구동 선택신호는 제어부(30)로 제공된다. 여기서, 구동 선택부(10)는 사용자가 직접적으로 선택할 수 있는 스위치 형태로 구성될 수도 있고, 음성 인식을 통해 구동 및 종료를 선택할 수도 있을 것이다. 음성 인식 방법에 대해서는 이미 공지된 기술이기 때문에 상태 구성 및 동작 설명은 생략하기로 한다.
제어부(30)는 상기 구동 선택부(10)으로부터 제공되는 사용자의 구동 선택신호에 따라 영상 획득부(20)를 통해 전방 영상의 촬영이 이루어지도록 영상 획득부(20)를 제어한다.
따라서, 영상 획득부(20)는 제어부(30)의 제어에 따라 구동되고, 구동에 따라 주변 즉, 전, 후, 좌, 우 방향의 영상을 획득하여 획득한 영상을 제어부(30)로 제공한다. 여기서, 영상 획득부(20)는 카메라 일 수 있으며, 카메라는 어떠한 종류의 카메라를 이용하여도 무방할 것이다.
제어부(30)는 영상 획득부(20)를 통해 제공되는 획득 영상을 저장부(40)에 저장하고, 획득한 영상을 분석하여 분석 영상을 기반으로 사용자에게 가이드가 이루어져야 할 이벤트가 발행했는지를 판단한다. 여기서, 상기 획득한 영상의 분석은 사용자의 안전과 관련된 상황 판단을 수행하기 위한 것으로, 객체 분할(Object Segmentation), 객체의 크기 분석, 객체와의 거리 분석, 객체의 이동 속도 분석, 객체의 이동 방향 분석 및 객체의 종류 분석을 수행할 수 있다. 이와 같은 분석 방법들은 이미 공지된 기술로서, 상세 설명은 생략하기로 한다. 한편, 제어부(30)에서의 이벤트 판단은 상기 분석된 객체의 크기, 객체와의 거리, 객체의 속도, 객체의 이동 방향 및 객체의 종류 정보를 기반으로 판단할 수 있으며, 이러한 이벤트는 주변 환경 정보가 사용자의 안전과 관련이 있다고 판별되는 경우에 발생한다.
상기 이벤트 판단 결과, 이벤트가 발생되지 않은 경우, 제어부(30)는 상기와 같은 영상 분석 및 이벤트 발생 여부를 지속적으로 판단하고, 이벤트가 발생한 경우 제어부(30)는 사용자와 객체의 방향 정보를 분석하게 된다. 여기서, 카메라 각도 및 영상 객체 정보를 기반으로 이벤트가 발생한 방향을 분석하고, 이벤트 발생 방향은 사용자의 정면을 기준으로 전, 후, 좌, 우와 같은 기본 방향 정보 및 각도정보를 기반으로 표현할 수 있다. 여기서, 객체의 방향 정보는 저장부(40)에 저장된 이전 영상과의 비교에 따라 객체의 이동 방향을 분석할 수 있을 것이다.
제어부(30)는 이벤트가 발생하여 상기와 같이 사용자와 객체의 방향 정보가 분석되면, 출력부(50)로 이벤트 발생 및 객체의 방향을 알리는 알림 정보를 제공하여 사용작사 이를 확인할 수 있도록 한다.
출력부(50)는 음성 출력장치 즉, 스피커 또는 진동을 발생하는 진동 발생장치 일 수 있으며, 상기 제어부(30)에서 제공되는 알림 정보를 음성으로 출력하거나, 진동을 발생하여 사용자에게 피드백하는 것이다.
이하, 상기한 바와 같은 본 발명에 따른 영상 분석 기반 상황 판단형 가이드 장치의 동작과 상응하는 본 발명에 따른 영상 분석 기반 상황 판단형 가이드 방법에 대하여 도 2를 참조하여 단계적으로 살펴보기로 하자.
도 2는 본 발명에 따른 영상 분석 기반 상황 판단형 가이드 방법에 대한 동작 플로우챠트를 나타낸 도면이다.
도 2에 도시된 바와 같이, 먼저 사용자의 보행중 사용자 입력이 있는지를 판단한다(S201). 즉, 보행중 사용자에 의해 본 발명에 따른 영상 분석 기반 상황 판단형 가이드 장치의 구동을 위한 구동 선택신호가 입력되었는지를 판단한다.
판단 결과, 사용자에 의해 구동 선택신호가 입력된 경우, 안경이나 어깨 등에 장착할 수 있는 장치에 전,후,좌,우 방향의 영상을 촬영할 수 있는 카메라를 구동하여 각 방향의 영상을 획득한다(S202).
이와 같이 보행중 전, 후, 좌, 우측 방향의 영상이 획득되면, 획득한 영상을 분석한다(S203).
영상 분석이 이루어지면, 분석 영상을 기반으로 사용자에게 가이드가 이루어져야 할 이벤트가 발행했는지를 판단한다(S204). 여기서, 상기 획득한 영상의 분석은 사용자의 안전과 관련된 상황 판단을 수행하기 위한 것으로, 객체 분할(Object Segmentation), 객체의 크기 분석, 객체와의 거리 분석, 객체의 이동 속도 분석, 객체의 이동 방향 분석 및 객체의 종류 분석을 수행할 수 있다. 이와 같은 분석 방법들은 이미 공지된 기술로서, 상세 설명은 생략하기로 한다. 한편, 제어부(30)에서의 이벤트 판단은 상기 분석된 객체의 크기, 객체와의 거리, 객체의 속도, 객체의 이동 방향 및 객체의 종류 정보를 기반으로 판단할 수 있으며, 이러한 이벤트는 주변 환경 정보가 사용자의 안전과 관련이 있다고 판별되는 경우에 발생한다.
상기 S204 단계에서의 이벤트 판단 결과, 이벤트가 발생되지 않은 경우, 상기 S202단계로 피드백되어 영상 분석 및 이벤트 발생 여부를 지속적으로 판단한다.
그러나, 상기 S204단계에 이벤트 판단 결과, 이벤트가 발생한 경우 사용자와 객체의 방향 정보를 분석하게 된다(S205). 여기서, 카메라 각도 및 영상 객체 정보를 기반으로 이벤트가 발생한 방향을 분석하고, 이벤트 발생 방향은 사용자의 정면을 기준으로 전, 후, 좌, 우와 같은 기본 방향 정보 및 각도정보를 기반으로 표현할 수 있다. 여기서, 객체의 방향 정보는 메모리에 저장된 이전 영상과의 비교에 따라 객체의 이동 방향을 분석할 수 있을 것이다.
이어, 상기 S205단계에서와 같이, 이벤트가 발생하여 사용자와 객체의 방향 정보가 분석되면, 이벤트 발생 및 객체의 방향을 사용자에게 통지하기 위한 피드백 정보 즉, 알림 정보를 생성한다(S206).
이와 같이, 알림 정보가 생성되면, 음성 출력장치 즉, 스피커를 통해 알림 정보를 음성으로 출력하거나, 진동을 발생하는 진동 발생장치를 통해 진동으로 알림 정보를 출력하여 사용자에게 피드백하는 것이다(S207).
본 발명에 따른 영상 분석 기반 상황 판단형 가이드 장치 및 방법을 실시예에 따라 설명하였지만, 본 발명의 범위는 특정 실시 예에 한정되는 것은 아니며, 본 발명과 관련하여 통상의 지식을 가진 자에게 자명한 범위 내에서 여러 가지의 대안, 수정 및 변경하여 실시할 수 있다.
따라서, 본 발명에 기재된 실시 예 및 첨부된 도면들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시 예 및 첨부된 도면에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 보호 범위는 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리 범위에 포함되는 것으로 해석되어야 할 것이다.
10 : 구동 선택부
20 : 영상 획득부
30 : 제어부
40 : 저장부
50 : 출력부

Claims (6)

  1. 사용자의 선택에 따라 보행중 각 방향에 대한 영상을 획득하는 영상 획득부;
    상기 획득한 영상으로부터 객체를 분할하고, 분할된 객체의 크기, 객체와의 거리, 객체의 속도, 객체의 이동방향 및 객체의 종류를 분석한 후, 분석된 정보를 기반으로 사용자의 보행을 가이드해야 할 이벤트가 발생하였는지를 판단하고, 이벤트가 발생된 경우, 사용자와 객체의 방향 정보를 분석하여 사용자에게 이를 통지하기 위한 알림 정보를 생성하는 제어부; 및
    상기 제어부에서 생성된 알림 정보를 음성 또는 진동으로 출력하는 출력부를 포함하는 것인 영상 분석 기반 상황 판단형 가이드 장치.
  2. 제1항에 있어서,
    상기 가이드 장치는 안경, 어깨 장착형 기기, 모자 중 적어도 하나의 형태로 적용되는 것인 영상 분석 기반 상황 판단형 가이드 장치.
  3. 제1항에 있어서,
    상기 제어부는,
    이벤트가 발생한 경우, 영상 획득부의 각도 및 상기 분할된 객체의 크기, 객체와의 거리, 객체의 속도, 객체의 이동방향 정보를 기반으로 이벤트가 발생한 방향을 분석하는 것인 영상 분석 기반 상황 판단형 가이드 장치.
  4. 사용자의 선택에 따라 보행중 각 방향에 대한 영상을 획득하는 단계;
    상기 획득한 영상으로부터 객체를 분할하고, 분할된 객체의 크기, 객체와의 거리, 객체의 속도, 객체의 이동방향 및 객체의 종류를 분석한 후, 분석된 정보를 기반으로 사용자의 보행을 가이드해야 할 이벤트가 발생하였는지를 판단하고, 이벤트가 발생된 경우, 사용자와 객체의 방향 정보를 분석하여 사용자에게 이를 통지하기 위한 알림 정보를 생성하는 단계; 및
    상기 제어부에서 생성된 알림 정보를 출력하는 단계를 포함하는 것인 영상 분석 기반 상황 판단형 가이드 방법.
  5. 제4항에 있어서,
    상기 이벤트가 발생한 경우, 영상 획득부의 각도 및 상기 분할된 객체의 크기, 객체와의 거리, 객체의 속도, 객체의 이동방향 정보를 기반으로 이벤트가 발생한 방향을 분석하는 것인 영상 분석 기반 상황 판단형 가이드 방법.
  6. 제4항에 있어서,
    상기 알림정보의 출력은, 음성 또는 진동을 통해 출력하는 것인 영상 분석 기반 상황 판단형 가이드 장치.
KR1020170024810A 2017-02-24 2017-02-24 영상 분석 기반 상황 판단형 가이드 장치 및 방법 Withdrawn KR20180097962A (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020170024810A KR20180097962A (ko) 2017-02-24 2017-02-24 영상 분석 기반 상황 판단형 가이드 장치 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020170024810A KR20180097962A (ko) 2017-02-24 2017-02-24 영상 분석 기반 상황 판단형 가이드 장치 및 방법

Publications (1)

Publication Number Publication Date
KR20180097962A true KR20180097962A (ko) 2018-09-03

Family

ID=63601082

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020170024810A Withdrawn KR20180097962A (ko) 2017-02-24 2017-02-24 영상 분석 기반 상황 판단형 가이드 장치 및 방법

Country Status (1)

Country Link
KR (1) KR20180097962A (ko)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102024111B1 (ko) * 2018-11-16 2019-09-24 동국대학교 산학협력단 마이크로 컴퓨터를 이용한 이동약자를 위한 스마트 지팡이 및 상기 스마트 지팡이의 장애물 경고 방법
CN110269787A (zh) * 2019-06-26 2019-09-24 青岛海尔科技有限公司 一种导盲方法、装置及帽子
CN111060074A (zh) * 2019-12-25 2020-04-24 深圳壹账通智能科技有限公司 基于计算机视觉的导航方法、装置、计算机设备及介质
KR102234079B1 (ko) * 2020-11-26 2021-03-31 (주)에스알포스트 시각 보조 장치 및 방법
KR20240025237A (ko) * 2022-08-18 2024-02-27 동의대학교 산학협력단 점자블록 인식 기반의 음성 안내 방법 및 그 시스템
KR102682678B1 (ko) * 2023-09-24 2024-07-08 유왕윤 증강현실 인터랙티브 스포츠 장치를 이용한 체력 측정 방법

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102024111B1 (ko) * 2018-11-16 2019-09-24 동국대학교 산학협력단 마이크로 컴퓨터를 이용한 이동약자를 위한 스마트 지팡이 및 상기 스마트 지팡이의 장애물 경고 방법
CN110269787A (zh) * 2019-06-26 2019-09-24 青岛海尔科技有限公司 一种导盲方法、装置及帽子
CN111060074A (zh) * 2019-12-25 2020-04-24 深圳壹账通智能科技有限公司 基于计算机视觉的导航方法、装置、计算机设备及介质
WO2021128834A1 (zh) * 2019-12-25 2021-07-01 深圳壹账通智能科技有限公司 基于计算机视觉的导航方法、装置、计算机设备及介质
KR102234079B1 (ko) * 2020-11-26 2021-03-31 (주)에스알포스트 시각 보조 장치 및 방법
KR20220073606A (ko) * 2020-11-26 2022-06-03 (주) 에스알포스트 에스컬레이터에 대한 객체인식이 가능한 시각 보조 장치 및 방법
KR20220073607A (ko) * 2020-11-26 2022-06-03 (주) 에스알포스트 계단에 대한 객체인식이 가능한 시각 보조 장치 및 방법
KR20240025237A (ko) * 2022-08-18 2024-02-27 동의대학교 산학협력단 점자블록 인식 기반의 음성 안내 방법 및 그 시스템
KR102682678B1 (ko) * 2023-09-24 2024-07-08 유왕윤 증강현실 인터랙티브 스포츠 장치를 이용한 체력 측정 방법

Similar Documents

Publication Publication Date Title
KR20180097962A (ko) 영상 분석 기반 상황 판단형 가이드 장치 및 방법
US12154451B1 (en) Personal navigation system
KR101054025B1 (ko) 시각장애인 보행 안내 방법 및 그 시스템
Kuribayashi et al. Linechaser: a smartphone-based navigation system for blind people to stand in lines
JP6388141B2 (ja) 移動体
JP2012084108A (ja) 運転者注視方向連動の前方衝突危険警報システム、その方法及びそれを利用した車両
JP2004362586A (ja) 車両用画像処理システム
Goldhammer et al. Early prediction of a pedestrian's trajectory at intersections
Patel et al. Review of sensor-driven assistive device technologies for enhancing navigation for the visually impaired
Hakim et al. Navigation system for visually impaired people based on RGB-D camera and ultrasonic sensor
Ilag et al. Design review of smart stick for the blind equipped with obstacle detection and identification using artificial intelligence
KR102291296B1 (ko) 시각 장애인 보행 보조 시스템
Wei et al. A guide-dog robot system research for the visually impaired
Wei et al. A new vision and navigation research for a guide-dog robot system in urban system
US11766779B2 (en) Mobile robot for recognizing queue and operating method of mobile robot
US20200000391A1 (en) Operation aptitude judgment device and operation aptitude judgment method
Gurubaran et al. A survey of voice aided electronic stick for visually impaired people
JP7036329B1 (ja) 作業現場管理システム、作業現場管理方法、及び作業現場管理プログラム
Han et al. Fuzzy gaze control-based navigational assistance system for visually impaired people in a dynamic indoor environment
Wei et al. Development of a guide-dog robot system for the visually impaired by using fuzzy logic based human-robot interaction approach
KR20210061157A (ko) 인공지능 기반의 실시간 반응형 휴대용 소형 시각 보조장치
KR20170079703A (ko) 장면을 연출하는 시각장애인용 네비게이션 시스템
Gaikwad et al. Ultrasonic smart cane indicating a safe free path to blind people
Makanyadevi et al. AI-Powered Smart Glasses and Shoes for the Visually Impaired
Walvekar et al. Blind Hurdle Stick: Android Integrated Voice Based Intimation via GPS with Panic Alert System

Legal Events

Date Code Title Description
PA0109 Patent application

Patent event code: PA01091R01D

Comment text: Patent Application

Patent event date: 20170224

PG1501 Laying open of application
PC1203 Withdrawal of no request for examination