KR101860062B1

KR101860062B1 - 낙상 감지 시스템 및 방법

Info

Publication number: KR101860062B1
Application number: KR1020170002298A
Authority: KR
Inventors: 이재길; 강현국; 강민서
Original assignee: 한국과학기술원
Priority date: 2017-01-06
Filing date: 2017-01-06
Publication date: 2018-05-23
Anticipated expiration: 2037-01-06

Abstract

낙상 감지 시스템이 오브젝트의 낙상을 감지하기 위하여, 오브젝트의 영상을 수집한 영상 수집 장치로부터, 오브젝트에 대한 복수의 이미지 스트림을 수신하여 전처리하여 복수의 자세 정보를 추출하고, 복수의 자세 정보를 토대로 오브젝트가 미리 설정된 제1 시간 내에 제1 자세에서 제2 자세로 변경되었는지 확인하는 제1 조건을 만족하는지 확인한다. 제1 조건을 만족하면 제2 자세를 취하는 시간이 미리 설정된 제2 시간 이상을 취하고 있는지 확인하는 제2 조건을 만족하는지 확인하고, 제2 조건을 만족하면, 오브젝트가 낙상한 것으로 감지하고 경보 신호를 생성한다.

Description

낙상 감지 시스템 및 방법{Fall detection system and method}

본 발명은 낙상 감지 시스템 및 방법에 관한 것이다.

우리 나라는 2000년에 65세 이상 인구가 총 인구에서 차지하는 비중이 7.2%에 이르러 '고령화 사회'에 들어섰다. 그리고 오는 2019년에는 이 비율이 14%, 2026년에는 20%에 이를 것으로 전망되어, '초 고령화 사회'에 도달할 것으로 예상되고 있다.

이와 같은 고령화 사회가 도래함에 따라 노인들의 건강 의료 및 건강 관리에 대한 연구가 활발히 진행되고 있다. 특히, 독거 노인의 낙상을 감지하는 시스템에 대한 연구가 다양한 관점에서 행해지고 있으며, 센서 기반 낙상 감지 시스템과 복합 이벤트 처리 낙상 감지 시스템으로 분류할 수 있다.

센서 기반 낙상 감지 시스템은 가속 센서, 스마트폰, 바닥에 설치된 압력 센서 등 다양한 센서들을 활용하여 노인의 낙상을 판별한다. 그리고 룰 기반 낙사 감지 방법론을 복합 이벤트 처리 시스템을 이용하여 구현하는 방법도 있다. 그러나, 이들 종래의 시스템들은 모든 낙상을 찾아주지 못하거나, 중복적인 결과를 내어주어 처리 비용이 높아지는 단점이 있다.

따라서, 본 발명은 카메라를 이용하여 슬라이딩 윈도우 개념을 적용하는 낙상 감지 시스템 및 방법을 제공한다.

상기 본 발명의 기술적 과제를 달성하기 위한 본 발명의 하나의 특징인 오브젝트의 낙상을 감지하는 시스템은,

상기 오브젝트의 영상을 수집한 영상 수집 장치로부터, 상기 오브젝트에 대한 복수의 이미지 스트림을 수신하여 전처리하여 복수의 자세 정보를 추출하는 전처리부; 상기 전처리부가 전처리한 복수의 자세 정보를 토대로, 상기 오브젝트의 낙상 여부를 감지하는 낙상 감지부; 및 상기 낙상 감지부가 상기 오브젝트가 낙상한 것으로 감지하면, 경보 신호를 생성하는 후처리부를 포함하며, 상기 낙상 감지부는 상기 오브젝트가 미리 설정된 제1 시간 내에 제1 자세에서 제2 자세로 변경되었는지 확인하는 제1 조건과, 상기 제1 조건을 만족하면 상기 제2 자세를 취하는 시간이 미리 설정된 제2 시간 이상을 취하고 있는지 확인하는 제2 조건을 토대로 낙상 여부를 감지한다.

상기 낙상 감지부는, 상기 오브젝트 자세 정보를 토대로 상기 오브젝트가 제2 자세를 취하고 있으면, 상기 오브젝트가 제2 자세를 취하기 시작한 시점의 이미지 스트림에서 상기 제1 시간 전에 상기 제1 자세를 취하고 있는지 확인하고, 상기 미리 설정한 시간 전에 상기 제1 자세를 취하고 있으면 상기 제1 조건을 만족하는 것으로 확인할 수 있다.

상기 낙상 감지부는, 상기 제1 조건을 만족하면, 상기 제1 자세를 취하기 시작한 시점의 프레임으로부터 슬라이딩 윈도우를 선언할 수 있다.

상기 낙상 감지부는, 상기 제1 조건을 만족하면, 상기 오브젝트가 상기 제2 자세를 취하기 시작한 시점에서 상기 제2 시간 이상 제2 자세를 취하고 있으면 상기 제2 조건을 만족한 것으로 확인하고, 상기 오브젝트가 낙상한 것으로 판단할 수 있다.

상기 낙상 감지부는, 상기 오브젝트가 제1 조건을 만족하면, 상기 선언한 슬라이딩 윈도우 내에서 오브젝트가 상기 제1 자세를 취하는 이벤트가 몇 개 있는지 확인하고, 상기 제1 자세를 취하는 이벤트가 미리 설정한 기준 개수보다 많으면 상기 제2 조건을 만족하는 것으로 확인할 수 있다.

상기 낙상 감지부는, 상기 선언한 슬라이딩 윈도우 내에서 오브젝트가 취하는 상기 제1 자세가 미리 설정한 기준 개수보다 적으면, 상기 슬라이딩 윈도우를 이동하고, 이동한 슬라이딩 윈도우 내에서 상기 제1 자세를 취하는 이벤트에 대한 개수를 갱신할 수 있다.

상기 전처리부는, 상기 복수의 이미지 스트림 각각에서 배경을 제거하고, 배경이 제거된 이미지 스트림에서 상기 오브젝트의 자세를 판별하여 자세 정보를 생성할 수 있다.

상기 본 발명의 기술적 과제를 달성하기 위한 본 발명의 또 다른 특징인 낙상 감지 시스템이 오브젝트의 낙상을 감지하는 방법은,

상기 오브젝트의 영상을 수집한 영상 수집 장치로부터, 상기 오브젝트에 대한 복수의 이미지 스트림을 수신하여 전처리하여 복수의 자세 정보를 추출하는 단계; 상기 복수의 자세 정보를 토대로, 상기 오브젝트가 미리 설정된 제1 시간 내에 제1 자세에서 제2 자세로 변경되었는지 확인하는 제1 조건을 만족하는지 확인하는 단계; 및 제1 조건을 만족하면 상기 제2 자세를 취하는 시간이 미리 설정된 제2 시간 이상을 취하고 있는지 확인하는 제2 조건을 만족하는지 확인하는 단계; 및 상기 제2 조건을 만족하면, 상기 오브젝트가 낙상한 것으로 감지하고 경보 신호를 생성하는 단계를 포함한다.

상기 제1 조건을 만족하는지 확인하는 단계는, 상기 오브젝트가 제2 자세를 취하고 있으면, 상기 오브젝트가 제2 자세를 취하기 시작한 시점의 이미지 스트림에서 미리 설정한 시간 전에 상기 제1 자세를 취하고 있으면 상기 제1 조건을 만족하는 것으로 확인할 수 있다.

상기 제2 조건을 만족하는지 확인하는 단계는, 상기 오브젝트가 상기 제2 자세를 취하기 시작한 시점에서 미리 설정한 시간 이상 상기 제2 자세를 취하고 있으면 상기 제2 조건을 만족한 것으로 확인할 수 있다.

본 발명에 따르면 이벤트 패턴 매칭에 기반하여 사람의 자세 이미지로부터 스트리밍 알고리즘을 이용하여 낙상 여부를 감지하기 때문에, 데이터를 중복적으로 읽을 필요 없이 한 번의 연산으로 낙상 감지가 가능하다.

또한, 슬라이딩 윈도우 모델을 활용하여 낙상 감지 처리를 위한 비용을 줄이며 낙상 감지에 대한 높은 정확도를 얻을 수 있다.

도 1은 본 발명의 실시예에 따른 낙상 감지 시스템이 적용된 환경의 예시도이다.
도 2는 본 발명의 실시예에 따른 낙상 감지 시스템의 구조도이다.
도 3은 본 발명의 실시예에 따른 낙상 감지부의 구조도이다.
도 4는 본 발명의 실시예에 따른 낙상 감지 방법에 대한 흐름도이다.
도 5는 본 발명의 실시예에 따른 슬라이딩 윈도우 선언의 예시도이다.
도 6은 본 발명의 실시예에 따른 슬라이딩 윈도우 이동의 예시도이다.
도 7은 본 발명의 실시예에 따른 슬라이딩 윈도우 갱신의 예시도이다.
도 8은 본 발명의 실시예에 따른 알람 상태 확인의 예시도이다.
도 9는 본 발명의 실시예에 따른 낙상 감지 방법의 성능을 나타낸 예시도이다.

아래에서는 첨부한 도면을 참고로 하여 본 발명의 실시예에 대하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.

명세서 전체에서, 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다.

이하 도면을 참조로 하여 본 발명의 실시예에 따른 낙상 감지 시스템 및 방법에 대해 설명한다.

도 1은 본 발명의 실시예에 따른 낙상 감지 시스템이 적용된 환경의 예시도이다.

도 1에 도시된 바와 같이, 낙상 사고에 대한 감시 대상인 노인 즉, 오브젝트(400)의 활동 공간에 설치되어 있는 영상 수집 장치(예를 들어, CCTV 등)(300)는 오브젝트(400)의 영상을 촬영하고, 촬영한 영상을 낙상 감지 시스템(100)으로 전송한다. 이때, 영상 수집 장치(300)가 영상을 낙상 감지 시스템(100)으로 전송할 수도 있고, 영상에서 추출한 복수의 이미지 스트림을 전송할 수도 있다.

본 발명의 실시예에서는 영상 수집 장치(300)가 영상에서 이미지 스트림을 추출하여 낙상 감지 시스템(100)으로 전송하는 것을 예로 하여 설명한다. 이때, 영상 수집 장치(300)가 영상으로부터 이미지 스트림을 추출하는 방법은 여러 방법으로 수행할 수 있으므로, 본 발명의 실시예에서는 어느 하나의 방법으로 한정하지 않는다.

낙상 감지 시스템(100)은 영상 수집 장치(300)로부터 수신한 이미지 스트림을 토대로 오브젝트(400)가 일어서 있는 자세에서 누운 자세로 낙상하였는지 여부를 감지한다. 그리고, 오브젝트가 낙상한 것으로 판별하면, 미리 설정되어 있는 병원, 경찰서, 또는 인근 주민이 소지한 단말(200)로 오브젝트(400)의 낙상을 알리는 경보 신호를 전송한다.

여기서, 오브젝트(400)의 낙상은 단순히 일어서 있는 자세에서 누운 자세로 자세가 변경되는 것을 의미하는 것이 아니라, 일어서 있는 자세에서 누운 자세로의 전환이 0.33초 이내에 일어났으며, 누운 상태에서 30초 이상 지속되는 경우를 때를 낙상으로 정의하는 것을 예로 하여 설명한다.

이상의 환경에서, 오브젝트의 낙상 여부를 감지하는 낙상 감지 시스템(100)의 구조에 대해 도 2를 참조로 설명한다.

도 2는 본 발명의 실시예에 따른 낙상 감지 시스템의 구조도이다.

도 2에 도시된 바와 같이, 낙상 감지 시스템(100)은 전처리부(110), 낙상 감지부(120) 및 후처리부(130)를 포함한다.

전처리부(110)는 영상 수집 장치(300)로부터 전송되는 복수의 이미지 스트림을 수신한다. 그리고 전처리부(110)는 복수의 이미지 스트림 각각으로부터 배경을 제거하고 오브젝트(400)의 자세를 판별하는 전처리 과정을 수행하여, 오브젝트의 자세 정보를 추출한다.

여기서, 이미지 스트림으로부터 배경을 제거하는 전처리 과정은, 이미지 스트림의 각 이미지 파일에서 배경을 제거하고 사람인 오브젝트만 남기는 전처리 과정이다. 그리고, 자세를 판별하는 전처리 과정은 배경이 제거된 각 이미지 파일 속에서 오브젝트의 자세를 판별하는 전처리 과정이다. 전처리부(110)가 이미지 스트림으로부터 배경을 제거한 후, 오브젝트 자세를 판별하는 방법은 영상 처리에서 널리 사용되는 배경 제거(background subsctraction) 기법을 토대로 여러 방법으로 수행할 수 있으므로, 본 발명의 실시예에서는 어느 하나의 방법으로 한정하지 않는다.

낙상 감지부(120)는 전처리부(110)가 추출한 복수의 오브젝트의 자세 정보를 수신하여, 첫 번째 오브젝트 자세 정보부터 확인하여 오브젝트가 낙상하였는지 여부를 감지한다. 즉, 낙상 감지부(120)는 오브젝트의 자세 정보를 토대로 오브젝트가 낙상하였는지 감지하기 위하여, 두 가지 조건을 확인한다.

두 가지 조건 중 제1 조건은 오브젝트가 얼마나 빠른 시간에 서 있는 자세에서 누워있는 자세로 변경되었는지 확인하는 fall-down 조건이다. 먼저 낙상 감지부(120)는 오브젝트의 자세 정보를 토대로 오브젝트가 누워 있는 자세를 취하고 있는지 확인한다. 오브젝트가 누워 있는 자세를 취하고 있는 것으로 확인하면, 낙상 감지부(120)는 오브젝트가 누워 있는 자세를 취한 시점을 기준으로 미리 설정된 시점 이전에 오브젝트가 누워 있는 자세를 취하고 있는지 서 있는 자세를 취하고 있는지 확인한다.

만약 미리 설정된 시점 내에 오브젝트가 일어서 있는 자세의 이벤트가 있는 것으로 확인하면, 낙상 감지부(120)는 제2 조건을 확인한다. 제2 조건이란 오브젝트가 누워 있는 자세를 얼마나 오래 유지하고 있는지 확인하는 long-lie 조건이다.

오브젝트가 바닥에 누워 있는 시간이 미리 설정한 시간 이상으로 지속된다면, 낙상 감지부(120)는 낙상한 것으로 감지한다. 낙상 감지부(120)는 이상의 두 가지 조건을 지속적으로 확인하여, 오브젝트의 낙상 여부를 실시간으로 확인한다.

이때, 두 가지 조건을 지속적으로 확인하기 위해서는 종래의 이미지 스트림의 분석 기법을 이용하면 이미지 분석 장치에 부하가 발생하고 속도가 느려지며, 계산 비용이 크게 발생한다. 따라서, 본 발명의 실시예에서는 오브젝트의 낙상 여부를 판별할 때 종래의 비효율적인 것을 개선하기 위하여 슬라이딩 윈도우를 통한 낙상 판별 절차를 수행한다. 이에 대해서는 이후 상세히 설명한다.

후처리부(130)는 낙상 감지부(120)에서 오브젝트의 낙상을 감지하면, 미리 설정된 단말(200)로 경보 신호를 전송한다.

이상에서 설명한 낙상 감지 시스템을 통해, 오브젝트가 낙상하였는지 여부를 감지하는 방법에 대해 도 3을 참조로 설명한다.

도 3은 본 발명의 실시예에 따른 낙상 감지 방법에 대한 흐름도이다.

도 3에 도시된 바와 같이, 낙상 감지 시스템(100)이 영상 수집 장치(300)로부터 복수의 이미지 스트림을 수신하면(S100), 수신한 이미지 스트림을 분석하여 오브젝트가 낙상하였는지 여부를 감지한다(S200). 그리고, 오브젝트가 낙상한 것으로 감지하면, 낙상 감지 시스템(100)은 미리 설정된 단말(200)로 전송할 경보 신호를 생성하여 전송한다(S300).

여기서, S200 단계에서 오브젝트가 낙상하였는지 여부를 감지하는 낙상 감지 조건은 다음과 같은 절차로 이루어진다. 낙상 감지 조건은 오브젝트가 빠른 시간 내에 자세가 서 있는 자세에서 누워있는 자세로 변경되었는지 확인하는 제1 조건과, 미리 설정한 시간보다 오래 누워있는 자세를 유지하고 있는지 확인하는 제2 조건에 해당한다. 두 조건이 모두 만족 된다면, 낙상 감지 시스템(100)은 최종적으로 오브젝트가 낙상하였다고 판단하게 된다.

이를 위해 먼저, 낙상 감지 시스템(100)은 S100 단계에서 수신한 이미지 스트림에서 배경을 제거하고, 배경이 제거된 각 이미지 파일 속의 오브젝트의 자세를 판별한다. 그리고 임의의 제1 시점에 판별한 오브젝트의 자세가 누워있는 자세인지 확인한다. 본 발명의 실시예에서는 설명의 편의를 위하여 누워있는 자세를 제1 자세, 일어서 있는 자세를 제2 자세라 지칭한다.

만약 오브젝트의 자세가 누워있는 자세라면, 제1 시점보다 미리 설정된 시점 이전의 제2 시점에 오브젝트가 취하는 자세가 일어서 있는 자세인지 아닌지 확인한다. 여기서, 제2 시점은 제1 시점보다 0.3초 앞서는 시점임을 예로 하여 설명하나, 반드시 이와 같이 한정되는 것은 아니다. 즉, 낙상 감지 시스템(100)은 오브젝트가 제2 자세에서 제1 자세로 0.3초 내에 빨리 자세가 변경되는 경우에는 낙상의 첫 번째 조건을 만족하는 것으로 판단한다.

만약, 제2 시점에도 오브젝트가 제2 자세 이외의 자세를 취하고 있다면, 낙상 감지 시스템(100)은 오브젝트가 취침 등의 이유로 지속적으로 누워있는 상태임을 파악하고 낙상이 발생하지 않은 것으로 판단한다. 그러나, 제2 시점에 오브젝트가 제2 자세를 취한 것으로 확인하면 첫 번째 낙상 조건을 만족한 것으로 판단한다.

그리고 낙상 감지 시스템(100)은 오브젝트가 제1 자세를 취한 시간이 미리 설정된 시간보다 긴지 확인한다. 오브젝트가 제1 자세를 미리 설정된 시간보다 길게 취하고 있으면, 낙상 감지 시스템(100)은 오브젝트가 낙상한 것으로 감지한다.

그러나, 미리 설정된 시간보다 짧게 취하였다면, 낙상 감지 시스템(100)은 오브젝트가 낙상하지 않은 것으로 감지한다. 본 발명의 실시예에서는 미리 설정된 시간을 30초로 설정하는 것을 예로 하여 설명하나, 반드시 이와 같이 한정되는 것은 아니다. 여기서 S200 단계를 통해 이미지 스트림으로부터 낙상 감지 시스템(100)이 오브젝트의 낙상 여부를 감지할 때, 4단계의 절차를 통해 낙상을 판별하게 된다. 이에 대해 도 4를 참조로 설명한다.

도 4는 본 발명의 실시예에 따른 낙상 판별 절차에 대한 흐름도이다.

도 4에 도시된 바와 같이, 본 발명의 실시예에서는 오브젝트의 낙상을 감지하기 위해 4단계의 절차를 수행한다. 먼저, 낙상 감지부(120)는 이미지 스트림에서 오브젝트의 낙상을 감지하기 위하여, 오브젝트(400)가 누워 있는 자세인 것을 감지하면 슬라이딩 윈도우를 선언한다(S210).

여기서 슬라이딩 윈도우는 실시간으로 오브젝트의 낙상 여부를 판별할 때 하나의 정적인 자세만을 고려하는 것이 아니라 특정 구간 내에 있는 정적인 자세를 고려하는 것을 의미한다. 예를 들어, 축구 경기에서 임의의 선수에 대한 데이터 분석을 수행한다고 가정하면, 해당 선수의 현재 위치만을 보는 것이 아니라 지난 5분간 선수의 위치를 모두 보는 것을 슬라이딩 윈도우라 지칭하며, 이에 대한 사항은 이미 알려진 것으로 본 발명의 실시예에서는 상세한 정의는 생략한다. 슬라이딩 윈도우 선언에 대해 도 5를 참조로 먼저 설명한다.

도 5는 본 발명의 실시예에 따른 슬라이딩 윈도우 선언의 예시도이다.

본 발명의 실시예에서는 오브젝트가 서 있는 자세인 제2 자세에서 누워 있는 자세인 제1 자세로 자세가 변경된 제1 조건이 5 프레임(frame) 이내에서 발생하고, 오브젝트가 얼마나 오랫동안 바닥에 누워있는지인 제2 조건이 슬라이딩 윈도우 안에서 7 프레임 이상 발생한 경우, 낙상 조건을 만족한다고 가정하여 설명하나 반드시 이와 같이 한정되는 것은 아니다.

이에 따라 도 5에 나타낸 바와 같이, 낙상 감지부(120)는 S1부터 검토하여 오브젝트가 제1 조건을 만족하는지 확인한다. 즉, 서있는 제2 자세인 S1에서 누워 있는 자세인 L1으로 오브젝트의 자세가 변경된 것이 3개 프레임에서 발생한 것을 알 수 있다. 따라서, L1이 낙상 패턴을 만족하기 때문에 낙상 감지부(120)는 L1부터 시작하는 슬라이딩 윈도우를 선언한다.

이때, L1부터 선언하는 슬라이딩 윈도우의 길이는 오랫동안 바닥에 누워있는 임계값(long-lie threshold)과 같다고 가정한다. 본 발명의 실시예에서는 7 프레임 이상 바닥에 누워있는 것을 제2 조건으로 삼고 있으므로, 낙상 감지부(120)는 L1부터 시작하여 7 프레임인 L5까지를 슬라이딩 윈도우로 설정한다. 여기서, S는 Standing, L은 Lying, B는 Bending을 지칭한다. 그리고 하나의 자세는 하나의 프레임에 해당한다고 가정한다.

다음, 낙상 감지부(120)는 생성된 슬라이딩 윈도우 안에 오브젝트가 누워있는 이벤트가 몇 개가 있는지를 확인한다. 그리고 그 개수가 미리 정의된 오래 누워있는 이벤트로 판단할 수 있는 기준 개수보다 많다면, 최종적으로 낙상을 알리기 위한 경보 신호를 발생시킨다. 본 발명의 실시예에서는 슬라이딩 윈도우 안에 누워있는 이벤트가 슬라이딩 윈도우의 길이만큼 있는 경우, 최종적으로 낙상인 것으로 판단한다.

따라서, 도 7에는 설정된 슬라이딩 윈도우 내에 누워있는 이벤트가 L1, L2, L3, L4, L5이므로, 전체 7개의 프레임보다 적은 수의 누워있는 이벤트가 발생한 것으로 확인할 수 있다. 그러므로, 오브젝트가 오래 누워있는 제2 조건으로 판단할 수 있는 기준인 7개의 이벤트보다 적은 개수의 이벤트가 있으므로, 상기 도 4에 도시한 바와 같이 슬라이딩 윈도우를 이동한다(S220). 여기서, 슬라이딩 윈도우를 이동하는 예에 대해 도 6을 참조로 먼저 설명한다.

도 6은 본 발명의 실시예에 따른 슬라이딩 윈도우 이동의 예시도이다.

도 6에 도시된 바와 같이, 슬라이딩 윈도우 이동 단계에서는 낙상 감지부(120)는 슬라이딩 윈도우 내에서 발생하는 낙상이 있는지 검사하면서 슬라이딩 윈도우를 이동시킨다. 낙상이 슬라이딩 윈도우 내에서 발생했는지 확인하기 위해서 가장 근접한 모든 누워있는 자세인 제1 자세 사이에 서있는 자세인 제2 자세가 존재하는지 검사한다.

도 6의 (a)에 나타낸 바와 같이 가장 근접한 두 제2 자세 사이 즉, L1과 L2 사이에 제1 자세가 아닌 B2 자세가 존재하기 때문에, 낙상인 제1 조건을 만족하지 않는다. 따라서, 낙상 감지부(120)는 슬라이딩 윈도우를 다음 누워있는 자세로 이동시킨다.

반면에, 누워있는 자세 사이에 서있는 자세가 도 6의 (b)에 나타낸 바와 같이 L2와 L3 사이에 S2가 존재하기 때문에, 낙상 감지를 위한 제1 조건을 만족하게 된다. 따라서, L1에서 시작하는 슬라이딩 윈도우를 L2에서 시작하도록 슬라이딩 윈도우를 이동한 후, 다음 패턴 조건인 오래 누워있는 조건인 제2 조건의 기준을 검사한다.

이때, 상기 도 4의 S220 단계에 따라 슬라이딩 윈도우가 움직일 때마다 낙상 감지부(120)는 슬라이딩 윈도우 내에서 오브젝트의 누워있는 상태를 지속적으로 갱신한다. 그리고 가장 최근에 오브젝트가 누워있는 상태를 보인 윈도우를 슬라이딩 윈도우로 갱신한다(S230). 슬라이딩 윈도우의 갱신에 대해 도 7을 참조로 먼저 설명한다.

도 7은 본 발명의 실시예에 따른 슬라이딩 윈도우 갱신의 예시도이다.

도 7에 도시된 바와 같이, 오래 누워있기에 대한 제2 조건을 갱신하기 위한 룰은, 이전 슬라이딩 윈도우의 누워있는 자세인 제1 자세의 개수에서 1을 빼주고, 윈도우가 움직이면서 새로이 들어오는 이벤트들 중에서 누워있는 자세인 제1 자세의 개수를 세어 더해준다.

1을 빼주는 이유는, 도 7의 (a)에서와 같이 슬라이딩 윈도우가 설정되어 있는 다음 도 7의 (b)에 나타난 바와 같이 누워있는 자세로 이동하면서, 하나의 누워있는 자세 즉, L1이 슬라이딩 윈도우에서 빠져나가기 때문이다. 즉, 도 7의 (a)에서 L1에서 시작하는 슬라이딩 윈도우의 누워있는 자세 개수는 5이다.

이 슬라이딩 윈도우가 도 7의 (b)와 같이 L2로 움직임에 따라, 낙상 감지부(120)는 누워있는 자세 개수 5에서 L1에 해당하는 누워있는 자세 개수인 1을 빼준다. 그리고 도 7의 (b)에 나타낸 바와 같이 L6, L7가 새로 슬라이딩 윈도우 내로 유입되는데, 두 이벤트 모두 누워있는 자세가 된다.

따라서, 낙상 감지부(120)는 누워있는 자세 개수 5에서 2를 더하여 준다. 결과적으로 L2에서 시작하는 슬라이딩 윈도우 안에서 누워있는 자세의 개수는 6이 된다.

상기 도 4의 S230 단계에 따라 슬라이딩 윈도우를 갱신한 후, 낙상 감지부(120)는 낙상 조건을 만족하는지 지속적으로 확인한 후, 낙상 조건을 만족하면 단말(200)로 전송할 알람 신호를 생성하기 위하여 알람 상태를 확인한다(S240). 이에 대해 도 8을 참조로 설명한다.

도 8은 본 발명의 실시예에 따른 알람 상태 확인의 예시도이다.

도 8의 (a)에 도시된 바와 같이, 우선, L2에서 시작하는 슬라이딩 윈도우에서는 오래 누워있는 제2 조건의 기준을 만족하지 못하기 때문에, 상기 S320 단계의 슬라이딩 윈도우 이동 단계를 반복한다. 즉, 도 8의 (a)의 슬라이딩 윈도우에는 제1 자세를 취하는 오브젝트의 개수가 6개에 해당하므로, 제2 조건의 기준인 7개보다 적어 제2 조건을 만족하지 않는다. 따라서, 낙상 감지부(120)는 슬라이딩 윈도우를 이동한다.

이때, 슬라이딩 윈도우 내에 낙상이 있는지를 확인하기 위하여, L2와 L3 사이에 서있는 자세인 제2 자세가 있는지를 검사한다. 도 8의 (a)에 나타낸 바와 같이 S2가 L2와 L3 사이에 존재하기 때문에, S2와 L3가 낙상의 제1 조건에 부합함을 알 수 있다.

따라서, 낙상 감지부(120)는 슬라이딩 윈도우를 도 8의 (b)에 나타낸 바와 같이 L2에서 L3로 윈도우를 이동시키다. 그리고 새로 이동된 L3에서 시작하는 슬라이딩 윈도우에 오래 누워있는 제2 조건의 기준을 만족하는지 확인한다. 새로 확인한 제2 조건을 확인하기 위해 오래 누워있는 자세의 개수가 7이 되는 것을 확인할 수 있다.

따라서, 새로 이동된 L3에서 시작하는 슬라이딩 윈도우에서는 제1 조건뿐만 아니라 제2 조건도 만족하고 있으므로, 낙상 감지부(120)는 후처리부(130)로 오브젝트의 낙상을 최종적으로 알리기 위하여 낙상 감지 정보를 전송한다. 후처리부(130)는 낙상 감지부(120)로부터 전송되는 낙상 감지 정보를 토대로, 경보 신호를 발생한다.

이와 같은 본 발명의 실시예에 따른 낙상 감지 방법과 종래의 낙상 판별 절차의 성능 비교에 대해 도 9를 참조로 설명한다.

도 9는 본 발명의 실시예에 따른 낙상 감지 방법의 성능을 나타낸 예시도이다.

도 9에 도시된 바와 같이, 이벤트를 선택하는 전략은 strict contiguity, skip till next match, skip till any match 등이 있다.

Strict Contiguity는 찾고자 하는 패턴에서 정의한 이벤트 순서를 정확히 따르는 것만 고려하고, 각 이벤트의 사이사이에 다른 이벤트의 발생을 허용하지 않는 알고리즘이다. 즉, 패턴에서 정의한 이벤트의 순서가 A, B, C라고 가정하면, A, A', B, C는 패턴으로 고려하지 않는다.

Skip Till Next Match는 찾고자 하는 패턴에서 정의한 이벤트의 순서를 따르지만, 각 이벤트의 사이사이에 다른 이벤트의 발생을 허용하는 알고리즘이다. 즉, 패턴에서 정의한 이벤트의 순서가 A, B, C라고 하면, A, A', B, C도 패턴으로 고려한다. 만약 이벤트 스트림이 A, A, A, B, C라면 첫 번째로 발생한 이벤트 A만이 패턴을 검출하는데 사용되고, 두 번째 A와 세 번째 A는 고려 대상에서 제외된다.

Skip Till Any Match는 중복이 있더라도 패턴을 만족하는 모든 이벤트들을 찾는다. 예를 들면, 이벤트의 순서가 A, A, A, B, C라면, A, B, C 하나의 패턴이 존재하는 것으로 간주를 할 수도 있지만, Skip Till Any Match에서는 (A, B, C), (A, B, C), (A, B, C) 3번의 패턴이 검출된 것으로 간주한다.

도 5에 도시한 바와 같이, 입력 스트림은 사람이 처음 쓰러진 후에 가까스로 일어서지만 결국 다시 쓰러지는 상황을 나타낸 예시도이다.

총 2번의 낙상이 발생하게 되는데, Strict Contiguity는 첫 번째 낙상 패턴을 찾아내지 못한다. 왜냐하면 S3와 L1 사이에 있는 B1, B2를 무시하지 못하기 때문이다. 반면에 S4와 L4 사이에는 다른 이벤트가 존재하지 않기 때문에 두 번째 낙상은 감지할 수 있다.

Partition Contiguity는 Strict Contiguity와 동일한 결과를 가져온다. Skip Till Next Match는 모든 낙상을 찾아내지만 첫 번째 낙상에서 정확한 낙상의 시점(예를 들어, S3)을 찾아내지 못하는 문제가 있다. 반면에 Skip Till Any Match는 찾고자 하는 것 이상의 중복된 결과를 내어주어 비효율적인 결과를 가져온다.

이와 같이, 기존의 이벤트 선택 전략을 사용하여 낙상 감지를 수행하는 경우에는 모든 낙상을 찾아주지 못하거나 중복적인 결과를 내어주기 때문에, 낙상 감지를 위한 처리 비용이 높아지는 문제점이 있다. 그러나, 본 발명의 실시예에 따른 낙상 감지 기법인 슬라이딩 윈도우 개념을 적용하면, 모든 결과를 보여주면서도 중복없이 이미지 스트림을 처리할 수 있으므로 처리 비용을 감소시킬 수 있다.

본 발명의 실시예에 따른 낙상 감지 방법은 기존의 이벤트 선택 전략들과 비교하였을 때 더 정확한 결과를 보임을 알 수 있다. 즉, Strict Contiguity의 경우 S1에서 L1까지 알람을 놓치는 반면 본 발명의 실시예에서는 해당 구간에도 알람을 발생시키는 것을 알 수 있다.

또한, Skip Till Next Match 역시 S2와 S3에서 알람을 놓치고, Skip Till Any Match의 경우에는 S2에서 L2까지 그리고 S3에서 L3까지 중 S3에서부터 L2까지 중복 알람을 발생시키는 것을 알 수 있다. 반면 본 발명의 실시예에서는 모든 경우에 있어서 낙상의 시점을 정확히 찾아낼 뿐만 아니라 중복적인 결과를 방지하는 것을 알 수 있다. 이에 따라 낙상 감지를 위한 처리 비용을 줄이는 장점을 가진다.

이상에서 본 발명의 실시예에 대하여 상세하게 설명하였지만 본 발명의 권리범위는 이에 한정되는 것은 아니고 다음의 청구범위에서 정의하고 있는 본 발명의 기본 개념을 이용한 당업자의 여러 변형 및 개량 형태 또한 본 발명의 권리범위에 속하는 것이다.

Claims

오브젝트의 낙상을 감지하는 시스템에 있어서,
상기 오브젝트의 영상을 수집한 영상 수집 장치로부터, 상기 오브젝트에 대한 복수의 이미지 스트림을 수신하여 전처리하여 복수의 자세 정보를 추출하는 전처리부;
상기 전처리부가 전처리한 복수의 자세 정보를 토대로, 상기 오브젝트의 낙상 여부를 감지하는 낙상 감지부; 및
상기 낙상 감지부가 상기 오브젝트가 낙상한 것으로 감지하면, 경보 신호를 생성하는 후처리부
를 포함하며,
상기 낙상 감지부는 상기 오브젝트가 미리 설정된 제1 시간 내에 제1 자세에서 제2 자세로 변경되었는지 확인하는 제1 조건과, 상기 제1 조건을 만족하면 상기 제2 자세를 취하는 시간이 미리 설정된 제2 시간 이상을 취하고 있는지 확인하는 제2 조건을 토대로 낙상 여부를 감지하고,
상기 낙상 감지부는 상기 오브젝트 자세 정보를 토대로 상기 오브젝트가 제2 자세를 취하고 있으면, 상기 오브젝트가 제2 자세를 취하기 시작한 시점의 이미지 스트림에서 상기 제1 시간 전에 상기 제1 자세를 취하고 있는지 확인하고, 상기 미리 설정한 시간 전에 상기 제1 자세를 취하고 있으면 상기 제1 조건을 만족하는 것으로 확인하는 낙상 감지 시스템.
삭제
제1항에 있어서,
상기 낙상 감지부는,
상기 제1 조건을 만족하면, 상기 제1 자세를 취하기 시작한 시점의 프레임으로부터 슬라이딩 윈도우를 선언하는 낙상 감지 시스템.
제3항에 있어서,
상기 낙상 감지부는,
상기 제1 조건을 만족하면, 상기 오브젝트가 상기 제2 자세를 취하기 시작한 시점에서 상기 제2 시간 이상 제2 자세를 취하고 있으면 상기 제2 조건을 만족한 것으로 확인하고, 상기 오브젝트가 낙상한 것으로 판단하는 낙상 감지 시스템.
제4항에 있어서,
상기 낙상 감지부는,
상기 오브젝트가 제1 조건을 만족하면, 상기 선언한 슬라이딩 윈도우 내에서 오브젝트가 상기 제1 자세를 취하는 이벤트가 몇 개 있는지 확인하고, 상기 제1 자세를 취하는 이벤트가 미리 설정한 기준 개수보다 많으면 상기 제2 조건을 만족하는 것으로 확인하는 낙상 감지 시스템.
제1항에 있어서,
상기 전처리부는,
상기 복수의 이미지 스트림 각각에서 배경을 제거하고, 배경이 제거된 이미지 스트림에서 상기 오브젝트의 자세를 판별하여 자세 정보를 생성하는 낙상 감지 시스템.
낙상 감지 시스템이 오브젝트의 낙상을 감지하는 방법에 있어서,
상기 오브젝트의 영상을 수집한 영상 수집 장치로부터, 상기 오브젝트에 대한 복수의 이미지 스트림을 수신하여 전처리하여 복수의 자세 정보를 추출하는 단계;
상기 복수의 자세 정보를 토대로, 상기 오브젝트가 미리 설정된 제1 시간 내에 제1 자세에서 제2 자세로 변경되었는지 확인하는 제1 조건을 만족하는지 확인하되, 상기 오브젝트가 제2 자세를 취하고 있으면, 상기 오브젝트가 제2 자세를 취하기 시작한 시점의 이미지 스트림에서 미리 설정한 시간 전에 상기 제1 자세를 취하고 있으면 상기 제1 조건을 만족하는 것으로 확인하는 단계;
제1 조건을 만족하면 상기 제2 자세를 취하는 시간이 미리 설정된 제2 시간 이상을 취하고 있는지 확인하는 제2 조건을 만족하는지 확인하는 단계; 및
상기 제2 조건을 만족하면, 상기 오브젝트가 낙상한 것으로 감지하고 경보 신호를 생성하는 단계
를 포함하는 낙상 감지 방법.
삭제
제7항에 있어서,
상기 제1 조건을 만족하면, 상기 제1 자세를 취하기 시작한 시점의 프레임으로부터 슬라이딩 윈도우를 선언하는 낙상 감지 방법.
제7항에 있어서,
상기 제2 조건을 만족하는지 확인하는 단계는,
상기 오브젝트가 상기 제2 자세를 취하기 시작한 시점에서 미리 설정한 시간 이상 상기 제2 자세를 취하고 있으면 상기 제2 조건을 만족한 것으로 확인하는 낙상 감지 방법.
제10항에 있어서,
상기 오브젝트가 제1 조건을 만족하면, 상기 제1 자세를 취하기 시작한 시점의 프레임으로부터 선언한 슬라이딩 윈도우 내에서 오브젝트가 상기 제1 자세를 취하는 이벤트가 몇 개 있는지 확인하고, 상기 제1 자세를 취하는 이벤트가 미리 설정한 기준 개수보다 많으면 상기 제2 조건을 만족하는 것으로 확인하는 낙상 감지 방법.