[go: up one dir, main page]

KR20190072426A - 이용자 검지 시스템 - Google Patents

이용자 검지 시스템 Download PDF

Info

Publication number
KR20190072426A
KR20190072426A KR1020180157932A KR20180157932A KR20190072426A KR 20190072426 A KR20190072426 A KR 20190072426A KR 1020180157932 A KR1020180157932 A KR 1020180157932A KR 20180157932 A KR20180157932 A KR 20180157932A KR 20190072426 A KR20190072426 A KR 20190072426A
Authority
KR
South Korea
Prior art keywords
boundary
door
user
detection unit
detection
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
KR1020180157932A
Other languages
English (en)
Inventor
슈헤이 노다
겐타로 요코이
사토시 다무라
사유미 기무라
Original Assignee
도시바 엘리베이터 가부시키가이샤
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 도시바 엘리베이터 가부시키가이샤 filed Critical 도시바 엘리베이터 가부시키가이샤
Publication of KR20190072426A publication Critical patent/KR20190072426A/ko
Ceased legal-status Critical Current

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B66—HOISTING; LIFTING; HAULING
    • B66B—ELEVATORS; ESCALATORS OR MOVING WALKWAYS
    • B66B13/00—Doors, gates, or other apparatus controlling access to, or exit from, cages or lift well landings
    • B66B13/02—Door or gate operation
    • B66B13/14—Control systems or devices
    • B66B13/143—Control systems or devices electrical
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B66—HOISTING; LIFTING; HAULING
    • B66B—ELEVATORS; ESCALATORS OR MOVING WALKWAYS
    • B66B13/00—Doors, gates, or other apparatus controlling access to, or exit from, cages or lift well landings
    • B66B13/24—Safety devices in passenger lifts, not otherwise provided for, for preventing trapping of passengers
    • B66B13/26—Safety devices in passenger lifts, not otherwise provided for, for preventing trapping of passengers between closing doors
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B66—HOISTING; LIFTING; HAULING
    • B66B—ELEVATORS; ESCALATORS OR MOVING WALKWAYS
    • B66B13/00—Doors, gates, or other apparatus controlling access to, or exit from, cages or lift well landings
    • B66B13/02—Door or gate operation
    • B66B13/14—Control systems or devices
    • B66B13/143—Control systems or devices electrical
    • B66B13/146—Control systems or devices electrical method or algorithm for controlling doors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/457—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by analysing connectivity, e.g. edge linking, connected component analysis or slices
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/48—Extraction of image or video features by mapping characteristic values of the pattern into a parameter space, e.g. Hough transformation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/50—Extraction of image or video features by performing operations within image blocks; by using histograms, e.g. histogram of oriented gradients [HoG]; by summing image-intensity values; Projection analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Automation & Control Theory (AREA)
  • Signal Processing (AREA)
  • Indicating And Signalling Devices For Elevators (AREA)
  • Image Analysis (AREA)
  • Elevator Door Apparatuses (AREA)
  • Image Processing (AREA)

Abstract

카메라에 의한 화상 촬영 시의 조명 조건에 좌우되지 않고, 도어에 끼일 우려가 있는 사람이나 사물을 검지 가능한 이용자 검지 시스템을 제공하는 것.
실시 형태에 따른 이용자 검지 시스템은, 도어 부근에 설치되어, 도어가 개폐될 때에 주행하는 주행 영역과 도어 주변을 촬영 가능한 카메라와, 카메라에 의하여 촬영된 화상에 기초하여, 도어 주변에 있는 제1 구조물과 제2 구조물의 경계를 검지하는 경계 검지부와, 경계 검지부에 의한 검지의 결과에 기초하여 주행 영역에 있어서의 이용자의 유무를 검지하는 이용자 검지부와, 이용자 검지부에 의한 검지의 결과에 기초하여 도어의 개폐 동작을 제어하는 제어부를 구비한다.

Description

이용자 검지 시스템{USER DETECTION SYSTEM}
본 출원은 일본 특허 출원 제2017-240799호(출원일: 12/15/2017)를 기초로 하며, 이 출원으로부터 우선되는 이익을 향수한다. 본 출원은, 이 출원을 참조함으로써 동 출원의 내용 전부를 포함한다.
본 발명의 실시 형태는 이용자 검지 시스템에 관한 것이다.
근년, 사람이나 사물이 엘리베이터의 도어나 자동 도어에 끼어 버리는 것을 방지하기 위한 기술이 개발되고 있다. 예를 들어 도어 부근을 카메라로 촬영하고, 촬영된 화상(촬영 화상)으로부터 도어에 끼일 우려가 있는 사람이나 사물을 검지하고, 당해 검지의 결과를 도어의 개폐 제어에 반영시키는 기술이 개발되고 있다.
상기한 기술에서는 먼저, 사람이나 사물이 도어에 끼일 우려가 없는 상태의 화상을 기준 화상으로서 사전에 준비해 둔다. 그리고 당해 기준 화상과 카메라에 의하여 촬영된 촬영 화상을 비교함으로써, 도어에 끼일 우려가 있는 사람이나 사물을 검지하고 있다.
그러나 상기한 기술에서는, 기준 화상을 촬영하였을 때의 조명 조건과, 촬영 화상을 촬영하였을 때의 조명 조건이 달라져 버리는 경우가 있다. 이 경우, 조명 조건의 변화에 추종하지 못하여, 도어에 끼일 우려가 있는 사람이나 사물을 정상적으로 검지하지 못하는 등의 결함이 생길 수 있다. 또한 상기한 기술에서는, 기준 화상을 사전에 준비하여 둘 필요가 있으므로 수고스럽다는 결함도 생길 수 있다.
본 발명이 해결하고자 하는 과제는, 카메라에 의한 화상 촬영 시의 조명 조건에 좌우되지 않고, 도어에 끼일 우려가 있는 사람이나 사물을 검지 가능한 이용자 검지 시스템을 제공하는 것이다.
일 실시 형태에 의하면, 이용자 검지 시스템은, 도어 부근에 설치되어, 상기 도어가 개폐될 때에 주행하는 주행 영역과 상기 도어 주변을 촬영 가능한 카메라와, 상기 카메라에 의하여 촬영된 화상에 기초하여, 상기 도어 주변에 있는 제1 구조물과 제2 구조물의 경계를 검지하는 경계 검지부와, 상기 경계 검지부에 의한 검지의 결과에 기초하여 상기 주행 영역에 있어서의 이용자의 유무를 검지하는 이용자 검지부와, 상기 이용자 검지부에 의한 검지의 결과에 기초하여 상기 도어의 개폐 동작을 제어하는 제어부를 구비한다.
상기 구성의 이용자 검지 시스템에 의하면, 카메라에 의한 화상 촬영 시의 조명 조건에 좌우되지 않고, 도어에 끼일 우려가 있는 사람이나 사물을 검지할 수 있다.
도 1은 제1 실시 형태에 따른 이용자 검지 시스템의 구성을 도시한다.
도 2는 동 실시 형태에 따른 카 씰에 대응한 검지 에어리어의 설정 처리의 수순의 일례를 도시하는 흐름도이다.
도 3은 동 실시 형태에 따른 3차원 좌표를 설명하기 위한 도면이다.
도 4는 동 실시 형태에 따른 카 씰에 대응한 검지 에어리어의 일례를 도시한다.
도 5는 동 실시 형태에 따른 승강장 씰에 대응한 검지 에어리어의 설정 처리의 수순의 일례를 도시하는 흐름도이다.
도 6은 동 실시 형태에 따른 승강장 씰에 대응한 검지 에어리어의 일례를 도시한다.
도 7은 동 실시 형태에 따른 카 씰과 승강장 씰 사이에 대응한 검지 에어리어의 일례를 도시한다.
도 8은 동 실시 형태에 따른 촬영 화상의 2치 화상의 일례를 도시한다.
도 9는 동 실시 형태에 따른 이용자 검지 처리의 수순의 일례를 도시하는 흐름도이다.
도 10은 도 9에 도시하는 흐름도의 일부의 처리를 상세히 설명하기 위한 흐름도이다.
도 11은 도 10에 도시하는 흐름도를 보충적으로 설명하기 위한 도면이다.
도 12는 도어에 끼일 우려가 있는 이용자가 없다고 판단하는 경우의 누적 화소값의 천이의 일례를 나타낸다.
도 13은 도어에 끼일 우려가 있는 이용자가 있다고 판단하는 경우의 누적 화소값의 천이의 일례를 나타낸다.
도 14는 제2 실시 형태에 따른 카 도어의 선단에 대응한 검지 에어리어의 설정 처리의 수순의 일례를 도시하는 흐름도이다.
도 15는 동 실시 형태에 따른 도어의 선단에 대응한 검지 에어리어의 일례를 도시한다.
도 16은 동 실시 형태에 따른 도어의 선단에 대응한 검지 에어리어의 다른 예를 도시한다.
도 17은 도어에 끼일 우려가 있는 이용자가 없다고 판단하는 경우의 누적 화소값의 천이의 일례를 나타낸다.
도 18은 도어에 끼일 우려가 있는 이용자가 있다고 판단하는 경우의 누적 화소값의 천이의 일례를 나타낸다.
이하, 실시 형태에 대하여 도면을 참조하여 설명한다. 개시는 어디까지나 일례에 불과하며, 이하의 실시 형태에 기재한 내용에 의하여 발명이 한정되는 것은 아니다. 당업자가 용이하게 상도할 수 있는 변형은 당연히 개시의 범위에 포함된다. 설명을 보다 명확히 하기 위하여, 도면에 있어서, 각 부분의 사이즈, 형상 등을 실제의 실시 양태에 대하여 변경하여 모식적으로 표시하는 경우도 있다. 복수의 도면에 있어서, 대응하는 요소에는 동일한 참조 숫자를 붙여서 상세한 설명을 생략하는 경우도 있다.
또한 이하에서는, 사람이나 사물이 끼일 우려가 있는 도어로서 엘리베이터의 도어를 일례로 든 상태에서 각종 처리를 설명한다. 그러나 이하에서 설명하는 각종 처리는 엘리베이터의 도어뿐 아니라 자동 도어 등에 적용되어도 된다.
또한 이하에서는, 엘리베이터를 「탑승 카」라 칭하여 설명한다.
<제1 실시 형태>
도 1은, 제1 실시 형태에 따른 이용자 검지 시스템의 구성을 도시한다. 또한 여기서는 1대의 탑승 카를 예로 들어 설명하지만, 복수 대의 탑승 카도 마찬가지의 구성이다.
본 실시 형태에 따른 이용자 검지 시스템에 있어서는, 탑승 카(11)의 출입구 상부에 카메라(12)가 설치되어 있다. 구체적으로는, 카메라(12)는, 탑승 카(11)의 출입구 상부를 덮는 막형 판(11a) 중에, 탑승 카(11)의 씰(문턱) 전체를 촬영 범위에 포함하는 방향으로 설치되어 있다. 달리 말하면 카메라(12)는, 도어가 개폐될 때에 주행하는 주행 영역과, 당해 도어 주변을 촬영 범위에 포함하는 방향으로 설치되어 있다. 카메라(12)는, 예를 들어 차량 탑재 카메라 등의 소형의 감시용 카메라이며, 광각 렌즈를 갖고 1초간에 수 콤마(예를 들어 30콤마/초)의 화상을 연속적으로 촬영 가능하다.
카메라(12)는, 탑승 카(11)의 이동 속도가 소정값 미만일 때에 기동한다. 구체적으로는, 카메라(12)는, 탑승 카(11)가 소정 층에 정지하기 위하여 감속을 개시하여 이동 속도가 소정값 미만으로 되면 기동하여 촬영을 개시한다. 즉, 카메라(12)에 의한 촬영은, 탑승 카(11)가 소정 층에 정지하기 위하여 감속을 개시하여 이동 속도가 소정값 미만으로 되고 난 후로부터, 탑승 카(11)가 소정 층에 정지해 있는 동안도 포함하여, 탑승 카(11)가 당해 소정 층으로부터 다른 층을 향하기 위하여 가속을 개시하여 이동 속도가 소정값 이상으로 되기까지 계속해서 행해진다.
각 층의 승강장(15)에 있어서, 탑승 카(11)의 도착구에는 승강장 도어(14)가 개폐 가능하게 설치되어 있다. 승강장 도어(14)는 탑승 카(11)의 도착 시에 카 도어(13)에 걸림 결합하여 개폐 동작한다. 또한 동력원(도어 모터)은 탑승 카(11)측에 있으며, 승강장 도어(14)는 카 도어(13)에 추종하여 개폐될 뿐이다. 이하의 설명에 있어서는, 카 도어(13)를 개문하고 있을 때는 승강장 도어(14)도 개문되어 있고, 카 도어(13)가 폐문되어 있을 때는 승강장 도어(14)도 폐문되어 있는 것으로 한다.
카메라(12)에 의하여 연속적으로 촬영된 각 화상(영상)은 화상 처리 장치(20)(이용자 검지 장치)에 의하여 실시간으로 해석 처리된다. 또한 도 1에서는, 편의적으로 화상 처리 장치(20)를 탑승 카(11)로부터 취출하여 도시하고 있지만, 실제로는, 화상 처리 장치(20)는 카메라(12)와 함께 막형 판(11a) 중에 수납되어 있다.
화상 처리 장치(20)에는 기억부(21)와 검지부(22)가 구비되어 있다. 화상 처리 장치(20)는 카메라(12)에 의하여 촬영된 화상을 취득한다. 기억부(21)는, 카메라(12)에 의하여 촬영된 화상을 순차 저장함과 함께, 검지부(22)의 처리에 필요한 데이터를 일시적으로 저장해 두기 위한 버퍼 에어리어를 갖는다. 또한 기억부(21)에는, 촬영 화상에 대한 전처리로서, 왜곡 보정이나 확대 축소, 일부 절취 등의 처리가 실시된 화상이 저장되는 것으로 해도 된다. 또한 기억부(21)에는, 도시하지 않은 CPU에 의하여 실행되는 프로그램이 저장되어 있어도 된다.
검지부(22)는, 탑승 카(11)의 도어 부근에 당연히 위치하는 소정의 형상의 구조물의 윤곽(에지)을 검지하고, 당해 검지된 에지의 형상에 기초하여, 도어에 끼일 우려가 있는 이용자의 유무(존재)를 검지한다. 검지부(22)는, 도어에 끼일 우려가 있는 이용자의 존재를 검지한 경우, 당해 검지의 결과에 관련된 신호(지시)를 카 제어 장치(30)에 출력한다.
또한 탑승 카(11)의 도어 부근에 당연히 위치하는 구조물로서는, 씰(문턱)을 일례로서 들 수 있다. 실이란 도어 개폐용의 홈이며, 일반적으로 카 도어(13)용의 카 씰(13a)과 승강장 도어(14)용의 승강장 씰(14a)이 각각 도어 부근에 마련된다.
카 제어 장치(30)는, 탑승 카(11) 내부에 설치되는 각종 장치(행선 층 버튼이나 조명 등)의 동작을 제어한다. 또한 카 제어 장치(30)는, 검지부(22)로부터 출력된 신호에 따른 동작의 제어도 행한다. 예를 들어 카 제어 장치(30)는 검지부(22)로부터 출력된 신호에 따라, 탑승 카(11) 내에 설치되는, 도시하지 않은 통지부의 동작을 제어하여, 도어에 끼일 우려가 있는 이용자에 대한 주의 환기 등을 행한다.
또한 카 제어 장치(30)는 도어 개폐 제어부(31)를 구비하고 있으며, 도어 개폐 제어부(31)는 카 도어(13)의 개폐문 동작을 제어한다. 도어 개폐 제어부(31)는 통상 시의 도어 개폐 제어 외에, 검지부(22)로부터 출력된 신호에 따른 카 도어(13)의 개폐 동작(개문 유지, 반전 개문)도 제어한다.
검지부(22)는, 도 1에 도시한 바와 같이, 경계 검지부(22a)와 이용자 검지부(22b)를 구비하고 있다. 이하, 이들 기능부에 대하여 상세히 설명한다. 또한 경계 검지부(22a) 및 이용자 검지부(22b)는, 화상 처리 장치(20) 내의 도시하지 않은 CPU가, 기억부(21)에 저장되어 있는 프로그램을 실행하는 것(즉, 소프트웨어)에 의하여 실현되어도 되고, 하드웨어에 의하여 실현되어도 되고, 소프트웨어 및 하드웨어의 조합에 의하여 실현되어도 된다.
경계 검지부(22a)는 기억부(21)에 저장되는 촬영 화상 중, 최신의 촬영 화상 1매를 취득하고, 당해 1매의 촬영 화상에 기초하여, 이용자 검지부(22b)에 있어서 도어에 끼일 우려가 있는 이용자를 검지하기 위한 검지 에어리어를 설정한다. 이 검지 에어리어는, 촬영 화상 상에 있어서 카 씰(13a) 및 승강장 씰(14a)이 비칠 것으로 추측되는 위치로 설정된다. 카 씰(13a) 및 승강장 씰(14a)이 비칠 것으로 추측되는 위치는, 탑승 카(11)의 치수나 카메라(12) 고유의 값, 구체적으로는 하기 (a) 내지 (e)의 조건에 기초하여 산출된다.
(a) 카 씰(13a) 및 승강장 씰(14a)의 폭
(b) 카 도어(13) 및 승강장 도어(14)의 높이
(c) 3차원 공간에 있어서의, 카 씰(13a) 및 승강장 씰(14a)에 대한 카메라(12)의 상대 위치
(d) 카메라(12)의 3축의 각도
(e) 카메라(12)의 화각 및 초점 거리
여기서, 도 2의 흐름도와 도 3 및 도 4의 모식도를 참조하여, 경계 검지부(22a)에 의하여 실행되는, 카 씰(13a)에 대응한 검지 에어리어의 설정 처리의 수순의 일례에 대하여 설명한다.
먼저, 경계 검지부(22a)는, 카 씰(13a)의 폭(조건 a)과, 3차원 공간에 있어서의, 카 씰(13a)에 대한 카메라(12)의 상대 위치(조건 c)에 기초하여, 바닥면에 존재하는 카 씰(13a)의 양단의 3차원 좌표를 산출한다(스텝 S1).
3차원 좌표란, 도 3에 도시한 바와 같이, 카 도어(13)와 수평인 방향을 X축으로 하고, 카 도어(13)의 중심으로부터 승강장(15)의 방향(카 도어(13)에 대하여 수직인 방향)을 Y축으로 하고, 탑승 카(11)의 높이 방향을 Z축으로 한 경우의 좌표이다. 즉, 상기한 바닥면은, 3차원 공간 내에서 높이가 0(달리 말하면 Z 좌표가 0)으로 된다.
계속해서, 경계 검지부(22a)는, 스텝 S1에 있어서 산출된 카 씰(13a)의 양단의 3차원 좌표를 촬영 화상 상의 2차원 좌표에 사영하여, 카 씰(13a)의 양단에 대응하는 2차원 좌표를 산출한다. 구체적으로는, 경계 검지부(22a)는, 도 4에 도시하는 촬영 화상의 횡 방향을 X축으로 하고 종 방향을 Y축으로 한 경우의 점 PA1, PA2의 2차원 좌표를 산출한다(스텝 S2).
다음으로, 경계 검지부(22a)는, 도 4에 도시한 바와 같이, 스텝 S2에 있어서 산출된 2차원 좌표에 의하여 특정되는 2점 PA1, PA2가 위치하는 각 화소로부터 소정 화소(예를 들어 5화소)만큼 수직 방향으로 떨어져서 위치하는 2점 PA3, PA4를 각각 산출(특정)한다(스텝 S3). 상기한 수직 방향은 2차원 좌표의 Y축 부 방향에 상당한다. 또한 여기서는, 점 PA1, PA2로부터 소정 화소만큼 떨어져 있는 점이 점 PA3, PA4로서 산출(특정)되는 것으로 하였다. 그러나, 예를 들어 점 PA1, PA2로부터 3차원 좌표상에서 50㎜만큼 수직 방향으로 떨어져서 위치하는 점이 점 PA3, PA4로서 산출(특정)되어도 된다. 또한 이 경우의 수직 방향은 3차원 좌표의 Y축 부 방향에 상당한다.
그런 후, 경계 검지부(22a)는, 도 4에 도시한 바와 같이, 점 PA1과 점 PA2를 연결하여 형성되는 선분 LA1과, 점 PA1과 점 PA3을 연결하여 형성되는 선분 LA2와, 점 PA2와 점 PA4를 연결하여 형성되는 선분 LA3과, 점 PA3과 점 PA4를 연결하여 형성되는 선분 LA4로 둘러싸이는 영역을, 카 씰(13a)에 대응한 검지 에어리어 E1로서 설정하고(스텝 S4), 설정 처리를 종료시킨다.
다음으로, 도 5의 흐름도와 도 6의 모식도를 참조하여, 경계 검지부(22a)에 의하여 실행되는, 승강장 씰(14a)에 대응한 검지 에어리어의 설정 처리의 수순의 일례에 대하여 설명한다.
먼저, 경계 검지부(22a)는, 승강장 씰(14a)의 폭(조건 a)과, 3차원 공간에 있어서의, 승강장 씰(14a)에 대한 카메라(12)의 상대 위치(조건 c)에 기초하여, 바닥면에 존재하는 승강장 씰(14a)의 양단의 3차원 좌표를 산출한다(스텝 S11).
계속해서, 경계 검지부(22a)는, 스텝 S11에 있어서 산출된 승강장 씰(14a)의 양단의 3차원 좌표를 촬영 화상 상의 2차원 좌표에 사영하여, 승강장 씰(14a)의 양단에 대응하는 2차원 좌표를 산출한다. 구체적으로는, 경계 검지부(22a)는, 도 6에 도시하는 촬영 화상의 횡 방향을 X축으로 하고 종 방향을 Y축으로 한 경우의 점 PB1, PB2의 2차원 좌표를 산출한다(스텝 S12).
다음으로, 경계 검지부(22a)는, 도 6에 도시한 바와 같이, 스텝 S12에 있어서 산출된 2차원 좌표에 의하여 특정되는 2점 PB1, PB2가 위치하는 각 화소로부터 소정 화소(예를 들어 5화소)만큼 수직 방향으로 떨어져서 위치하는 2점 PB3, PB4를 각각 산출한다(스텝 S13). 상기한 수직 방향은 2차원 좌표의 Y축 정 방향에 상당한다.
그런 후, 경계 검지부(22a)는, 도 6에 도시한 바와 같이, 점 PB1과 점 PB2를 연결하여 형성되는 선분 LB1과, 점 PB1과 점 PB3을 연결하여 형성되는 선분 LB2와, 점 PB2와 점 PB4를 연결하여 형성되는 선분 LB3과, 점 PB3과 점 PB4를 연결하여 형성되는 선분 LB4로 둘러싸이는 영역을, 승강장 씰(14a)에 대응한 검지 에어리어 E2로서 설정하고(스텝 S14), 설정 처리를 종료시킨다.
또한, 도 7의 모식도를 참조하여, 경계 검지부(22a)에 의하여 실행되는, 카 씰(13a)과 승강장 씰(14a) 사이(간극)에 대응한 검지 에어리어의 설정에 대하여 설명한다.
경계 검지부(22a)는, 도 7에 도시한 바와 같이, 상기한 스텝 S2에 있어서 산출된 점 PA1과 점 PA2를 연결하여 형성되는 선분 LA1과, 상기한 스텝 S12에 있어서 산출된 점 PB1과 점 PB2를 연결하여 형성되는 선분 LB1과, 점 PA1과 점 PB1을 연결하여 형성되는 선분 LC1과, 점 PA2와 점 PB2를 연결하여 형성되는 선분 LC2에 의하여 둘러싸이는 영역을, 카 씰(13a)과 승강장 씰(14a) 사이(간극)에 대응한 검지 에어리어 E3으로서 설정한다.
또한 여기서는, 도 4, 도 6 및 도 7에 도시한 바와 같이, 카 씰(13a), 승강장 씰(14a) 및 간극에 대응한 검지 에어리어가 각각 하나씩 설정되는 경우를 예시하였다. 그러나, 예를 들어 카 씰(13a) 및 승강장 씰(14a)이 복수로 분할되어 있는 경우, 분할된 실의 각각에 대하여 검지 에어리어가 설정되어도 된다. 즉, 카 씰(13a)에 대응한 복수의 검지 에어리어, 승강장 씰(14a)에 대응한 복수의 검지 에어리어, 간극에 대응한 복수의 검지 에어리어가 각각 설정되어도 된다.
상기한 바와 같이, 검지 에어리어 E1 내지 E3이 설정됨으로써, 후술하는 경계를 검지하는 영역을 당해 검지 에어리어 E1 내지 E3만으로 한정할 수 있다.
다시 경계 검지부(22a)의 기능의 설명으로 되돌아간다.
경계 검지부(22a)는 촬영 화상으로부터 사람이나 사물의 윤곽(에지)을 검지(추출)하여, 도 8에 도시한 바와 같이, 촬영 화상을 2치화(「0(에지 없음)」 또는 「1(에지 있음)」)한다. 이것에 의하면, 카 씰(13a)과 바닥의 경계, 승강장 씰(14a)과 바닥의 경계, 카 씰(13a) 및 승강장 씰(14a)과 상기한 간극의 경계 등을 검지할 수 있다.
도 8의 백색 부분이 검지된 에지에 상당하고, 도 8의 흑색 부분은 에지가 검지되지 않은 부분에 상당한다. 또한 도 8에서는, 촬영 화상으로부터 사람이나 사물의 에지 모두가 검지된 경우를 예시하고 있지만, 경계 검지부(22a)는 촬영 화상으로부터, 상기한 검지 에어리어 E1 내지 E3 부근에 위치하는 사람이나 사물의 에지를 적어도 검지하면 된다.
에지를 검지하는 방법으로서는, 예를 들어 소정의 화소와, 당해 소정의 화소에 인접하는 화소의 화소값을 비교하는 방법이 이용된다. 즉, 경계 검지부(22a)는, 소정의 화소와, 당해 소정의 화소에 인접하는 화소의 화소값을 비교하여, 이들 화소값의 차분이 미리 설정된 역치 이상인 경우에 에지를 검지하고, 당해 차분이 미리 설정된 역치 미만인 경우, 에지를 검지하지 않는다.
또는 경계 검지부(22a)는, 소정의 화소와, 당해 소정의 화소로부터 소정 화소(소정 폭)만큼 떨어진 화소의 화소값을 비교함으로써, 에지의 유무를 검지해도 된다. 또는 경계 검지부(22a)는, 복수의 화소를 포함하는 화소 군의 평균 휘도값과, 당해 화소 군은 상이한(인접하는) 다른 화소 군의 평균 휘도값을 비교하여, 이들 평균 휘도값의 차분이 미리 설정된 역치 이상인 경우에 에지를 검지하고, 당해 차분이 미리 설정된 역치 미만인 경우, 에지를 검지하지 않는 것으로 해도 된다.
또한 에지를 검지하는 방법으로서는, 상기한 각종 방법 외에, 공지된 임의의 방법이 이용되어도 된다.
또한 상기에서는, 경계 검지부(22a)는, 카 씰(13a)과 바닥의 경계, 승강장 씰(14a)과 바닥의 경계, 카 씰(13a) 및 승강장 씰(14a)과 상기한 간극의 경계를 검지하기 위하여, 촬영 화상으로부터 사람이나 사물의 에지를 검지하여 촬영 화상을 2치화하는 것으로 하였다. 그러나 경계 검지부(22a)는, 화소별 휘도 구배의 강도(달리 말하면 에지의 강도)를 공지된 임의의 방법으로 검지하여 상기한 각종 경계를 검지하는 것으로 해도 된다. 또는 경계 검지부(22a)는 촬영 화상을 다수의 작은 영역으로 분할하여 텍스처를 분석하고, 상이한 텍스처로 구획되는 화소를 검지함으로써 상기한 각종 경계를 검지하는 것으로 해도 된다.
계속해서, 이용자 검지부(22b)의 기능에 대하여 설명한다.
이용자 검지부(22b)는, 경계 검지부(22a)에 의하여 2치화된 촬영 화상(이하, 「2치 화상」이라고 표기함)과, 경계 검지부(22a)에 의하여 검지된 각종 경계에 기초하여, 도어에 끼일 우려가 있는 이용자가 존재하는지 여부를 판정한다.
여기서, 도 9의 흐름도를 참조하여, 이용자 검지부(22b)에 의하여 실행되는 이용자 검지 처리의 수순의 일례에 대하여 설명한다.
먼저, 이용자 검지부(22b)는, 2치 화상을 나타내는 화상 데이터를 경계 검지부(22a)로부터 취득한다(스텝 S21). 또한 2치 화상을 나타내는 화상 데이터는 기억부(21)로부터 취득되는 것으로 해도 된다. 계속해서, 이용자 검지부(22b)는, 취득한 화상 데이터에 의하여 나타나는 2치 화상으로부터 검지 에어리어 E1 내지 E3 부분을 각각 추출한다(스텝 S22).
다음으로, 이용자 검지부(22b)는, 추출한 검지 에어리어 E1 내지 E3 부분의 각 화상(이하, 「검지 에어리어 화상」이라 표기함)을 참조하여, 경계 검지부(22a)에 의하여 검지된 각종 경계 중 어느 것이 도중에 끊겨 있는지 여부를 판정한다(스텝 S23). 상세하게는, 이용자 검지부(22b)는, 추출한 검지 에어리어 E1에 대응한 검지 에어리어 화상을 참조하여, 카 씰(13a)과 바닥의 경계가 도중에 끊겨 있는지 여부를 판정한다. 또한 이용자 검지부(22b)는, 추출한 검지 에어리어 E2에 대응한 검지 에어리어 화상을 참조하여, 승강장 씰(14a)과 바닥의 경계가 도중에 끊겨 있는지 여부를 판정한다. 또한 이용자 검지부(22b)는, 추출한 검지 에어리어 E3에 대응한 검지 에어리어 화상을 참조하여, 카 씰(13a) 및 승강장 씰(14a)과 상기한 간극의 경계가 도중에 끊겨 있는지 여부를 판정한다.
또한 각종 경계 모두가 도중에 끊어져 있지 않다고 판정된 경우(스텝 S23의 "아니오"), 이용자 검지부(22b)는, 도어에 끼일 우려가 있는 이용자는 존재하지 않는다고 판단하여 이용자 검지 처리를 종료시킨다.
한편, 각종 경계 중 어느 것이 도중에 끊겨 있다고 판정된 경우(스텝 S23의 "예"), 이용자 검지부(22b)는, 도어에 끼일 우려가 있는 이용자가 존재한다고 판단하고(스텝 S24), 당해 판단의 결과에 관련된 신호를 카 제어 장치(30)에 출력하고(스텝 S25), 이용자 검지 처리를 종료시킨다.
다음으로, 도 10의 흐름도와 도 11의 모식도를 참조하여, 상기한 스텝 S23의 처리에 대하여 보다 상세히 설명한다.
먼저, 이용자 검지부(22b)는, 상기한 스텝 S22에 있어서 추출된 검지 에어리어 화상에 포함되는 다수의 화소 중, 제x 열에 위치하는 복수의 화소에 주목한다(스텝 S31).
검지 에어리어 화상에는 다수의 화소가 포함되어 있으며, 예를 들어 m×n개의 화소가 포함되어 있다. 즉, 검지 에어리어 화상에는, 도 11에 도시한 바와 같이, 화상 수평 방향으로 m개(m열)의 화소(화소 열)가 배열되고, 화상 수직 방향으로는 n개(n행)의 화소(화소 행)가 배열되어 있게 된다. 즉, 상기한 스텝 S31의 x에는 1 내지 m의 값이 순서대로 대입된다.
계속해서, 이용자 검지부(22b)는, 주목한 제x 열에 배열되는 n개의 화소(화소 군)의 값의 합계값(이하, 「누적 화소값」이라 표기함)을 산출한다(스텝 S32).
검지 에어리어 화상은, 2치 화상으로부터 검지 에어리어 부분을 추출한 화상이므로, 당해 검지 에어리어 화상에 포함되는 화소의 값은 0 또는 1이다. 상기한 바와 같이, 2치 화상에 있어서는, 백색 부분의 화소 값이 1이고 흑색 부분의 화소 값은 0이므로, 이용자 검지부(22b)는 이에 따라, 제x 열에 배열되는 n개의 화소 누적 화소값을 산출한다.
다음으로, 이용자 검지부(22b)는, 산출한 누적 화소값이 0인지 여부를 판정한다(스텝 S33). 또한 누적 화소값이 0이라고 판정된 경우(스텝 S33의 "예"), 이용자 검지부(22b)는, 경계가 도중에 끊겨 있는 것으로 판정하고(스텝 S34), 그 후, 상기한 스텝 S24의 처리를 실행한다.
한편, 누적 화소값이 0이 아니라고 판정된 경우(스텝 S33의 "아니오"), 이용자 검지부(22b)는, 모든 열에 대하여 주목하였는지 여부를 판정한다(스텝 S35).
또한 모든 열에 대하여 주목하였다고 판정된 경우, 즉, x=m이라고 판정된 경우(스텝 S35의 "예"), 이용자 검지부(22b)는, 경계는 도중에 끊겨 있지 않은 것으로 판정한다(스텝 S36). 즉, 이용자 검지부(22b)는, 도어에 끼일 우려가 있는 이용자는 존재하지 않는다고 판단하여 이용자 검지 처리를 종료시킨다.
한편, 모든 열에 대하여 주목하고 있지 않다고 판정된 경우, 즉, x≠m이라고 판정된 경우(스텝 S35의 "아니오"), 이용자 검지부(22b)는 x에 1을 가산하고 이 값을 새로운 x로 한다(스텝 S37). 그 후, 상기한 스텝 S31의 처리로 되돌아가 상기한 각종 처리를 반복하여 실행한다.
도 12 및 도 13은 모두, 경계 검지부(22a)에 의하여 2치화된 2치 화상과, 당해 2치 화상으로부터 추출된 검지 에어리어 E2에 대응한 검지 에어리어 화상과, 당해 검지 에어리어 화상에 대하여, 도 10에 도시한 일련의 처리를 적용한 경우의 결과의 일례를 나타낸다.
도 12의 (a)의 2치 화상으로부터 추출된 도 12의 (b)의 검지 에어리어 화상에 대하여, 상기한 도 10에 도시하는 일련의 처리를 적용한 경우의 각 열의 누적 화소값은, 도 12의 (c)처럼 된다. 도 12의 (c)에 있어서, 종축은 누적 화소값을 나타내고, 횡축은, 각 열을 식별하기 위한 번호(또는 화상 수평 방향의 좌표)를 나타낸다.
이 경우, 도 12의 (c)에 나타낸 바와 같이, 누적 화소값이 0으로 되는 열은 없으므로, 이용자 검지부(22b)는, 검지 에어리어 E2에 대응한 경계, 즉, 승강장 씰(14a)과 바닥의 경계는 도중에 끊겨 있지 않은 것으로 판정한다. 그리고 이용자 검지부(22b)는, 검지 에어리어 E2에는 도어에 끼일 우려가 있는 이용자는 존재하지 않는 것으로 판단한다.
한편, 도 13의 (a)의 2치 화상으로부터 추출된 도 13의 (b)의 검지 에어리어 화상에 대하여, 상기한 도 10에 도시하는 일련의 처리를 적용한 경우의 각 열의 누적 화소값은, 도 13의 (c)처럼 된다. 이 경우, 도 13의 (c)의 점선으로 둘러싸이는 열에서 누적 화소값이 0으로 되어 있으므로, 이용자 검지부(22b)는, 검지 에어리어 E2에 대응한 경계, 즉, 승강장 씰(14a)과 바닥의 경계는 도중에 끊겨 있는 것으로 판정한다. 그리고 이용자 검지부(22b)는, 검지 에어리어 E2에는 도어에 끼일 우려가 있는 이용자가 존재하는 것으로 판단한다.
또한 여기서는, 검지 에어리어 E2에 대응한 검지 에어리어 화상을 예로 들어서 설명하였지만, 검지 에어리어 E1, E3에 대응한 검지 에어리어 화상에 대해서도 마찬가지이다.
또한 여기서는, 누적 화소값이 0으로 되는 열이 존재하는지 여부를 판정함으로써, 각종 경계가 도중에 끊겨 있는지 여부를 판정하는 것으로 하였다. 그러나, 예를 들어 누적 화소값이 1 이상인 열의 비율(=[누적 화소값이 1 이상인 열의 수]/m)을 산출하고, 당해 산출된 비율이 미리 설정된 역치 미만(예를 들어 95% 미만)인지 여부를 판정함으로써, 각종 경계가 도중에 끊겨 있는지 여부를 판정하는 것으로 해도 된다. 또한 누적 화소값이 0으로 되는 열이 존재하는지 여부를 판정하는 방법은, 상기한 역치를 100%로 설정한 경우와 동일하다.
또는 각종 경계가 도중에 끊겨 있는지 여부를 판정하는 방법으로서는, 라벨링이나 허프 변환과 같은 공지된 방법을 이용하여 검지 에어리어 화상으로부터 직선을 검지하고, 당해 검지된 직선이 도중에 끊겨 있는지 여부를 판정함으로써, 각종 경계가 도중에 끊겨 있는지 여부를 판정하는 것으로 해도 된다.
또한 각종 경계를 검지하기 위하여, 화소별 휘도 구배의 강도가 이용되고 있었던 경우, 이용자 검지부(22b)는, 상기와 마찬가지로 검지 에어리어 화상의 열별 누적 화소값을 산출하고, 당해 산출된 누적 화소값이 미리 설정된 역치 미만으로 되는 열이 존재하는 경우에, 각종 경계가 도중에 끊겨 있다고 판정해도 된다. 또는 누적 화소값이 미리 설정된 역치 미만으로 되는 열의 비율이, 미리 설정된 역치 이상(예를 들어 5% 이상)이었던 경우에, 각종 경계가 도중에 끊겨 있다고 판정해도 된다. 또한 역치를 이용한 당해 방법은, 각종 경계를 검지하기 위하여, 사람이나 사물의 에지를 검지하여 촬영 화상을 2치화하는 경우에도 적용 가능하다.
또한 이용자 검지부(22a)는, 1매의 촬영 화상에 대한 이용자 검지 처리의 검지 결과를 수 프레임 간(예를 들어 당해 촬영 화상의 촬영 프레임으로부터 5프레임 간) 유지해 두고, 당해 5프레임 간에서, 도어에 끼일 우려가 있는 이용자가 존재한다는 취지의 검지 결과를 얻은 비율이 미리 설정된 역치(예를 들어 50%) 이상인 경우에, 도어에 끼일 우려가 있는 이용자가 존재한다고 정식으로 판단하고, 당해 판단에 관련된 신호를 카 제어 장치(30)에 출력하는 것으로 해도 된다.
또한 본 실시 형태에서는, 검지 대상을, 도어에 끼일 우려가 있는 이용자로 하였지만, 검지 대상은, 도어의 개폐 시에 사고로 이어질 우려가 있는 이용자이면 되며, 예를 들어 도어에 충돌할 우려가 있는 이용자를 검지 대상으로 해도 된다.
또한 본 실시 형태에서는, 도어가 완전 개방 상태인 경우에 검지 에어리어를 설정하여 이용자 검지 처리를 실행하는 경우를 예시하였지만, 예를 들어 도어의 폐문 중 또는 도어의 개문 중에 상기한 이용자 검지 처리를 실행해도 된다. 이 경우, 경계 검지부(22a)는, 도어의 개방량에 맞추어 검지 에어리어의 폭(화상 수평 방향의 길이)을 조정한 상태에서 검지 에어리어를 설정해도 된다. 또한 경계 검지부(22a)는 촬영 프레임별로 도어의 개방량에 맞추어 검지 에어리어의 폭을 조정하는 것으로 해도 된다. 즉, 경계 검지부(22a)는 검지 에어리어를 동적으로 변화시키는 것으로 해도 된다.
이상, 설명한 제1 실시 형태에 의하면, 화상 처리 장치(20)는, 1매의 촬영 화상으로부터 도어에 끼일 우려가 있는 이용자의 유무를 검지 가능한 검지부(22)를 구비하고 있다. 이것에 의하면, 사전에 기준 화상을 준비하는 수고가 덜어지는 데다, 조명 조건에도 좌우되는 일이 없는 이용자 검지 처리를 실현할 수 있다. 즉, 안전성이 높은 이용자 검지 시스템을 제공하는 것이 가능해진다.
또한 본 실시 형태에 따른 이용자 검지 처리에는 1매의 촬영 화상밖에 사용하지 않기 때문에, 도어에 끼일 우려가 있는 이용자의 유무를 검지하기까지 걸리는 시간을 짧게 할 수 있다. 즉, 이용자 검지 처리에 걸리는 시간을 단축할 수 있다.
<제2 실시 형태>
다음으로, 제2 실시 형태에 대하여 설명한다. 상기한 제1 실시 형태에서는, 검지 에어리어는, 촬영 화상 상에 있어서 카 씰(13a) 및 승강장 씰(14a)이 비칠 것으로 추측되는 위치에 설정되는 것으로 하였다. 그러나 본 실시 형태에 있어서는, 검지 에어리어는, 촬영 화상 상에 있어서 카 도어(13) 및 승강장 도어(14)의 선단이 비칠 것으로 추측되는 위치에 설정된다. 또한 카 도어(13) 및 승강장 도어(14)의 선단은, 카 도어(13) 및 승강장 도어(14)의 양단 중의, 폐문 방향에 위치하는 단이라 칭해져도 된다. 또는 카 도어(13) 및 승강장 도어(14)의 양단 중의, 문이 닿는 측에 위치하는 단이라 칭해져도 된다. 이하에서는, 제1 실시 형태와 동일한 기능을 갖는 기능부에 대해서는 동일한 부호를 붙여서 그 상세한 설명은 생략하는 것으로 한다. 이하에서는 주로, 제1 실시 형태와 상이한 부분에 대하여 설명한다.
또한 본 실시 형태에서는, 카메라(12)가 편측 개방 타입의 엘리베이터에 설치되어 있는 경우를 상정하기 때문에, 카 도어(13) 및 승강장 도어(14)의 선단은 하나이고 설정되는 검지 에어리어의 수도 하나로 된다. 그러나 카메라(12)가 센터 오픈 타입의 엘리베이터에 설치되어 있는 경우, 카 도어(13) 및 승강장 도어(14)의 선단은 2개로 되기 때문에, 설정되는 검지 에어리어의 수도 또한 2개로 된다. 단, 검지 에어리어의 설정 방법에 대해서는 양 타입 모두 마찬가지이기 때문에, 카메라(12)가 센터 오픈 타입의 엘리베이터에 설치되어 있는 경우의 검지 에어리어의 설정에 관한 설명은, 여기서는 생략하는 것으로 한다.
경계 검지부(22a)는, 상기한 바와 같이, 촬영 화상 상에 있어서 카 도어(13) 및 승강장 도어(14)의 선단이 비칠 것으로 추측되는 위치에 검지 에어리어를 설정한다. 카 도어(13) 및 승강장 도어(14)의 선단이 비칠 것으로 추측되는 위치는, 상기한 (a) 내지 (e)의 조건과, 현재의 카 도어(13)의 개방량에 기초하여 산출된다.
또한 경계 검지부(22a)는, 카 제어 장치(30)와 통신을 행함으로써, 현재의 카 도어(13)의 개방량을 나타내는 정보 그 자체를 취득하는 것으로 해도 된다.
또는 경계 검지부(22a)는 먼저, 카 제어 장치(30)와 통신을 행함으로써, 카 도어(13)가 완전 폐쇄 상태로부터 개문되기 시작한 것을 나타내는 신호, 또는 카 도어(13)가 완전 개방 상태로부터 폐문되기 시작한 것을 나타내는 신호를 취득한다. 그 후, 경계 검지부(22a)는, 이들 신호를 취득한 타이밍으로부터의 경과 시간과, 카 도어(13)의 개폐 속도에 기초하여, 현재의 카 도어(13)의 개방량을 산출하는 것으로 해도 된다.
또는 경계 검지부(22a)는, 취득한 촬영 화상에 대하여 공지된 화상 해석 처리를 실시함으로써 현재의 카 도어(13)의 개방량을 산출하는 것으로 해도 된다.
여기서, 도 14의 흐름도와 도 15의 모식도를 참조하여, 경계 검지부(22a)에 의하여 실행되는 카 도어(13)의 선단에 대응한 검지 에어리어의 설정 처리의 수순의 일례에 대하여 설명한다.
먼저, 경계 검지부(22a)는, 현재의 카 도어(13)의 개방량과, 3차원 공간에 있어서, 카 도어(13)의 선단과 바닥면이 접촉(맞닿음)하는 위치(이하, 「선단 하부」라 표기함)에 대한 카메라(12)의 상대 위치와, 당해 선단 하부로부터 카메라(12)까지의 높이(또는 카 도어(13)의 높이)에 기초하여, 선단 하부의 3차원 좌표와, 당해 선단 하부로부터 카메라(12)까지의 높이(또는 카 도어(13)의 높이)만큼 수직 방향으로 연장된 위치(이하, 「선단 상부」라 표기함)의 3차원 좌표를 산출한다(스텝 S41).
계속해서, 경계 검지부(22a)는, 스텝 S41에 있어서 산출된 선단 하부 및 선단 상부의 3차원 좌표를 촬영 화상 상의 2차원 좌표에 사영하여, 선단 하부 및 선단 상부에 대응하는 2차원 좌표를 산출한다. 구체적으로는, 경계 검지부(22a)는, 도 15에 도시하는 촬영 화상의 점 PD1, PD2의 2차원 좌표를 산출한다(스텝 S42).
그런 후, 경계 검지부(22a)는, 도 15에 도시한 바와 같이, 스텝 S42에 있어서 산출된 2차원 좌표에 의하여 특정되는 2점 PD1과 PD2를 연결하여 형성되는 선분 LD1(상에 위치하는 각 화소)로부터 소정 화소(예를 들어 5화소)만큼 떨어져서 위치하는 부분까지를 포함하는 영역을, 카 도어(13)의 선단에 대응한 검지 에어리어 E4로서 설정하고(스텝 S43), 설정 처리를 종료시킨다. 또한 상기한 제1 실시 형태의 검지 에어리어의 설정에 있어서도 당해 방법은 적용 가능하다. 즉, 4점을 특정하지 않고 2점만을 특정한 후에 당해 방법처럼 하여 검지 에어리어 E1 내지 E3을 설정해도 된다.
또한 도 15에서는, 카 도어(13)가 완전 개방 상태(카 도어(13)의 현재의 개방량이 최대)일 때의 검지 에어리어의 설정에 대하여 예시하였지만, 카 도어(13)가 폐문 상태일 때의 검지 에어리어의 설정에 대해서도 마찬가지이며, 이 경우, 도 16에 도시한 바와 같은 검지 에어리어 E4가 설정된다.
또한 상기한 바와 같이 상세에 대해서는 생략하지만, 카메라(12)가 센터 오픈 타입의 엘리베이터에 설치되어 있는 경우, 상기한 도 14에 도시하는 일련의 처리가 좌우 2개의 도어를 각각 대상으로 하여 실행됨으로써, 도어별로 검지 에어리어가 설정된다.
상기한 검지 에어리어 E4가 설정된 후에 실행되는, 각종 경계를 검지하는 처리는, 상기한 제1 실시 형태와 마찬가지이다. 즉, 경계 검지부(22a)는, 검지 에어리어 E4 부근에 위치하는 사람이나 사물의 에지를 적어도 검지하여 경계를 검지한다.
또한 경계 검지부(22a)에 의하여 검지되는 경계는, 카 도어(13)의 현재의 개폐 상태(카 도어(13)의 현재의 개방량)에 따라 상이하다. 예를 들어 카 도어(13)가 완전 개방 상태에 있는(카 도어(13)의 현재의 개방량이 최대인) 경우, 카 도어(13)의 선단이라든지 도어(13) 부근에 설치되는 출입구 기둥과의 경계가 검지된다. 또한 카 도어(13)가 폐문 상태에 있는 경우, 카 도어(13)의 선단과 배경(승강장(15)의 바닥)의 경계가 검지된다.
이용자 검지부(22b)에 의하여 실행되는 이용자 검지 처리도 또한, 상기한 제1 실시 형태와 마찬가지이다. 즉, 이용자 검지부(22b)는, 검지 에어리어 E4에 대응한 검지 에어리어 화상을 참조하여, 경계 검지부(22a)에 의하여 검지된 경계가 도중에 끊겨 있는지 여부를 판정하여, 도어에 끼일 우려가 있는 이용자의 유무를 검지한다.
도 17 및 도 18은 모두, 경계 검지부(22a)에 의하여 2치화된 2치 화상과, 당해 2치 화상으로부터 추출된 검지 에어리어 E4에 대응한 검지 에어리어 화상과, 당해 검지 에어리어 화상에 대하여 도 10에 도시한 일련의 처리를 적용한 경우의 결과를 나타낸다.
도 17의 (a)의 2치 화상으로부터 추출된 도 17의 (b)의 검지 에어리어 화상에 대하여, 제1 실시 형태에서 설명한 도 10에 도시하는 일련의 처리를 적용한 경우의 각 열의 누적 화소값은, 도 17의 (c)처럼 된다. 이 경우, 도 17의 (c)에 나타낸 바와 같이, 누적 화소값이 0으로 되는 열은 없으므로, 이용자 검지부(22b)는, 검지 에어리어 E4에 대응한 경계, 이 경우, 카 도어(13)는 완전 개방 상태이므로, 카 도어(13)의 선단이라든지 도어(13) 부근에 설치되는 출입구 기둥과의 경계는 도중에 끊겨 있지 않은 것으로 판정한다. 그리고 이용자 검지부(22b)는, 검지 에어리어 E4에는 도어에 끼일 우려가 있는 이용자는 존재하지 않는 것으로 판단한다.
한편, 도 18의 (a)의 2치 화상으로부터 추출된 도 18의 (b)의 검지 에어리어 화상에 대하여, 제1 실시 형태에서 설명한 도 10에 도시하는 일례의 처리를 적용한 경우의 각 열의 누적 화소값은, 도 18의 (c)처럼 된다. 이 경우, 도 18의 (a)에 도시한 바와 같이, 이용자의 손이 있음에 기인하여, 도 18의 (c)의 점선으로 둘러싸이는 열에서 누적 화소값이 0으로 되어 있으므로, 이용자 검지부(22b)는, 검지 에어리어 E4에 대응한 경계, 이 경우, 카 도어(13)는 완전 개방 상태이므로, 카 도어(13)의 선단이라든지 도어(13) 부근에 설치되는 출입구 기둥과의 경계는 도중에 끊겨 있는 것으로 판정한다. 그리고 이용자 검지부(22b)는, 검지 에어리어 E4에는 도어에 끼일 우려가 있는 이용자가 존재하는 것으로 판단한다.
또한 상기한 제1 실시 형태와 마찬가지로, 누적 화소값이 1 이상인 열의 비율을 산출하고, 당해 산출된 비율이 미리 설정된 역치 미만인지 여부를 판정함으로써, 경계가 도중에 끊겨 있는지 여부를 판정하는 것으로 해도 된다. 또는 라벨링이나 허프 변환과 같은 공지된 방법을 이용하여 검지 에어리어 화상으로부터 직선을 검지하고, 당해 검지된 직선이 도중에 끊겨 있는지 여부를 판정함으로써, 경계가 도중에 끊겨 있는지 여부를 판정하는 것으로 해도 된다.
나아가, 경계를 검지하기 위하여 에지가 아니라 화소별 휘도 구배의 강도가 이용되어도 되며, 이 경우, 상기한 제1 실시 형태와 마찬가지로, 검지 에어리어 화상의 열별 누적 화소값을 산출하고, 당해 산출된 누적 화소값이 미리 설정된 역치 미만으로 되는 열이 존재하는 경우에, 경계가 도중에 끊겨 있다고 판정해도 된다. 또는 누적 화소값이 미리 설정된 역치 미만으로 되는 열의 비율이, 미리 설정된 역치 이상인 경우에, 경계가 도중에 끊겨 있다고 판정해도 된다.
또한 상기한 제1 실시 형태와 마찬가지로, 이용자 검지부(22a)는, 1매의 촬영 화상에 대한 이용자 검지 처리의 검지 결과를 수 프레임 간(예를 들어 당해 촬영 화상의 촬영 프레임으로부터 5프레임 간) 유지해 두고, 당해 5프레임 간에서, 도어에 끼일 우려가 있는 이용자가 존재한다는 취지의 검지 결과를 얻은 비율이 미리 설정된 역치(예를 들어 50%) 이상인 경우에, 도어에 끼일 우려가 있는 이용자가 존재한다고 정식으로 판단하고, 당해 판단에 관련된 신호를 카 제어 장치(30)에 출력하는 것으로 해도 된다.
이상, 설명한 제2 실시 형태에 의하면, 화상 처리 장치(20)는, 실에 대응한 검지 에어리어 E1 내지 E3뿐 아니라 카 도어(13)의 선단에 대응한 검지 에어리어 E4를 설정하고, 검지 에어리어 E4 부분에 있어서도 도어에 끼일 우려가 있는 이용자의 유무를 검지 가능한 검지부(22)를 구비하고 있다. 이것에 의하면, 보다 넓은 범위에 있어서, 도어에 끼일 우려가 있는 이용자의 유무를 검지할 수 있다. 즉, 보다 안전성이 높은 이용자 검지 시스템을 제공하는 것이 가능해진다.
이상, 설명한 적어도 하나의 실시 형태에 의하면, 카메라에 의한 화상 촬영 시의 조명 조건에 좌우되지 않고, 도어에 끼일 우려가 있는 사람이나 사물을 검지 가능한 이용자 검지 시스템을 제공할 수 있다.
또한 본 발명의 몇 가지 실시 형태를 설명하였지만 이들 실시 형태는 예로서 제시한 것이며, 발명의 범위를 한정하는 것은 의도하고 있지 않다. 이들 신규의 실시 형태는 그 외의 다양한 형태로 실시되는 것이 가능하며, 발명의 요지를 일탈하지 않는 범위에서 다양한 생략, 치환, 변경을 행할 수 있다. 이들 실시 형태나 그 변형은 발명의 범위나 요지에 포함됨과 함께, 특허 청구범위에 기재된 발명과 그 균등의 범위에 포함된다.

Claims (10)

  1. 도어 부근에 설치되어, 상기 도어가 개폐될 때에 주행하는 주행 영역과 상기 도어 주변을 촬영 가능한 카메라와,
    상기 카메라에 의하여 촬영된 화상에 기초하여, 상기 도어 주변에 있는 제1 구조물과 제2 구조물의 경계를 검지하는 경계 검지부와,
    상기 경계 검지부에 의한 검지의 결과에 기초하여 상기 주행 영역에 있어서의 이용자의 유무를 검지하는 이용자 검지부와,
    상기 이용자 검지부에 의한 검지의 결과에 기초하여 상기 도어의 개폐 동작을 제어하는 제어부
    를 구비하는, 이용자 검지 시스템.
  2. 제1항에 있어서,
    상기 경계 검지부는,
    상기 제1 구조물과 상기 제2 구조물의 직선형의 경계를 검지하고,
    상기 이용자 검지부는,
    상기 경계 검지부에 의하여 검지된 직선형의 경계가 도중에 끊겨 있는지 여부에 기초하여 상기 주행 영역에 있어서의 이용자의 유무를 검지하는, 이용자 검지 시스템.
  3. 제2항에 있어서,
    상기 이용자 검지부는,
    상기 직선형의 경계가 도중에 끊겨 있는 경우에 상기 주행 영역에 이용자가 존재한다고 판단하는, 이용자 검지 시스템.
  4. 제1항에 있어서,
    상기 경계 검지부는,
    상기 도어 고유의 파라미터에 기초하여 검지 에어리어를 설정하고, 상기 경계를 검지하는 에어리어를 당해 검지 에어리어로 한정하는, 이용자 검지 시스템.
  5. 제1항에 있어서,
    상기 경계 검지부는,
    상기 카메라에 의하여 촬영된 1매의 화상에 기초하여 상기 경계를 검지하는, 이용자 검지 시스템.
  6. 제1항에 있어서,
    상기 경계 검지부는,
    상기 도어의 개폐용 홈인 실을 상기 제1 구조물로 하고, 바닥을 상기 제2 구조물로 하여 상기 경계를 검지하는, 이용자 검지 시스템.
  7. 제1항에 있어서,
    상기 경계 검지부는,
    상기 도어의 선단을 상기 제1 구조물로 하고, 상기 도어 부근에 설치되는 출입구 기둥을 상기 제2 구조물로 하여 상기 경계를 검지하는, 이용자 검지 시스템.
  8. 제1항에 있어서,
    상기 경계 검지부는,
    상기 도어의 선단을 상기 제1 구조물로 하고, 바닥을 상기 제2 구조물로 하여 상기 경계를 검지하는, 이용자 검지 시스템.
  9. 제1항에 있어서,
    상기 경계 검지부는,
    상기 제1 구조물과 상기 제2 구조물의 경계를 검지하기 위하여, 상기 카메라에 의하여 촬영된 화상을 2치화하고,
    상기 이용자 검지부는,
    상기 2치화된 화상을 구성하는 다수의 화소 중의, 제x 열에 위치하는 화소 군에 주목하고,
    상기 주목된 화소 군의 화소값의 합계값을 산출하고,
    상기 산출된 합계값이 0인지 여부에 기초하여 상기 주행 영역에 있어서의 이용자의 유무를 검지하는, 이용자 검지 시스템.
  10. 제1항에 있어서,
    상기 경계 검지부는,
    상기 제1 구조물과 상기 제2 구조물의 경계를 검지하기 위하여, 상기 카메라에 의하여 촬영된 화상을 2치화하고,
    상기 이용자 검지부는,
    상기 2치화된 화상의 수평 방향 및 수직 방향으로 배열되는 다수의 화소 중의, 상기 수평 방향으로 배열되는 화소 열에 순서대로 주목하고,
    상기 주목된 화소 열의 화소값의 합계값을 순서대로 산출하고,
    상기 산출된 합계값이 1 이상인 화소 열의 비율이 역치 미만인지 여부에 기초하여 상기 주행 영역에 있어서의 이용자의 유무를 검지하는, 이용자 검지 시스템.
KR1020180157932A 2017-12-15 2018-12-10 이용자 검지 시스템 Ceased KR20190072426A (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JPJP-P-2017-240799 2017-12-15
JP2017240799A JP6657167B2 (ja) 2017-12-15 2017-12-15 利用者検知システム

Publications (1)

Publication Number Publication Date
KR20190072426A true KR20190072426A (ko) 2019-06-25

Family

ID=64665015

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020180157932A Ceased KR20190072426A (ko) 2017-12-15 2018-12-10 이용자 검지 시스템

Country Status (5)

Country Link
US (1) US10941019B2 (ko)
EP (1) EP3499413A1 (ko)
JP (1) JP6657167B2 (ko)
KR (1) KR20190072426A (ko)
CN (1) CN109928290B (ko)

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10577221B2 (en) * 2017-05-12 2020-03-03 Otis Elevator Company Imaging inspection systems and methods for elevator landing doors
JP6657167B2 (ja) * 2017-12-15 2020-03-04 東芝エレベータ株式会社 利用者検知システム
JP6702579B1 (ja) 2019-03-18 2020-06-03 東芝エレベータ株式会社 エレベータの利用者検知システム
JP6795266B1 (ja) * 2019-08-08 2020-12-02 東芝エレベータ株式会社 エレベータの利用者検知システム
JP6849760B2 (ja) * 2019-08-26 2021-03-31 東芝エレベータ株式会社 エレベータの利用者検知システム
JP6828108B1 (ja) * 2019-09-09 2021-02-10 東芝エレベータ株式会社 エレベータの利用者検知システム
JP6833942B1 (ja) * 2019-09-10 2021-02-24 東芝エレベータ株式会社 エレベータの利用者検知システム
JP6828112B1 (ja) * 2019-09-18 2021-02-10 東芝エレベータ株式会社 エレベータの利用者検知システム
JP2022032249A (ja) * 2020-08-11 2022-02-25 東芝エレベータ株式会社 エレベータシステム
JP7036244B2 (ja) * 2021-02-02 2022-03-15 フジテック株式会社 乗車検知システムおよび乗車検知方法
JP7077437B2 (ja) * 2021-03-02 2022-05-30 東芝エレベータ株式会社 エレベータの利用者検知システム
CN113321088B (zh) * 2021-06-03 2022-09-09 康达电梯有限公司 一种电梯门缝隙宽度检测装置
JP7187629B1 (ja) 2021-08-06 2022-12-12 東芝エレベータ株式会社 エレベータの利用者検知システム

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5387768A (en) * 1993-09-27 1995-02-07 Otis Elevator Company Elevator passenger detector and door control system which masks portions of a hall image to determine motion and court passengers
EP1169255A4 (en) * 1999-02-11 2005-07-20 Tl Jones Ltd OBSTRUCTION DETECTION SYSTEM
DE10146459B4 (de) * 2001-09-20 2005-03-03 Deutsche Post Ag Verfahren zur Zutrittssicherung, Vorrichtung zur Zutrittskontrolle und Aufzugskabine
JP4622416B2 (ja) 2004-09-22 2011-02-02 三菱電機株式会社 エレベータ扉の安全装置
JP5070187B2 (ja) * 2008-11-05 2012-11-07 株式会社日立製作所 エレベーターの安全装置
JP2011093702A (ja) 2009-11-02 2011-05-12 Toshiba Elevator Co Ltd エレベータの物体挟まれ検知システム
US9740937B2 (en) * 2012-01-17 2017-08-22 Avigilon Fortress Corporation System and method for monitoring a retail environment using video content analysis with depth sensing
JP5674857B2 (ja) * 2013-05-10 2015-02-25 技研トラステム株式会社 乗降者計数装置
JP2015059013A (ja) * 2013-09-19 2015-03-30 株式会社日立製作所 エレベーター装置
US9224044B1 (en) * 2014-07-07 2015-12-29 Google Inc. Method and system for video zone monitoring
US9170707B1 (en) * 2014-09-30 2015-10-27 Google Inc. Method and system for generating a smart time-lapse video clip
US9361011B1 (en) * 2015-06-14 2016-06-07 Google Inc. Methods and systems for presenting multiple live video feeds in a user interface
JP6046286B1 (ja) * 2016-01-13 2016-12-14 東芝エレベータ株式会社 画像処理装置
JP6092433B1 (ja) * 2016-01-13 2017-03-08 東芝エレベータ株式会社 エレベータの乗車検知システム
JP5969148B1 (ja) * 2016-01-13 2016-08-17 東芝エレベータ株式会社 エレベータシステム
JP5969149B1 (ja) * 2016-01-13 2016-08-17 東芝エレベータ株式会社 エレベータシステム
JP6096965B1 (ja) * 2016-04-28 2017-03-15 東芝エレベータ株式会社 エレベータの診断装置、及び診断方法
JP6495424B1 (ja) * 2017-12-06 2019-04-03 東芝エレベータ株式会社 画像検知システム
JP6657167B2 (ja) * 2017-12-15 2020-03-04 東芝エレベータ株式会社 利用者検知システム

Also Published As

Publication number Publication date
CN109928290A (zh) 2019-06-25
JP6657167B2 (ja) 2020-03-04
JP2019108182A (ja) 2019-07-04
CN109928290B (zh) 2021-08-06
US20190185295A1 (en) 2019-06-20
EP3499413A1 (en) 2019-06-19
US10941019B2 (en) 2021-03-09

Similar Documents

Publication Publication Date Title
KR20190072426A (ko) 이용자 검지 시스템
CN101030256B (zh) 车辆图像分割方法和装置
EP2919197A1 (en) Object detection device and object detection method
US20080232650A1 (en) Face region detecting device, method, and computer readable recording medium
JP6786279B2 (ja) 画像処理装置
JP6139729B1 (ja) 画像処理装置
TWI480502B (zh) According to the image processing of the overhead line wear measurement device
CN113428752B (zh) 电梯的使用者探测系统
JP2019101909A (ja) 画像検知システム
CN112429609B (zh) 电梯的使用者探测系统
JP3914447B2 (ja) 画像式車両感知システム及び画像式車両感知方法
JP7074161B2 (ja) 画像処理装置および画像処理方法
JP2018138309A5 (ko)
CN113428751A (zh) 电梯的使用者检测系统
JP2002008019A (ja) 軌道認識装置及び軌道認識装置を用いた鉄道車両
JP2021028807A (ja) 画像処理装置および画像処理方法
CN113428750B (zh) 电梯的使用者检测系统
JP7077437B2 (ja) エレベータの利用者検知システム
JP7358606B1 (ja) エレベータシステム
CN115703609A (zh) 电梯的利用者检测系统
KR101254393B1 (ko) 주행체의 선두 위치 검출 방법 및 장치
JP2010169431A (ja) 通過検出装置
JP2021028272A (ja) エレベータドアの制御装置および制御方法
JP7367174B1 (ja) エレベータシステム
JP6836217B2 (ja) 乗車検知システムおよび乗車検知方法

Legal Events

Date Code Title Description
A201 Request for examination
PA0109 Patent application

Patent event code: PA01091R01D

Comment text: Patent Application

Patent event date: 20181210

PA0201 Request for examination
PG1501 Laying open of application
E902 Notification of reason for refusal
PE0902 Notice of grounds for rejection

Comment text: Notification of reason for refusal

Patent event date: 20191125

Patent event code: PE09021S01D

E902 Notification of reason for refusal
PE0902 Notice of grounds for rejection

Comment text: Notification of reason for refusal

Patent event date: 20200525

Patent event code: PE09021S01D

E601 Decision to refuse application
PE0601 Decision on rejection of patent

Patent event date: 20200803

Comment text: Decision to Refuse Application

Patent event code: PE06012S01D

Patent event date: 20200525

Comment text: Notification of reason for refusal

Patent event code: PE06011S01I

Patent event date: 20191125

Comment text: Notification of reason for refusal

Patent event code: PE06011S01I