CN108352106A - 被监视人员监视装置和该方法以及被监视人员监视系统 - Google Patents
被监视人员监视装置和该方法以及被监视人员监视系统 Download PDFInfo
- Publication number
- CN108352106A CN108352106A CN201680064626.6A CN201680064626A CN108352106A CN 108352106 A CN108352106 A CN 108352106A CN 201680064626 A CN201680064626 A CN 201680064626A CN 108352106 A CN108352106 A CN 108352106A
- Authority
- CN
- China
- Prior art keywords
- monitored personnel
- parameter
- personnel
- monitored
- test section
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 128
- 238000012544 monitoring process Methods 0.000 title claims abstract description 128
- 238000001514 detection method Methods 0.000 claims abstract description 163
- 230000009471 action Effects 0.000 claims abstract description 118
- 238000003860 storage Methods 0.000 claims abstract description 102
- 230000002159 abnormal effect Effects 0.000 claims abstract description 90
- 238000012545 processing Methods 0.000 claims description 153
- 230000033001 locomotion Effects 0.000 claims description 151
- 230000009184 walking Effects 0.000 claims description 125
- 230000008569 process Effects 0.000 claims description 115
- 238000012360 testing method Methods 0.000 claims description 56
- 230000005856 abnormality Effects 0.000 claims description 9
- 241000208340 Araliaceae Species 0.000 claims description 8
- 235000005035 Panax pseudoginseng ssp. pseudoginseng Nutrition 0.000 claims description 8
- 235000003140 Panax quinquefolius Nutrition 0.000 claims description 8
- 235000008434 ginseng Nutrition 0.000 claims description 8
- 230000002045 lasting effect Effects 0.000 claims description 8
- 238000009434 installation Methods 0.000 claims description 5
- 239000000203 mixture Substances 0.000 claims description 4
- 238000004891 communication Methods 0.000 description 47
- 230000000474 nursing effect Effects 0.000 description 21
- 230000006870 function Effects 0.000 description 16
- 230000033228 biological regulation Effects 0.000 description 10
- 238000003384 imaging method Methods 0.000 description 9
- 238000010586 diagram Methods 0.000 description 7
- 238000005516 engineering process Methods 0.000 description 6
- 238000007689 inspection Methods 0.000 description 6
- 230000003287 optical effect Effects 0.000 description 6
- 230000032683 aging Effects 0.000 description 5
- 230000008859 change Effects 0.000 description 5
- 230000001105 regulatory effect Effects 0.000 description 5
- 241000721047 Danaus plexippus Species 0.000 description 4
- 239000000284 extract Substances 0.000 description 4
- 230000015654 memory Effects 0.000 description 4
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 3
- 230000014759 maintenance of location Effects 0.000 description 3
- 238000005070 sampling Methods 0.000 description 3
- 238000004378 air conditioning Methods 0.000 description 2
- 230000006399 behavior Effects 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 2
- 201000010099 disease Diseases 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 238000012905 input function Methods 0.000 description 2
- 210000002500 microbody Anatomy 0.000 description 2
- 230000002093 peripheral effect Effects 0.000 description 2
- 241000251468 Actinopterygii Species 0.000 description 1
- 230000018199 S phase Effects 0.000 description 1
- 208000027418 Wounds and injury Diseases 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 210000000746 body region Anatomy 0.000 description 1
- 230000001276 controlling effect Effects 0.000 description 1
- 230000006378 damage Effects 0.000 description 1
- 238000013480 data collection Methods 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 230000036541 health Effects 0.000 description 1
- 208000014674 injury Diseases 0.000 description 1
- 230000000116 mitigating effect Effects 0.000 description 1
- 210000003205 muscle Anatomy 0.000 description 1
- 238000003825 pressing Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 230000000241 respiratory effect Effects 0.000 description 1
- 239000013589 supplement Substances 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
- 238000005406 washing Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/20—Movements or behaviour, e.g. gesture recognition
-
- G—PHYSICS
- G08—SIGNALLING
- G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
- G08B13/00—Burglar, theft or intruder alarms
- G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
- G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
- G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
- G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
- G08B13/19602—Image analysis to detect motion of the intruder, e.g. by frame subtraction
- G08B13/19613—Recognition of a predetermined image pattern or behaviour pattern indicating theft or intrusion
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
- G06T7/248—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving reference images or patches
-
- G—PHYSICS
- G08—SIGNALLING
- G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
- G08B21/00—Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
- G08B21/02—Alarms for ensuring the safety of persons
-
- G—PHYSICS
- G08—SIGNALLING
- G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
- G08B21/00—Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
- G08B21/02—Alarms for ensuring the safety of persons
- G08B21/04—Alarms for ensuring the safety of persons responsive to non-activity, e.g. of elderly persons
- G08B21/0407—Alarms for ensuring the safety of persons responsive to non-activity, e.g. of elderly persons based on behaviour analysis
- G08B21/0423—Alarms for ensuring the safety of persons responsive to non-activity, e.g. of elderly persons based on behaviour analysis detecting deviation from an expected pattern of behaviour or schedule
-
- G—PHYSICS
- G08—SIGNALLING
- G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
- G08B25/00—Alarm systems in which the location of the alarm condition is signalled to a central station, e.g. fire or police telegraphic systems
- G08B25/01—Alarm systems in which the location of the alarm condition is signalled to a central station, e.g. fire or police telegraphic systems characterised by the transmission medium
- G08B25/04—Alarm systems in which the location of the alarm condition is signalled to a central station, e.g. fire or police telegraphic systems characterised by the transmission medium using a single signalling line, e.g. in a closed loop
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30196—Human being; Person
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
- H04N7/183—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Emergency Management (AREA)
- Business, Economics & Management (AREA)
- Health & Medical Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Health & Medical Sciences (AREA)
- Psychiatry (AREA)
- Social Psychology (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Psychology (AREA)
- Gerontology & Geriatric Medicine (AREA)
- Human Computer Interaction (AREA)
- Alarm Systems (AREA)
- Emergency Alarm Devices (AREA)
- Accommodation For Nursing Or Treatment Tables (AREA)
- Image Analysis (AREA)
- Invalid Beds And Related Equipment (AREA)
Abstract
本发明的被监视人员监视装置以及被监视人员监视方法检测被监视人员的规定的行动,并基于该检测出的规定的行动和规定的参数,判定所述被监视人员的规定的行动是否异常。所述被监视人员监视装置以及被监视人员监视方法检测与所述规定的参数有关的规定的状态,基于该检测出的规定的状态而求所述规定的参数的值,并将该求出的规定的参数的值作为在所述异常的判定中使用的所述规定的参数而存储到参数信息存储部中。
Description
技术领域
本发明涉及对作为应监视的监视对象的被监视人员进行监视的被监视人员监视装置和被监视人员监视方法以及使用了所述被监视人员监视装置的被监视人员监视系统。
背景技术
由于战后的高度经济发展伴随而来的生活水平的提高、卫生环境的改善以及医疗水平的提高等,我国(日本)成为老龄化社会,更详细地说,是65岁以上的人口相对于总人口的比例即老龄化率超过21%的超老龄化社会。在2005年,对于总人口约1亿2765万人,65岁以上的老年人口约2556万人,与此相对,预测到2020年,对于总人口约1亿2411万人,老年人口将成为约3456万人。在这样的老龄化社会中,预料到由于疾病或受伤或老龄等而需要看护或护理的需看护人员或需护理人员(需看护/护理人员)相对于非老龄化社会的通常社会中产生的需看护/护理人员将会增加。而且,我国还是例如2013年的总计特殊出生率为1.43的所谓少子化社会。因此,还产生了需要看护或护理的老年人由老年的家人(配偶、子女、兄弟)进行护理的老老护理。
需看护/护理人员进入医院或老人福利设施(在日本法律中,指老人短期入所设施、养老之家以及特殊养老之家等)等设施,并接受其看护或护理。在这样的设施中,会发生需看护/护理人员由于例如从床上摔倒或在步行中摔倒等而受伤、或离开床上而游荡等事态。由于对于这样的事态需要尽可能迅速地应对,且若放任这样的事态则可能会发展为更严重的事态,因此在所述设施中,护士或护理师等通过定期的巡视来确认其安全或情况。
但是,护士等的增加数赶不上需看护/护理人员的增加数,在看护业界或护理业界中,渐渐人手不足。进一步,和白班的时段相比,在准夜班或夜班的时段中,由于护士或护理师等的人数减少,每个人承担的业务负荷增大,因此要求减轻所述业务负荷。此外,所述老老护理的事态在所述设施中也没有例外,常常见到老年的护士等照顾老年的需看护/护理人员。由于通常变老后体力衰减,所以即使健康,与年轻的护士等相比,看护等的负担也变重,此外,其动作或判定也变慢。
为了减轻这样的人手不足或护士等的负担,要求补充看护业务或护理业务的技术。因此,近年来,研究并开发对需看护/护理人员等作为应监视的监视对象的被监视人员进行监视(moniter)的被监视人员监视技术。
作为这种技术之一,在专利文献1中,公开了医疗用动作检测装置。在该专利文献1中公开的医疗用动作检测装置,包括:一个以上的拍摄部(1),为了对被护理人员G的动作从一个以上的角度进行拍摄而配置于一个以上的不同位置;区域设定部(3),对于通过所述拍摄部(1)而拍摄的被护理人员G的图像,能够设定多个任意的检测区域(A);阈值设定部(4),用于可调整地设定在图像的一部分中发生的变化的阈值来作为用于判别在通过所述区域设定部(3)而设定的多个检测区域(A)中被护理人员G的异常发生的基准;异常检测部(2),用于基于通过所述阈值设定部(4)而设定的阈值,检测在通过所述区域设定部(3)而设定的多个检测区域(A)中是否发生了异常;以及通信部(16),基于通过所述异常检测部(2)的异常检测,向基站(23)通知异常发生。而且,在该专利文献1中,关于检测区域A,在其例如【0040】段中记载了“用户利用鼠标等指点设备,从画面上将与被护理人员G的特性对应的部位作为任意形状的检测区域A来指定”,关于阈值,在其例如【0046】段中记载了“设为能够通过滑块26连续地调整阈值的设定,并且设为能够在显示区域27中显示选中的阈值适应于实际的图像的预览”。
另一方面,在安全确认这一点上,一个人住的独居者也和所述需看护/护理人员相同,成为作为监视对象的被监视人员。
另外,若由被监视人员监视装置报告了异常,则监视人员实施奔赴报告了所述异常的被监视人员的现场等处理,但在所述异常的报告是将不是被监视人员的异常的状态判定为异常而进行了报告的误报的情况下,监视人员的处理成为浪费,成为了人力的损失。此外,若发生被监视人员监视装置不能够检测异常的状态而不进行报告的漏报,则如上所述,可能发展为更加严重的事态。这种误报或漏报等错误,常常受被监视人员的个性或设施的环境等影响,期望根据被监视人员的个性或设施的环境等而定制被监视人员监视装置。
在所述专利文献1所公开的医疗用动作检测装置中,能够设定检测区域或阈值,且能够定制所述医疗用动作检测装置。但是,在所述专利文献1中公开的医疗用动作检测装置中,用户设定所述检测区域或阈值。因此,用户预测被护理人员G的特性而设定所述检测区域或阈值,该设定的所述检测区域或阈值与实际情况不相符而发生错误,或者需要重新设定。此外,通常,在设施中居住多个被监视人员,对多个被监视人员分别配置装置。因此,在所述专利文献1中公开的医疗用动作检测装置中,用户分别对多个装置设定所述检测区域或阈值,需要花费工夫。进一步,若搞错装置所监视的被监视人员,则所述检测区域或阈值被设定了错误的值,反而可能发生错误。
现有技术文献
专利文献
专利文献1:(日本)特开2005-128967号公报
发明内容
本发明为鉴于上述情况而完成的发明,其目的在于,提供能够自动地设定参数而进行定制的被监视人员监视装置和被监视人员监视方法,以及使用所述被监视人员监视装置的被监视人员监视系统。
本发明所涉及的被监视人员监视装置以及被监视人员监视方法,检测被监视人员的规定的行动,并基于该检测出的规定的行动和规定的参数而判定所述被监视人员的规定的行动是否异常。而且,所述被监视人员监视装置以及被监视人员监视方法检测与所述规定的参数有关的规定的状态,并基于该检测出的规定的状态而求所述规定的参数的值,将该求得的规定的参数的值作为在所述异常的判定中使用的所述规定的参数而存储在参数信息存储部中。因此,本发明所涉及的被监视人员监视装置以及被监视人员监视方法,能够自动地设定参数而进行定制。而且,本发明所涉及的被监视人员监视系统使用这种被监视人员监视装置。
上述以及其他本发明的目的、特征以及优点,根据以下详细的记载和附图将变得清楚。
附图说明
图1是表示实施方式中的被监视人员监视系统的结构的图。
图2是表示第一实施方式中的传感器装置的结构的框图。
图3是表示与第一实施方式的传感器装置中的参数的设定有关的操作的流程图。
图4是用于说明第一实施方式的传感器装置中的参数的设定处理(判定区域的设定处理)的图。
图5是表示与实施方式的传感器装置中的行动的检测有关的操作的流程图。
图6是表示第二实施方式中的传感器装置的结构的框图。
图7是表示与第二实施方式的传感器装置中的参数的设定有关的操作的流程图。
具体实施方式
以下,基于附图说明本发明的一实施方式。另外,在各图中附加相同标号的结构表示相同的结构,并适当地省略其说明。在本说明书中,在统称的情况下通过省略了下标的参照标号来表示,在指单独的结构的情况下通过附加了下标的参照标号来表示。
实施方式中的被监视人员监视系统是包括如下装置的系统:被监视人员监视装置,对作为监视对象(关怀对象)的被监视人员(关怀对象人员)中的规定的行动进行检测,并在判定为该检测出的所述被监视人员的规定的行动异常的情况下,向外部报告所述异常;终端装置,与所述被监视人员监视装置可通信地连接,接收所述被监视人员监视装置报告的所述异常并输出。在该实施方式中的被监视人员监视系统中使用的被监视人员监视装置包括:参数信息存储部,存储用于判定所述被监视人员的规定的行动是否异常的规定的参数;第一检测部,检测所述被监视人员的所述规定的行动;异常判定部,基于通过所述第一检测部而检测出的所述被监视人员的规定的行动和在所述参数信息存储部中存储的所述规定的参数,判定所述被监视人员的规定的行动是否异常;第二检测部,检测与所述规定的参数有关的规定的状态;以及参数设定部,基于通过所述第二检测部持续规定的期间检测出的多个所述规定的状态而求所述规定的参数的值,并将该求得的规定的参数的值作为在所述异常判定部中使用的所述规定的参数而存储在所述参数信息存储部中。关于这样的被监视人员监视系统以及被监视人员监视装置,以下使用第一以及第二实施方式的各方式来说明。
(第一实施方式)
图1是表示实施方式中的被监视人员监视系统的结构的图。图2是表示第一实施方式中的传感器装置的结构的框图。
第一实施方式中的被监视人员监视系统MSa例如如图1所示包括一个或者多个传感器装置SUa(SUa-1~SUa-4)、管理服务器装置SV、固定终端装置SP、以及一个或者多个移动终端装置TA(TA-1、TA-2),它们通过有线方式或无线方式经由LAN(局域网(Local AreaNetwork))、电话网以及数据通信网等网络(network、通信线路)NW而可通信地连接。在网络NW中,也可以包括用于对通信信号进行中继的例如中继器、网桥、路由器以及交叉连接器(cross connect)等中继设备。在图1所示的例子中,这些多个传感器装置SUa-1~SUa-4、管理服务器装置SV、固定终端装置SP以及多个移动终端装置TA-1、TA-2,通过包含接入点AP的无线LAN(例如遵照IEEE802.11标准的LAN等)NW而相互可通信地连接。
被监视人员监视系统MSa对应于被监视人员Ob而配置于适当的场所。被监视人员(关怀对象人员)Ob例如是由于疾病或受伤等而需要看护的人员、或由于身体能力下降等而需要护理的人员、或一个人生活的独居者等。特别地,从能够早期发现和早期处理的观点出发,被监视人员Ob优选是在该人员发生了例如异常状态等规定的不正常的事件的情况下需要被发现的人员。因此,被监视人员监视系统MSa根据被监视人员Ob的种类而适当地配置于医院、老人福利设施以及住宅等建筑物中。在图1所示的例子中,被监视人员监视系统MSa被配置于居住了多个被监视人员Ob的多个起居室RM或包括护士站等多个房间的护理设施的建筑物中。
传感器装置SUa是包括经由网络NW而与其他装置SV、SP、TA进行通信的通信功能,并检测被监视人员Ob的规定的行动,在判定为该检测出的被监视人员Ob的规定的行动是异常的情况下,将所述异常经由管理服务器装置SV而向固定终端装置SP以及移动终端装置TA(终端装置SP、TA)报告的装置。该传感器装置SUa是被监视人员监视装置的一例,例如如图2所示包括:拍摄部11、传感器侧声音输入输出部(SU声音输入输出部)12、护士呼叫输入部13、传感器侧控制处理部(SU控制处理部)14a、传感器侧通信接口部(US通信IF部)15、以及传感器侧存储部(SU存储部)16a。
拍摄部11是连接到SU控制处理部14a,并根据SU控制处理部14a的控制,生成拍摄对象的图像(图像数据)的装置。拍摄部11以能够监视作为应监视的监视对象的被监视人员Ob的预定的所在的空间(所在空间,在图1所示的例子中是配置场所的起居室RM)的方式而被配置于所述所在空间的上方,将所述所在空间作为所述拍摄对象从其上方进行拍摄,生成俯瞰所述拍摄对象的图像(图像数据),并将所述拍摄对象的图像向SU控制处理部14a输出。在本实施方式中,拍摄部11生成静止画面以及动画。由于能够拍摄被监视人员Ob整体的可能性较高,这样的拍摄部11优选配置为能够从在被监视人员Ob躺下的例如床等寝具BT中的预定了被监视人员Ob的头部位置的预先设定的头部预定位置(通常,枕头的配置位置)的正上方对拍摄对象进行拍摄。实际上,拍摄部11根据房间的尺寸(大小)或形状等,而被配置于适当的位置,例如天花板或墙壁的上方等。
在本实施方式中,这样的拍摄部11例如是生成可见光的图像的装置。在本实施方式中,这种拍摄部11例如是包括下述部件等的数字摄像机:成像光学系统,使拍摄对象中的可见光的光学图像在规定的成像面上成像;图像传感器,使受光面一致地配置于所述成像面上,将所述拍摄对象中的可见光的光学图像变换为电信号;以及图像处理部,通过将图像传感器的输出进行图像处理而生成作为表示所述拍摄对象中的可见光图像的数据的图像数据。在本实施方式中,优选拍摄部11的成像光学系统是具有能够拍摄配置其的起居室RM整体的视角的广角的光学系统(所谓广角镜头(包含鱼眼镜头))。
另外,拍摄部11也可以是生成红外光的图像的装置,使得即使在相对暗处也能够监视被监视人员Ob。这种拍摄部11例如是包括下述部件等的数字红外线摄像机:成像光学系统,使拍摄对象中的红外光学图像在规定的成像面上成像;图像传感器,使受光面一致地配置于所述成像面上,将所述拍摄对象中的红外的光学图像变换为电信号;以及图像处理部,通过将图像传感器的输出进行图像处理而生成作为表示所述拍摄对象中的红外图像的数据的图像数据。
为了检测微体动异常作为被监视人员Ob的规定的行动的一种,传感器装置SUa也可以还包括多普勒传感器。该多普勒传感器是发送发送波,并接收在物体上反射的所述发送波的反射波,基于所述发送波和所述反射波而输出多普勒频率分量的多普勒信号的体动传感器。在所述物体运动的情况下,由于因所谓多普勒效应,反射波的频率与所述物体的运动速度成比例地偏移,所以发送波的频率和反射波的频率产生差(多普勒频率分量)。多普勒传感器生成该多普勒频率分量的信号作为多普勒信号,并向SU控制处理部14a输出。所述发送波可以是超声波或微波等,但由于微波能够穿透衣着而在被监视人员Ob的体表反射,所以即使被监视人员Ob穿着衣服也能够检测体表的动作,更为优选。SU控制处理部14a基于所述多普勒传感器的多普勒信号而求伴随着被监视人员Ob的呼吸动作的胸部的体动(胸部的上下运动),若检测到其胸部的体动中的周期的紊乱或者在预先设定的阈值以下的所述胸部的体动中的振幅,则判定为所述微体动是异常的。
SU声音输入输出部12是连接到SU控制处理部14a且用于获取外部的声音而输入传感器装置SUa的电路,且是用于根据SU控制处理部14a的控制而生成对应于表示声音的电信号的声音并输出的电路。SU声音输入输出部12例如包括将声音的音响振动变换为电信号的麦克风等和将声音的电信号变换为声音的音响振动的扬声器等而构成。SU声音输入输出部12将表示外部的声音的电信号向SU控制处理部14a输出,此外,将从SU控制处理部14a输入的电信号变换为声音的音响振动而输出。
护士呼叫输入部13是连接到SU控制处理部14a且用于将来自被监视人员Ob等的护士呼叫输入到该传感器装置SUa的例如按压按钮式开关等开关电路。护士呼叫输入部13可以通过有线连接方式到SU控制处理部14a,此外,可以通过无线方式经由SU通信IF部15而连接到SU控制处理部14a。
SU通信IF部15是连接到SU控制处理部14a且用于根据SU控制处理部14a的控制而进行通信的通信电路。SU通信IF部15根据该在被监视人员监视系统MSa的网络NW中使用的通信协议,生成容纳了从SU控制处理部14a输入的应转发的数据的通信信号,并将该生成的通信信号经由网络NW向其他装置SV、SP、TA发送。SU通信IF部15经由网络NW从其他装置SV、SP、TA接收通信信号,并从该接收到的通信信号中取出数据,将该取出的数据变换为SU控制处理部14a能够处理的形式的数据,并向SU控制处理部14a输出。另外,SU通信IF部15也可以进一步包括使用例如Bluetooth(注册商标)标准、IrDA(红外数据协会(Infrared DataAsscoiation))标准以及USB(通用串行总线(Universal Serial Bus))标准等标准且在与外部设备之间进行数据的输入输出的接口电路。
SU存储部16a是连接到SU控制处理部14a且根据SU控制处理部14a的控制而存储各种规定的程序以及各种规定的数据的电路。在所述各种规定的程序中,包含:对传感器装置SU的各部根据该各部的功能而分别进行控制的SU控制程序;基于拍摄部11拍摄的所述对象区域的图像(对象图像)而检测被监视人员Ob的预先设定的规定的行动的行动检测处理程序;基于拍摄部11拍摄的对象图像而将被监视人员Ob的行动轨迹作为规定的状态的一种进行求的行动轨迹检测处理程序;基于拍摄部11拍摄的对象图像而将窗帘的移动轨迹作为所述规定的状态的另一种而进行求的移动轨迹检测处理程序;将拍摄部11拍摄的对象图像中的各像素的各亮度作为所述规定的状态的再另一种而进行求的亮度检测处理程序;基于通过这些所述行动轨迹检测处理程序、所述移动轨迹检测处理程序以及所述亮度检测处理程序持续规定的期间地求得的各结果,求用于判定作为监视对象的被监视人员的规定的行动是否异常的规定的参数,并将该求得的规定的参数的值作为在后述的异常判定处理程序(异常判定处理部143a)中使用的参数而存储到SU存储部16a中的参数设定程序;基于通过所述行动检测处理程序求得的被监视人员Ob的规定的行动和在US存储部16a中存储的所述规定的参数,判定被监视人员Ob的规定的行动是否异常的异常判定处理程序;向外部通知通过所述异常判定处理程序而判定出的所述异常的通知处理程序;将拍摄部11拍摄的动画以流媒体的形式向请求该动画的固定终端装置SP或移动终端装置TA传送的流媒体处理程序;以及通过使用SU声音输入输出部12等而在固定终端装置SP或移动终端装置TA之间进行语音通话的护士呼叫处理程序等控制处理程序。这些所述行动轨迹检测处理程序、所述移动轨迹检测处理程序以及所述亮度检测处理程序中的所述规定的状态是与所述规定的参数有关的状态,且在本实施方式中,如上所述,是被监视人员Ob的行动轨迹、窗帘的移动轨迹、对象图像中的各像素的各亮度。在本实施方式中,在判定作为监视对象的被监视人员Ob的规定的行动是否异常时,所述规定的参数是成为所述判定的对象的判定区域。在所述各种规定的数据中,例如包含本机的且作为用于确定并识别传感器装置SUa的识别符的传感器装置识别符(传感器ID)、管理服务器装置SV的通信地址、所述规定的参数、以及与所述规定的参数有关的状态等执行这些上述各程序所需的数据或监视被监视人员Ob所需的数据等。这种SU存储部16a例如包括作为非易失性的存储单元的ROM(只读存储器(Read OnlyMemory))或作为可改写的非易失性的存储单元的EEPROM(电可擦除可编程只读存储器(Electrically Erasable Programmable Read Only Memory))等。而且,SU存储部16a包括成为用于存储所述规定的程序的执行中产生的数据等的所谓控制处理部14a的工作存储器的RAM(随机存取存储器(Random Access Memory))等。
为了分别存储与所述规定的参数以及与所述规定的参数有关的状态,SU存储部16a功能性地包括参数信息存储部161a以及检测状态信息存储部162a。参数信息存储部161a存储用于判定作为监视对象的被监视人员Ob的规定的行动是否异常的所述规定的参数(在本实施方式中是所述判定区域)。检测状态信息存储部162a存储作为所述规定的状态的与所述规定的参数有关的状态(在本实施方式中是被监视人员Ob的行动轨迹、窗帘的移动轨迹、对象图像中的各像素的各亮度)。
SU控制处理部14a是用于对传感器装置SUa的各部根据该各部的功能分别进行控制,并获取由拍摄部11对被监视人员Ob从其上方拍摄的对象图像,基于该获取到的对象图像而检测被监视人员Ob的规定的行动,在判定为该检测出的被监视人员Ob的规定的行动异常的情况下,为了向外部报告所述异常,向管理服务器装置SV发送所述异常的电路。SU控制处理部14a例如包括CPU(中央处理单元(Central Processing Unit))及其外围电路而构成。控制处理部14a通过执行所述控制处理程序而功能性地包括传感器侧控制部(SU控制部)141、行动检测处理部142、异常判定处理部143a、行动轨迹检测处理部144a-1、移动轨迹检测处理部144a-2、亮度检测处理部144a-3、参数设定部145a、通知处理部146、流媒体处理部147以及护士呼叫处理部148。
SU控制部141对传感器装置SUa的各部根据该各部的功能分别进行控制,并管理传感器装置SUa的整体控制。
行动检测处理部142基于拍摄部11拍摄的对象图像而检测被监视人员Ob的预先设定的规定的行动。在本实施方式中,所述规定的行动例如是被监视人员Ob的起床、离床、摔倒以及滚落。更具体而言,行动检测处理部142例如基于拍摄部11拍摄的对象图像而检测被监视人员Ob的头部,并基于该检测出的被监视人员Ob的头部的大小随时间的变化而检测被监视人员Ob的起床、离床、摔倒以及滚落。更详细而言,将用于识别寝具BT的所在区域、寝具BT的所在区域内的卧姿的头部的大小和坐姿的头部的大小的第一阈值Th1、用于识别是否是除寝具BT的所在区域以外的起居室RM内的站姿的头部的大小的第二阈值Th2、以及用于识别是否是除寝具BT的所在区域以外的起居室RM内的卧姿的头部的大小的第三阈值Th3作为所述各种规定的数据的一种而预先存储在SU存储部16a中。行动检测处理部142首先通过例如背景差分法或帧差分法从对象图像中提取运动人体区域作为被监视人员Ob的人体区域。接下来,行动检测处理部142从该提取出的运动人体区域中,例如通过圆形或椭圆形的霍夫变换,此外例如通过使用了预先准备的头部的模型的模式匹配,此外例如通过学习用于头部检测的神经网络,而提取被监视人员Ob的头部区域。然后,行动检测处理部142根据该提取出的头部的位置以及大小检测起床、离床、摔倒以及滚落。例如,该提取出的头部的位置为寝具BT的所在区域内,且通过使用所述第一阈值Th1,所述提取出的头部的大小从卧姿的大小随时间变化为坐姿的大小的情况下,行动检测处理部142判定为起床,并检测所述起床。例如,在该提取出的头部的位置从寝具BT的所在区域内随时间变化为寝具BT的所在区域外,且通过使用所述第二阈值Th2,所述提取出的头部的大小从某大小随时间变化为站姿的大小的情况下,行动检测处理部142判定为离床,并检测所述离床。例如,在该提取出的头部的位置从寝具BT的所在区域内随时间变化为寝具BT的所在区域外,且通过使用所述第三阈值Th3,所述提取出的头部的大小从某大小随时间变化为卧姿的大小的情况下,行动检测处理部142判定为滚落,且检测所述滚落。例如,在该提取出的头部的位置在除寝具BT的所在区域以外的起居室RM内,且通过使用所述第三阈值Th1,所述提取出的头部的大小从某大小随时间变化为卧姿的大小的情况下,行动检测处理部142判定为摔倒,并检测所述摔倒。
行动轨迹检测处理部144a-1基于拍摄部11拍摄的对象图像而求被监视人员Ob的行动轨迹作为规定的状态的一种,并将该求得的被监视人员Ob的行动轨迹存储到检测状态信息存储部162a中。更具体而言,行动轨迹检测处理部144a-1例如通过背景差分法或帧差分法从拍摄部11拍摄的对象图像中提取运动人体区域作为被监视人员Ob的人体区域,并求该提取出的运动人体区域内的规定点(例如运动人体区域的中央位置的点或与运动人体区域外接的外接圆的中心点等)作为被监视人员Ob的行动轨迹,将该求得的被监视人员的行动轨迹存储在检测状态信息存储部162a中。另外,行动轨迹检测处理部144a-1也可以进一步通过上述手法从所述提取出的运动人体区域中提取被监视人员Ob的头部区域,并求该提取出的头部区域内的规定点(例如头部区域的中央位置的点或与头部区域外接的外接圆的中心点等)作为被监视人员Ob的行动轨迹。然后,行动轨迹检测处理部144a-1持续规定的期间以规定的采样间隔(例如1帧间隔或数帧间隔等)实施这样的处理。所以,在检测状态信息存储部162a中存储了被监视人员Ob的行动轨迹的集合(所述规定点的集合)。所述规定的期间可以是任意的期间,例如是适合于掌握被监视人员Ob的日常的行动的4~7天的程度。
移动轨迹检测处理部144a-2基于拍摄部11拍摄的对象图像而求窗帘的移动轨迹作为所述规定的状态的另一种,并将该求得的窗帘的移动轨迹存储到检测状态信息存储部162a中。更具体而言,将起居室RM中的窗的位置作为所述各种规定的数据的一种预先存储在SU存储部16a中。移动轨迹检测处理部144a-2首先通过例如背景差分法或帧差分法从拍摄部11拍摄的对象图像中提取所述窗的位置附近的运动人体区域(从所述窗的位置起规定距离(例如30cm~100cm程度)内的运动人体区域)作为窗帘的区域。然后,移动轨迹检测处理部144a-2通过例如边缘滤波器等求所述运动人体区域的轮廓(所述窗帘的区域的轮廓)作为所述窗帘的移动轨迹,并将该求得的窗帘的移动轨迹存储在检测状态信息存储部162a中。另外,也可以将窗帘的颜色作为所述各种规定的数据的一种预先存储在SU存储部16a中,并基于该窗帘的颜色而求窗帘的区域及其轮廓。移动轨迹检测处理部144a-2持续规定的期间以规定的采样间隔(例如1帧间隔或数帧间隔等)实施这样的处理。因此,在检测状态信息存储部162a中存储了窗帘的移动轨迹的集合(所述轮廓的集合)。所述规定的期间可以是任意的期间,例如是适合于掌握窗帘的摇动的4~7天的程度。
亮度检测处理部144a-3求拍摄部11拍摄的对象图像中的各像素的各亮度作为所述规定的状态的再另一种,并将该求得的对象图像中的各像素的各亮度存储在检测状态信息存储部162a中。亮度检测处理部144a-3持续规定的期间以规定的采样间隔(例如1帧间隔或数帧间隔等)实施这样的处理。因此,在检测状态信息存储部162a中存储了多个对象图像中的各像素的各亮度的集合。所述规定的期间可以是任意的期间,例如是适合于掌握对象图像的各像素的亮度的变化的4~7天的程度。
参数设定部145a基于通过这些行动轨迹检测处理部144a-1、移动轨迹检测处理部144a-2以及亮度检测处理部144a-3求得的各结果(即,检测状态信息存储部162a中存储的被监视人员Ob的行动轨迹的集合、窗帘的移动轨迹的集合以及各像素的各亮度的集合),求用于判定被监视人员Ob的规定的行动是否异常的规定的参数(本实施方式中是判定区域),并将该求得的规定的参数的值作为在后述的异常判定处理部143a中使用的参数而存储在SU存储部16a的参数信息存储部161a中。更具体而言,参数设定部145a首先基于行动轨迹检测处理部144a-1持续规定的期间检测出的多个被监视人员Ob的行动轨迹(行动轨迹的集合),求被监视人员Ob的行动区域作为判定区域的值。更具体而言,例如,参数设定部145a形成内包了被监视人员Ob的全部多个行动轨迹(行动轨迹的集合)的多边形,将该多边形设为被监视人员Ob的行动区域,即判定区域。可以将从该被监视人员Ob的多个行动轨迹中求得的判定区域直接作为所述规定的参数使用,但在本实施方式中,为了进一步提高异常判定的精度,如下所述,从用来从该被监视人员Ob的多个行动轨迹中求得的判定区域中,排除窗帘的移动区域以及亮度变动区域,求最终的判定区域,并作为所述规定的参数使用。更具体而言,参数设定部145a首先基于移动轨迹检测处理部144a-2持续规定的期间检测出的多个所述窗帘的移动轨迹(移动轨迹的集合)而求所述窗帘的移动区域。更具体而言,例如,参数设定部145a形成内包了多个所述窗帘的全部移动轨迹(移动轨迹的集合)的多边形,并将该多边形设为窗帘的移动区域。接下来,参数设定部145a基于亮度检测处理部144a-3持续规定的期间检测出的多个所述对象图像中的各像素的各亮度值而求同位置(同像素位置)的亮度变动振幅为规定的亮度阈值以上的像素构成的亮度变动区域。使用多个样本而设定所述规定的亮度阈值为适当的值,以使得能够识别例如电视画面或镜子等,例如,设定为拍摄部11中的亮度的能够输出的最大亮度值(例如在拍摄部11以256浓淡度输出亮度的情况下为255)的2/3或3/4等。然后,参数设定部145a从基于上述被监视人员Ob的多个行动轨迹求得的判定区域中,排除这些求得的窗帘的移动区域以及亮度变动区域,求最终的判定区域,并将该最终的判定区域作为所述规定的参数存储在US存储部16a的参数信息存储部161a中。
异常判定处理部143a基于行动检测处理部142求得的被监视人员Ob的规定的行动和在US存储部16a的参数信息存储部161a中存储的所述规定的参数(在本实施方式中是最终的判定区域),判定被监视人员Ob的规定的行动是否异常。更具体而言,在本实施方式中,例如,预先设定在判定区域内的滚落以及摔倒为异常,异常判定处理部143a在行动检测处理部142求得的被监视人员Ob的规定的行动为滚落,且被监视人员Ob的所在位置(行动检测处理部142求得的头部区域的位置)为最终的判定区域内的情况下判定为异常,且在行动检测处理部142求得的被监视人员Ob的规定的行动为摔倒,被监视人员Ob的所在位置(行动检测处理部142求得的头部区域的位置)为最终的判定区域内的情况下判定为异常。然后,在除这些情况以外的其他情况下,异常判定处理部143a不判定为异常。
通知处理部146向外部通知异常判定处理部143a判定出的所述异常。更具体而言,在判定出被监视人员Ob的行动的异常(滚落、摔倒)的情况下,通知处理部146生成表示所述异常的信息(异常判定信息)、用于确定并识别被判定出所述异常的被监视人员Ob的识别符信息(用于确定并识别对所述被监视人员Ob进行检测的传感器装置SUa的识别符信息)、以及容纳了在所述异常的判定中使用的图像等的通信信号(第一监视信息通信信号),并通过SU通信IF部15向管理服务器装置SV发送。另外,通知处理部146也可以进一步分别将行动检测处理部142检测出的起床以及离床直接作为起床以及离床而通知给外部。
在经由网络NW以及US通信IF部15从固定终端装置SP或者移动终端装置TA有动画的传送请求的情况下,流媒体处理部147经由SU通信IF部15以及网络NW将拍摄部11生成的动画(例如直播的动画)通过流媒体播放而传送给有该请求的固定终端装置SP或者移动终端装置TA。
在通过护士呼叫输入部13从被监视人员Ob受理了该输入操作的情况下,或者在从固定终端装置SP或者移动终端装置TA有通话的请求的情况下,护士呼叫处理部148经由SU通信IF部15以及网络NW,在与固定终端装置SP或者移动终端装置TA之间能够进行使用了SU声音输入输出部12的语音通话。
在图1中,作为一例,表示了第一乃至第四4个传感器装置SUa-1~SUa-4,第一传感器装置SUa-1被配置于作为一个被监视人员Ob的A君Ob-1的起居室RM-1(未图示)中,第二传感器装置SUa-2被配置于作为一个被监视人员Ob的B君Ob-2的起居室RM-2(未图示)中,第三传感器装置SUa-3被配置于作为一个被监视人员Ob的C君Ob-3的起居室RM-3(未图示)中,然后,第四传感器装置SUa-4被配置于作为一个被监视人员Ob的D君Ob-4的起居室RM-4(未图示)中。
另外,拍摄部11以及行动检测处理部142相当于对被监视人员Ob的规定的行动进行检测的第一检测部的一例。拍摄部11以及行动轨迹检测处理部144a-1相当于对与所述规定的参数有关的规定的状态进行检测的第二检测部的一例。拍摄部11以及移动轨迹检测处理部144a-2相当于对与所述规定的参数有关的规定的状态进行检测的第二检测部的另一例。拍摄部11以及亮度检测处理部144a-3相当于对与所述规定的参数有关的规定的状态进行检测的第二检测部的再一例。传感器装置SUa相当于被监视人员监视装置的一例。此外,在本实施方式中,拍摄部11兼作为所述第一检测部以及所述第二检测部各自的一部分,但所述第一检测部和所述第二检测部可以是单独的装置(没有兼用部分的装置)。
管理服务器装置SV是包括经由网络NW与其他装置SUa、SP、TA进行通信的通信功能,并从传感器装置SUa接收被监视人员Ob的异常(在本实施方式中是滚落的异常、摔倒的异常)及其图像而作为与对被监视人员Ob的监视有关的信息(监视信息)来进行管理的设备。若从传感器装置SUa接收到被监视人员Ob的异常(在本实施方式中是滚落的异常、摔倒的异常)及其图像,则管理服务器装置SV将它们作为对于被监视人员Ob的所述监视信息而进行存储(记录),然后,将容纳了被监视人员Ob的异常(本实施方式中是滚落的异常、摔倒的异常)及其图像的通信信号(第二监视信息通信信号)发送给固定终端装置SP以及移动终端装置TA。由此对被监视人员Ob判定的异常被报告到外部的固定终端装置SP以及移动终端装置TA。管理服务器装置SV将与客户端(在本实施方式中是固定终端装置SP以及移动终端装置TA等)的请求相应的数据提供给所述客户端。这样的管理服务器装置SV例如能够由具备通信功能的计算机来构成。
固定终端装置SP是包括经由网络NW与其他装置SUa、SV、TA进行通信的通信功能、显示规定的信息的显示功能、以及输入规定的指示或数据的输入功能等,并通过输入给予管理服务器装置SV或移动终端装置TA的规定的指示或数据、显示通过传感器装置SUa得到的被监视人员Ob的异常(在本实施方式中是滚落的异常、摔倒的异常)及其图像等而作为被监视人员监视系统MSa的用户接口(UI)来发挥功能的设备。这样的固定终端装置SP例如能够由具备通信功能的计算机来构成。
移动终端装置TA是包括经由网络NW与其他装置SV、SP、SU进行通信的通信功能、显示规定的信息的显示功能、输入规定的指示或数据的输入功能、以及进行语音通话的通话功能等,并通过输入给予管理服务器装置SV或传感器装置SUa的规定的指示或数据、根据来自管理服务器装置SV的通知来显示通过传感器装置SUa得到的被监视人员Ob的异常(在本实施方式中是滚落的异常、摔倒的异常)及其图像等而受理并显示对于被监视人员Ob的所述监视信息的设备。这样的移动终端装置TA例如能够由所谓平板电脑型计算机或智能手机或移动电话设备等能够移动的通信终端装置来构成。
接下来,说明本实施方式中的被监视人员监视系统MSa以及传感器装置SUa的操作。图3是表示与第一实施方式的传感器装置中的参数的设定有关的操作的流程图。图4是用于说明第一实施方式的传感器装置中的参数的设定处理(判定区域的设定处理)的图。图4A表示起居室RM的情况,图4B表示在图4A所示的起居室RM中,通过设定处理而设定的参数。图5是表示与实施方式的传感器装置中的行动的检测有关的操作的流程图。
(参数设定处理)
在这样的结构的被监视人员监视系统MSa中,若各装置SUa、SV、SP、TA接通电源,则执行必要的各部的初始化,并开始工作。在传感器装置SUa中,通过其控制处理程序的执行,在控制处理部14a中功能性地构成US控制部141、行动检测处理部142、异常判定处理部143a、行动轨迹检测处理部144a-1、移动轨迹检测处理部144a-2、亮度检测处理部144a-3、参数设定部145a、通知处理部146、流媒体处理部147、以及护士呼叫处理部148。
在设定所述规定的参数(在本实施方式中是最终的判定区域)的参数设定处理中,在图3中,首先,传感器装置SUa通过拍摄部11以及SU控制处理部14a,持续规定的期间检测、收集与所述规定的参数有关的规定的状态(在本实施方式中是被监视人员Ob的行动轨迹、窗帘的移动轨迹、对象图像中的各像素的各亮度),并存储(记录)在SU存储部16a(S1a)中。更具体而言,首先,SU控制部141通过拍摄部11对拍摄对象进行拍摄,并生成对象图像。接下来,行动轨迹检测处理部144a-1基于拍摄部11拍摄的所述对象图像而求被监视人员Ob的行动轨迹来作为规定的状态的一种,并将该求得的被监视人员的行动轨迹存储在检测状态信息存储部162a中。移动轨迹检测处理部144a-2基于拍摄部11拍摄的所述对象图像而求窗帘的移动轨迹来作为所述规定的状态的另一种,并将该求得的窗帘的移动轨迹存储在检测状态信息存储部162a中。亮度检测处理部144a-3求拍摄部11拍摄的所述对象图像中的各像素的各亮度来作为所述规定的状态的再一种,并将该求得的对象图像中的各像素的各亮度存储在检测状态信息存储部162a中。然后,持续规定的期间,例如1周按各帧实施这样的处理。
若像这样收集用于求参数的各数据(实际数据),则传感器装置SUa通过参数设定部145a,基于在处理S1a中收集到的多个被监视人员Ob的行动轨迹(行动轨迹的集合)而求被监视人员Ob的行动区域(S2a-1)。
例如,在被监视人员Ob在图4A所示的一室的起居室RM中的情况下,在处理S1a中,行动轨迹检测处理部144a-1从拍摄部11拍摄的对象图像中提取运动人体区域,并求该提取出的运动人体区域内的规定点作为被监视人员Ob的行动轨迹。若持续例如1周按各帧来求这样的被监视人员Ob的行动轨迹,则被监视人员Ob的行动轨迹基本上涉及起居室RM整体,通过处理S2a-1,如图4B中虚线所示,求得削去了位于电视TV的设置区域的一个顶点的矩形区域作为行动区域AR1。该图4中所示的起居室RM在平面图上是大致矩形的形状,在该起居室RM中,沿着一面墙壁配置寝具BT,在其另一面墙壁上配置飘窗WD,该飘窗WD中挂有窗帘CT。在面对所述一面墙壁的另一面墙壁中的大致中央位置的上方配置了空调设备AC。在空调设备AC的一端配置电视TV,在空调设备AC的另一端配置洗脸池WS。在该图4所示的例子中,被监视人员Ob坐在寝具BT的一端,为坐姿。
回到图3,接下来,传感器装置SUa通过参数设定部145a,基于在处理S1a中收集到的多个所述窗帘的移动轨迹(移动轨迹的集合)而求所述窗帘的移动区域(S2a-2)。
例如,在图4所示的例子中,预先在SU存储部16a中存储飘窗WD的位置,在处理S1a中,移动轨迹检测处理部144a-2根据拍摄部11拍摄的对象图像求在飘窗WD的位置附近的运动人体区域,并求该求得的运动人体区域的轮廓作为窗帘的移动轨迹。若持续例如一周按各帧求这种窗帘CT的移动轨迹,则窗帘CT的移动轨迹沿着飘窗WD从飘窗WD向起居室RM内突出地存在,通过处理S2a-2,如图4B中右下斜线所示,求得沿着飘窗WD的起居室RM内的矩形区域作为移动区域AR2。
回到图3,接下来,传感器装置SUa通过参数设定部145a,基于在处理S1a中收集到的多个对象图像中的各像素的各亮度而求亮度变动区域(S2a-3)。
通常,电视TV的显示面的亮度的变化较大。因此,例如,在图4所示的例子中,若在处理S1a中通过亮度检测处理部144a-3例如持续一周按各帧求拍摄部11拍摄的对象图像中的各像素的各亮度,则位于电视TV的显示面(画面)的各像素的亮度变动变大,通过处理S2a-2,如图4B中斜线所示,求得位于电视TV的显示面的矩形区域作为亮度变动区域AR3。另外,镜子的亮度的变化也较大,还求位于镜子的区域作为亮度变动区域。
回到图3,然后,传感器装置SUa通过参数设定部145a,从在处理S2a-1中求得的被监视人员Ob的行动区域(暂时的判定区域)中,通过排除在处理S2a-2中求得的窗帘的移动区域以及在处理S2a-3中求得的亮度变动区域来求最终的判定区域,将该最终的判定区域作为所述规定的参数存储到US存储部16a的参数信息存储部161a中,并结束参数设定处理。
根据需要在适当的定时,例如起居室RM的居住者改变且由传感器装置SUa监视的被监视人员Ob改变的定时,或者改变了起居室RM中的家具等的配置位置的外观改变后的定时,或者季节交替的定时等实施这样的参数设定处理。
另外,处理S1a相当于持续规定的期间多次检测与所述规定的参数有关的规定的状态的第二检测步骤的一例,处理S2a-1乃至处理S2a-4相当于基于在所述第二检测步骤中持续所述规定的期间检测到的多个所述规定的状态而求所述规定的参数的值,并将所述求得的规定的参数的值作为在后述的异常判定步骤中使用的所述规定的参数存储在参数信息存储部161a中的参数设定步骤的一例。
(异常判定处理)
在本实施方式中,如下所示地执行判定被监视人员Ob的规定的行动是否异常的异常判定处理。
传感器装置SUa以对应规定的帧率的时间间隔通过拍摄部11依次获取图像,若从拍摄部11向SU控制处理部14a输入1帧图像,则首先,在图5中,传感器装置SUa通过行动检测处理部142执行基于拍摄部11拍摄的对象图像而检测被监视人员Ob的规定的行动的处理(S11)。
接下来,传感器装置SUa通过行动检测处理部142判定在处理S11中是否检测到被监视人员Ob的规定的行动(S12)。该判定的结果,在处理S11中没有检测到被监视人员Ob的规定的行动的情况下(“否”),为了处理下一帧图像,传感器装置SUa使处理返回处理S11。另一方面,在处理S11中检测到被监视人员Ob的规定的行动的情况下(“是”),执行下一个处理S13a。
在该处理S13a中,传感器装置SUa通过异常判定处理部143a执行对在处理S11中检测到的被监视人员Ob的规定的行动是否异常进行判定的处理。更具体而言,异常判定处理部143a基于在处理S11中被监视人员Ob的规定的行动和存储在参数信息存储部161a中的所述规定的参数(在本实施方式中是最终的判定区域),判定被监视人员Ob的规定的行动是否异常。更详细而言,在本实施方式中,异常判定处理部143a在通过行动检测处理部142求得的被监视人员Ob的规定的行动为滚落,且被监视人员Ob的所在位置(通过行动检测处理部142求得的头部区域的位置)在所述最终的判定区域内的情况下判定为异常,在通过行动检测处理部142求得的被监视人员Ob的规定的行动为摔倒,且被监视人员Ob的所在位置(通过行动检测处理部142求得的头部区域的位置)在所述最终的判定区域内的情况下判定为异常。而且,在除这些情况以外的其他情况下,异常判定处理部143a不判定为异常。
接下来,传感器装置SUa通过异常判定处理部143a判定在处理S13a中被监视人员Ob的规定的行动是否被判定为异常(S14)。该判定的结果,在处理S13a中被监视人员Ob的规定的行动没有被判定为异常的情况下(“否”),为了处理下一帧图像,传感器装置SUa使处理返回处理S11。另一方面,在处理S13a中被监视人员Ob的规定的行动被判定为异常的情况下(“是”),执行下一个处理S15。
在该处理S15中,为了将在处理S13a中判定出的所述异常向固定终端装置SP以及移动终端装置TA报告,传感器装置SUa通过通知处理部146向管理服务器装置SV发送所述第一监视信息通信信号。
然后,传感器装置SUa判定该异常判定处理是否结束(停止)(S16)。该判定的结果,在异常判定处理没有结束(停止)的情况(“否”)下,为了处理下一帧图像,传感器装置SUa使处理返回处理S11,另一方面,在异常判定处理结束(停止)的情况(“否”)下,传感器装置SUa结束(停止)异常判定处理。
另一方面,通过上述的处理S15而接收了所述第一监视信息通信信号的管理服务器装置SV将所述第一监视信息通信信号中容纳的被监视人员Ob的异常(在本实施方式中是滚落的异常、摔倒的异常)及其图像作为对于被监视人员Ob的所述监视信息而存储(记录)。然后,管理服务器装置SV将容纳了被监视人员Ob的异常(在本实施方式中是滚落的异常、摔倒的异常)及其图像的第二监视信息通信信号发送给固定终端装置SP以及移动终端装置TA。
接收了该第二监视信息通信信号的固定终端装置SP以及移动终端装置TA分别显示该第二监视信息通信信号中容纳的被监视人员Ob的异常(在本实施方式中是滚落的异常、摔倒的异常)及其图像。监视人员通过参照固定终端装置SP或移动终端装置TA上显示的被监视人员Ob的异常,能够识别被监视人员Ob发生了异常的情况。
然后,监视人员根据需要,使用固定终端装置SP或固定终端装置TA向传感器装置SUa请求动画的传送,流媒体处理部147据此将拍摄部11生成的动画(例如直播的动画)通过流媒体播放而向有该请求的固定终端装置SP或者移动终端装置TA进行传送。
此外,监视人员根据需要,使用固定终端装置SP或固定终端装置TA向传感器装置SUa请求通话,护士呼叫处理部148据此能够在与有该请求的固定终端装置SP或者移动终端装置TA之间进行语音通话。此外,在通过护士呼叫输入部13从被监视人员Ob受理了该输入操作的情况下,护士呼叫处理部148在与固定终端装置SP或者移动终端装置TA之间能够进行语音通话。
如以上所述,本实施方式中的被监视人员监视系统SMa、传感器装置SUa以及在它们之中实现的被监视人员监视方法,能够通过参数设定部145a自动地设定并定制所述规定的参数(在本实施方式中是最终的判定区域)。而且,由于基于持续规定的期间检测出的多个所述规定的状态(在本实施方式中是被监视人员Ob的行动轨迹、窗帘的移动轨迹、对象图像中的各像素的各亮度)求所述规定的参数(在本实施方式中是最终的判定区域)的值,所以上述被监视人员监视系统SMa、传感器装置SUa以及在它们之中实现的被监视人员监视方法能够更加符合实情。由于上述被监视人员监视系统SMa、传感器装置SUa以及在它们之中实现的被监视人员监视方法自动地设定所述规定的参数,所以能够减少工夫,并能够减少对错误的被监视人员Ob设定所述规定的参数的情况。
由于上述被监视人员监视系统SMa、传感器装置SUa以及在它们之中实现的被监视人员监视方法基于被监视人员Ob的多个行动轨迹(行动轨迹的集合)求被监视人员Ob的行动区域作为所述判定区域的值,所以能够根据被监视人员Ob的实际行动来设定所述判定区域。
若窗帘CT摇动,则可能误检测为被监视人员Ob的规定的行动。由于上述被监视人员监视系统SMa、传感器装置SUa以及在它们之中实现的被监视人员监视方法基于窗帘CT的多个移动轨迹(移动轨迹的集合)而求窗帘CT的移动区域,并将该求得的窗帘CT的移动区域从所述判定区域中排除,所以能够减少窗帘CT的摇动引起的所述误检测。
若被监视人员Ob或窗帘等映入例如电视或镜子等,则由于该映入的像,可能误检测为被监视人员Ob的规定的行动。所述电视或镜子等在图像上的亮度变动大。由于上述被监视人员监视系统SMa、传感器装置SUa以及在它们之中实现的被监视人员监视方法基于多个所述对象图像中的各像素的各亮度值而求由在同位置的亮度变动振幅为规定的亮度阈值以上的像素组成的亮度变动区域,并将该求得的亮度变动区域从所述判定区域中排除,所以能够减少映入的像引起的所述误检测。
接下来,说明其他实施方式。
(第二实施方式)
第一实施方式中的被监视人员监视系统MSa以及传感器装置SUa自动地定制作为参数的一例的判定区域,第二实施方式中的被监视人员监视系统MSb以及传感器装置SUb自动地定制作为参数的另一例的用于最终判定是否是摔倒的阈值(摔倒判定阈值)。
第二实施方式中的被监视人员监视系统MSb例如如图1所示,包括:一个或者多个传感器装置SUb(SUb-1~SUb-4);管理服务器装置SV;固定终端装置SP;以及一个或者多个移动终端装置TA(TA-1,TA-2)。即,第二实施方式中的被监视人员监视系统MSb不包括第一实施方式中的第一实施方式的传感器装置SUa,而包括第二实施方式的传感器装置SUb。因此,由于第二实施方式的被监视人员监视系统MSb中的管理服务器装置SV、固定终端装置SP以及移动终端装置TA分别和第一实施方式的被监视人员监视系统MSb中的管理服务器装置SV、固定终端装置SP以及移动终端装置TA相同,故省略其说明。
图6是表示第二实施方式中的传感器装置的结构的框图。第二实施方式的传感器装置SUb与第一实施方式的传感器装置SUa同样是包括经由网络NW与其他装置SV、SP、TA进行通信的通信功能,且检测被监视人员Ob的规定的行动,并在判定为该检测出的被监视人员Ob的规定的行动异常的情况下,将所述异常经由管理服务器装置SV报告给固定终端装置SP以及移动终端装置TA(终端装置SP、TA)的装置。该第二实施方式的传感器装置SUb是被监视人员监视装置的另一例,例如如图6所示,包括拍摄部11、SU声音输入输出部12、护士呼叫输入部13、SU控制处理部14b、SU通信IF部15、以及SU存储部16b。由于这些第二实施方式的传感器装置SUb中的拍摄部11、SU声音输入输出部12、护士呼叫输入部13以及SU通信IF部15分别与第一实施方式的传感器装置SUa中的拍摄部11、SU声音输入输出部12、护士呼叫输入部13以及SU通信IF部15相同,故省略其说明。
SU存储部16b是连接到SU控制处理部14a且根据SU控制处理部14a的控制而存储各种规定的程序以及各种规定的数据的电路。在所述各种规定的程序中包含SU控制程序、行动检测处理程序、异常判定处理程序、步行检测处理程序、参数设定程序、通知处理程序、流媒体处理程序以及护士呼叫处理程序等控制处理程序。由于这些第二实施方式中的SU控制程序、行动检测处理程序、通知处理程序、流媒体处理程序以及护士呼叫处理程序分别与第一实施方式中的SU控制程序、行动检测处理程序、通知处理程序、流媒体处理程序以及护士呼叫处理程序相同,故省略其说明。步行检测处理程序是基于拍摄部11拍摄的所述对象图像而将被监视人员Ob的步行速度以及步行时的大小作为所述规定的状态而进行检测的程序。参数设定程序是基于通过所述步行检测处理程序持续规定的期间求得的各结果,即被监视人员Ob的多个步行速度以及多个的步行时的大小而求所述规定的参数的值,将该求得的规定的参数的值作为在所述异常判定处理程序(异常判定处理部143b)中使用的参数存储到SU存储部16b中的程序。所述规定的参数,作为一例,在第一实施方式中是最终的判定区域,在第二实施方式中,作为另一例,是用于最终判定通过行动检测处理程序检测出的摔倒是否真的摔倒的阈值(摔倒判定阈值)。异常判定处理程序是基于通过所述行动检测处理程序求得的被监视人员Ob的规定的行动和在US存储部16b中存储的所述规定的参数、即摔倒判定阈值,判定被监视人员Ob的规定的行动是否异常的程序。在所述各种规定的数据中,例如包含本机的传感器ID、管理服务器装置SV的通信地址、所述规定的参数(在本实施方式中是摔倒判定阈值)、以及与所述规定的参数有关的状态(在本实施方式中是被监视人员Ob的步行速度以及步行时的大小)等执行这些上述各程序所需的数据或监视被监视人员Ob所需的数据等。这样的SU存储部16b,与SU存储部16a同样包含例如ROM、EEPROM以及RAM等。
SU存储部16b为了分别储存所述规定的参数以及与所述规定的参数有关的状态,功能性地包括参数信息存储部161b以及检测状态信息存储部162b。参数信息存储部161b存储用于判定作为监视对象的被监视人员的规定的行动是否异常的所述规定的参数(在本实施方式中是所述摔倒判定阈值)。检测状态信息存储部162b存储作为所述规定的状态的与所述规定的参数有关的状态(在本实施方式中是被监视人员Ob的步行速度以及步行时的大小)。
SU控制处理部14b与SU控制处理部14a同样是用于对传感器装置SUb的各部根据该各部的功能分别进行控制,通过拍摄部11获取对被监视人员Ob从其上方拍摄的对象图像,并基于该获取的对象图像而检测被监视人员Ob的规定的行动,在判定为该检测出的被监视人员Ob的规定的行动异常的情况下,为了向外部报告所述异常,将所述异常向管理服务器装置SV发送的电路。SU控制处理部14b例如包括CPU及其外围电路而构成。控制处理部14b通过执行所述控制处理程序,而功能性地包括SU控制部141、行动检测处理部142、异常判定处理部143b、步行检测处理部144b、参数设定部145b、通知处理部146、流媒体处理部147以及护士呼叫处理部148。由于这些第二实施方式中的SU控制部141、行动检测处理部142、通知处理部146、流媒体处理部147以及护士呼叫处理部148分别与第一实施方式中的SU控制部141、行动检测处理部142、通知处理部146、流媒体处理部147以及护士呼叫处理部148相同,故省略其说明。
步行检测处理部144b基于拍摄部11拍摄的所述对象图像而求被监视人员Ob的步行速度以及步行时的大小作为所述规定的状态的一种,并将该求得的被监视人员Ob的步行速度以及步行时的大小存储在检测状态信息存储部162b中。更具体而言,步行检测处理部144b首先通过例如背景差分法或帧差分法从拍摄部11拍摄的对象图像中提取作为被监视人员Ob的人体区域的运动人体区域。然后,步行检测处理部144b从该提取出的运动人体区域中的帧间的移动量求被监视人员Ob的步行速度,并求此时的运动人体区域的大小作为被监视人员Ob的大小。步行检测处理部144b可以按每帧将被监视人员Ob的步行速度以及步行时的大小存储在检测状态信息存储部162b中,此外,为了降低每帧的数据的偏差并且降低数据容量,也可以从按每帧求得的被监视人员Ob的步行速度以及步行时的大小中除去步行速度几乎为零(规定的阈值以下)的情况,并按一定期间(例如30秒、1分钟、5分钟等)进行平均,将该按一定期间进行平均后的被监视人员Ob的步行速度以及步行时的大小存储到检测状态信息存储部162b中。持续规定的期间实施这样的被监视人员Ob的步行速度以及步行时的大小的数据的收集。所述规定的期间可以是任意的期间,例如是适合于掌握被监视人员Ob的日常的行动的4~7天的程度。
参数设定部145b基于通过步行检测处理部144b求得的结果(即,在检测状态信息存储部162b中存储的被监视人员Ob的步行速度以及步行时的大小的各集合),求用于判定被监视人员Ob的规定的行动是否异常的规定的参数(在本实施方式中是摔倒判定阈值),将该求得的规定的参数的值作为在后述的异常判定处理部143b中使用的参数存储在SU存储部16b的参数信息存储部161b中。更具体而言,参数设定部145b如下所示设定所述摔倒判定阈值。
这里,大致能够直立地步行的被监视人员Ob能够以较快的步行速度步行,在从这样的步行方式摔倒的情况下,较急剧地倒地。另一方面,前屈地步行的被监视人员Ob以较慢的步行速度步行,在摔倒的情况下,不仅有时较急剧地倒地,还有时以缓慢地跌倒的方式倒地。然后,在从上方拍摄的对象图像上,所述大致能够直立地步行的被监视人员Ob的大小相对变小,另一方面,前屈地步行的被监视人员Ob的大小相对变大。
因此,在本实施方式中,通过步行速度及其步行时的大小对被监视人员Ob是大致能够直立地步行的人员还是前屈地步行的人员的区别进行识别,根据该识别结果设定摔倒判定阈值。更具体而言,分别对步行速度及其步行时的大小预先设定用于识别被监视人员Ob是大致能够直立地步行的人员还是前屈地步行的人员的区别的步行速度阈值以及步行时的大小阈值,并存储在SU存储部16b中。预先设定被监视人员Ob是大致能够直立地步行的人员的情况下的第一摔倒判定阈值,并保存在SU存储部16b中,预先设定被监视人员Ob是前屈地步行的人员的情况下的第二摔倒判定阈值,并存储在SU存储部16b中。如上所述,大致能够直立地步行的被监视人员Ob较急剧地倒地,另一方面,由于前屈地步行的被监视人员Ob不仅有时较急剧地倒地,还有时以缓慢地跌倒的方式倒地,所以第二摔倒判定阈值被设定为比第一摔倒判定阈值长的时间。例如,第一摔倒判定阈值被设定为0.1秒或0.3秒或0.5秒等,第二摔倒判定阈值被设定为2秒或3秒或5秒等。参数设定部145b首先通过分别从检测状态信息存储部162b中存储的被监视人员Ob的步行速度以及步行时的大小的各集合中除去步行速度几乎为零(规定的阈值以下)的情况并进行平均,求最终的步行速度以及步行时的大小。然后,在该求得的最终的步行速度为所述步行速度阈值以上且所述求得的最终的步行时的大小为所述步行时的大小阈值以下的第一情况下,参数设定部145b判定为被监视人员Ob是大致能够直立地步行的人员,并在参数信息存储部161b中存储第一摔倒判定阈值作为所述规定的参数。在所述求得的最终的步行速度比所述步行速度阈值小且所述求得的最终的步行时的大小比所述步行时的大小阈值大的第二情况下,参数设定部145b判定为被监视人员Ob是前屈地步行的人员,并在参数信息存储部161b中存储第二摔倒判定阈值作为所述规定的参数。另外,在所述求得的最终的步行速度以及步行时的大小不是所述第一情况也不是所述第二情况的情况下,可以将预先设定的默认值(第三摔倒判定阈值(例如位于所述第一摔倒判定阈值和所述第二摔倒判定阈值之间的适当的值等))作为所述规定的参数存储在参数信息存储部161b中,此外,也可以不设定所述规定的参数,异常判定处理部143b在通过行动检测处理部142检测出摔倒的情况下直接判定为异常。
异常判定处理部143b基于通过行动检测处理部142求得的被监视人员Ob的规定的行动和在US存储部16b的参数信息存储部161b中存储的所述规定的参数(在本实施方式中是摔倒判定阈值),判定被监视人员Ob的规定的行动是否异常。更具体而言,在本实施方式中,例如,预先将滚落以及摔倒设定为异常,异常判定处理部143a在通过行动检测处理部142求得的被监视人员Ob的规定的行动为滚落的情况下判定为异常,在通过行动检测处理部142求得的被监视人员Ob的规定的行动为摔倒,且通过该行动检测处理部142判定为摔倒的情况下的被监视人员Ob的头部的大小随时间的变化在摔倒判定阈值以下的时间内完成了的情况下,判定为异常。更详细而言,在参数信息存储部161b中存储了第一摔倒判定阈值的情况下,异常判定处理部143b在通过行动检测处理部142求得的被监视人员Ob的规定的行动为摔倒,且通过该行动检测处理部142判定为摔倒的情况下的被监视人员Ob的头部的大小随时间的变化在第一摔倒判定阈值以下的时间内完成了的情况下,判定为异常。由此,能够不将为了捡东西等的向下蜷身的情况等误判定为摔倒的异常,而更适当地判定大致能够直立地步行的被监视人员Ob的摔倒的异常。在参数信息存储部161b中存储了第二摔倒判定阈值的情况下,异常判定处理部143b在通过行动检测处理部142求得的被监视人员Ob的规定的行动为摔倒,且通过该行动检测处理部142判定为摔倒的情况下的被监视人员Ob的头部的大小随时间的变化在第二摔倒判定阈值以下的时间内完成了的情况下,判定为异常。由此,由于不仅在被监视人员Ob较急剧地倒地的情况下能够判定为异常,在以缓慢地跌倒的方式倒地的情况下也能够判定为异常,所以能够更适当地判定前屈地步行的被监视人员Ob的摔倒的异常。
另外,拍摄部11以及行动检测处理部142相当于对被监视人员Ob的规定的行动进行检测的第一检测部的一例。拍摄部11以及步行检测处理部144b相当于对与所述规定的参数有关的规定的状态进行检测的第二检测部的一例。传感器装置SUb相当于被监视人员监视装置的一例。此外,在本实施方式中,拍摄部11兼作为所述第一检测部以及所述第二检测部各自的一部分,但所述第一检测部和所述第二检测部也可以是单独的装置(没有兼用部分的装置)。
接下来,说明本实施方式中的被监视人员监视系统MSb以及传感器装置SUb的操作。图7是表示与第二实施方式的传感器装置中的参数的设定有关的操作的流程图。
在这种结构的被监视人员监视系统MSb中,若各装置SUb、SV、SP、TA接通电源,则执行必要的各部的初始化,并开始工作。在传感器装置SUb中,通过执行其控制处理程序,在控制处理部14b中功能性地构成US控制部141、行动检测处理部142、异常判定处理部143b、步行检测处理部144b、参数设定部145b、通知处理部146、流媒体处理部147、以及护士呼叫处理部148。
在设定所述规定的参数(在本实施方式中是最终的判定区域)的参数设定处理中,在图7中,首先,传感器装置SUb通过拍摄部11以及SU控制处理部14b,持续规定的期间检测、收集与所述规定的参数有关的规定的状态(在本实施方式中是被监视人员Ob的步行速度及其步行时的大小),并存储(记录)在SU存储部16b中。更具体而言,首先,SU控制部141通过拍摄部11对拍摄对象进行拍摄,并生成对象图像。接下来,步行检测处理部144b基于拍摄部11拍摄的所述对象图像求被监视人员Ob的步行速度及其步行时的大小来作为规定的状态的一种,并将该求得的被监视人员Ob的步行速度及其步行时的大小存储在检测状态信息存储部162b中。然后,持续规定的期间,例如1周按各帧来实施这样的处理。
若像这样收集用于求参数的各数据(实际数据),则传感器装置SUb通过参数设定部145b进行将作为所述参数的值的摔倒判定阈值设定给参数信息存储部161b的阈值的设定处理(S2b),并结束参数设定处理。更具体而言,参数设定部145b首先通过对通过步行检测处理部144b持续所述规定的期间求得的被监视人员Ob的多个步行速度进行平均而求最终的步行速度,并且通过对通过步行检测处理部144b持续所述规定的期间求得的被监视人员Ob的多个步行时的大小进行平均而求最终的步行时的大小。另外,在求该平均时,除去步行速度几乎为零(规定的阈值以下)的情况。接下来,在该求得的最终的步行速度为所述步行速度阈值以上且所述求得的最终的步行时的大小为所述步行时的大小阈值以下的所述第一情况下,参数设定部145b判定为被监视人员Ob是大致能够直立地步行的人员,并将第一摔倒判定阈值作为所述规定的参数存储在参数信息存储部161b中。此外,在所述求得的最终的步行速度比所述步行速度阈值小且所述求得的最终的步行时的大小比所述步行时的大小阈值大的所述第二情况下,参数设定部145b判定为被监视人员Ob是前屈地步行的人员,并将第二摔倒判定阈值作为所述规定的参数存储在参数信息存储部161b中。
和第一实施方式同样,根据需要在适当的定时实施这样的参数设定处理。
另外,处理S1b相当于持续规定的期间多次检测与所述规定的参数有关的规定的状态的第二检测步骤的一例,处理S2b相当于基于在所述第二检测步骤中持续所述规定的期间检测出的多个所述规定的状态而求所述规定的参数的值,并将所述求得的规定的参数的值作为在后述的异常判定步骤中使用的所述规定的参数存储在参数信息存储部161b中的参数设定步骤的一例。
(异常判定处理)
除了实施后述的异常判定处理S13b来代替异常判定处理S13a这一点之外,与图5所示的流程图同样地执行判定被监视人员Ob的规定的行动是否异常的异常判定处理。
在该第二实施方式中的异常判定处理S13b中,异常判定处理部143b在处理S11中基于被监视人员Ob的规定的行动和在参数信息存储部161b中存储的所述规定的参数(在本实施方式中是摔倒判定阈值),判定被监视人员Ob的规定的行动是否异常。更具体而言,异常判定处理部143a在通过行动检测处理部142求得的被监视人员Ob的规定的行动为滚落的情况下判定为异常,在参数信息存储部161b中存储了第一摔倒判定阈值的情况下,在通过行动检测处理部142求得的被监视人员Ob的规定的行动为摔倒,且通过该行动检测处理部142判定为摔倒的情况下的被监视人员Ob的头部的大小随时间的变化在第一摔倒判定阈值以下的时间内完成了的情况下判定为异常,然后,在参数信息存储部161b中存储了第二摔倒判定阈值的情况下,在通过行动检测处理部142求得的被监视人员Ob的规定的行动为摔倒,且通过该行动检测处理部142判定为摔倒的情况下的被监视人员Ob的头部的大小随时间的变化在第二摔倒判定阈值以下的时间内完成了的情况下判定为异常。然后,在除这些情况以外的其他情况下,异常判定处理部143b不判定为异常。
如以上所述,本实施方式中的被监视人员监视系统SMb、传感器装置SUb以及在它们之中实现的被监视人员监视方法,能够通过参数设定部145b自动地设定并定制所述规定的参数(在本实施方式中是摔倒判定阈值)。而且,由于基于持续规定的期间检测出的多个所述规定的状态(在本实施方式中是被监视人员Ob的步行速度及其步行时的大小)求所述规定的参数(在本实施方式中是摔倒判定阈值)的值,所以上述被监视人员监视系统SMb、传感器装置SUb以及在它们之中实现的被监视人员监视方法能够更加符合实情。由于上述被监视人员监视系统SMb、传感器装置SUb以及在它们之中实现的被监视人员监视方法自动地设定所述规定的参数,所以能够减少工夫,并能够减少对错误的被监视人员Ob设定所述规定的参数的情况。
由于上述被监视人员监视系统SMb、传感器装置SUb以及在它们之中实现的被监视人员监视方法,通过参数设定部145b基于持续所述规定的期间检测出的多个被监视人员Ob的步行速度以及步行时的大小而求所述规定的参数的值(在本实施方式中是第一摔倒判定阈值或者第二摔倒判定阈值),所以能够区别被监视人员Ob是大致能够直立地步行的人员还是前屈地步行的人员,并能够以对应于该区别的值设定所述规定的参数的值。因此,上述被监视人员监视系统SMb、传感器装置SUb以及在它们之中实现的被监视人员监视方法能够根据被监视人员Ob的特性而自动地设定所述规定的参数的值,能够更高精度地检测摔倒。
另外,被监视人员监视系统MS也可以包括兼具第一实施方式的传感器装置SUa的功能和第二实施方式的传感器装置SUb的功能的传感器装置SU。
本说明书公开了如上所述的各种方式的技术,其中主要的技术总结如下。
一方式所涉及的被监视人员监视装置包括:参数信息存储部,存储用于判定作为监视对象的被监视人员的规定的行动是否异常的规定的参数;第一检测部,检测所述被监视人员的所述规定的行动;异常判定部,基于所述第一检测部检测出的所述被监视人员的规定的行动和所述参数信息存储部中存储的所述规定的参数,判定所述被监视人员的规定的行动是否异常;第二检测部,检测与所述规定的参数有关的规定的状态;以及参数设定部,基于所述第二检测部持续规定的期间检测出的多个所述规定的状态求所述规定的参数的值,并将所述求得的规定的参数的值作为在所述异常判定部中使用的所述规定的参数而存储到所述参数信息存储部中。
这样的被监视人员监视装置包括第二检测部以及参数设定部,通过所述第二检测部检测与所述规定的参数有关的规定的状态,并通过所述参数设定部,基于所述第二检测部持续规定的期间检测出的多个所述规定的状态而求所述规定的参数的值,并将该求得的规定的参数的值作为在异常判定部中使用的所述规定的参数而存储到参数信息存储部中。上述被监视人员监视装置能够像这样自动地设定并定制参数。由于基于所述第二检测部持续规定的期间检测出的多个所述规定的状态求所述规定的参数的值,所以上述被监视人员监视装置能够更加符合实情。由于上述被监视人员监视装置自动地设定参数,所以能够减少工夫,并能够减少对错误的被监视人员Ob设定所述规定的参数的情况。
在另一方式中,在上述被监视人员监视装置中,所述规定的参数是成为所述判定的对象的判定区域,所述第二检测部将所述被监视人员的行动轨迹作为所述规定的状态进行检测,所述参数设定部基于所述第二检测部持续规定的期间检测出的多个所述被监视人员的行动轨迹而求所述被监视人员的行动区域作为所述判定区域的值。优选在上述被监视人员监视装置中,所述第二检测部包括:拍摄部,拍摄规定的对象区域;以及行动轨迹检测处理部,基于所述拍摄部拍摄的所述规定的对象区域的对象图像而求所述被监视人员的行动轨迹作为所述规定的状态。
由于这样的被监视人员监视装置通过所述第二检测部将所述被监视人员的行动轨迹作为所述规定的状态进行检测,并通过所述参数设定部基于所述第二检测部持续规定的期间检测出的多个所述被监视人员的行动轨迹而求所述被监视人员的行动区域作为所述判定区域的值,所以能够根据被监视人员的实际行动来设定所述判定区域。
在另一方式中,在上述被监视人员监视装置中,所述第二检测部进一步将窗帘的移动轨迹作为所述规定的状态进行检测,所述参数设定部进一步基于所述第二检测部持续规定的期间检测出的多个所述窗帘的移动轨迹而求所述窗帘的移动区域,将所述求得的窗帘的移动区域从所述判定区域中排除。优选在上述被监视人员监视装置中,所述第二检测部包括:拍摄部,拍摄规定的对象区域;以及移动轨迹检测处理部,基于所述拍摄部拍摄的所述规定的对象区域的对象图像而求窗帘的移动轨迹作为所述规定的状态。
若窗帘摇动,则有时误检测为被监视人员的规定的行动。由于上述被监视人员监视装置通过所述第二检测部,进一步将窗帘的移动轨迹作为所述规定的状态进行检测,且通过所述参数设定部,进一步基于所述第二检测部持续规定的期间检测出的多个所述窗帘的移动轨迹而求所述窗帘的移动区域,将该求得的窗帘的移动区域从所述判定区域排除,所以能够减少窗帘的摇动引起的所述误检测。
在另一方式中,在这些上述被监视人员监视装置中,所述第二检测部包括:拍摄部,拍摄规定的对象区域;以及亮度检测处理部,求所述拍摄部拍摄的所述规定的对象区域的对象图像中的各像素的各亮度作为所述规定的状态,所述参数设定部进一步基于所述第二检测部持续规定的期间检测出的多个所述对象图像中的各像素的各亮度值而求由在同位置的亮度变动振幅为规定的亮度阈值以上的像素组成的亮度变动区域,将所述求得的亮度变动区域从所述判定区域排除。
若被监视人员或窗帘等映入例如电视或镜子等,则由于该映入的像,可能误检测为被监视人员的规定的行动。所述电视或镜子等在图像上的亮度变动大。由于上述被监视人员监视装置通过所述第二检测部求所述规定的对象区域的对象图像中的各像素的各亮度作为所述规定的状态,且通过所述参数设定部进一步基于所述第二检测部持续规定的期间检测出的多个所述对象图像中的各像素的各亮度值而求由在同位置的亮度变动振幅为规定的亮度阈值以上的像素组成的亮度变动区域,并将该求得的亮度变动区域从所述判定区域中排除,所以能够减少映入的像引起的所述误检测。
在另一方式中,在上述被监视人员监视装置中,所述第一检测部包括:拍摄部,从上方拍摄规定的对象区域;以及行动检测处理部,基于所述拍摄部拍摄的所述规定的对象区域的对象图像,对所述被监视人员的头部进行检测,并基于所述检测出的所述被监视人员的头部的大小随时间的变化而检测所述被监视人员的所述规定的行动,所述第二检测部基于所述第一检测部的所述拍摄部拍摄的所述对象图像而将所述被监视人员的步行速度以及步行时的大小作为所述规定的状态进行检测,所述参数设定部基于所述第二检测部持续规定的期间检测出的多个所述被监视人员的步行速度以及步行时的大小而求所述规定的参数的值。优选在上述被监视人员监视装置中,在所述第一检测部检测出的所述被监视人员的规定的行动为摔倒,且在检测到所述被监视人员的规定的行动为摔倒时所述被监视人员的头部的大小随时间的变化在所述规定的参数的值(摔倒判定阈值)以下的时间内完成了的情况下,所述异常判定部判定为所述异常。
大致能够直立地步行的被监视人员能够以较快的步行速度步行,在从这样的步行方式摔倒的情况下,较急剧地倒地。另一方面,前屈地步行的被监视人员以较慢的步行速度步行,在摔倒的情况下,不仅有时较急剧地倒地,还有时以缓慢地跌倒的方式倒地。然后,在从上方拍摄的对象图像上,所述大致能够直立地步行的被监视人员的大小相对变小,另一方面,前屈地步行的被监视人员的大小相对变大。由于上述被监视人员监视装置通过所述参数设定部,基于所述第二检测部持续规定的期间检测出的多个所述被监视人员的步行速度以及步行时的大小而求所述规定的参数的值,所以能够区别被监视人员是大致能够直立地步行的被监视人员还是前屈地步行的被监视人员,且能够以对应于该区别的值设定所述规定的参数的值。因此,上述被监视人员监视装置能够根据被监视人员的特性而自动地设定所述规定的参数的值,能够更高精度地检测摔倒。
另一方式所涉及的被监视人员监视方法包括:第一检测步骤,检测作为监视对象的被监视人员的规定的行动;异常判定步骤,基于通过所述第一检测步骤检测出的所述被监视人员的规定的行动和规定的参数,判定所述被监视人员的规定的行动是否异常;第二检测步骤,持续规定的期间多次检测与所述规定的参数有关的规定的状态;以及参数设定步骤,基于通过所述第二检测步骤持续所述规定的期间检测出的多个所述规定的状态而求所述规定的参数的值,并将所述求得的规定的参数的值作为在所述异常判定步骤中使用的所述规定的参数而存储到参数信息存储部中。
这样的被监视人员监视方法包括第二检测步骤以及参数设定步骤,通过所述第二检测步骤,检测与所述规定的参数有关的规定的状态,并通过所述参数设定步骤,基于通过所述第二检测步骤持续规定的期间检测出的多个所述规定的状态而求所述规定的参数的值,将该求得的规定的参数的值作为在异常判定步骤中使用的所述规定的参数而存储到参数信息存储部中。这样的上述被监视人员监视方法能够自动地设定并定制参数。由于基于通过所述第二检测步骤持续规定的期间检测出的多个所述规定的状态而求所述规定的参数的值,所以上述被监视人员监视方法能够更符合实情。由于上述被监视人员监视方法自动地设定参数,所以能够减少工夫,并能够减少对错误的被监视人员Ob设定所述规定的参数的情况。
并且,另一方式所涉及的被监视人员监视系统是包括如下装置的被监视人员监视系统:被监视人员监视装置,检测作为监视对象的被监视人员的规定的行动,并在判定为所述检测出的所述被监视人员的规定的行动异常的情况下,向外部报告所述异常;以及终端装置,与所述被监视人员监视装置可通信地连接,接收所述被监视人员监视装置报告的所述异常并输出,所述被监视人员监视装置是上述的任意一种被监视人员监视装置。
由此,能够提供使用了上述任意一种被监视人员监视装置的被监视人员监视系统,且这种被监视人员监视系统能够自动地设定并定制参数。
本申请基于2015年11月9日申请的日本国专利申请特愿2015-219309,其内容全部包含于此。
为了表现本发明,在上述中参照附图通过实施方式适当且充分地说明了本发明,但应认为作为本领域技术人员能够容易地变更和/或改良上述实施方式。因此,本领域技术人员实施的变更方式或者改良方式只要不脱离权利要求书中记载的权利要求的权利范围,则该变更方式或者该改良方式可包括在该权利要求的权利范围中而被解释。
工业适用性
根据本发明,能够提供被监视人员监视装置和被监视人员监视方法以及被监视人员监视系统。
Claims (7)
1.一种被监视人员监视装置,包括:
参数信息存储部,存储用于判定作为监视对象的被监视人员的规定的行动是否异常的规定的参数;
第一检测部,检测所述被监视人员的所述规定的行动;
异常判定部,基于所述第一检测部检测出的所述被监视人员的规定的行动和在所述参数信息存储部中存储的所述规定的参数,判定所述被监视人员的规定的行动是否异常;
第二检测部,检测与所述规定的参数有关的规定的状态;以及
参数设定部,基于所述第二检测部持续规定的期间检测出的多个所述规定的状态而求所述规定的参数的值,并将求得的所述规定的参数的值作为在所述异常判定部中使用的所述规定的参数而存储到所述参数信息存储部中。
2.如权利要求1所述的被监视人员监视装置,其中,
所述规定的参数是成为所述判定的对象的判定区域,
所述第二检测部将所述被监视人员的行动轨迹作为所述规定的状态进行检测,
所述参数设定部基于所述第二检测部持续规定的期间检测出的多个所述被监视人员的行动轨迹,将所述被监视人员的行动区域作为所述判定区域的值来求出。
3.如权利要求2所述的被监视人员监视装置,其中,
所述第二检测部进一步将窗帘的移动轨迹作为所述规定的状态进行检测,
所述参数设定部进一步基于所述第二检测部持续规定的期间检测出的多个所述窗帘的移动轨迹而求所述窗帘的移动区域,并将求得的所述窗帘的移动区域从所述判定区域中排除。
4.如权利要求2或权利要求3所述的被监视人员监视装置,其中,
所述第二检测部包括:拍摄部,拍摄规定的对象区域;以及亮度检测处理部,将所述拍摄部拍摄的所述规定的对象区域的对象图像中的各像素的各亮度作为所述规定的状态来求出,
所述参数设定部进一步基于所述第二检测部持续规定的期间检测出的多个所述对象图像中的各像素的各亮度值而求由同位置的亮度变动振幅为规定的亮度阈值以上的像素组成的亮度变动区域,并将求得的所述亮度变动区域从所述判定区域中排除。
5.如权利要求1所述的被监视人员监视装置,其中,
所述第一检测部包括:拍摄部,从上方拍摄规定的对象区域;以及行动检测处理部,基于所述拍摄部拍摄的所述规定的对象区域的对象图像而检测所述被监视人员的头部,并基于所述检测出的所述被监视人员的头部的大小随时间的变化而检测所述被监视人员的所述规定的行动,
所述第二检测部基于所述第一检测部的所述拍摄部拍摄的所述对象图像,将所述被监视人员的步行速度以及步行时的大小作为所述规定的状态进行检测,
所述参数设定部基于所述第二检测部持续规定的期间检测出的多个所述被监视人员的步行速度以及步行时的大小而求所述规定的参数的值。
6.一种被监视人员监视方法,包括:
第一检测步骤,检测作为监视对象的被监视人员的规定的行动;
异常判定步骤,基于通过所述第一检测步骤检测出的所述被监视人员的规定的行动和规定的参数,判定所述被监视人员的规定的行动是否异常,
第二检测步骤,持续规定的期间检测多个与所述规定的参数有关的规定的状态;以及
参数设定步骤,基于通过所述第二检测步骤持续所述规定的期间检测出的多个所述规定的状态而求所述规定的参数的值,并将求得的所述规定的参数的值作为在所述异常判定步骤中使用的所述规定的参数而存储到参数信息存储部中。
7.一种被监视人员监视系统,包括:被监视人员监视装置,检测作为监视对象的被监视人员的规定的行动,并在判定为所述检测出的所述被监视人员的规定的行动异常的情况下,向外部报告所述异常;以及终端装置,与所述被监视人员监视装置可通信地连接,接收所述被监视人员监视装置报告的所述异常并输出,其中,
所述被监视人员监视装置是权利要求1至权利要求5中的任一项所述的被监视人员监视装置。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2015-219309 | 2015-11-09 | ||
JP2015219309 | 2015-11-09 | ||
PCT/JP2016/080767 WO2017081995A1 (ja) | 2015-11-09 | 2016-10-18 | 被監視者監視装置および該方法ならびに被監視者監視システム |
Publications (1)
Publication Number | Publication Date |
---|---|
CN108352106A true CN108352106A (zh) | 2018-07-31 |
Family
ID=58695075
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201680064626.6A Pending CN108352106A (zh) | 2015-11-09 | 2016-10-18 | 被监视人员监视装置和该方法以及被监视人员监视系统 |
Country Status (5)
Country | Link |
---|---|
US (1) | US20180322334A1 (zh) |
EP (1) | EP3361464A4 (zh) |
JP (2) | JP6142975B1 (zh) |
CN (1) | CN108352106A (zh) |
WO (1) | WO2017081995A1 (zh) |
Families Citing this family (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPWO2019130674A1 (ja) * | 2017-12-25 | 2021-01-07 | コニカミノルタ株式会社 | 介護施設用行動異常検知装置、該方法および該システム |
JPWO2019187492A1 (ja) * | 2018-03-30 | 2021-05-13 | コニカミノルタ株式会社 | 転倒検知装置および該方法ならびに被監視者監視支援システム |
WO2020003955A1 (ja) * | 2018-06-26 | 2020-01-02 | コニカミノルタ株式会社 | コンピューターで実行されるプログラム、情報処理装置、および、コンピューターで実行される方法 |
WO2020170290A1 (ja) * | 2019-02-18 | 2020-08-27 | 日本電気株式会社 | 異常判定装置、方法、及びコンピュータ可読媒体 |
JP7494902B2 (ja) * | 2020-03-17 | 2024-06-04 | 日本電気株式会社 | 検知方法 |
JP2025029539A (ja) * | 2023-08-21 | 2025-03-06 | グローリー株式会社 | 設置支援装置、設置支援システム、設置支援方法およびプログラム |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH119559A (ja) * | 1997-06-25 | 1999-01-19 | Matsushita Electric Works Ltd | 生活異常検知システム |
JP2001283358A (ja) * | 2000-03-28 | 2001-10-12 | Sanyo Electric Co Ltd | 空間内異常検出装置及び空間内異常検出方法 |
CN1428963A (zh) * | 2001-12-25 | 2003-07-09 | 松下电器产业株式会社 | 异常检测装置及异常检测系统 |
EP2058777A1 (en) * | 2007-03-06 | 2009-05-13 | Kabushiki Kaisha Toshiba | Suspicious behavior detection system and method |
CN101785036A (zh) * | 2007-08-21 | 2010-07-21 | 日本电气株式会社 | 行动监视系统及行动监视方法 |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5760315B2 (ja) * | 2010-01-07 | 2015-08-05 | 株式会社ニコン | 画像判定装置 |
JP2012004720A (ja) * | 2010-06-15 | 2012-01-05 | Hitachi Ltd | 監視装置、及び監視システム |
TWI600202B (zh) * | 2014-03-06 | 2017-09-21 | 烏明克公司 | 用於在汽車應用中的電池組之摻雜並且塗覆的鋰過渡金屬氧化物陰極材料 |
US9666063B2 (en) * | 2015-04-09 | 2017-05-30 | Google Inc. | Motion sensor adjustment |
-
2016
- 2016-10-18 WO PCT/JP2016/080767 patent/WO2017081995A1/ja active Application Filing
- 2016-10-18 US US15/774,039 patent/US20180322334A1/en not_active Abandoned
- 2016-10-18 CN CN201680064626.6A patent/CN108352106A/zh active Pending
- 2016-10-18 EP EP16863959.9A patent/EP3361464A4/en not_active Withdrawn
- 2016-10-18 JP JP2017511965A patent/JP6142975B1/ja active Active
-
2017
- 2017-05-10 JP JP2017093812A patent/JP6870465B2/ja active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH119559A (ja) * | 1997-06-25 | 1999-01-19 | Matsushita Electric Works Ltd | 生活異常検知システム |
JP2001283358A (ja) * | 2000-03-28 | 2001-10-12 | Sanyo Electric Co Ltd | 空間内異常検出装置及び空間内異常検出方法 |
CN1428963A (zh) * | 2001-12-25 | 2003-07-09 | 松下电器产业株式会社 | 异常检测装置及异常检测系统 |
EP2058777A1 (en) * | 2007-03-06 | 2009-05-13 | Kabushiki Kaisha Toshiba | Suspicious behavior detection system and method |
CN101785036A (zh) * | 2007-08-21 | 2010-07-21 | 日本电气株式会社 | 行动监视系统及行动监视方法 |
Also Published As
Publication number | Publication date |
---|---|
EP3361464A4 (en) | 2018-12-12 |
JPWO2017081995A1 (ja) | 2017-11-09 |
JP2017194971A (ja) | 2017-10-26 |
JP6142975B1 (ja) | 2017-06-07 |
WO2017081995A1 (ja) | 2017-05-18 |
US20180322334A1 (en) | 2018-11-08 |
JP6870465B2 (ja) | 2021-05-12 |
EP3361464A1 (en) | 2018-08-15 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN108352106A (zh) | 被监视人员监视装置和该方法以及被监视人员监视系统 | |
CN110477925B (zh) | 一种针对敬老院老人的跌倒检测与预警方法及系统 | |
CN115116133B (zh) | 一种用于独居老人监护的异常行为检测系统及方法 | |
JP6915421B2 (ja) | 見守り支援システム及びその制御方法 | |
KR100822476B1 (ko) | 원격 응급상황 모니터링 시스템 및 방법 | |
EP3432772B1 (en) | Using visual context to timely trigger measuring physiological parameters | |
JP6852733B2 (ja) | 生体監視装置及び生体監視方法 | |
JP6292283B2 (ja) | 行動検知装置および行動検知方法ならびに被監視者監視装置 | |
JP2021030051A (ja) | 転倒リスク評価方法、転倒リスク評価装置及び転倒リスク評価プログラム | |
WO2017183602A1 (ja) | 被監視者監視システムおよび被監視者監視方法 | |
WO2018003752A1 (ja) | 呼吸異常検出装置及び呼吸異常検出方法 | |
CN109480816A (zh) | 心律监控方法、装置、电子设备及计算机可读存储介质 | |
WO2020003953A1 (ja) | コンピューターで実行されるプログラム、情報処理装置、および、コンピューターで実行される方法 | |
JPWO2020003715A1 (ja) | レポート出力プログラム、レポート出力方法およびレポート出力装置 | |
JP2024079830A (ja) | 制御プログラム、情報処理装置、情報処理システム、および制御方法 | |
JP2021174189A (ja) | サービスのメニューの作成を支援する方法、サービスの利用者の評価を支援する方法、当該方法をコンピューターに実行させるプログラム、および、情報提供装置 | |
JP6908028B2 (ja) | 被監視者監視装置、該方法、該システムおよびプログラム | |
JP6737355B2 (ja) | 頭部検出装置および頭部検出方法ならびに被監視者監視装置 | |
JP2023108852A (ja) | 表示装置、表示システム、表示方法、および表示プログラム | |
JP2021068236A (ja) | 情報共有装置、情報共有システム、および情報共有プログラム | |
JP6481537B2 (ja) | 被監視者監視装置および被監視者監視方法 | |
JP6115693B1 (ja) | 対象物検出装置および対象物検出方法ならびに被監視者監視装置 | |
JP6930536B2 (ja) | 生体監視システム及び生体監視システムのプログラム | |
JPWO2020137061A1 (ja) | 情報表示方法、プログラムおよび情報表示装置 | |
JP2024167938A (ja) | 情報処理装置、情報処理プログラムおよび機械学習装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
WD01 | Invention patent application deemed withdrawn after publication |
Application publication date: 20180731 |
|
WD01 | Invention patent application deemed withdrawn after publication |