KR102667622B1 - 영상과 음성 신호 분석에 의한 상황판단 시스템 및 그 운용방법 - Google Patents
영상과 음성 신호 분석에 의한 상황판단 시스템 및 그 운용방법 Download PDFInfo
- Publication number
- KR102667622B1 KR102667622B1 KR1020210148344A KR20210148344A KR102667622B1 KR 102667622 B1 KR102667622 B1 KR 102667622B1 KR 1020210148344 A KR1020210148344 A KR 1020210148344A KR 20210148344 A KR20210148344 A KR 20210148344A KR 102667622 B1 KR102667622 B1 KR 102667622B1
- Authority
- KR
- South Korea
- Prior art keywords
- signal
- server
- unit
- analysis
- situation
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000011017 operating method Methods 0.000 title description 2
- 201000003152 motion sickness Diseases 0.000 claims abstract description 117
- 238000000034 method Methods 0.000 claims abstract description 82
- 230000005236 sound signal Effects 0.000 claims abstract description 76
- 238000004891 communication Methods 0.000 claims abstract description 44
- 238000012423 maintenance Methods 0.000 claims abstract description 11
- 238000000926 separation method Methods 0.000 claims description 63
- 230000008569 process Effects 0.000 claims description 49
- 238000000605 extraction Methods 0.000 claims description 48
- 230000033001 locomotion Effects 0.000 claims description 41
- 238000012545 processing Methods 0.000 claims description 36
- 230000004044 response Effects 0.000 claims description 28
- 231100001261 hazardous Toxicity 0.000 claims description 26
- 238000001514 detection method Methods 0.000 claims description 21
- 239000000284 extract Substances 0.000 claims description 18
- 238000003384 imaging method Methods 0.000 claims description 12
- 238000012544 monitoring process Methods 0.000 claims description 10
- 239000003814 drug Substances 0.000 claims description 9
- 239000000203 mixture Substances 0.000 claims description 9
- 239000003086 colorant Substances 0.000 claims description 8
- 230000000694 effects Effects 0.000 claims description 8
- 238000003331 infrared imaging Methods 0.000 claims description 6
- 208000024891 symptom Diseases 0.000 claims description 6
- 230000015572 biosynthetic process Effects 0.000 claims description 3
- 238000003786 synthesis reaction Methods 0.000 claims description 3
- 230000003213 activating effect Effects 0.000 claims description 2
- 230000009471 action Effects 0.000 abstract description 13
- 238000013473 artificial intelligence Methods 0.000 abstract description 10
- 206010012289 Dementia Diseases 0.000 abstract description 9
- 238000005516 engineering process Methods 0.000 description 26
- 238000010586 diagram Methods 0.000 description 13
- 238000000537 electroencephalography Methods 0.000 description 9
- 210000004556 brain Anatomy 0.000 description 6
- 230000036544 posture Effects 0.000 description 6
- 230000029058 respiratory gaseous exchange Effects 0.000 description 6
- 230000008901 benefit Effects 0.000 description 4
- 230000036772 blood pressure Effects 0.000 description 4
- 238000010801 machine learning Methods 0.000 description 4
- 208000034656 Contusions Diseases 0.000 description 3
- 238000000354 decomposition reaction Methods 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 230000036541 health Effects 0.000 description 3
- 230000002452 interceptive effect Effects 0.000 description 3
- 230000000750 progressive effect Effects 0.000 description 3
- 210000004761 scalp Anatomy 0.000 description 3
- 230000035939 shock Effects 0.000 description 3
- 206010052428 Wound Diseases 0.000 description 2
- 208000027418 Wounds and injury Diseases 0.000 description 2
- 230000037007 arousal Effects 0.000 description 2
- 210000003403 autonomic nervous system Anatomy 0.000 description 2
- 230000006399 behavior Effects 0.000 description 2
- 230000001149 cognitive effect Effects 0.000 description 2
- 201000010099 disease Diseases 0.000 description 2
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 2
- 230000002996 emotional effect Effects 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 230000003340 mental effect Effects 0.000 description 2
- 238000010295 mobile communication Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000035790 physiological processes and functions Effects 0.000 description 2
- 230000001953 sensory effect Effects 0.000 description 2
- 210000001260 vocal cord Anatomy 0.000 description 2
- 208000017667 Chronic Disease Diseases 0.000 description 1
- 230000002159 abnormal effect Effects 0.000 description 1
- 230000003466 anti-cipated effect Effects 0.000 description 1
- 239000008280 blood Substances 0.000 description 1
- 210000004369 blood Anatomy 0.000 description 1
- 230000007177 brain activity Effects 0.000 description 1
- 230000009084 cardiovascular function Effects 0.000 description 1
- 210000003169 central nervous system Anatomy 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 239000002131 composite material Substances 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 210000004072 lung Anatomy 0.000 description 1
- 238000000691 measurement method Methods 0.000 description 1
- 210000000214 mouth Anatomy 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000002265 prevention Effects 0.000 description 1
- 230000002250 progressing effect Effects 0.000 description 1
- 238000012827 research and development Methods 0.000 description 1
- 238000010561 standard procedure Methods 0.000 description 1
- 230000000638 stimulation Effects 0.000 description 1
- 201000009032 substance abuse Diseases 0.000 description 1
- 230000035900 sweating Effects 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 238000001308 synthesis method Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 238000000844 transformation Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G08—SIGNALLING
- G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
- G08B25/00—Alarm systems in which the location of the alarm condition is signalled to a central station, e.g. fire or police telegraphic systems
- G08B25/01—Alarm systems in which the location of the alarm condition is signalled to a central station, e.g. fire or police telegraphic systems characterised by the transmission medium
- G08B25/016—Personal emergency signalling and security systems
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/103—Measuring devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
- A61B5/1032—Determining colour of tissue for diagnostic purposes
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/44—Detecting, measuring or recording for evaluating the integumentary system, e.g. skin, hair or nails
- A61B5/441—Skin evaluation, e.g. for skin disorder diagnosis
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/74—Details of notification to user or communication with user or patient; User input means
- A61B5/7465—Arrangements for interactive communication between patient and care services, e.g. by using a telephone network
- A61B5/747—Arrangements for interactive communication between patient and care services, e.g. by using a telephone network in case of emergency, i.e. alerting emergency services
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01D—MEASURING NOT SPECIALLY ADAPTED FOR A SPECIFIC VARIABLE; ARRANGEMENTS FOR MEASURING TWO OR MORE VARIABLES NOT COVERED IN A SINGLE OTHER SUBCLASS; TARIFF METERING APPARATUS; MEASURING OR TESTING NOT OTHERWISE PROVIDED FOR
- G01D21/00—Measuring or testing not otherwise provided for
- G01D21/02—Measuring two or more variables by means not covered by a single other subclass
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/56—Extraction of image or video features relating to colour
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/62—Extraction of image or video features relating to a temporal dimension, e.g. time-based feature extraction; Pattern tracking
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
-
- G—PHYSICS
- G08—SIGNALLING
- G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
- G08B21/00—Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
- G08B21/02—Alarms for ensuring the safety of persons
-
- G—PHYSICS
- G08—SIGNALLING
- G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
- G08B21/00—Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
- G08B21/18—Status alarms
- G08B21/182—Level alarms, e.g. alarms responsive to variables exceeding a threshold
-
- G—PHYSICS
- G08—SIGNALLING
- G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
- G08B25/00—Alarm systems in which the location of the alarm condition is signalled to a central station, e.g. fire or police telegraphic systems
- G08B25/007—Details of data content structure of message packets; data protocols
-
- G—PHYSICS
- G08—SIGNALLING
- G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
- G08B25/00—Alarm systems in which the location of the alarm condition is signalled to a central station, e.g. fire or police telegraphic systems
- G08B25/14—Central alarm receiver or annunciator arrangements
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/26—Speech to text systems
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
- G10L25/03—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the type of extracted parameters
- G10L25/15—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the type of extracted parameters the extracted parameters being formant information
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L63/00—Network architectures or network communication protocols for network security
- H04L63/04—Network architectures or network communication protocols for network security for providing a confidential data exchange among entities communicating through data packet networks
- H04L63/0428—Network architectures or network communication protocols for network security for providing a confidential data exchange among entities communicating through data packet networks wherein the data content is protected, e.g. by encrypting or encapsulating the payload
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- General Physics & Mathematics (AREA)
- Business, Economics & Management (AREA)
- Emergency Management (AREA)
- Life Sciences & Earth Sciences (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Computer Security & Cryptography (AREA)
- Medical Informatics (AREA)
- General Health & Medical Sciences (AREA)
- Human Computer Interaction (AREA)
- Pathology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Veterinary Medicine (AREA)
- Public Health (AREA)
- Animal Behavior & Ethology (AREA)
- Surgery (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Signal Processing (AREA)
- Molecular Biology (AREA)
- Heart & Thoracic Surgery (AREA)
- Biomedical Technology (AREA)
- Acoustics & Sound (AREA)
- Computational Linguistics (AREA)
- Biophysics (AREA)
- Computing Systems (AREA)
- Dentistry (AREA)
- Computer Hardware Design (AREA)
- Software Systems (AREA)
- Evolutionary Computation (AREA)
- Databases & Information Systems (AREA)
- Emergency Medicine (AREA)
- Critical Care (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Artificial Intelligence (AREA)
- Dermatology (AREA)
- Nursing (AREA)
- General Engineering & Computer Science (AREA)
Abstract
본 발명은 현장 또는 특정 장소에서 동시 확보된 영상신호와 음성급 신호의 각 패턴을 인공지능으로 각각 정밀 분석하여 현장에서 발생된 상황을 명확하게 판단하고 지정된 관리자에게 자동 통보하여 필요한 후속조치가 빠르게 이루어지도록 하며, 대화가 원활하게 이루어질 수 없는 영유아, 치매환자, 강압적 또는 폭력적 주변환경 속에서 확보된 영상신호와 주변의 음성급 신호를 분석하여 현장에서 발생된 상황을 정확하게 판단 기록하고 지정된 관리자에게 통보하여 필요한 조치가 빠르게 이루어지도록 하는 영상과 음성 신호 분석에 의한 상황판단 시스템 및 그 운용방법에 관한 것으로, 감시대상체 주변의 다수 객체에 대한 영상신호로 촬영하고 주변에서 발생되는 음성급 신호를 입력하며 확인된 좌표정보와 연계시켜 실시간으로 할당된 메모리 영역에 기록하며 지정된 상대방과 접속하여 암호화된 신호로 실시간으로 통신하는 멀미입력단말부; 멀미입력단말부와 멀미통신망을 경유하여 접속하고 실시간 입력되는 영상신호와 음성급 신호를 분석하여 감시대상 각 객체 사이의 거리와 각각의 이동방향과 이동속도와 이동시간과 다른 객체와의 접촉유지시간과 각 객체가 서로 접속된 부위의 색상 이미지와 접속유지 시간을 각각 분석하며, 실시간 입력되는 음성급 신호를 분석하여 발성된 단어와 주파수와 강약레벨과 지속시간을 각각 분석하며 학습 저장된 정보와 비교분석하고 각 객체 사이에 발생된 이벤트를 판단하며 할당된 영역에 시간정보와 연계 기록하며 해당 제어신호에 의하여 지정된 상대방 또는 고객단말부에 전송하는 상황분석판단서버; 상황분석판단서버와 멀미통신망을 경유하여 접속하고 상황분석판단서버에서 비교 분석된 정보와 멀미입력단말부가 전송한 영상신호와 음성급 신호를 선택적으로 입력받는 고객단말부를 포함하는 특징에 의하여 현장 또는 특정 장소에서 동시 확보된 영상신호와 음성급 신호의 각 패턴을 인공지능으로 각각 정밀 분석하여 현장에서 발생된 상황을 명확하게 판단하고 또한, 대화가 원활하게 이루어질 수 없는 영유아, 치매환자, 폭력적 또는 강압적 주변환경 속에서 동시 확보된 영상신호와 주변의 음성급 신호를 분석하여 현장에서 발생된 상황을 정확하게 판단 기록하고 지정된 관리자에게 통보하여 필요한 조치가 빠르게 이루어지도록 하는 효과가 있다.
Description
본 발명은 영상과 음성 신호 분석에 의한 상황판단 시스템 및 그 운용방법에 관한 것으로 더욱 상세하게는 현장 또는 특정 장소에서 동시 확보된 영상신호와 음성신호(음성급 신호)의 각 패턴을 인공지능으로 각각 정밀 분석하여 현장에서 발생된 상황을 명확하게 판단하고 지정된 관리자에게 자동 통보하여 필요한 후속조치가 빠르게 이루어지도록 하는 영상과 음성 신호 분석에 의한 상황판단 시스템 및 그 운용방법에 관한 것이다.
또한, 본 발명은 대화가 원활하게 이루어질 수 없는 영유아, 치매환자, 강압적 또는 폭력적 주변환경 속에서 확보된 영상신호와 주변의 음성급 신호를 분석하여 현장에서 발생된 상황을 정확하게 판단 기록하고 지정된 관리자에게 통보하여 필요한 조치가 빠르게 이루어지도록 하는 영상과 음성 신호 분석에 의한 상황판단 시스템 및 그 운용방법에 관한 것이다.
이하의 설명에서 음성(voice) 신호와 음성급 신호와 오디오(audio) 신호와 오디오급 신호는 같은 의미이고 문맥에 적합하게 선택적으로 사용하기로 한다.
현대 사회는 부부가 함께 직장생활을 하는 맞벌이 가정 또는 핵가족이 증가하면서 영유아와 미취학 어린아이를 유아원 또는 유치원 등에 위탁하여 보호하도록 하는 시간이 길어지고 있으며, 이러한 경우 관리 허술 등에 의하여 돌발적인 위험 또는 사고, 학대에 노출되는 문제가 있다.
또한, 소득 증대에 따른 삶의 질 향상과 저출산과 100 세 장수시대의 진행과 같은 시대적 조류 변화에 의하여 치료중심의 보건의료 패러다임이 예방과 관리 중심으로 변화하면서 고령층의 만성질환관리와 건강관리 서비스에 대한 연구개발이 비교적 매우 활발히 진행되고 있다.
한편, 핵가족화 등에 의하여 혼자 사는 독신자, 청소년, 고령층의 숫자도 급속히 증가하는 추세에 있고, 혼자 사는 독거세대가 되어 독거생활이 지속되면서 각종 싸움, 위험, 질환, 학대, 질병, 사고 등에 노출되는 것이 일반적이다.
특히, 자신의 생각을 정확하게 표현하기 어려운 영유아와 치매환자의 경우 주변의 위해(harm)적 물리적 접촉을 적절하게 표현하거나 그 상황을 피하거나 대응하지 못하므로 정신적 및 육체적으로 큰 후유증으로 남게 되거나 끝내 사망에 이르는 문제가 있다.
이러한 문제를 일부 해소하는 종래기술로 대한민국 특허 출원번호 제10-2019-0114179호(2019. 09. 17.)에 의한 것으로 ‘영상 또는 음성 분석에 기반한 상호 대화형 컨텐츠 제공 시스템’이 있다.
도 1 은 종래기술의 일 실시 예에 의한 것으로 영상과 음성 신호 분석에 의한 상황판단 시스템의 기능 구성도 이다.
이하, 첨부된 도면을 참조하여 설명하면 시스템(1)은 영상장비(5)와 서버(10)를 포함하는 구성이다.
영상장비(5)는 영상신호와 소리신호를 수신 입력하고, 서버(10)와 유선 또는 무선으로 접속하여 수신 입력된 신호를 전송한다.
서버(10)는 영상신호로부터 촬영 장소와 영상 내 객체 검출과 식별과 객체의 수, 행동, 외관, 위치 등을 검출하고 정상상황과 위험, 폭력, 배회, 대상의 넘어짐이 포함되는 이상상황을 분석한다. 또한, 서버(10)는 음성신호를 분석하여 특정인의 대화, 배경 소리 신호를 분석하되 대화의 경우 주파수, 진폭, 파형, 음성신호 간의 간격 등을 분석하여 문의, 요청 등의 유형으로 판단한다.
서버(10)는 영상과 음성으로 판단된 결과에 의하여 선택된 대화형 문장을 음성신호로 출력하고 상대방으로부터 음성으로 입력되면 문장으로 변환하여 인식한다. 대화의 맥락에 의한 내용에는 길안내, 날씨, 위험, 시간 등이 포함된다.
이러한 종래기술은 획득된 음성과 영상 신호를 분석하여 상대방이 필요로 하는 정보를 예측하고 대화로 제공하는 장점이 있다.
그러나 상대방이 원활한 의사소통을 할 수 없는 영유아 이거나 치매환자 또는 말이 없는 강압적 또는 폭력적 주변상황 등의 경우 대화가 이루어질 수 없는 문제를 해결하지 못하고 있다.
따라서 대화를 원활하게 진행 할 수 없는 영유아, 치매환자, 강압적 또는 폭력적 주변상황에서도 현재 상황을 빠르고 정확하게 인식하여 기록하고 필요한 조치가 이루어지도록 하는 기술을 개발할 필요가 있다.
상기와 같은 종래 기술의 문제점과 필요성을 해소하기 위하여 안출한 본 발명은 현장 또는 특정 장소에서 동시 확보된 영상신호와 음성급 신호의 각 패턴을 인공지능으로 각각 정밀 분석하여 현장에서 발생된 상황을 명확하게 판단하고 필요한 경우 지정된 관리자에게 자동 통보하여 필요한 후속조치가 빠르게 이루어지도록 하는 영상과 음성 신호 분석에 의한 상황판단 시스템 및 그 운용방법을 제공하는 것이 그 목적 중 하나이다.
또한, 본 발명은 대화가 원활하게 이루어질 수 없는 영유아, 치매환자, 폭력적 또는 강압적 주변환경 속에서 동시 확보된 영상신호와 주변의 음성급 신호를 분석하여 현장에서 발생된 상황을 정확하게 판단 기록하고 지정된 관리자에게 통보하여 필요한 조치가 빠르게 이루어지도록 하는 영상과 음성 신호 분석에 의한 상황판단 시스템 및 그 운용방법을 제공하는 것이 그 목적 중 하나이다.
상기와 같은 목적을 달성하기 위하여 안출한 본 발명의 영상과 음성 신호 분석에 의한 상황판단 시스템은 감시대상체 주변의 다수 객체에 대한 영상신호로 촬영하고 주변에서 발생되는 음성급 신호를 입력하며 확인된 좌표정보와 연계시켜 실시간으로 할당된 메모리 영역에 기록하며 지정된 상대방과 접속하여 암호화된 신호로 실시간으로 통신하는 멀미입력단말부(1000); 상기 멀미입력단말부(1000)와 멀미통신망(2000)을 경유하여 접속하고 실시간 입력되는 영상신호와 음성급 신호를 분석하여 감시대상 각 객체 사이의 거리와 각각의 이동방향과 이동속도와 이동시간과 다른 객체와의 접촉유지시간과 각 객체가 서로 접속된 부위의 색상 이미지와 접속유지 시간을 각각 분석하며, 실시간 입력되는 음성급 신호를 분석하여 발성된 단어와 주파수와 강약레벨과 지속시간을 각각 분석하며 학습 저장된 정보와 비교분석하고 각 객체 사이에 발생된 이벤트를 판단하며 할당된 영역에 시간정보와 연계 기록하며 해당 제어신호에 의하여 지정된 상대방 또는 고객단말부(4000)에 전송하는 상황분석판단서버(3000); 상기 상황분석판단서버(3000)와 멀미통신망(2000)을 경유하여 접속하고 상기 상황분석판단서버(3000)에서 비교 분석된 정보와 상기 멀미입력단말부(1000)가 전송한 영상신호와 음성급 신호를 선택적으로 입력받는 고객단말부(4000); 를 포함할 수 있다.
상기 상황분석판단서버(3000)와 멀미통신망(2000)을 경유하여 접속하고 검색과 요청에 의하여 인체의 각 부위별 피부에서 발현되는 피부색상과 각 색상별 원인과 증세의 해당 정보를 각각 제공하고 인체로부터 발생되는 음성급 신호의 주파수와 세기와 지속시간의 각각에 대한 원인과 결과의 해당 정보를 각각 제공하는 신체의학정보서버(5000); 를 더 포함할 수 있다.
상기 멀미입력단말부(1000)는 다수 객체의 주변을 해당 제어신호에 의하여 가시광선 칼라와 적외선과 자외선으로 각각 촬영하고 합성하여 출력하는 영상촬영부(1100); 다수 객체의 주변에서 발생되는 음성급 신호를 해당 제어신호에 의하여 입력하는 오디오입력부(1200); 상기 영상촬영부(1100)와 오디오입력부(1200)에 접속하고 상기 영상신호와 음성급 신호를 실시간 입력하여 할당된 영역에 연계된 상태로 기록하고 내장 설치된 해당 운용프로그램에 의하여 상기 멀미입력단말부(1000)를 구성하는 각 기능부에 해당 제어신호를 각각 출력하여 운용상태를 제어하고 감시하는 멀미관리부(1300); 상기 멀미관리부(1300)의 해당 제어신호에 의하여 위치기반서비스에 의한 좌표정보를 수신 입력하는 위치정보부(1400); 상기 멀미관리부(1300)의 해당 제어신호에 의하여 실시간 입력되는 상기 영상신호와 음성급 신호와 좌표정보를 할당된 영역에 연계된 상태로 기록하는 멀미기록부(1500); 상기 멀미관리부(1300)의 해당 제어신호에 의하여 멀미통신망(2000)을 경유하여 상황분석판단서버(3000)에 접속하고 양방향 통신하는 멀미통신부(1600); 를 포함할 수 있다.
상기 상황분석판단서버(3000)는 상기 멀미입력단말부(1000)와 멀미통신망(2000)을 경유하여 접속하고 양방향 통신하는 분석서버통신부(3010); 상기 분석서버통신부(3010)와 접속하고 내장 설치된 해당 운용프로그램에 의하여 상기 상황분석판단서버(3000)를 구성하는 각 기능부에 해당 제어신호를 각각 출력하여 운용상태를 제어하고 감시하는 분석서버관리부(3020); 상기 분석서버관리부(3020)의 해당 제어신호에 의하여 상기 멀미입력단말부(1000)로부터 입력되는 영상신호를 가시광선으로 촬영된 영상신호와 적외선으로 촬영된 영상신호와 자외선으로 촬영된 영상신호로 각각 분리하고 가시광선의 칼라 영상신호를 256 개의 색상으로 색분해 처리하는 서버색분해부(3030); 상기 분석서버관리부(3020)의 해당 제어신호에 의하여 상기 멀미입력단말부(1000)로부터 입력되는 음성급 신호의 성문을 분석하고 해당 주파수와 강약레벨과 지속시간을 각각 추출하는 서버성문추출부(3040); 상기 분석서버관리부(3020)의 해당 제어신호에 의하여 상기 멀미입력단말부(1000)로부터 입력되는 음성급 신호를 문자로 변환하는 서버에스티티부(3050); 상기 분석서버관리부(3020)의 해당 제어신호에 의하여 신체의학정보서버(5000)로부터 검색된 인체의 각 부위별 피부에서 발현되는 피부색상과 각 피부색상별 원인과 증세의 해당 정보와 인체로부터 발생되는 음성급 신호의 주파수와 세기와 지속시간에 의한 각 원인과 결과의 해당 정보를 할당된 영역에 기록 관리하여 분석의 기준이 되는 신체분석기준정보부(3060); 를 포함할 수 있다.
상기 상황분석판단서버(3000)는 상기 분석서버관리부(3020)의 해당 제어신호에 의하여 상기 서버성문추출부(3040)가 추출한 음성급 신호를 분석하여 신체에 위해(harm)를 가하는 음성급 신호를 추출하는 위험음성급신호추출부(3070); 상기 분석서버관리부(3020)의 해당 제어신호에 의하여 상기 서버에스티티부(3050)가 변환한 문자 또는 문자의 배열이 기록 관리되는 감시대상 문자에 해당하는지를 판단하는 감시대상문자추출부(3080); 상기 분석서버관리부(3020)의 해당 제어신호에 의하여 상기 서버색분해부(3030)가 색분해한 색 신호를 이미지 프레임 단위로 분석하여 인체의 피부가 위해를 받아 발현되는 색상과 해당 프레임에서의 좌표정보를 추출하는 위험색분해색상추출부(3090); 상기 분석서버관리부(3020)의 해당 제어신호에 의하여 상기 멀미입력단말부(1000)로부터 입력되는 영상신호를 이미지 프레임 단위로 분석하여 각 객체를 구분 추출하고 구분된 각 객체의 인체구성 특징을 각각 추출하는 객체구성특징부(3100); 상기 분석서버관리부(3020)의 해당 제어신호에 의하여 상기 객체구성특징부(3100)가 추출한 각 객체의 인체구성에 의한 사이 거리, 각 객체의 이동방향, 이동속도, 이동시간, 다른 객체와의 접촉과 접촉유지시간을 이미지 프레임 단위로 각각 분석하는 객체운동추출부(3110); 상기 분석서버관리부(3020)의 해당 제어신호에 의하여 상기 위험색분해색상추출부(3090)가 특정 개체의 피부에 발현된 색상 신호를 위해에 의하여 발현된 것으로 분석하면 해당 이미지 프레임에서의 해당 좌표정보를 입력받고 상기 객체운동추출부(3110)가 특정 객체와 객체 사이에 접촉된 것으로 분석하면 해당 이미지 프레임에서의 접촉한 좌표정보를 입력받아 각각의 해당 이미지 프레임의 생성 시간이 동일한 시간대 이고 각각의 좌표정보가 유사한지를 검출하는 이미지위해검출부(3120); 상기 분석서버관리부(3020)의 해당 제어신호에 의하여 상기 서버성문추출부(3040)가 분석한 성문에 의하여 음성급 신호의 주파수와 강약레벨이 상기 신체분석기준정보부(3060)에 기록된 해당 기준값 보다 높은 경우와 지속시간이 해당 기준값보다 짧거나 긴 경우에 위해 음성급 신호로 분류하는 오디오위해검출부(3130); 를 더 포함할 수 있다.
상기 멀미입력단말부(1000)와 상황분석판단서버(3000)와 고객단말부(4000)는 개인 신상정보 보호를 위하여 송수신되는 모든 정보를 150 워드 단위의 패킷프레임으로 암호화하여 송신하고 수신하여 복호화하는 구성으로 이루어질 수 있다.
상기 영상촬영부(1100)는 해당 제어신호에 의하여 감시대상체 주변의 다수 객체의 영상을 초당 40프레임의 가시광선으로 촬영하여 입력하는 가시광선촬영부(1110); 해당 제어신호에 의하여 감시대상체 주변의 다수 객체의 영상을 초당 40프레임의 적외선으로 촬영하여 입력하는 적외선촬영부(1120); 해당 제어신호에 의하여 감시대상체 주변의 다수 객체의 영상을 초당 40프레임의 자외선으로 촬영하여 입력하는 자외선촬영부(1130); 상기 가시광선촬영부(1110)와 적외선촬영부(1120)와 자외선촬영부(1130)가 각각 촬영한 해당 영상신호를 분리가능하게 합성하는 이미지프레임합성부(1140); 를 포함할 수 있다.
상기 서버색분해부(3030)는 상기 분석서버관리부(3020)의 해당 제어신호에 의하여 분석서버통신부(3010)를 통하여 멀미입력단말부(1000)로부터 수신되고 입력된 영상신호로부터 가시광선 파장의 영상신호를 분리 추출하는 가시광선파장분리부(3031); 상기 분석서버관리부(3020)의 해당 제어신호에 의하여 분석서버통신부(3010)를 통하여 멀미입력단말부(1000)로부터 수신되고 입력된 영상신호로부터 적외선 파장의 영상신호를 분리 추출하는 적외선파장분리부(3032); 상기 분석서버관리부(3020)의 해당 제어신호에 의하여 분석서버통신부(3010)를 통하여 멀미입력단말부(1000)로부터 수신되고 입력된 영상신호로부터 자외선 파장의 영상신호를 분리 추출하는 적외선파장분리부(3033); 상기 분석서버관리부(3020)의 해당 제어신호에 의하여 상기 가시광선파장분리부(3031)로부터 분리되고 가시광선으로 촬영된 영상신호를 256 개의 각각 다른 색상 신호로 색분해 처리하는 색분해부(3034); 를 포함할 수 있다.
상기 영상촬영부(1100)는 해당 제어신호에 의하여 감시대상체 주변의 온도와 습도를 각각 검출하는 온습도 검출부(1150); 를 더 포함할 수 있다.
상기와 같은 목적을 달성하기 위하여 안출한 본 발명의 영상과 음성 신호 분석에 의한 상황판단 시스템 운용방법은 멀미입력단말부와 상황분석판단서버와 고객단말부와 신체의학정보서버를 포함하는 영상과 음성 신호 분석에 의한 상황판단 시스템 운용방법에 있어서, 상기 멀미입력단말부를 활성화시켜 주변의 음성급 신호를 입력하고 영상신호를 촬영하여 상기 상황분석판단서버에 실시간 전송하는 스캔과정; 상기 멀미입력단말부로부터 영상신호와 음성급 신호를 각각 입력받은 상기 상황분석판단서버가 영상신호를 색분해하는 색분해과정; 상기 상황분석판단서버가 영상신호를 이미지 시그널 프로세싱 처리하여 촬영된 각 객체의 구성특징과 움직임을 각각 분석하는 객체처리과정; 상기 상황분석판단서버에 의하여 음성급 신호를 성문분석과 문자분석을 하는 오디오분석과정; 상기 상황분석판단서버에 색분해된 결과와 객체처리된 결과와 오디오분석된 결과를 분석하여 위해상황을 검출하는 위해추출과정; 상기 상황분석판단서버에 의하여 상기 위해추출과정에서 위해상황으로 분석되면 상기 고객단말부에 통보하는 위해통보과정;을 포함할 수 있다.
상기 스캔과정은 상기 멀미입력단말부에 의하여 스캔 대상 지역을 가시광선과 적외선과 자외선으로 각각 촬영하여 영상신호를 입력하는 제 11 단계; 상기 멀미입력단말부에 의하여 스캔 대상 지역의 촬영에 동기시켜 주변에서 발생되는 음성급 신호를 함께 입력하는 제 12 단계; 상기 멀미입력단말부에 의하여 스캔 대상 지역의 촬영에 동기시켜 시간정보가 포함된 위치정보를 입력하는 제 13 단계; 상기 멀미입력단말부에 의하여 영상신호와 음성급 신호와 위치정보를 연계 상태로 기록 관리하고 상기 상황분석판단서버에 실시간 전송하는 제 14 단계; 를 포함할 수 있다.
상기 색분해과정은 상기 상황분석판단서버에 의하여 가시광선으로 촬영된 영상신호를 256개의 색신호로 색분해하는 제 21 단계; 상기 상황분석판단서버에 의하여 인체의 위해 상황으로 발생된 색신호가 포함된 이미지 프레임을 검출하는 제 22 단계; 상기 상황분석판단서버에 의하여 위해 색신호가 포함된 이미지 프레임 정보와 해당 이미지 프레임 내의 좌표정보를 분석하는 제 23 단계; 를 포함할 수 있다.
상기 객체처리과정은 상기 상황분석판단서버에 의하여 가시광선으로 촬영된 영상신호와 적외선으로 촬영된 영상 신호 중에서 선택된 어느 하나 또는 어느 하나 이상으로부터 이미지 프레임 단위마다 이미지 시그널 프로세싱 처리하여 포함된 각 객체를 추출하는 제 31 단계; 상기 상황분석판단서버에 의하여 추출된 각 객체의 팔, 다리, 얼굴, 몸통으로 구분되는 신체적 특징을 추출하는 제 32 단계; 상기 상황분석판단서버에 의하여 각 객체별 추출된 신체적 특징의 각 요소별 이동방향, 이동속도, 이동시간, 이동과 정지좌표, 정지시간을 분석하는 제 33 단계; 상기 상황분석판단서버에 의하여 상기 제 33 단계에서 각 객체가 위해 상태로 접촉하는지를 분석하는 제 34 단계; 를 포함할 수 있다.
상기 오디오분석과정은 상기 상황분석판단서버에 의하여 입력된 음성급 신호를 분석하고 오디오 신호의 주파수값과 레벨값과 지속시간값을 각각 추출하는 제 41 단계; 상기 상황분석판단서버에 의하여 상기 제 41 단계에서 각각 추출된 값을 기록된 기준값과 대비하여 위해 이벤트에 해당하는지를 분석하는 제 42 단계; 상기 상황분석판단서버에 의하여 입력된 음성급 신호를 문자신호로 변환하는 제 43 단계; 상기 상황분석판단서버에 의하여 상기 제 43 단계에서 변환된 문자신호를 기록된 위해문자 신호와 대비하여 위해 문자 이벤트에 해당하는지를 분석하는 제 44 단계; 를 포함할 수 있다.
상기 위해추출과정은 상기 상황분석판단서버에 의하여 위해 색신호가 포함되었는지 판단하는 제 51 단계; 상기 단계에서 위해 색신호가 포함되어 있으면 해당 이미지 프레임의 위해 색신호가 위치한 좌표정보를 위해 색신호 정보로 기록하는 제 52 단계; 상기 상황분석판단서버에 의하여 각 객체가 위해 상태로 접촉하는지 판단하는 제 53 단계; 상기 상황분석판단서버에 의하여 상기 제 53 단계에서 각 객체가 위해 상태로 접촉된 프레임의 좌표정보를 위해접촉정보로 기록하는 제 54 단계; 상기 상황분석판단서버에 의하여 위해 색신호가 포함된 이미지 프레임의 좌표정보와 각 객체가 위해 상태로 접촉된 이미지 프레임의 좌표정보가 일치하는지를 판단하는 제 55 단계; 상기 상황분석판단서버에 의하여 제 55 단계에서 일치하는 것으로 판단되면 위해 색신호 좌표정보와 위해 접촉 좌표정보와 해당 시간정보를 할당된 메모리 영역에 연계 상태로 기록 하는 제 56 단계; 상기 상황분석판단서버에 의하여 음성급 신호에 위해 오디오 이벤트에 해당하는지 판단하는 제 57 단계; 상기 상황분석판단서버에 의하여 상기 제 57 단계에서 오디오 이벤트에 해당하지 않는 것으로 판단되면 위해 문자 이벤트에 해당하는지 판단하는 제 58 단계; 상기 상황분석판단서버에 의하여 위해 오디오 이벤트에 해당하거나 위해 문자 이벤트에 해당하는 것으로 판단되면 해당 위해성 음성급 신호를 할당된 메모리 영역에 기록하는 제 59 단계; 를 포함할 수 있다.
상기 위해통보과정은 상기 상황분석판단서버에 의하여 위해 색신호 정보가 기록되었는지 판단하는 제 61 단계; 상기 상황분석판단서버에 의하여 상기 제 61 단계에서 위해 색신호 정보가 기록되어 있으면 위해 접촉정보가 기록되어 있는지 판단하는 제 62 단계; 상기 상황분석판단서버에 의하여 상기 제 62 단계에서 위해 접촉정보가 기록되어 있으면 위해 음성급 신호 정보가 기록되어 있는지 판단하는 제 63 단계; 상기 상황분석판단서버에 의하여 상기 제 63 단계에서 위해 음성급 신호 정보가 기록되어 있으면 위험메시지를 지정된 상대방 또는 고객단말부에 통보하고 종료로 진행하는 제 64 단계; 를 포함할 수 있다.
상기 위해통보과정은 상기 제 61 단계의 위해 색신호 정보와 제 62 단계의 위해 접촉정보가 기록되고 상기 제 63 단계의 위해 음성급 신호 정보가 기록되지 않은 것으로 판단되면 주의 메시지를 지정된 상대방 또는 고객단말부에 통보하고 종료로 진행하는 제 65 단계; 를 더 포함할 수 있다.
상기와 같은 구성의 본 발명은 현장 또는 특정 장소에서 동시 확보된 영상신호와 음성급 신호의 각 패턴을 인공지능으로 각각 정밀 분석하여 현장에서 발생된 상황을 명확하게 판단하고 필요한 경우 지정된 관리자에게 자동 통보하여 필요한 후속조치가 빠르게 이루어지도록 하는 장점이 있다.
또한, 본 발명은 대화가 원활하게 이루어질 수 없는 영유아, 치매환자, 폭력적 또는 강압적 주변환경 속에서 동시 확보된 영상신호와 주변의 음성급 신호를 분석하여 현장에서 발생된 상황을 정확하게 판단 기록하고 지정된 관리자에게 통보하여 필요한 조치가 빠르게 이루어지도록 하는 장점이 있다.
도 1 은 종래기술의 일 실시 예에 의한 것으로 영상과 음성 신호 분석에 의한 상황판단 시스템의 기능 구성도,
도 2 는 본 발명의 일 실시 예에 의한 것으로 영상과 음성 신호 분석에 의한 상황판단 시스템 기능 구성도,
도 3 은 본 발명의 일 실시 예에 의한 것으로 멀미입력단말부의 상세 기능블록 구성도,
도 4 는 본 발명의 일 실시 예에 의한 것으로 영상촬영부의 세부 기능 블록구성도,
도 5 는 본 발명의 일 실시 예에 의한 것으로 상황분석판단서버의 상세 기능블록 구성도,
도 6 은 본 발명의 일 실시 예에 의한 것으로 서버색분해부의 세부 기능 블록구성도,
도 7 은 본 발명의 일 실시 예에 의한 것으로 영상과 음성 신호 분석에 의한 상황판단 시스템 운용방법을 설명하는 전체 순서도,
도 8 은 본 발명의 일 실시 예에 의한 것으로 스캔과정을 설명하는 세부 순서도,
도 9 는 본 발명의 일 실시 예에 의한 것으로 색분해과정을 설명하는 세부 순서도,
도 10 은 본 발명의 일 실시 예에 의한 것으로 객체저리과정을 설명하는 세부 순서도,
도 11 은 본 발명의 일 실시 예에 의한 것으로 오디오분해과정을 설명하는 세부 순서도,
도 12 는 본 발명의 일 실시 예에 의한 것으로 위해추출과정을 설명하는 세부 순서도,
그리고
도 13 은 본 발명의 일 실시 예에 의한 것으로 위해통보과정을 설명하는 세부 순서도 이다.
도 2 는 본 발명의 일 실시 예에 의한 것으로 영상과 음성 신호 분석에 의한 상황판단 시스템 기능 구성도,
도 3 은 본 발명의 일 실시 예에 의한 것으로 멀미입력단말부의 상세 기능블록 구성도,
도 4 는 본 발명의 일 실시 예에 의한 것으로 영상촬영부의 세부 기능 블록구성도,
도 5 는 본 발명의 일 실시 예에 의한 것으로 상황분석판단서버의 상세 기능블록 구성도,
도 6 은 본 발명의 일 실시 예에 의한 것으로 서버색분해부의 세부 기능 블록구성도,
도 7 은 본 발명의 일 실시 예에 의한 것으로 영상과 음성 신호 분석에 의한 상황판단 시스템 운용방법을 설명하는 전체 순서도,
도 8 은 본 발명의 일 실시 예에 의한 것으로 스캔과정을 설명하는 세부 순서도,
도 9 는 본 발명의 일 실시 예에 의한 것으로 색분해과정을 설명하는 세부 순서도,
도 10 은 본 발명의 일 실시 예에 의한 것으로 객체저리과정을 설명하는 세부 순서도,
도 11 은 본 발명의 일 실시 예에 의한 것으로 오디오분해과정을 설명하는 세부 순서도,
도 12 는 본 발명의 일 실시 예에 의한 것으로 위해추출과정을 설명하는 세부 순서도,
그리고
도 13 은 본 발명의 일 실시 예에 의한 것으로 위해통보과정을 설명하는 세부 순서도 이다.
본 발명은 다양한 변환을 가할 수 있고 여러 가지 실시 예를 가질 수 있는바, 특정 실시 예들을 도면에 예시하고 상세한 설명에서 상세하게 설명하고자 한다. 그러나 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변환, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 본 발명을 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다.
이하의 설명에서 신체와 인체는 같은 의미이고 감시대상체와 감시대상자와 감시대상주변은 같은 의미이며 각각 문장에 적합하게 선택적으로 기재하기로 한다.
도 2 는 본 발명의 일 실시 예에 의한 것으로 영상과 음성 신호 분석에 의한 상황판단 시스템 기능 구성도 이고, 도 3 은 본 발명의 일 실시 예에 의한 것으로 멀미입력단말부의 상세 기능블록 구성도 이며, 도 4 는 본 발명의 일 실시 예에 의한 것으로 영상촬영부의 세부 기능 블록구성도 이고, 도 5 는 본 발명의 일 실시 예에 의한 것으로 상황분석판단서버의 상세 기능블록 구성도 이며, 도 6 은 본 발명의 일 실시 예에 의한 것으로 서버색분해부의 세부 기능 블록구성도 이다.
이하, 첨부된 도면을 참조하여 본 발명의 일 실시 예로 영상과 음성 신호 분석에 의한 상황판단 시스템(900)을 설명하면 멀미입력단말부(1000)와 멀미통신망(2000)과 상황분석판단서버(3000)와 고객단말부(4000)와 신체의학정보서버(5000)를 포함하는 구성이다.
미디어(media)에는 오디오 미디어와 비디오 미디어를 포함하는 다수가 있으며 다수의 미디어를 멀티미디어라 하고, 이하의 설명에서 멀티미디어와 멀미는 같은 의미이며 문맥에 적합하게 선택적으로 기재하기로 한다.
멀미입력단말부(1000)와 상황분석판단서버(3000)와 고객단말부(4000)는 개인 신상정보 보호를 위하여 송수신되는 모든 정보를 150 워드(word) 단위의 패킷프레임(packet frame)으로 암호화하여 송신하고 수신하여 복호화하는 구성이다.
여기서 1 워드는 8 바이트(byte)로 이루어지고 1 바이트는 8 비트(bit)로 이루어지며, 디지털 신호의 구분에서 표준적인 방법(방식)이다. 각각은 필요에 의하여 가감할 수 있음은 매우 당연하다.
멀미입력단말부(1000)는 감시대상체(950)의 다수 객체 주변을 칼라의 영상신호로 촬영하고 주변에서 발생되는 음성급 신호와 함께 실시간 입력하며 위치정보에 연계된 상태로 할당된 영역에 기록하고 지정된 상대방과 접속하여 실시간으로 전송한다.
위치정보는 해당 지역(건물 포함)을 일반적으로 부르는 명칭, 주소, 건물인 경우 층수와 호수 등으로 이루어지며 최근 많이 이용되는 좌표정보가 포함된다.
좌표정보에는 GPS를 이용하는 것과 위치기반서비스(LBS)에 의한 것이 있고, 이하의 설명에서 위치정보와 좌표정보는 같은 의미로 사용하며, 문맥에 적합하게 선택적으로 기재하기로 한다.
멀미입력단말부(1000)는 영상촬영부(1100)와 오디오입력부(1200)와 멀미관리부(1300)와 위치정보부(1400)와 멀미기록부(1500)와 멀미통신부(1600)를 포함하는 구성이다.
영상촬영부(1100)는 다수 객체의 주변을 해당 제어신호에 의하여 가시광선 칼라 영상신호와 적외선 영상신호로 각각 촬영한다.
영상촬영부(1100)는 가시광선촬영부(1110)와 적외선촬영부(1120)와 자외선촬영부(1130)와 이미지프레임합성부(1140)와 온습도 검출부(1150)를 포함하는 구성이다.
가시광선촬영부(1110)는 멀미관리부(1300)의 해당 제어신호에 의하여 감시대상체 주변의 다수 객체의 영상(image)을 초당 40 프레임(frame)의 가시광선 파장대역으로 촬영하여 입력한다.
적외선촬영부(1120)는 멀미관리부(1300)의 해당 제어신호에 의하여 감시대상체 주변의 다수 객체의 영상을 초당 40 프레임(frame)의 적외선 파장 대역으로 촬영하여 입력한다.
자외선촬영부(1130)는 멀미관리부(1300)의 해당 제어신호에 의하여 감시대상체 주변의 다수 객체의 영상을 초당 40 프레임(frame)의 자외선 파장 대역으로 촬영하여 입력한다.
이미지프레임합성부(1140)는 가시광선촬영부(1110)와 적외선촬영부(1120)와 자외선촬영부(1130)가 각각 촬영한 해당 영상신호를 각각의 해당 대역으로 분리가능하게 표식하여 합성하며 이러한 합성방식은 일반적으로 알려진 방법 중에 하나를 사용할 수 있다.
온습도 검출부(1150)는 멀미관리부(1300)의 해당 제어신호에 의하여 감시대상체 주변의 온도와 습도를 일반적으로 알 수 있거나 현실적으로 가능한 방식을 이용하여 각각 검출한다. 즉, 온도와 습도는 온도센서와 습도센서를 각각 구비하고 해당 방향을 향하게 하여 각각 검출(측정)하는 직접 검출방식으로 측정할 수 있다. 필요에 의하여 감시대상체 주변으로부터 촬영된 영상신호를 디지털 이미지 프로세싱(DIP : digital image processing) 방식으로 분석하므로 해당 주변의 온도와 습도를 간접적으로 검출 또는 측정하며, 이러한 기술은 영상으로 주변 객체의 온도를 비접촉 방식 원격 측정하는 기술과 같이 이미 잘 알려져 있고 해당 기술을 그대로 이용 또는 적용하는 것으로 설명하고 이해한다. 이러한 경우 온습도 검출부(1150)는 직접 검출한 온도와 습도 및 간접 검출한 온도와 습도를 각각 산술평균한 값을 연산하고 필요에 의하여 어느 하나 또는 어느 하나 이상을 선택하여 사용할 수 있다.
이하에서 디지털 이미지 처리(DIP)와 이미지 시그널 처리(ISP : image signal processing)와 디지털 신호 처리(DSP : digital signal processing)는 같은 의미로 사용하고 필요에 의하여 문맥에 적합하게 선택적으로 기재(사용)한다. 디지털 이미지 처리(DIP)와 이미지 시그널 처리(ISP)와 디지털 신호 처리(DSP)는 잘 알려져 있으므로 더 이상의 구체적인 설명을 생략하기로 한다.
감시대상체 주변의 온도와 습도를 각각 검출하는 이유는 주변의 온도와 습도의 영향에 의하여 검출하고자 하는 감시대상객체(950)의 해당 직접적인 온도값에 영향을 미치므로, 주변의 해당 값 및 측정 거리 등을 이용하고 반복된 실험결과를 적용하여 적절하게 보상처리하므로 비교적 정확한 해당 값을 얻기 위한 것이다. 또한, 이와 같이 검출된 주변 온도와 습도 값은 해당 값에 의하여 영향을 받는 다른 미디어의 분석에서도 해당 보상을 위하여 사용됨은 당연하다.
오디오입력부(1200)는 다수 객체의 주변에서 발생되는 음성급 신호를 해당 제어신호에 의하여 입력한다.
멀미관리부(1300)는 영상촬영부(1100)와 오디오입력부(1200)에 접속하고 영상급 신호(영상신호)와 음성급 신호(음성신호)를 실시간 입력하여 할당된 영역에 연계된 상태로 기록하며 내장 설치된 해당 운용프로그램에 의하여 멀미입력단말부(1000)를 구성하는 각 기능부에 해당 제어신호를 각각 출력하여 운용상태를 제어하고 감시한다.
위치정보부(1400)는 멀미관리부(1300)의 해당 제어신호에 의하여 해당 위치에 대한 명칭, 건물이름, 층, 호수, 주소 등으로 이루어지는 위치정보 또는 위치기반서비스(LBS)에 의한 좌표정보를 기록 저장 및 갱신관리한다. 위치정보부(1400)는 멀미입력단말부(1000)가 설치된 위치를 알 수 있는 정보이고 할당된 고유번호로 대체될 수도 있다.
멀미기록부(1500)는 멀미관리부(1300)의 해당 제어신호에 의하여 실시간 입력되는 영상신호와 음성급 신호와 좌표정보를 할당된 영역에 연계된 상태로 기록한다.
멀미통신부(1600)는 멀미관리부(1300)의 해당 제어신호에 의하여 멀미통신망(2000)을 경유하여 상황분석판단서버(3000)에 접속하고 양방향 통신한다.
멀미통신망(2000)은 멀티미디어를 전송하는 통신경로를 스위칭으로 설정하여 제공하는 구성이며 일반적인 교환기와 유선통신 경로, 무선통신 경로를 포함하는 것을 설명하고 이해하기로 한다.
상황분석판단서버(3000)는 멀미입력단말부(1000)와 멀미통신망(2000)을 경유하여 접속하고 실시간 입력되는 영상(video)급 신호와 음성(audio)급 신호를 분석하여 감시대상 각 객체 사이의 거리와 각각의 이동방향과 이동속도와 이동시간과 다른 객체와의 접촉유지시간과 각 객체가 서로 접속된 부위의 색상 이미지와 접속유지 시간을 각각 분석하며, 실시간 입력되는 음성급 신호를 분석하여 발성된 단어와 주파수와 강약레벨과 지속시간을 각각 분석하며 인공지능과 기계학습 등에 의하여 수집 및 저장된 정보와 비교분석하고 각 객체 사이에 발생된 이벤트를 판단하며 할당된 영역에 시간정보와 연계 기록하며 해당 제어신호에 의하여 지정된 상대방 또는 고객단말부(4000)에 전송한다.
상황분석판단서버(3000)는 분석서버통신부(3010)와 분석서버관리부(3020)와 서버색분해부(3030)와 서버성문추출부(3040)와 서버에스티티부(3050)와 신체분석기준정보부(3060)와 위험음성급신호추출부(3070)와 감시대상문자추출부(3080)와 위험색분해색상추출부(3090)와 객체구성특징부(3100)와 객체운동추출부(3110)와 이미지위해검출부(3120)와 오디오위해검출부(3130)를 포함하는 구성이다.
분석서버통신부(3010)는 멀미입력단말부(1000)와 멀미통신망(2000)을 경유하여 접속하고 양방향으로 통신한다. 양방향 통신은 송신과 수신을 동시에 진행하는 통신 방식이다.
분석서버관리부(3020)는 분석서버통신부(3010)와 접속하고 내장 설치된 해당 운용프로그램에 의하여 상황분석판단서버(3000)를 구성하는 각 기능부에 해당 제어신호를 각각 출력하여 운용상태를 제어하고 감시한다. 분석서버관리부(3020)는 시스템의 구동에 필요한 해당 모든 운용 프로그램과 해당 모든 운용 데이터를 모두 내장 설치 운용하며 그러한 구성과 기능을 충분히 구비한 것으로 설명하고 이해한다.
서버색분해부(3030)는 분석서버관리부(3020)의 해당 제어신호에 의하여 멀미입력단말부(1000)로부터 입력되는 적외선, 가시광선, 자외선 영상신호를 파장별 256 개의 색상으로 분리 또는 구분하는 색분해 처리한다. 현재 광 또는 사진 기술 분야에서는 영상신호의 이미지에 포함되는 색상을 파장별 256 개로 색분해 하는 경우, 일 례로 인공위성에서 적외선, 가시광선, 자외선 등으로 촬영된 지구 표면의 사진을 파장별 256 개로 색분해하여 지구상 모든 장소의 지하에 매장된 지하자원을 탐사할 수 있는 것으로 알려지고 있다. 그러므로 이러한 색분해 기술을 이용하고 활용하는 경우 인체를 촬영한 영상 이미지를 256 개 색분해에 의하여 촬영 대상이 되는 신체 또는 인체의 각 부분에서 발현되는 상처, 멍 등의 상태를 의복이 입혀진 상태에서도 정확하게 구분 확인할 수 있게 된다. 다양한 종류의 멍과 상처는 피부 표면 또는 피부 속에서 발현되며 때림으로도 발현되지만, 꼬집음으로도 발현된다. 발현은 표현되거나 나타난다는 의미로 이해하기로 한다.
서버색분해부(3030)는 가시광선파장분리부(3031)와 적외선파장분리부(3032)와 적외선파장분리부(3033)와 색분해부(3034)를 포함하는 구성이다.
가시광선파장분리부(3031)는 분석서버관리부(3020)의 해당 제어신호에 의하여 분석서버통신부(3010)를 통하여 멀미입력단말부(1000)로부터 수신되고 입력된 영상신호로부터 가시광선 파장의 영상신호를 분리 추출한다.
적외선파장분리부(3032)는 분석서버관리부(3020)의 해당 제어신호에 의하여 분석서버통신부(3010)를 통하여 멀미입력단말부(1000)로부터 수신되고 입력된 영상신호로부터 적외선 파장의 영상신호를 분리 추출한다.
적외선파장분리부(3033)는 분석서버관리부(3020)의 해당 제어신호에 의하여 분석서버통신부(3010)를 통하여 멀미입력단말부(1000)로부터 수신되고 입력된 영상신호로부터 자외선 파장의 영상신호를 분리 추출한다.
색분해부(3034)는 분석서버관리부(3020)의 해당 제어신호에 의하여 상기 가시광선파장분리부(3031)로부터 분리되고 가시광선으로 촬영된 영상신호를 256 개의 각각 다른 색상 신호로 색분해 처리한다. 가시광선을 256 개 색상으로 색분해하는 기술은 인공위성에서 지구 자원을 탐사하는데 있어서, 가시광선 파장으로 촬영된 신호를 특정 단위 파장으로 분리시키는 색분해하는 것으로 잘 알려져 있고 이러한 기술을 그대로 적용한다. 특정 단위 퍄쟝으로 색분해하는 색상의 숫자는 필요에 의하여 가감될 수 있음은 매우 당연하다.
색분해부(3034)는 분석서버관리부(3020)의 해당 제어신호에 의하여 적외선파장분리부(3032)와 자외선파장분리부(3033)로부터 분리 추출된 해당 각각의 영상신호를 지정된 파장 단위로 색분해 한다.
가시광선과 적외선과 자외선의 각 단위 파장 대역(band width)은 잘 알려져 있으므로 더 이상의 구체적인 설명을 생략한다.
서버색분해부(3030)는 분석서버관리부(3020)의 해당 제어신호에 의하여 각 객체의 신체 색상신호를 색분해하므로 각 객체의 혈압, 혈색 등을 해당 프로그램에 의하여 분석하고 심리상태가 어떠한지를 추정할 수 있다.
서버성문추출부(3040)는 분석서버관리부(3020)의 해당 제어신호에 의하여 멀미입력단말부(1000)로부터 입력되는 음성급 신호의 성문을 분석하고 해당 주파수와 강약레벨과 지속시간 등을 각각 추출한다.
서버성문추출부(3040)는 해당 제어신호에 의하여 음성급 신호의 성문을 분석하므로 각 객체의 호흡, 심장박동에 의한 맥박 횟수를 추출 분석하고, 분석서버관리부(3020)는 추출된 호흡과 심장박동에 의한 맥박 횟수를 해당 프로그램에 의하여 분석하므로 각 객체의 심리적 상태를 추정한다.
서버(server)에스티티(STT : speech to text)부(3050)는 분석서버관리부(3020)의 해당 제어신호에 의하여 멀미입력단말부(1000)로부터 입력되는 음성급 신호를 문자로 변환한다. 일반적으로 알려진 음성신호텍스트변환(STT : speech to text) 기능을 한다.
신체분석기준정보부(3060)는 분석서버관리부(3020)의 해당 제어신호에 의하여 신체의학정보서버(5000)로부터 검색된 인체의 각 부위별 피부에서 발현되는 피부색상과 각 피부색상별 원인과 증세의 해당 정보와 인체로부터 발생되는 음성급 신호의 주파수와 세기(레벨)와 지속시간에 의한 각 해당 원인과 결과가 포함되는 다양한 신체 관련된 정보를 인공지능과 기계학습 및 실험 등으로 수집 확보하고 할당된 영역에 기록과 갱신 관리하여 분석의 기준이 되는 정보로 제공한다.
위험음성급신호추출부(3070)는 분석서버관리부(3020)의 해당 제어신호에 의하여 서버성문추출부(3040)가 추출한 음성급 신호를 분석하여 신체에 위해를 가하는 음성급 신호를 추출한다.
감시대상문자추출부(3080)는 분석서버관리부(3020)의 해당 제어신호에 의하여 서버에스티티부(3050)가 변환한 문자 또는 문자의 배열이 기록 관리되는 감시대상 문자에 해당하는지를 판단한다.
위험색분해색상추출부(3090)는 분석서버관리부(3020)의 해당 제어신호에 의하여 서버색분해부(3030)가 색분해한 각 파장 대역의 색 신호를 이미지의 프레임 단위로 분석하여 인체의 피부가 위해를 받아 발현되는 색상과 해당 프레임에서의 좌표정보(또는, 인체에서의 특정 위치)를 추출한다.
객체구성특징부(3100)는 분석서버관리부(3020)의 해당 제어신호에 의하여 멀미입력단말부(1000)로부터 입력되는 영상신호를 이미지의 프레임 단위로 분석하여 각 객체를 구분 추출하고 구분된 각 객체의 인체구성 특징 및 해당 위치(또는 자세)를 각각 추출한다.
객체운동추출부(3110)는 분석서버관리부(3020)의 해당 제어신호에 의하여 객체구성특징부(3100)가 추출한 각 객체의 인체구성(자세)에 의한 각 구성의 사이 거리, 각 객체의 각 구성의 이동방향, 이동속도, 이동시간, 다른 객체와의 접촉과 접촉위치, 접촉유지시간, 접촉방향 등을 각 이미지 프레임 단위로부터 각각 분석한다.
이미지위해검출부(3120)는 분석서버관리부(3020)의 해당 제어신호에 의하여 위험색분해색상추출부(3090)가 특정 개체의 피부에 발현된 색상 신호를 신체분석기준정보부(3060)의 기준정보와 대비 판단하여 해당 기준값의 범위를 넘어서는 것으로 판단하는 경우 또는 위해에 의하여 발현된 것으로 분석하면 해당 이미지 프레임에서의 해당 좌표정보를 입력받고, 객체운동추출부(3110)가 특정 객체와 객체 사이에 접촉된 것으로 분석하면 해당 이미지 프레임에서의 접촉한 좌표정보를 입력받아 각각의 해당 이미지 프레임의 생성 시간이 동일한 시간대 이고 각각의 좌표정보가 유사한지를 검출한다. 이러한 검출을 위한 판단의 기준은 필요에 의하여 가변될 수 있다.
오디오위해검출부(3130)는 분석서버관리부(3020)의 해당 제어신호에 의하여 서버성문추출부(3040)가 분석한 성문에 의하여 음성급 신호의 주파수와 강약레벨이 신체분석기준정보부(3060)에 기록된 해당 기준값 보다 높은 경우와 지속시간이 해당 기준값보다 짧거나 긴 경우에 위해 음성급 신호로 분류한다. 이러한 검출을 위한 분류의 기준은 필요에 의하여 가변될 수 있다.
고객단말부(4000)는 상황분석판단서버(3000)와 멀미통신망(2000)을 경유하여 접속하고 상황분석판단서버(3000)에서 비교 분석된 정보와 멀미입력단말부(1000)가 전송한 영상신호와 음성급 신호를 선택적으로 입력받는다.
고객단말부(4000)는 지정된 상대방 또는 영유아의 보호자 또는 병원, 관공서 등이 포함될 수 있고, 이동통신용 휴대단말기와 스마트폰과 데이터 단말기, 노트북, 컴퓨터 등이 포함되며 전용의 해당 앱(app) 프로그램이 설치 운용된다.
신체의학정보서버(5000)는 상황분석판단서버(3000)와 멀미통신망(2000)을 경유하여 접속하고 검색과 요청 신호에 의하여 인체(신체)의 각 부위별 피부에서 발현되는 피부색상과 각 색상별 원인과 증세의 해당 기준 정보를 각각 제공하고 인체로부터 발생되는 음성급 신호의 주파수와 세기(레벨, LEVEL)와 지속시간에 의한 각각에 대한 원인과 결과의 해당 기준 정보를 각각 제공한다. 이러한 각 기준 정보는 연령대별, 인종별, 피부색별 다를 수 있다.
일반적으로 사람은 행동하거나 말하는 경우 심리적 상태에 의하여 호흡, 심장박동, 혈압, 혈색 등이 변화하는 생리적 현상이 신체 표면에서 발생하고 심리적 상태에 의하여 같은 단어를 발성(발음)하는 경우에도 말의 패턴 또는 음색에 차이가 있으며 신체 내부적으로는 중추신경계의 뇌파와 신체 전기적 신호에서 변동이 발생하게 된다.
이러한 신체의 표면적, 내면적의 변화를 검출하는 기술로 신체의 피부에 발현된 색신호를 촬영하여 분석하는 색분해 방식과 음성급 신호를 분석하는 폴리그래프(Polygraphy) 방식과 신체에서 발생되는 전기적 신호 또는 뇌파기록(electroencephalography: EEG) 방식 등이 있다.
ECG 방식의 기술은 뇌에 의해 발생되는 전기적 활동을 두피(scalp)에서 비침입 방식(non-invasive) 방식으로 측정한다.
EEG 측정 방식은 사건관련 전위차(ERPs ; event-related potentials) 방식과 활동형 또는 진행형(ongoing) EEG의 2 가지 방식이 기본적인 것으로 알려져 있다.
이하에서 활동형과 진행형은 동일한 의미이고 문맥에 적합하게 선택적으로 기재하며, 검출과 측정은 동일한 의미이고 문맥에 적합하게 선택적으로 기재하기로 한다.
진행형 EEG 방식은 활동 중인 전기적인 뇌 활동을 센서와 뇌파 기록 증폭기를 사용하여 두피로부터 비침입 방식으로 검출한다. 뇌파기록(EEG) 데이터는 컴퓨터로 분석되며, EEG 신호(데이터)는 측정(검출)되어 수초 내지 수분 경우에 따라서는 수 시간에 걸처 분석되지만, 일반적으로 1 초 내지 2 초를 초과하는 시간 간격으로 뇌에서 일어나는 전기적 신호에 관한 정보를 주로 검출 분석한다.
진행형 EEG에 의해 측정된 신호의 처리는 분리된 자극(discrete stimuli)에 대한 단기 처리와 관련되는 것이 아니고, 복합적인 정신적, 지적, 언어적, 창조적 활동을 포함하는 활동 중인 뇌처리와 관련된다.
한편, 사건관련 전위차(event-related potentials: ERPs)는 단기 전기생리적(electrophysiological) 현상을 분석한다. 사건관련 전위차는 특정 사건에 관련하여 두피로부터 측정된 단기적인 변화에 의한 전압의 '전위차'이다. 사건이란 특정 자극과 그 자극에 대한 서브젝트(subject) 처리이다. 사건 관련 전위차는 특정 사건의 자극에 의해 유도되는 감각적(sensory) 또는 인지적(cognitive) 처리의 발현(manifestation)이다. ERPs는 그것을 유도하는 자극에 따라 잠재기(in latency)이며 수 밀리 초 내지 1-2 초 범위이다. 경고성 자극이 피검자(서브젝트)에게 또 다른 예상 자극이 곧 도달하는 경우, 사건 관련 전위차는 2차 전극에 선행할 수 있고, 예상자극에 대한 준비적 활동 또는 그것에 대한 피검자의 예상 반응을 나타낼 수 있다. 자극은 여러 번 반복되고 그 자극에 시간이 고정된 전기적 뇌 반응은 평균치로 계산되어 사건에 관련된 전위차 크기 값이 얻어진다. 어떤 경우 사건 관련된 전위차가 단시간에 일어나며, 특정 시점에 발생되는 자극에 관계된다. 그것은 수초 이내 단위로 일어나는 짧고 단기적 감각 또는 인지적 처리의 지수(index)가 된다.
사건관련 전위차(ERPs)의 기술은 정보를 탐지하는 것으로 진실성, 허위, 신뢰성을 탐지하는 것과 관계가 없다. ERPs는 특정 개인이 저지른 범위 또는 기타 행위를 밝힐 수 있는 특별하고 특수한 자극에 관련된 정보(예를 들면, 행위자만이 알 수 있는 해당 행위의 상세 사항)를 탐지하는 데 적합하다.
그러나 이러한 신체 전기적 신호 변화 검출은 피부에 직접 접촉시켜야 되므로 사용 또는 적용하기 매우 어렵다. 그러므로 촬영된 영상 이미지 신호를 이용한다.
폴리그래프(Polygraphy)는 피측정자의 동의를 얻어 피측정자의 발언에 대한 진정성을 정확하게 판단하기 위한 것으로 위화감을 느끼지 않으면서 방해받지 않는 환경을 조성하고 피측정자로 하여금 자연스런 발언을 하도록 유도하여 과거 행위를 검출 분석한다. 폴리그래프(Polygraphy) 또는 폴리그래프를 응용한 기술은 음성급 신호를 이용하므로 사용 또는 적용할 수 있다.
폴리그래프(Polygraphy)는 사람의 흥분, 긴장 또는 감정적인 갈등 상태에서 발성하는 음성신호를 미리 정의해 놓은 기준에 의하여 감지하는 시스템을 의미한다. 사람이 소리 내어 발성할 때, 폐에서 성대로 공기가 밀려 나가며 그 결과 성대는 특정의 빈도로 진동하게 된다. 이것을 발성자의 진동수라고 하는데, 그 후 공기는 구강까지 흘러가 혀, 치아, 입술을 통해 소리(말, 음성)가 외부로 나가게 된다. 그런데, 보통 사람이 실행한 행위를 부인하는 말을 할 경우에 나오는 음파는 동일한 단어의 말을 하는 경우에도 평소에 하는 말과 음성의 음파 진동 레벨이 다소 다른 진동 레벨을 나타나게 한다.
폴리그래프는 발언에 대한 진실성의 판단 대상이 되는 대화 상대자의 발언에 대한 진실성을 판단하고자 하는 경우에 빈번히 사용된다.
폴리그래프는 일반적으로 대화 상대자, 즉 피측정자의 특정 신체부위에 다수개의 센서를 동시에 부착시켜, 혈압, 발한, 호흡의 빠르기, 맥박 등의 신체 반응 등의 판정을 연속적으로 실시함으로써 발언에 대한 진실성을 보다 더 정확하게 판단하게 되지만, 본 발명에서는 객체의 촬영된 영상 이미지 신호의 다양한 분석결과를 이용(적용)한다.
말(음성급 신호)의 음색을 분석하는 폴리그래프(Polygraphy)는 피부 전도성(conductance), 심혈관 작용, 호흡과 같은 자율신경계(ANS)에 의해 발성되고 전달되는 음성의 생리학적 프로세스를 측정한다. 폴리그래프(Polygraphy)를 이용한 행위 탐지방법의 기본 원리는 통상 행위 탐지 또는 폴리그래프에 의해 사람이 특정 행위를 할 때에 그가 진실을 말할 때보다 감성적으로 더 각성되기 쉽고, 이러한 감성적 각성(emotional arousal)이 측정 가능한 각성의 생리적 상태를 야기한다.
또한, 음성급 신호의 분석에는 인간 신체의 각 부위 별로 외부에서 충격을 받거나 충격을 인가하는 경우에 발생되는 소리신호가 포함된다.
신체의 피부에서 또는 특정 부위의 피부에서 발현된 색신호를 촬영하여 분석하는 색분해 방식은 신체의 특정된 부위 피부에서 발현된 색신호를 촬영하고 분석하여 확인된 피부 색상을 인공지능과 머신러닝(기계학습)에 의하여 학습된 피부 색상 정보와 대비하여 피측정자의 피부 상태, 건강상태, 심리상태 등을 분석 판단하는 기술이다. 인공지능과 머신러닝에 의하여 학습된 피부 색상 분석은 의학적으로 피부에 충격을 받아 생긴 멍 자국, 혈압이 낮거나 높은 경우의 피부색상, 호흡이 포함되는 생리적 현상 등이 포함된다.
한편, 이미지신호처리 또는 영상신호처리(image signal processing) 기술은 확보된 영상신호 또는 이미지 신호로부터 숫자와 문자를 추출하여 읽고, 이미지 내의 각 객체를 분석하여 자동차와 사람과 나무 등과 같이 특정된 형상으로 각각의 사물 및 인체 등을 구분 파악하며, 인식된 객체(사람)의 신체 각 부위와 해당 특징점과 움직임 등을 추출 분석하여 누구인지를 특정할 수도 있으며, 촬영된 사람의 숫자, 각 객체와 객체 사이의 거리, 선택(지정)된 각 객체의 이동방향 등을 분석할 수도 있고, 사람과 사람의 접촉 상태도 분석 파악 할 수 있는 것으로 잘 알려져 있으며, 그와 같은 기능이 있는 것으로 설명하며 이해하기로 한다. 여기서 영상신호는 동영상과 정지영상의 이미지 신호가 포함되며, 가시광선인 경우 컬러(colour)이고 각 객체는 사람과 사물이 포함된다.
도 7 은 본 발명의 일 실시 예에 의한 것으로 영상과 음성 신호 분석에 의한 상황판단 시스템 운용방법을 설명하는 전체 순서도 이고, 도 8 은 본 발명의 일 실시 예에 의한 것으로 스캔과정을 설명하는 세부 순서도 이며, 도 9 는 본 발명의 일 실시 예에 의한 것으로 색분해과정을 설명하는 세부 순서도 이고, 도 10 은 본 발명의 일 실시 예에 의한 것으로 객체저리과정을 설명하는 세부 순서도 이며, 도 11 은 본 발명의 일 실시 예에 의한 것으로 오디오분해과정을 설명하는 세부 순서도 이고, 도 12 는 본 발명의 일 실시 예에 의한 것으로 위해추출과정을 설명하는 세부 순서도 이며, 도 13 은 본 발명의 일 실시 예에 의한 것으로 위해통보과정을 설명하는 세부 순서도 이다.
이하, 첨부된 모든 도면을 참조하여 본 발명의 일 실시 예에 의한 것으로 영상과 음성 신호 분석에 의한 상황판단 시스템 운용방법을 상세히 설명하면, 멀미입력단말부와 상황분석판단서버와 고객단말부와 신체의학정보서버를 포함하는 영상과 음성 신호 분석에 의한 상황판단 시스템(900)의 운용방법은 스캔과정(S10)과 색분해과정(S20)과 객체처리과정(S30)과 오디오분석과정(S40)과 위해추출과정(S50)과 위해통보과정(S60)를 포함하여 이루어진다.
스캔과정(S10)은 멀미입력단말부를 활성화시켜 주변의 음성급(음성, audio) 신호를 입력하고 영상(영상급, video) 신호를 촬영하여 상기 상황분석판단서버에 실시간 전송한다. 촬영된 영상신호는 가시광선으로 컬러 촬영한 영상신호와 자외선 및 적외선으로 촬영한 영상신호가 모두 포함된다.
스캔과정(S10)은 멀미입력단말부에 의하여 스캔 대상 지역을 가시광선과 적외선으로 각각 촬영한 영상신호를 입력하는 제 11 단계(S11)와 멀미입력단말부에 의하여 스캔 대상 지역의 영상신호 촬영에 동기(sync.)시켜 주변에서 발생되는 음성급 신호를 함께 입력하는 제 12 단계(S12)와 멀미입력단말부에 의하여 스캔 대상 지역의 영상신호 촬영에 동기시켜 시간정보가 포함된 위치정보(또는, 좌표정보)를 입력하는 제 13 단계(S13)와 멀미입력단말부에 의하여 영상신호와 음성급 신호와 위치정보를 연계 상태로 할당된 메모리 영역에 기록 관리하고 상황분석판단서버에 실시간 전송하는 제 14 단계(S14)를 포함한다.
위치정보는 해당 위치를 일반적으로 알 수 있는 지역명, 건물명, 층수, 호수, 주소 등이 포함되는 정보이고 좌표정보로 대체될 수 있다.
좌표정보를 사용하는 경우 위치기반서비스(LBS: location based service)에 의하여 제공되는 위치정보를 입력하는 것이 매우 바람직하다.
위치기반서비스(LBS)는 이동통신망과 위성항법장치(GPS) 등을 통해 얻은 정확한 위치정보를 활용하여 고객에게 다양한 서비스를 제공하는 기술이다. LBS 기술은 휴대단말의 위치를 파악하는 측위기술과 서비스를 위한 핵심 기반기술을 제공하는 LBS 플랫폼, 그리고 다양한 LBS 서비스를 제공하기 위한 LBS 서비스 기술과 LBS 단말과 응용 서비스 기술을 포함한다. 측위기술은 모바일 단말의 위치를 측정하기 위한 기술이고 통신망의 기지국신호를 수신하는 방식을 이용하는 네트워크 신호 기반(network-signal based) 측위방식, GPS 등 위성신호를 이용하는 위성신호 기반 측위방식, 유비쿼터스 컴퓨팅 장치를 이용한 유비쿼터스 측위방식, 각 방식이 혼합된 혼합 측위방식으로 분류된다. LBS는 일반적인 위성항법장치보다 정밀한 위치정보 또는 좌표정보를 제공하는 것으로 알려져 있다.
색분해과정(S20)은 멀미입력단말부로부터 영상신호와 음성급 신호를 각각 입력받은 상황분석판단서버가 가시광선으로 촬영된 영상신호를 256 가지 색신호에 의한 색분해 처리 한다. 자외선과 적외선으로 촬영된 각각의 영상신호는 필요에 의하여 지정된 파장으로 분리하여 색분해 하거나 또는 필요에 의하여 색분해 하지 않을 수 있다. 인공위성에서 지구의 지하자원 또는 정글 또는 바다 아래를 탐사하는데 촬영된 영상신호를 각 파장 대역별로 분리하는 색분해에 의하여 분석 및 탐사하는 것으로 잘 알려져 있다.
색분해과정(S20)은 상황분석판단서버에 의하여 가시광선의 경우 촬영된 영상신호를 256 개의 색신호로 색분해하고 자외선과 적외선의 경우 필요한 파장 대역으로 색분해하는 제 21 단계(S21)와 상황분석판단서버에 의하여 인체의 위해(harm) 상황으로 발생된 색신호가 포함되어 있는 이미지 프레임을 검출하는 제 22 단계(S22)와 상황분석판단서버에 의하여 위해(harm) 색신호가 포함된 이미지 프레임 정보와 해당 이미지 프레임 내의 좌표정보를 분석하는 제 23 단계(S23)를 포함한다. 제 21 단계(S21)에서 필요에 의하여 가시광선의 색분해 숫자를 256 개 대신에 더 적게 하거나 더 크게 할 수 있고, 적외선과 자외선으로 촬영된 각각의 영상신호를 별도로 색분해 할 수도 있다.
객체처리과정(S30)은 상황분석판단서버가 영상신호를 이미지 시그널 프로세싱 처리하여 촬영된 각 객체의 구성특징과 움직임을 각각 분석한다. 객체처리과정(S30)은 이미지 시그널 처리(ISP : image signal processing) 기술을 포함하여 개선된 해당 기술이 모두 포함된 것으로 설명하고 이해하기로 한다.
이미지 시그널 처리(ISP)와 디지털 이미지 처리(DIP : digital image processing)와 디지털 신호 처리(DSP)는 같은 의미로 사용하고 이하에서 필요에 의하여 문맥에 적합하게 선택적으로 기재한다.
이미지 시그널(신호) 처리(ISP)에 의하여 각 이미지 프레임 단위마다 각 객체를 분리 추출하고, 각 객체의 숫자, 형상, 움직임에 의한 방향, 속도, 각속도, 시간 등을 검출한다. 객체에는 사람과 사물을 포함하되 사람을 위주로 설명하고 이해하기로 한다. 객체의 형상은 일례로 사람의 경우 팔, 다리, 몸통, 얼굴 등으로 구분되는 형상(자세)을 의미하기로 한다. 움직임은 각 객체의 전체적인 움직임과 객체를 구성하는 각 형상 또는 구성요소 각각의 움직임(자세)이 포함되는 것으로 설명하고 이해하기로 한다.
객체처리과정은 상황분석판단서버에 의하여 가시광선으로 촬영된 영상신호와 적외선으로 촬영된 영상 신호 중에서 선택된 어느 하나 또는 어느 하나 이상으로부터 이미지 프레임 단위마다 이미지 시그널 프로세싱 처리하여 포함된 각 객체를 추출하는 제 31 단계(S31)와 상황분석판단서버에 의하여 추출된 각 객체의 팔, 다리, 얼굴, 몸통으로 구분되는 신체적 구성요소에 의한 특징 또는 자세를 추출하는 제 32 단계(S32)와 상황분석판단서버에 의하여 각 객체별 추출된 신체적 구성요소에 의한 특징(자세)의 각 구성요소별 이동방향, 이동속도, 이동시간, 이동과 정지좌표, 정지시간을 분석하는 제 33 단계(S33)와 상황분석판단서버에 의하여 제 33 단계(S33)에서 각 객체가 위해(harm) 상태로 접촉하는지를 분석하는 제 34 단계(S34)를 포함한다.
오디오분석과정(S40)은 상황분석판단서버에 의하여 입력되는 음성급 신호로부터 성문분석과 문자분석을 한다. 여기서 문자 분석은 음성급 신호가 의미하는 해당 문자신호로 변환하는 스피치투텍스트(STT) 기술을 의미한다. 오디오 신호는 주변에서 발생되는 모든 소리 신호가 포함되는 것으로 설명하고 이해하기로 한다.
오디오분석과정(S40)은 상황분석판단서버에 의하여 입력된 음성급 신호를 분석하고 오디오 신호의 주파수값과 레벨값과 지속시간값을 각각 추출하는 제 41 단계(S41)와 상황분석판단서버에 의하여 제 41 단계(S41)에서 각각 추출된 값을 기록된 기준값과 대비하여 위해 이벤트(harm event)에 해당하는지를 분석하는 제 42 단계(S42)와 상황분석판단서버에 의하여 입력된 음성급 신호를 문자신호로 변환하는 제 43 단계(S43)와 상황분석판단서버에 의하여 제 43 단계(S43)에서 변환된 문자신호를 기록된 위해문자 신호와 대비하여 위해 문자 이벤트에 해당하는지를 분석하는 제 44 단계(S44)를 포함한다.
위해추출과정(S50)은 상황분석판단서버에 색분해된 결과와 객체처리된 결과와 오디오 분석된 결과를 분석하여 위해(harm) 상황 또는 상태를 검출한다.
위해추출과정(S50)은 상황분석판단서버에 의하여 위해 색신호가 포함되었는지 판단하는 제 51 단계(S51)와 제 51 단계(S51)에서 위해 색신호가 포함되어 있으면 해당 이미지 프레임의 위해 색신호가 위치한 좌표정보를 위해 색신호 정보로 기록하는 제 52 단계(S52)와 상황분석판단서버에 의하여 각 객체가 위해 상태로 접촉하는지 판단하는 제 53 단계(S53)와 상황분석판단서버에 의하여 제 53 단계(S53)에서 각 객체가 위해 상태로 접촉된 프레임의 좌표정보를 위해접촉정보로 기록하는 제 54 단계(S54)와 상황분석판단서버에 의하여 위해 색신호가 포함된 이미지 프레임의 좌표정보와 각 객체가 위해 상태로 접촉된 이미지 프레임의 좌표정보가 일치하는지를 판단하는 제 55 단계(S55)와 상황분석판단서버에 의하여 제 55 단계(S55)에서 일치하는 것으로 판단되면 위해 색신호 좌표정보와 위해 접촉 좌표정보와 해당 시간정보를 할당된 메모리 영역에 연계 상태로 기록 하는 제 56 단계(S56)와 상황분석판단서버에 의하여 음성급 신호에 위해 오디오 이벤트에 해당하는지 판단하는 제 57 단계(S57)와 상황분석판단서버에 의하여 제 57 단계(S57)에서 오디오 이벤트에 해당하지 않는 것으로 판단되면 위해 문자 이벤트에 해당하는지 판단하는 제 58 단계(S58)와 상황분석판단서버에 의하여 위해 오디오 이벤트에 해당하거나 위해 문자 이벤트에 해당하는 것으로 판단되면 해당 위해성 음성급 신호를 할당된 메모리 영역에 기록하는 제 59 단계(S59)를 포함한다.
위해통보과정(S60)은 상황분석판단서버에 의하여 위해추출과정(S50)에서 위해상황으로 분석되면 지정된 상대방 또는 고객단말부에 통보한다.
위해통보과정(S60)은 상황분석판단서버에 의하여 위해 색신호 정보가 기록되었는지 판단하는 제 61 단계(S61)와 상황분석판단서버에 의하여 제 61 단계(S61)에서 위해 색신호 정보가 기록되어 있으면 위해 접촉정보가 기록되어 있는지 판단하는 제 62 단계(S62)와 상황분석판단서버에 의하여 제 62 단계(S62)에서 위해 접촉정보가 기록되어 있으면 위해 음성급 신호 정보가 기록되어 있는지 판단하는 제 63 단계(S63)와 상황분석판단서버에 의하여 제 63 단계(S63)에서 위해 음성급 신호 정보가 기록되어 있으면 위험메시지를 지정된 상대방 또는 고객단말부에 통보하고 종료로 진행하는 제 64 단계(S64)와 제 61 단계(S61)의 위해 색신호 정보와 제 62 단계(S62)의 위해 접촉정보가 기록되고 제 63 단계(S63)의 위해 음성급 신호 정보가 기록되지 않은 것으로 판단되면 주의(attention) 메시지를 지정된 상대방 또는 고객단말부에 통보하고 종료로 진행하는 제 65 단계(S65)를 포함한다.
상기와 같은 구성은 현장 또는 특정 장소에서 동시 확보된 영상신호와 음성급 신호의 각 패턴을 인공지능으로 각각 정밀 분석하여 현장에서 발생된 상황을 명확하게 판단하고 필요한 경우 지정된 관리자에게 자동 통보하여 필요한 후속조치가 빠르게 이루어지도록 하며, 대화가 원활하게 이루어질 수 없는 영유아, 치매환자, 폭력적 또는 강압적 주변환경 속에서 발생된 상황을 정확하게 판단 기록하고 필요한 후속조치가 빠르게 이루어지도록 하는 장점이 있다.
이상에서 본 발명은 기재된 구체 예에 대해서 상세히 설명하였지만 본 발명의 기술사상 범위 내에서 다양한 변형 및 수정이 가능함은 당업자에게 있어서 명백한 것이며, 이러한 변형 및 수정이 첨부된 특허청구범위에 속함은 당연한 것이다.
900 : 영상과 음성 신호 분석에 의한 상황판단 시스템
1000 : 멀미입력단말부 1100 : 영상촬영부
1200 : 오디오입력부 1300 : 멀미관리부
1400 : 위치정보부 1500 : 멀미기록부
1600 : 멀미통신부 2000 : 멀미통신망
3000 : 상황분석판단서버 3010 : 분석서버통신부
3020 : 분석서버관리부 3030 : 서버색분해부
3040 : 서버성문추출부 3050 : 서버에스티티부
3060 : 신체분석기준정보부 3070 : 위험음성급신호추출부
3080 : 감시대상문자추출부 3090 : 위험색분해색상추출부
3100 : 객체구성특징부 3110 : 객체운동추출부
3120 : 이미지위해검출부 3130 : 오디오위해검출부
4000 : 고객단말부 5000 : 신체의학정보서버
1000 : 멀미입력단말부 1100 : 영상촬영부
1200 : 오디오입력부 1300 : 멀미관리부
1400 : 위치정보부 1500 : 멀미기록부
1600 : 멀미통신부 2000 : 멀미통신망
3000 : 상황분석판단서버 3010 : 분석서버통신부
3020 : 분석서버관리부 3030 : 서버색분해부
3040 : 서버성문추출부 3050 : 서버에스티티부
3060 : 신체분석기준정보부 3070 : 위험음성급신호추출부
3080 : 감시대상문자추출부 3090 : 위험색분해색상추출부
3100 : 객체구성특징부 3110 : 객체운동추출부
3120 : 이미지위해검출부 3130 : 오디오위해검출부
4000 : 고객단말부 5000 : 신체의학정보서버
Claims (17)
- 감시대상체 주변의 다수 객체에 대한 영상신호로 촬영하고 주변에서 발생되는 음성급 신호를 입력하며 확인된 좌표정보와 연계시켜 실시간으로 할당된 메모리 영역에 기록하며 지정된 상대방과 접속하여 암호화된 신호로 실시간으로 통신하는 멀미입력단말부(1000);
상기 멀미입력단말부(1000)와 멀미통신망(2000)을 경유하여 접속하고 실시간 입력되는 영상신호와 음성급 신호를 분석하여 감시대상 각 객체 사이의 거리와 각각의 이동방향과 이동속도와 이동시간과 다른 객체와의 접촉유지시간과 각 객체가 서로 접속된 부위의 색상 이미지와 접속유지 시간을 각각 분석하며, 실시간 입력되는 음성급 신호를 분석하여 발성된 단어와 주파수와 강약레벨과 지속시간을 각각 분석하며 학습 저장된 정보와 비교분석하고 각 객체 사이에 발생된 이벤트를 판단하며 할당된 영역에 시간정보와 연계 기록하며 해당 제어신호에 의하여 지정된 상대방 또는 고객단말부(4000)에 전송하는 상황분석판단서버(3000);
상기 상황분석판단서버(3000)와 멀미통신망(2000)을 경유하여 접속하고 상기 상황분석판단서버(3000)에서 비교 분석된 정보와 상기 멀미입력단말부(1000)가 전송한 영상신호와 음성급 신호를 선택적으로 입력받는 고객단말부(4000); 를 포함하고,
상기 상황분석판단서버(3000)와 멀미통신망(2000)을 경유하여 접속하고 검색과 요청에 의하여 인체의 각 부위별 피부에서 발현되는 피부색상과 각 색상별 원인과 증세의 해당 정보를 각각 제공하고 인체로부터 발생되는 음성급 신호의 주파수와 세기레벨과 지속시간의 각각에 대한 원인과 결과의 해당 정보를 각각 제공하는 신체의학정보서버(5000); 를 더 포함하며,
상기 상황분석판단서버(3000)는
상기 멀미입력단말부(1000)와 해당 제어신호에 의하여 멀미통신망(2000)을 경유하여 접속하고 150 워드로 이루어지는 패킷 프레임으로 양방향 통신하며 패킷프레임의 암호화와 복호화 처리하는 분석서버통신부(3010);
상기 분석서버통신부(3010)와 접속하고 내장 설치된 해당 운용프로그램에 의하여 상기 상황분석판단서버(3000)를 구성하는 각 기능부에 해당 제어신호를 각각 출력하여 운용상태를 제어하고 감시하는 분석서버관리부(3020);
상기 분석서버관리부(3020)의 해당 제어신호에 의하여 상기 멀미입력단말부(1000)로부터 입력되는 영상신호를 가시광선으로 촬영된 영상신호와 적외선으로 촬영된 영상신호와 자외선으로 촬영된 영상신호로 각각 분리하고 가시광선의 칼라 영상신호를 256 개의 색상으로 색분해 처리하는 서버색분해부(3030);
상기 분석서버관리부(3020)의 해당 제어신호에 의하여 상기 멀미입력단말부(1000)로부터 입력되는 음성급 신호의 성문을 분석하고 해당 주파수와 강약레벨과 지속시간을 각각 추출하는 서버성문추출부(3040);
상기 분석서버관리부(3020)의 해당 제어신호에 의하여 상기 멀미입력단말부(1000)로부터 입력되는 음성급 신호를 문자로 변환하는 서버에스티티부(3050);
상기 분석서버관리부(3020)의 해당 제어신호에 의하여 신체의학정보서버(5000)로부터 검색된 인체의 각 부위별 피부에서 발현되는 피부색상과 각 피부색상별 원인과 증세의 해당 정보와 인체로부터 발생되는 음성급 신호의 주파수와 세기와 지속시간에 의한 각 원인과 결과의 해당 정보를 할당된 영역에 기록 관리하여 분석의 기준이 되는 신체분석기준정보부(3060); 를 포함하고,
상기 멀미입력단말부(1000)와 상황분석판단서버(3000)와 고객단말부(4000)는 개인 신상정보 보호를 위하여 송수신되는 모든 정보를 150 워드 단위의 패킷프레임으로 암호화하여 송신하고 수신하여 복호화하는 영상과 음성 신호 분석에 의한 상황판단 시스템.
- 삭제
- 제 1 항에 있어서,
상기 멀미입력단말부(1000)는
다수 객체의 주변을 해당 제어신호에 의하여 가시광선 칼라와 적외선과 자외선으로 각각 촬영하고 합성하여 출력하는 영상촬영부(1100);
다수 객체의 주변에서 발생되는 음성급 신호를 해당 제어신호에 의하여 입력하는 오디오입력부(1200);
상기 영상촬영부(1100)와 오디오입력부(1200)에 접속하고 상기 영상신호와 음성급 신호를 실시간 입력하여 할당된 영역에 연계된 상태로 기록하고 내장 설치된 해당 운용프로그램에 의하여 상기 멀미입력단말부(1000)를 구성하는 각 기능부에 해당 제어신호를 각각 출력하여 운용상태를 제어하고 감시하는 멀미관리부(1300);
상기 멀미관리부(1300)의 해당 제어신호에 의하여 현재 위치의 위치정보 또는 좌표정보를 기록 저장하는 위치정보부(1400);
상기 멀미관리부(1300)의 해당 제어신호에 의하여 실시간 입력되는 상기 영상신호와 음성급 신호와 좌표정보를 할당된 영역에 연계된 상태로 기록하는 멀미기록부(1500);
상기 멀미관리부(1300)의 해당 제어신호에 의하여 멀미통신망(2000)을 경유하여 상황분석판단서버(3000)에 접속하고 150 워드로 이루어지는 패킷 프레임으로 양방향 통신하며 패킷프레임의 암호화와 복호화 처리하는 멀미통신부(1600); 를 포함하는 영상과 음성 신호 분석에 의한 상황판단 시스템.
- 삭제
- 제 1 항에 있어서,
상기 상황분석판단서버(3000)는
상기 분석서버관리부(3020)의 해당 제어신호에 의하여 상기 서버성문추출부(3040)가 추출한 음성급 신호를 분석하여 신체에 위해를 가하는 음성급 신호를 추출하는 위험음성급신호추출부(3070);
상기 분석서버관리부(3020)의 해당 제어신호에 의하여 상기 서버에스티티부(3050)가 변환한 문자 또는 문자의 배열이 기록 관리되는 감시대상 문자에 해당하는지를 판단하는 감시대상문자추출부(3080);
상기 분석서버관리부(3020)의 해당 제어신호에 의하여 상기 서버색분해부(3030)가 색분해한 색 신호를 이미지 프레임 단위로 분석하여 인체의 피부가 위해를 받아 발현되는 색상과 해당 프레임에서의 좌표정보를 추출하는 위험색분해색상추출부(3090);
상기 분석서버관리부(3020)의 해당 제어신호에 의하여 상기 멀미입력단말부(1000)로부터 입력되는 영상신호를 이미지 프레임 단위로 분석하여 각 객체를 구분 추출하고 구분된 각 객체의 인체구성 특징을 각각 추출하는 객체구성특징부(3100);
상기 분석서버관리부(3020)의 해당 제어신호에 의하여 상기 객체구성특징부(3100)가 추출한 각 객체의 인체구성에 의한 사이 거리, 각 객체의 이동방향, 이동속도, 이동시간, 다른 객체와의 접촉과 접촉유지시간을 이미지 프레임 단위로 각각 분석하는 객체운동추출부(3110);
상기 분석서버관리부(3020)의 해당 제어신호에 의하여 상기 위험색분해색상추출부(3090)가 특정 개체의 피부에 발현된 색상 신호를 위해에 의하여 발현된 것으로 분석하면 해당 이미지 프레임에서의 해당 좌표정보를 입력받고 상기 객체운동추출부(3110)가 특정 객체와 객체 사이에 접촉된 것으로 분석하면 해당 이미지 프레임에서의 접촉한 좌표정보를 입력받아 각각의 해당 이미지 프레임의 생성 시간이 동일한 시간대 이고 각각의 좌표정보가 유사한지를 검출하는 이미지위해검출부(3120);
상기 분석서버관리부(3020)의 해당 제어신호에 의하여 상기 서버성문추출부(3040)가 분석한 성문에 의하여 음성급 신호의 주파수와 강약레벨이 상기 신체분석기준정보부(3060)에 기록된 해당 기준값 보다 높은 경우와 지속시간이 해당 기준값보다 짧거나 긴 경우에 위해 음성급 신호로 분류하는 오디오위해검출부(3130); 를 더 포함하는 영상과 음성 신호 분석에 의한 상황판단 시스템.
- 삭제
- 제 3 항에 있어서,
상기 영상촬영부(1100)는
해당 제어신호에 의하여 감시대상체 주변의 다수 객체의 영상을 초당 40프레임의 가시광선으로 촬영하여 입력하는 가시광선촬영부(1110);
해당 제어신호에 의하여 감시대상체 주변의 다수 객체의 영상을 초당 40프레임의 적외선으로 촬영하여 입력하는 적외선촬영부(1120);
해당 제어신호에 의하여 감시대상체 주변의 다수 객체의 영상을 초당 40프레임의 자외선으로 촬영하여 입력하는 자외선촬영부(1130);
상기 가시광선촬영부(1110)와 적외선촬영부(1120)와 자외선촬영부(1130)가 각각 촬영한 해당 영상신호를 분리가능하게 합성하는 이미지프레임합성부(1140); 를 포함하고,
상기 멀미관리부(1300)의 해당 제어신호에 의하여 감시대상체 주변의 온도와 습도를 각각 검출하는 온습도 검출부(1150); 를 더 포함하는 영상과 음성 신호 분석에 의한 상황판단 시스템.
- 제 1 항에 있어서,
상기 서버색분해부(3030)는
상기 분석서버관리부(3020)의 해당 제어신호에 의하여 분석서버통신부(3010)를 통하여 멀미입력단말부(1000)로부터 수신되고 입력된 영상신호로부터 가시광선 파장의 영상신호를 분리 추출하는 가시광선파장분리부(3031);
상기 분석서버관리부(3020)의 해당 제어신호에 의하여 분석서버통신부(3010)를 통하여 멀미입력단말부(1000)로부터 수신되고 입력된 영상신호로부터 적외선 파장의 영상신호를 분리 추출하는 적외선파장분리부(3032);
상기 분석서버관리부(3020)의 해당 제어신호에 의하여 분석서버통신부(3010)를 통하여 멀미입력단말부(1000)로부터 수신되고 입력된 영상신호로부터 자외선 파장의 영상신호를 분리 추출하는 적외선파장분리부(3033);
상기 분석서버관리부(3020)의 해당 제어신호에 의하여 상기 가시광선파장분리부(3031)로부터 분리되고 가시광선으로 촬영된 영상신호를 256 개의 각각 다른 색상 신호로 색분해 처리하는 색분해부(3034); 를 포함하는 영상과 음성 신호 분석에 의한 상황판단 시스템.
- 삭제
- 삭제
- 멀미입력단말부와 상황분석판단서버와 고객단말부와 신체의학정보서버를 포함하는 영상과 음성 신호 분석에 의한 상황판단 시스템 운용방법에 있어서,
상기 멀미입력단말부를 활성화시켜 주변의 음성급 신호를 입력하고 영상신호를 촬영하여 상기 상황분석판단서버에 실시간 전송하는 스캔과정;
상기 멀미입력단말부로부터 영상신호와 음성급 신호를 각각 입력받은 상기 상황분석판단서버가 영상신호를 색분해하는 색분해과정;
상기 상황분석판단서버가 영상신호를 이미지 시그널 프로세싱 처리하여 촬영된 각 객체의 구성특징과 움직임을 각각 분석하는 객체처리과정;
상기 상황분석판단서버에 의하여 음성급 신호를 성문분석과 문자분석을 하는 오디오분석과정;
상기 상황분석판단서버에 색분해된 결과와 객체처리된 결과와 오디오분석된 결과를 분석하여 위해상황을 검출하는 위해추출과정;
상기 상황분석판단서버에 의하여 상기 위해추출과정에서 위해상황으로 분석되면 상기 고객단말부에 통보하는 위해통보과정; 을 포함하고,
상기 스캔과정은
상기 멀미입력단말부에 의하여 스캔 대상 지역을 가시광선과 적외선과 자외선으로 촬영하여 영상신호를 입력하는 제 11 단계;
상기 멀미입력단말부에 의하여 스캔 대상 지역의 촬영에 동기시켜 주변에서 발생되는 음성급 신호를 함께 입력하는 제 12 단계;
상기 멀미입력단말부에 의하여 스캔 대상 지역의 촬영에 동기시켜 시간정보가 포함된 위치정보를 입력하는 제 13 단계;
상기 멀미입력단말부에 의하여 영상신호와 음성급 신호와 위치정보를 연계 상태로 기록 관리하고 상기 상황분석판단서버에 실시간 전송하는 제 14 단계; 를 포함하는 영상과 음성 신호 분석에 의한 상황판단 시스템 운용방법.
- 제 11 항에 있어서,
상기 색분해과정은
상기 상황분석판단서버에 의하여 촬영된 영상신호를 파장별 색신호로 색분해하는 제 21 단계;
상기 상황분석판단서버에 의하여 인체의 위해 상황으로 발생된 색신호가 포함된 이미지 프레임을 검출하는 제 22 단계;
상기 상황분석판단서버에 의하여 위해 색신호가 포함된 이미지 프레임 정보와 해당 이미지 프레임 내의 좌표정보를 분석하는 제 23 단계; 를 포함하는 영상과 음성 신호 분석에 의한 상황판단 시스템 운용방법.
- 제 12 항에 있어서,
상기 객체처리과정은
상기 상황분석판단서버에 의하여 가시광선으로 촬영된 영상신호와 적외선으로 촬영된 영상 신호 중에서 선택된 어느 하나 또는 어느 하나 이상으로부터 이미지 프레임 단위마다 이미지 시그널 프로세싱 처리하여 포함된 각 객체를 추출하는 제 31 단계;
상기 상황분석판단서버에 의하여 추출된 각 객체의 팔, 다리, 얼굴, 몸통으로 구분되는 신체적 특징을 추출하는 제 32 단계;
상기 상황분석판단서버에 의하여 각 객체별 추출된 신체적 특징의 각 요소별 이동방향, 이동속도, 이동시간, 이동과 정지좌표, 정지시간을 분석하는 제 33 단계;
상기 상황분석판단서버에 의하여 상기 제 33 단계에서 각 객체가 위해 상태로 접촉하는지를 분석하는 제 34 단계; 를 포함하는 영상과 음성 신호 분석에 의한 상황판단 시스템 운용방법.
- 제 13 항에 있어서,
상기 오디오분석과정은
상기 상황분석판단서버에 의하여 입력된 음성급 신호를 분석하고 오디오 신호의 주파수값과 레벨값과 지속시간값을 각각 추출하는 제 41 단계;
상기 상황분석판단서버에 의하여 상기 제 41 단계에서 각각 추출된 값을 기록된 기준값과 대비하여 위해 이벤트에 해당하는지를 분석하는 제 42 단계;
상기 상황분석판단서버에 의하여 입력된 음성급 신호를 문자신호로 변환하는 제 43 단계;
상기 상황분석판단서버에 의하여 상기 제 43 단계에서 변환된 문자신호를 기록된 위해문자 신호와 대비하여 위해 문자 이벤트에 해당하는지를 분석하는 제 44 단계; 를 포함하는 영상과 음성 신호 분석에 의한 상황판단 시스템 운용방법.
- 제 14 항에 있어서,
상기 위해추출과정은
상기 상황분석판단서버에 의하여 위해 색신호가 포함되었는지 판단하는 제 51 단계;
상기 단계에서 위해 색신호가 포함되어 있으면 해당 이미지 프레임의 위해 색신호가 위치한 좌표정보를 위해 색신호 정보로 기록하는 제 52 단계;
상기 상황분석판단서버에 의하여 각 객체가 위해 상태로 접촉하는지 판단하는 제 53 단계;
상기 상황분석판단서버에 의하여 상기 제 53 단계에서 각 객체가 위해 상태로 접촉된 프레임의 좌표정보를 위해접촉정보로 기록하는 제 54 단계;
상기 상황분석판단서버에 의하여 위해 색신호가 포함된 이미지 프레임의 좌표정보와 각 객체가 위해 상태로 접촉된 이미지 프레임의 좌표정보가 일치하는지를 판단하는 제 55 단계;
상기 상황분석판단서버에 의하여 제 55 단계에서 일치하는 것으로 판단되면 위해 색신호 좌표정보와 위해 접촉 좌표정보와 해당 시간정보를 할당된 메모리 영역에 연계 상태로 기록 하는 제 56 단계;
상기 상황분석판단서버에 의하여 음성급 신호에 위해 오디오 이벤트에 해당하는지 판단하는 제 57 단계;
상기 상황분석판단서버에 의하여 상기 제 57 단계에서 오디오 이벤트에 해당하지 않는 것으로 판단되면 위해 문자 이벤트에 해당하는지 판단하는 제 58 단계;
상기 상황분석판단서버에 의하여 위해 오디오 이벤트에 해당하거나 위해 문자 이벤트에 해당하는 것으로 판단되면 해당 위해성 음성급 신호를 할당된 메모리 영역에 기록하는 제 59 단계; 를 포함하는 영상과 음성 신호 분석에 의한 상황판단 시스템 운용방법.
- 제 15 항에 있어서,
상기 위해통보과정은
상기 상황분석판단서버에 의하여 위해 색신호 정보가 기록되었는지 판단하는 제 61 단계;
상기 상황분석판단서버에 의하여 상기 제 61 단계에서 위해 색신호 정보가 기록되어 있으면 위해 접촉정보가 기록되어 있는지 판단하는 제 62 단계;
상기 상황분석판단서버에 의하여 상기 제 62 단계에서 위해 접촉정보가 기록되어 있으면 위해 음성급 신호 정보가 기록되어 있는지 판단하는 제 63 단계;
상기 상황분석판단서버에 의하여 상기 제 63 단계에서 위해 음성급 신호 정보가 기록되어 있으면 위험메시지를 지정된 상대방 또는 고객단말부에 통보하고 종료로 진행하는 제 64 단계; 를 포함하는 영상과 음성 신호 분석에 의한 상황판단 시스템 운용방법.
- 제 16 항에 있어서,
상기 위해통보과정은
상기 제 61 단계의 위해 색신호 정보와 제 62 단계의 위해 접촉정보가 기록되고 상기 제 63 단계의 위해 음성급 신호 정보가 기록되지 않은 것으로 판단되면 주의 메시지를 지정된 상대방 또는 고객단말부에 통보하고 종료로 진행하는 제 65 단계; 를 더 포함하는 영상과 음성 신호 분석에 의한 상황판단 시스템 운용방법.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020210148344A KR102667622B1 (ko) | 2021-11-01 | 2021-11-01 | 영상과 음성 신호 분석에 의한 상황판단 시스템 및 그 운용방법 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020210148344A KR102667622B1 (ko) | 2021-11-01 | 2021-11-01 | 영상과 음성 신호 분석에 의한 상황판단 시스템 및 그 운용방법 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20230064011A KR20230064011A (ko) | 2023-05-10 |
| KR102667622B1 true KR102667622B1 (ko) | 2024-05-21 |
Family
ID=86386089
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020210148344A Active KR102667622B1 (ko) | 2021-11-01 | 2021-11-01 | 영상과 음성 신호 분석에 의한 상황판단 시스템 및 그 운용방법 |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR102667622B1 (ko) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20250118053A1 (en) * | 2023-10-04 | 2025-04-10 | Nec Laboratories America, Inc. | Visual object detection using explicit negatives |
| CN117591383B (zh) * | 2024-01-19 | 2024-03-29 | 中电科申泰信息科技有限公司 | 一种基于服务器声音判定服务器工作状态的方法 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101654708B1 (ko) * | 2015-04-16 | 2016-09-06 | 송용석 | 웨어러블 센서 기반 사용자 안전 시스템 및 방법 |
| KR102277967B1 (ko) * | 2021-02-02 | 2021-07-16 | (주)무지개반사 | 인공지능 기반 영유아 모니터링 서비스 제공 시스템 |
Family Cites Families (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101988581B1 (ko) * | 2017-11-14 | 2019-09-24 | 현대오트론 주식회사 | 운전자 상태 추정 방법 |
| KR102108256B1 (ko) | 2018-03-29 | 2020-05-07 | 안재윤 | 방음패드 제조방법, 장치 및 이에 따라 제조된 방음패드 |
| WO2019207741A1 (ja) | 2018-04-26 | 2019-10-31 | 日立ジョンソンコントロールズ空調株式会社 | 空気調和機 |
-
2021
- 2021-11-01 KR KR1020210148344A patent/KR102667622B1/ko active Active
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101654708B1 (ko) * | 2015-04-16 | 2016-09-06 | 송용석 | 웨어러블 센서 기반 사용자 안전 시스템 및 방법 |
| KR102277967B1 (ko) * | 2021-02-02 | 2021-07-16 | (주)무지개반사 | 인공지능 기반 영유아 모니터링 서비스 제공 시스템 |
Also Published As
| Publication number | Publication date |
|---|---|
| KR20230064011A (ko) | 2023-05-10 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10977522B2 (en) | Stimuli for symptom detection | |
| US20220054092A1 (en) | Eyewear with health assessment, risk monitoring and recovery assistance | |
| US20220061767A1 (en) | Biometric, physiological or environmental monitoring using a closed chamber | |
| KR102667622B1 (ko) | 영상과 음성 신호 분석에 의한 상황판단 시스템 및 그 운용방법 | |
| US6246344B1 (en) | Method and apparatus for voluntary communication | |
| US12354715B2 (en) | System and method for populating electronic health records with wireless earpieces | |
| KR20130010207A (ko) | 무구속 무자각 생체신호 획득을 통한 워치타입 건강상태 분석시스템 | |
| CN107320090A (zh) | 一种突发疾病监护系统及方法 | |
| US20200375544A1 (en) | System, method and computer program product for detecting a mobile phone user's risky medical condition | |
| KR20220019340A (ko) | 개인 공간 관찰 영상에서 사용자의 운동성 및 음성 분석을 통한 감정 변화를 모니터링하기 위한 장치 및 방법 | |
| Khanal et al. | Using emotion recognition in intelligent interface design for elderly care | |
| Benlamine et al. | Physiology-based recognition of facial micro-expressions using EEG and identification of the relevant sensors by emotion | |
| JP7410557B2 (ja) | 情報処理装置及びプログラム | |
| KR20140115153A (ko) | 관객 반응 분석 장치 및 방법과 이를 이용한 관객 반응 분석 시스템 | |
| Tivatansakul et al. | Healthcare system focusing on emotional aspects using augmented reality-implementation of breathing control application in relaxation service | |
| Mathewson et al. | The moving wave: Applications of the mobile EEG approach to study human attention | |
| Nguyen et al. | LIBS: a lightweight and inexpensive in-ear sensing system for automatic whole-night sleep stage monitoring | |
| Ye et al. | Techniques in pattern recognition for school bullying prevention: Review and outlook | |
| GB2585364A (en) | Method for a device to be worn within or near the ear, to monitor health, physiology and status of the ear and the wearer, and to provide authentication | |
| CN118574566A (zh) | 用于ar/vr应用的入耳式电极和设备 | |
| Chin et al. | An affective interaction system using virtual reality and brain-computer interface | |
| Nguyen et al. | LIBS: a low-cost in-ear bioelectrical sensing solution for healthcare applications | |
| El Kaliouby et al. | iSET: interactive social-emotional toolkit for autism spectrum disorder | |
| US20220028291A1 (en) | Device for the implementation of serious games for the prevention and/or treatment of mental disorders | |
| US20240339227A1 (en) | Augmented reality in healthcare communications |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PA0109 | Patent application |
Patent event code: PA01091R01D Comment text: Patent Application Patent event date: 20211101 |
|
| PA0201 | Request for examination | ||
| PG1501 | Laying open of application | ||
| E902 | Notification of reason for refusal | ||
| PE0902 | Notice of grounds for rejection |
Comment text: Notification of reason for refusal Patent event date: 20240220 Patent event code: PE09021S01D |
|
| E701 | Decision to grant or registration of patent right | ||
| PE0701 | Decision of registration |
Patent event code: PE07011S01D Comment text: Decision to Grant Registration Patent event date: 20240503 |
|
| GRNT | Written decision to grant | ||
| PR0701 | Registration of establishment |
Comment text: Registration of Establishment Patent event date: 20240516 Patent event code: PR07011E01D |
|
| PR1002 | Payment of registration fee |
Payment date: 20240516 End annual number: 3 Start annual number: 1 |
|
| PG1601 | Publication of registration |