KR102635497B1 - 폭언 및 폭행 방지/신고 서비스 방법 및 시스템 - Google Patents
폭언 및 폭행 방지/신고 서비스 방법 및 시스템 Download PDFInfo
- Publication number
- KR102635497B1 KR102635497B1 KR1020200142000A KR20200142000A KR102635497B1 KR 102635497 B1 KR102635497 B1 KR 102635497B1 KR 1020200142000 A KR1020200142000 A KR 1020200142000A KR 20200142000 A KR20200142000 A KR 20200142000A KR 102635497 B1 KR102635497 B1 KR 102635497B1
- Authority
- KR
- South Korea
- Prior art keywords
- assault
- punishment
- extracted
- objects
- criminal
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000001755 vocal effect Effects 0.000 title claims abstract description 130
- 238000000034 method Methods 0.000 title claims description 36
- 230000002265 prevention Effects 0.000 claims abstract description 44
- 238000004458 analytical method Methods 0.000 claims description 57
- 230000001568 sexual effect Effects 0.000 claims description 22
- 239000000284 extract Substances 0.000 claims description 15
- 238000000605 extraction Methods 0.000 claims description 13
- 238000001228 spectrum Methods 0.000 claims description 12
- 238000007781 pre-processing Methods 0.000 claims description 5
- 230000008859 change Effects 0.000 claims description 3
- 230000008569 process Effects 0.000 description 21
- 238000004891 communication Methods 0.000 description 20
- 238000005516 engineering process Methods 0.000 description 12
- 238000013527 convolutional neural network Methods 0.000 description 11
- 230000007774 longterm Effects 0.000 description 10
- 238000010586 diagram Methods 0.000 description 9
- 230000033228 biological regulation Effects 0.000 description 8
- 230000014509 gene expression Effects 0.000 description 7
- 230000008901 benefit Effects 0.000 description 6
- 238000013135 deep learning Methods 0.000 description 6
- 238000010295 mobile communication Methods 0.000 description 6
- 230000006378 damage Effects 0.000 description 4
- 230000006870 function Effects 0.000 description 3
- 208000027418 Wounds and injury Diseases 0.000 description 2
- 238000003708 edge detection Methods 0.000 description 2
- 208000014674 injury Diseases 0.000 description 2
- 230000009545 invasion Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000001629 suppression Effects 0.000 description 2
- 230000029305 taxis Effects 0.000 description 2
- 238000002604 ultrasonography Methods 0.000 description 2
- VYZAMTAEIAYCRO-UHFFFAOYSA-N Chromium Chemical compound [Cr] VYZAMTAEIAYCRO-UHFFFAOYSA-N 0.000 description 1
- 238000007792 addition Methods 0.000 description 1
- 230000003203 everyday effect Effects 0.000 description 1
- 230000000306 recurrent effect Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 239000004984 smart glass Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000001131 transforming effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/50—Business processes related to the communications industry
-
- G—PHYSICS
- G08—SIGNALLING
- G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
- G08B3/00—Audible signalling systems; Audible personal calling systems
- G08B3/10—Audible signalling systems; Audible personal calling systems using electric transmission; using electromagnetic transmission
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04M—TELEPHONIC COMMUNICATION
- H04M1/00—Substation equipment, e.g. for use by subscribers
- H04M1/72—Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
- H04M1/724—User interfaces specially adapted for cordless or mobile telephones
- H04M1/72403—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality
- H04M1/72418—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality for supporting emergency services
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04W—WIRELESS COMMUNICATION NETWORKS
- H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
- H04W4/12—Messaging; Mailboxes; Announcements
Landscapes
- Engineering & Computer Science (AREA)
- Business, Economics & Management (AREA)
- Physics & Mathematics (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- General Physics & Mathematics (AREA)
- Tourism & Hospitality (AREA)
- Electromagnetism (AREA)
- Human Computer Interaction (AREA)
- Emergency Management (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Economics (AREA)
- Human Resources & Organizations (AREA)
- Marketing (AREA)
- Primary Health Care (AREA)
- Strategic Management (AREA)
- General Business, Economics & Management (AREA)
- Theoretical Computer Science (AREA)
- Alarm Systems (AREA)
- Operations Research (AREA)
Abstract
본 발명의 제1 실시예에 따른 폭언 및 폭행 방지/신고 서비스 시스템은 폭언 및 폭행 방지/신고 서비스 플랫폼을 이용하여 폭언 및 폭행 신고호출 및 신고 메시지를 송출하는 사용자 단말; 및 상기 호출 및 신고 메시지가 접수되면, 지정된 기관서버로 상기 사용자 단말의 위치정보 및 상황정보를 제공하는 플랫폼 관리서버를 포함한다.
Description
본 발명은 폭언 및 폭행 방지/신고 서비스 방법 및 시스템에 관한 것이다.
현재 이동중인 상태에서는 강력범죄로부터 대처하기가 힘들고 특히 택시에서의 사건이 월평균 2~3 건 이상 일어나고 여성운전자 납치 등 강력 범죄가 기승을 이루고 있으나 그에 대한 보안대책은 사후 대책뿐이다.
더 나아가, 택시뿐만 아니더라도, 일상생활에서 크고 작은 사건사고들이 끊임없이 발생하는 요즘, 상대방의 언행이 폭언 및 폭행인지 유무, 처벌대상인지를 판단할 수 있는 장치가 필요한 시점이다.
본 발명이 해결하고자 하는 과제는 종래의 문제점을 해결할 수 있는 폭언 및 폭행 방지/신고 서비스 시스템 및 방법을 제공하는 데 그 목적이 있다.
삭제
상기 과제를 해결하기 위한 본 발명의 실시예에 따른 폭언 및 폭행 방지/신고 서비스 시스템은 폭언 및 폭행 방지/신고 서비스 플랫폼을 이용하여 외부에서 입력되는 음성 또는 영상을 전송하는 사용자 단말; 상기 사용자 단말로부터 전송된 음성 또는 영상 내에 폭언 또는 폭행에 대한 음성 또는 오브젝트를 검출하고, 검출된 음성 또는 오브젝트가 폭언 및 폭행요건에 만족할 경우, 관할기관으로 상기 사용자 단말에 호출을 요청하는 플랫폼 관리서버를 포함하고, 상기 플랫폼 관리서버는 상기 사용자 단말에서 전송된 영상을 전처리한 후, 대상영역을 지정하고, RPN(Region Proposal Network)를 이용하여 상기 대상 영역의 이미지를 블록단위(Patch)로 격자분할하고, 격자분할된 대상영역 내에서 인체 및 흉기와 유사한 오브젝트를 추출한 후, 추출된 오브젝트들을 데이터베이스 내에 R-CNN 알고리즘으로 학습하여 저장된 여러 폭행과 관련된 오브젝트들과 비교하여 상기 추출된 오브젝트들이 폭행과 관련된 오브젝트인지를 분석하는 영상 처리/분석부; 상기 사용자 단말에서 전송된 사용자와 상대방 간의 주고받은 음성 내에서 사용자와 상대방의 고유 음색을 스펙트럼으로 분류한 후, 분류된 스펙트럼들 간을 연결하여 대화자가 발화한 음성정보를 추출하고, 추출한 음성 내의 무음구간을 제거한 후, 텍스트로 변환하는 음성 처리/분석부; 상기 영상 처리/분석부에서 추출된 폭행과 연관된 오브젝트들의 종류, 오브젝트들 간의 추출 유무 및 위치를 기초로 형사처벌대상 유무를 판단하는 형사처벌대상 판단부; 및 상기 형사처벌대상 판단부로부터 해당 영상이 형사처벌대상으로 판단될 경우, 상기 영상 처리/분석부에서 추출한 오브젝트들의 종류, 오브젝트들 간의 추출 유무 및 인접도를 기초로 처벌법규항목을 데이터베이스 내에서 검색하여 제공하는 법규항목 검색부; 및 상기 형사처벌대상 판단부로부터 해당 음성 및 영상이 형사처벌대상으로 판단될 경우, 사용자 단말로부터 인접한 위치의 형사전문 변호사를 검색하여 상기 사용자 단말로 제공하는 AI 매칭부를 포함하고, 상기 형사처벌대상 판단부는 상기 오브젝트들 간의 위치변화를 기초로 정당방위를 판단하고, 상기 플랫폼 관리서버는 상기 사용자 단말에서 제공된 폭언 및 폭행에 대한 음성 및 영상을 분석한 후, 상기 폭언 및 폭행에 상응하는 처벌규정이 포함된 경고멘트를 생성하여 제공하고, 상기 음성 처리/분석부는 변환된 텍스트 내에 폭언, 성희롱과 연관된 종류의 단어를 추출하고, 추출된 폭언 및/또는 성희롱과 연관된 단어들의 노출횟수, 동일 단어의 반복회수를 추출하고, 추출된 대화자(사용자 및 상대방)들의 음성을 변환한 텍스트 내에 위화감 및 강압을 유발 또는 의미하는 단어를 추가적으로 추출하고, 상기 법규항목 검색부는 상기 형사처벌대상 판단부로부터 해당 음성 및 영상이 형사처벌대상으로 판단할 경우, 상기 음성 처리/분석부에서 추출된 폭언 및/또는 성희롱과 연관된 단어들의 노출횟수, 동일 단어의 반복횟수, 위화감 및 강압을 유발 또는 의미하는 단어의 노출빈도를 기초로 처벌법규항목(형사법)을 검색하는 것을 특징으로 한다.
상기 과제를 해결하기 위한 본 발명의 실시예에 따른 폭언 및 폭행 방지/신고 서비스 방법은 사용자 단말에서 취득한 폭언 및 폭행과 관련된 영상을 전송하는 단계; 플랫폼 관리서버에서 폭언 및 폭행과 관련된 영상을 분석하는 단계; 상기 플랫폼 관리서버의 형사처벌대상 판단부에서 분석된 결과를 기초로 형사처벌대상 유무를 판단한 후, 형사처벌대상일 경우, 적용가능한 형사처벌 법규항목을 법규항목 검색부에서 검색하여 추출하는 단계 및 상기 플랫폼 관리서버에서 처벌법규사항이 포함된 경고멘트를 생성하여 사용자 단말로 제공하는 동시에, 관계기관인 경찰서, 119로 자동신고하는 단계를 포함하고, 상기 플랫폼 관리서버는 상기 사용자 단말에서 전송된 영상을 전처리한 후, 대상영역을 지정하고, RPN(Region Proposal Network)를 이용하여 상기 대상 영역의 이미지를 블록단위(Patch)로 격자분할하고, 격자분할된 대상영역 내에서 인체 및 흉기와 유사한 오브젝트를 추출한 후, 추출된 오브젝트들을 데이터베이스 내에 R-CNN 알고리즘으로 학습하여 저장된 여러 폭행과 관련된 오브젝트들과 비교하여 상기 추출된 오브젝트들이 폭행과 관련된 오브젝트인지를 분석하는 영상 처리/분석부; 상기 사용자 단말에서 전송된 사용자와 상대방 간의 주고받은 음성 내에서 사용자와 상대방의 고유 음색을 스펙트럼으로 분류한 후, 분류된 스펙트럼들 간을 연결하여 대화자가 발화한 음성정보를 추출하고, 추출한 음성 내의 무음구간을 제거한 후, 텍스트로 변환하는 음성 처리/분석부; 상기 영상 처리/분석부에서 추출된 폭행과 연관된 오브젝트들의 종류, 오브젝트들 간의 추출 유무 및 위치를 기초로 형사처벌대상 유무를 판단하는 형사처벌대상 판단부; 상기 형사처벌대상 판단부로부터 해당 영상이 형사처벌대상으로 판단될 경우, 상기 영상 처리/분석부에서 추출한 오브젝트들의 종류, 오브젝트들 간의 추출 유무 및 인접도를 기초로 처벌법규항목을 데이터베이스 내에서 검색하여 제공하는 법규항목 검색부; 및 상기 형사처벌대상 판단부로부터 해당 음성 및 영상이 형사처벌대상으로 판단될 경우, 사용자 단말로부터 인접한 위치의 형사전문 변호사를 검색하여 상기 사용자 단말로 제공하는 AI 매칭부를 포함하고, 상기 형사처벌대상 판단부는 상기 영상 처리/분석부에서 추출된 폭행과 연관된 오브젝트들의 종류, 오브젝트들 간의 추출 유무 및 위치를 기초로 형상처벌대상 유무를 판단하고, 상기 법규항목 검색부는 상기 형사처벌대상 판단부로부터 해당 영상이 형사처벌대상으로 판단될 경우, 상기 영상 처리/분석부에서 추출한 오브젝트들의 종류, 오브젝트들 간의 추출 유무 및 인접도를 기초로 처벌법규항목을 데이터베이스 내에서 검색하여 제공하고, 상기 형사처벌대상 판단부는 상기 오브젝트들 간의 위치변화를 기초로 정당방위를 판단하고, 상기 플랫폼 관리서버는 상기 사용자 단말에서 제공된 폭언 및 폭행에 대한 음성 및 영상을 분석한 후, 상기 폭언 및 폭행에 상응하는 처벌규정이 포함된 경고멘트를 생성하여 제공하고, 상기 음성 처리/분석부는 변환된 텍스트 내에 폭언, 성희롱과 연관된 종류의 단어를 추출하고, 추출된 폭언 및/또는 성희롱과 연관된 단어들의 노출횟수, 동일 단어의 반복회수를 추출하고, 추출된 대화자(사용자 및 상대방)들의 음성을 변환한 텍스트 내에 위화감 및 강압을 유발 또는 의미하는 단어를 추가적으로 추출하고, 상기 법규항목 검색부는 상기 형사처벌대상 판단부로부터 해당 음성 및 영상이 형사처벌대상으로 판단할 경우, 상기 음성 처리/분석부에서 추출된 폭언 및/또는 성희롱과 연관된 단어들의 노출횟수, 동일 단어의 반복횟수, 위화감 및 강압을 유발 또는 의미하는 단어의 노출빈도를 기초로 처벌법규항목(형사법)을 검색하는 것을 특징으로 한다.
본 발명의 일 실시예에 따른 폭언 및 폭행 방지/신고 서비스 시스템 및 방법을 이용하면, 상대방의 모욕적인 언사 및 행동을 차단할 수 있고, 상대방의 폭언 및 폭행에 대한 명확한 법적처벌규제를 상대방에게 제시할 수 있고, 또한, 실시간으로 상대방의 폭언 및 폭행에 대한 근거자료를 기록 저장할 수 있다는 이점이 있다.
더 나아가, 폭언 및 폭행뿐만 아니라, 성희롱, 강요, 위압 등에 대한 법류적인 처벌규정을 제공받음으로써, 사용자로 하여금 상대방의 불미스런 언행이 법적처벌요건의 대상인지를 명확하게 제공받을 수 있고, 이로 인해 후속 처벌절차를 신속하게 진행할 수 있다는 이점을 제공한다.
또한, 폭언 및 폭행이 발생한 후, 형사전문 변호사를 AI 매칭 알고리즘으로 소개해줌으로써, 법적인 지식이 없는 사용자에게 편리하게 형사전문 변호사를 선임하도록 도와주는 이점이 있다.
도 1은 본 발명의 제1 실시예에 따른 폭언 및 폭행 방지/신고 서비스 시스템의 네트워크 구성도이다.
도 2 내지 도 4는 도 1에 사용자 단말에 실행되는 폭언 및 폭행 방지/신고 서비스 플랫폼의 실행화면을 나타낸 예시도이다.
도 5는 본 발명의 제2 실시예에 따른 폭언 및 폭행 방지/신고 서비스 시스템의 네트워크 구성도이다.
도 6 내지 도 8은 도 5에 도시된 폭언 및 폭행 방지/신고 서비스 플랫폼의 실행화면의 일 예시도이다.
도 9는 도 5에 도시된 플랫폼 관리서버의 세부구성을 나타낸 블록도이다.
도 10은 본 발명의 다른 일 실시예에 따른 폭언 및 폭행 방지/신고 서비스 방법을 설명한 흐름도이다.
도 11 및 도 12는 도 10에 도시된 S810 과정을 보다 상세하게 설명한 흐름도이다.
도 13 및 도 14는 도 10에 도시된 S820을 보다 상세하게 설명한 흐름도이다.
도 2 내지 도 4는 도 1에 사용자 단말에 실행되는 폭언 및 폭행 방지/신고 서비스 플랫폼의 실행화면을 나타낸 예시도이다.
도 5는 본 발명의 제2 실시예에 따른 폭언 및 폭행 방지/신고 서비스 시스템의 네트워크 구성도이다.
도 6 내지 도 8은 도 5에 도시된 폭언 및 폭행 방지/신고 서비스 플랫폼의 실행화면의 일 예시도이다.
도 9는 도 5에 도시된 플랫폼 관리서버의 세부구성을 나타낸 블록도이다.
도 10은 본 발명의 다른 일 실시예에 따른 폭언 및 폭행 방지/신고 서비스 방법을 설명한 흐름도이다.
도 11 및 도 12는 도 10에 도시된 S810 과정을 보다 상세하게 설명한 흐름도이다.
도 13 및 도 14는 도 10에 도시된 S820을 보다 상세하게 설명한 흐름도이다.
이하, 본 명세서의 실시예가 첨부된 도면을 참조하여 기재된다. 그러나, 이는 본 명세서에 기재된 기술을 특정한 실시 형태에 대해 한정하는 것이 아니며, 본 명세서의 실시예의 다양한 변경(modifications), 균등물(equivalents), 및/또는 대체물(alternatives)을 포함하는 것으로 이해되어야 한다. 도면의 설명과 관련하여, 유사한 구성요소에 대해서는 유사한 참조 부호가 사용될 수 있다. 본 명세서에서, "가진다," "가질 수 있다," "포함한다," 또는 "포함할 수 있다" 등의 표현은 해당 특징(예: 수치, 기능, 동작, 또는 부품 등의 구성요소)의 존재를 가리키며, 추가적인 특징의 존재를 배제하지 않는다.
본 명세서에서, "A 또는 B," "A 또는/및 B 중 적어도 하나," 또는 "A 또는/및 B 중 하나 또는 그 이상"등의 표현은 함께 나열된 항목들의 모든 가능한 조합을 포함할 수 있다. 예를 들면, "A 또는 B," "A 및 B 중 적어도 하나," 또는 "A 또는 B 중 적어도 하나"는, (1) 적어도 하나의 A를 포함, (2) 적어도 하나의 B를 포함, 또는 (3) 적어도 하나의 A 및 적어도 하나의 B 모두를 포함하는 경우를 모두 지칭할 수 있다.
본 명세서에서 사용된 "제 1," "제 2," "첫째," 또는 "둘째,"등의 표현들은 다양한 구성요소들을, 순서 및/또는 중요도에 상관없이 수식할 수 있고, 한 구성요소를 다른 구성요소와 구분하기 위해 사용될 뿐 해당 구성요소들을 한정하지 않는다. 예를 들면, 제 1 사용자 기기와 제 2 사용자 기기는, 순서 또는 중요도와 무관하게, 서로 다른 사용자 기기를 나타낼 수 있다. 예를 들면, 본 명세서에 기재된 권리 범위를 벗어나지 않으면서 제 1 구성요소는 제 2 구성요소로 명명될 수 있고, 유사하게 제 2 구성요소도 제 1 구성요소로 바꾸어 명명될 수 있다.
어떤 구성요소(예: 제 1 구성요소)가 다른 구성요소(예: 제 2 구성요소)에 "(기능적으로 또는 통신적으로) 연결되어((operatively or communicatively) coupled with/to)" 있다거나 "접속되어(connected to)" 있다고 언급된 때에는, 상기 어떤 구성요소가 상기 다른 구성요소에 직접적으로 연결되거나, 다른 구성요소(예: 제 3 구성요소)를 통하여 연결될 수 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소(예: 제 1 구성요소)가 다른 구성요소(예: 제 2 구성요소)에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 상기 어떤 구성요소와 상기 다른 구성요소 사이에 다른 구성요소(예: 제 3 구성요소)가 존재하지 않는 것으로 이해될 수 있다.
본 명세서에서 사용된 표현 "~하도록 구성된(또는 설정된)(configured to)"은 상황에 따라, 예를 들면, "~에 적합한(suitable for)," "~하는 능력을 가지는(having the capacity to)," "~하도록 설계된(designed to)," "~하도록 변경된(adapted to)," "~하도록 만들어진(made to)," 또는 "~를 할 수 있는(capable of)"과 바꾸어 사용될 수 있다. 용어 "~하도록 구성된(또는 설정된)"은 하드웨어적으로 "특별히 설계된(specifically designed to)" 것만을 반드시 의미하지 않을 수 있다. 대신, 어떤 상황에서는, "~하도록 구성된 장치"라는 표현은, 그 장치가 다른 장치 또는 부품들과 함께 "~할 수 있는" 것을 의미할 수 있다.
예를 들면, 문구 "A, B, 및 C를 수행하도록 구성된(또는 설정된) 프로세서"는 해당 동작을 수행하기 위한 전용 프로세서(예: 임베디드 프로세서), 또는 메모리 장치에 저장된 하나 이상의 소프트웨어 프로그램들을 실행함으로써, 해당 동작들을 수행할 수 있는 범용프로세서(generic-purpose processor)(예: CPU 또는 application processor)를 의미할 수 있다.
본 명세서에서 사용된 용어들은 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 다른 실시예의 범위를 한정하려는 의도가 아닐 수 있다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함할 수 있다. 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 용어들은 본 명세서에 기재된 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가질 수 있다. 본 명세서에 사용된 용어들 중 일반적인 사전에 정의된 용어들은, 관련 기술의 문맥상 가지는 의미와 동일 또는 유사한 의미로 해석될 수 있으며, 본 명세서에서 명백하게 정의되지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다. 경우에 따라서, 본 명세서에서 정의된 용어일지라도 본 명세서의 실시예들을 배제하도록 해석될 수 없다.
이하, 첨부된 도면들에 기초하여 본 발명의 제1 실시예 및 제2 실시예에 따른 폭언 및 폭행 방지/신고 서비스 시스템 및 방법을 보다 상세하게 설명하도록 한다.
도 1은 본 발명의 제1 실시예에 따른 폭언 및 폭행 방지/신고 서비스 시스템의 네트워크 구성도이고, 도 2 내지 도 4는 도 1에 사용자 단말에 실행되는 폭언 및 폭행 방지/신고 서비스 플랫폼의 실행화면을 나타낸 예시도이다.
도 1에 도시된 바와 같이, 본 발명의 제1 실시예에 따른 폭언 및 폭행 방지/신고 서비스 시스템(100)은 사용자 단말(200) 및 플랫폼 관리서버(300)를 포함한다.
각 구성요소들은 일반적으로 네트워크(network)를 통해 연결된다.
여기서, 네트워크(network)는, 복수의 단말 및 서버들과 같은 각각의 노드 상호 간에 정보 교환이 가능한 연결 구조를 의미하는 것으로, 이러한 네트워크의 일 예에는 RF, 3GPP(3rd Generation Partnership Project) 네트워크, LTE(Long Term Evolution) 네트워크, 5GPP(5rd Generation Partnership Project) 네트워크, WIMAX(World Interoperability for Microwave Access) 네트워크, 인터넷(Internet), LAN(Local Area Network), Wireless LAN(Wireless Local Area Network), WAN(Wide Area Network), PAN(Personal Area Network), 블루투스(Bluetooth) 네트워크, NFC 네트워크, 위성 방송 네트워크, 아날로그 방송 네트워크, DMB(Digital Multimedia Broadcasting) 네트워크 등이 포함되나 이에 한정되지는 않는다.
사용자 단말(200)은 폭언 및 폭행 방지 플랫폼을 이용하여 제3 자로부터 제공된 폭언 및 폭행에 대한 이벤트 정보가 감지되면, 호출 및 신고 메시지를 송출하는 구성일 수 있다.
사용자 단말(200)은 폭언 및 폭행 방지 플랫폼을 이용하여 제3 자로부터 제공된 폭언 및 폭행에 대한 음성 및 영상정보를 기록 및 저장하는 구성일 수 있다.
사용자 단말(200)은 폭언 및 폭행 방지 플랫폼을 이용하여 제3 자의 폭언 및 폭행이 감지되면, 해당 상황에 대한 처벌법규사항 및 경고멘트를 출력하는 구성일 수 있다.
사용자 단말(200)은 폭언 및 폭행 방지 플랫폼을 통해 제3 자의 폭언 및 폭행에 대응하기 위한 대응안내정보를 사용자에게 제공하는 단말일 있다.
사용자 단말(200)은 폭언 및 폭행 플랫폼(10)을 실행하는 단말로서, 스마트 폰(Smart Phone), 휴대 단말기(Portable Terminal), 이동 단말기(Mobile Terminal), 폴더블 단말기(Foldable Terminal), 개인 정보 단말기(Personal Digital Assistant: PDA), PMP(Portable Multimedia Player) 단말기, 텔레매틱스(Telematics) 단말기, 내비게이션(Navigation) 단말기, 개인용 컴퓨터(Personal Computer), 노트북 컴퓨터, 슬레이트 PC(Slate PC), 태블릿 PC(Tablet PC), 울트라북(ultrabook), 웨어러블 디바이스(Wearable Device, 예를 들어, 워치형 단말기(Smartwatch), 글래스형 단말기(Smart Glass), HMD(Head Mounted Display) 등 포함), 와이브로(Wibro) 단말기, IPTV(Internet Protocol Television) 단말기, 스마트 TV, 디지털방송용 단말기, AVN(Audio Video Navigation) 단말기, A/V(Audio/Video) 시스템, 플렉시블 단말기(Flexible Terminal), 디지털 사이니지 장치 등과 같은 다양한 단말기에 적용될 수 있다.
상기 사용자 단말(200)은 유/무선 통신망을 통해 내부의 임의의 구성 요소 또는 외부의 임의의 적어도 하나의 단말기(영상 캠, 콘솔 조작부 등)과 통신 연결한다. 여기서, 무선 인터넷 기술로는 무선랜(Wireless LAN: WLAN), DLNA(Digital Living Network Alliance), 와이브로(Wireless Broadband: Wibro), 와이맥스(World Interoperability for Microwave Access: Wimax), HSDPA(High Speed Downlink Packet Access), HSUPA(High Speed Uplink Packet Access), IEEE 802.16, 롱 텀 에볼루션(Long Term Evolution: LTE), LTE-A(Long Term Evolution-Advanced), 광대역 무선 이동 통신 서비스(Wireless Mobile Broadband Service: WMBS) 등이 있으며, 각 단말(200, 400)는 상기에서 나열되지 않은 인터넷 기술까지 포함한 범위에서 적어도 하나의 무선 인터넷 기술에 따라 데이터를 송수신하게 된다. 또한, 근거리 통신 기술로는 블루투스(Bluetooth), RFID(Radio Frequency Identification), 적외선 통신(Infrared Data Association: IrDA), UWB(Ultra Wideband), 지그비(ZigBee), 인접 자장 통신(Near Field Communication: NFC), 초음파 통신(Ultra Sound Communication: USC), 가시광 통신(Visible Light Communication: VLC), 와이 파이(Wi-Fi), 와이 파이 다이렉트(Wi-Fi Direct) 등이 포함될 수 있다. 또한, 유선 통신 기술로는 전력선 통신(Power Line Communication: PLC), USB 통신, 이더넷(Ethernet), 시리얼 통신(serial communication), 광/동축 케이블 등이 포함될 수 있다.
또한, 상기 사용자 단말(200)은 유니버설 시리얼 버스(Universal Serial Bus: USB)를 통해 임의의 단말과 정보를 상호 전송할 수 있다.
또한, 상기 사용자 단말(200)은 이동통신을 위한 기술표준들 또는 통신방식(예를 들어, GSM(Global System for Mobile communication), CDMA(Code Division Multi Access), CDMA2000(Code Division Multi Access 2000), EV-DO(Enhanced Voice-Data Optimized or Enhanced Voice-Data Only), WCDMA(Wideband CDMA), HSDPA(High Speed Downlink Packet Access), HSUPA(High Speed Uplink Packet Access), LTE(Long Term Evolution), LTE-A(Long Term Evolution-Advanced) 등)에 따라 구축된 이동 통신망 상에서 기지국, 상기 서버(200), 상기 가맹점 단말(300) 등과 무선 신호를 송수신한다.
상기 사용자 단말(200)은 폭언 및 폭행 방지 플랫폼(10)을 통해 플랫폼 관리서버(300)에 접속하는 단말일 수 있다.
상기 폭언 및 폭행 방지 플랫폼(10)은 네트워크를 통하여 사용자 단말(200)에 설치 또는 구동되는 애플리케이션, 프로그램, 웹 페이지 등을 포함할 수 있다.
여기서, 상기 웹 브라우저는 웹(WWW: World Wide Web) 서비스를 이용할 수 있게 하는 프로그램으로 HTML(hyper text mark-up languge)로 서술된 하이퍼 텍스트를 받아서 보여주는 프로그램을 의미하며, 예를 들어 넷스케이프(Netscape), 익스플로러(Explorer), 크롬(chrome) 등을 포함한다.
또한, 애플리케이션은 단말 상의 응용프로그램(application)을 의미하며, 예를 들어, 모바일 단말(스마트폰)에서 실행되는 앱(app)을 포함한다. 앱(app)은 모바일 콘텐츠를 자유롭게 사고 파는 가상의 장터인 애플리케이션 마켓에서 다운로드 받아서 설치할 수 있다.
이하에서는 사용자 단말(200)에서 실행되는 상기 폭언 및 폭행 방지 플랫폼(10)의 보다 세부적인 기능에 대해서 설명하도록 한다.
도 2 내지 도 4는 본 발명의 제1 실시에에 따른 폭언 및 폭행 방지/신고 서비스 플랫폼의 실행화면을 나타낸 도이다.
도 2 내지 도 4를 참조하면, 본원에서 제시하는 폭언 및 폭행 방지/신고 서비스 플랫폼(10)은 적어도 하나 이상의 인터페이스(11, 12, 13)를 포함할 수 있다.
먼저, 폭언 및 폭행 방지/신고 서비스 플랫폼(10)은 경고 멘트 인터페이스(11), 폭행신고 인터페이스(12) 및 환경설정 인터페이스(13)를 포함한다.
상기 경고 멘트 인터페이스(11)은 사용자의 터치 신호에 기초하여 폭언 및 폭행과 관련된 경고 멘트 및 처벌법규 사항을 출력하는 인터페이스일 수 있다.
상기 경고 멘트 인터페이스(11)는 후술하는 환경설정 인터페이스(13)와 연동되어, 설정 인터페이스 내에 사용자가 등록한 복수 개의 폭언 및 폭행과 관련된 경고성 멘트들 중 어느 하나를 출력하는 인터페이스 일 수 있다.
다음으로, 폭언 및 폭행신고 인터페이스(12)는 사용자의 터치 신호에 기초하여 폭언 및 폭행에 대한 신고메시지 및 신고호출을 요청하는 인터페이스일 수 있다.
상기 폭언 및 폭행신고 인터페이스(12)는 도 3 및 도 4를 참조, 환경설정 인터페이스(13)와 연동되어, 환경설정 인터페이스(13)에 등록된 관할기관의 연락번호로 폭언 및 폭행 신고를 호출하는 구성일 수 있다.
다음으로, 환경설정 인터페이스(13)는 경고성 멘트의 내용 및 신고자의 개인정보를 설정 및 등록하는 인터페이스 일 수 있다.
또한, 환경설정 인터페이스(13)는 사용자의 신분을 확인하는 신분확인정보(직업, 차량번호 등)을 설정하는 인터페이스를 추가적으로 포함할 수 있다.
다음으로, 플랫폼 관리서버(300)는 사용자 단말(200)로부터 폭언 및 폭행에 대한 신고호출 및 신고 메시지 중 어느 하나의 이벤트 정보가 접수되면, 상기 이벤트 정보를 분석한 후, 지정된 폭언 및 폭행을 관할하는 관할기관서버 및/또는 단말로 상기 사용자 단말(200)의 위치정보 및 사용자의 상황정보(폭언 및 폭행)를 제공하는 구성일 수 있다.
도 5는 본 발명의 제2 실시예에 따른 폭언 및 폭행 방지/신고 서비스 시스템의 네트워크 구성도이고, 도 6 내지 도 8은 도 5에 도시된 폭언 및 폭행 방지/신고 서비스 플랫폼의 실행화면의 일 예시도이고, 도 9는 도 5에 도시된 플랫폼 관리서버의 세부구성을 나타낸 블록도이다.
도 5를 참조하면, 본 발명의 다른 일 실시예에 따른 폭언 및 폭행 방지/신고 서비스 시스템(1000)는 사용자 단말(1100) 및 플랫폼 관리서버(1200)를 포함한다.
각 구성요소들(1100, 1200)은 일반적으로 네트워크(network)를 통해 연결된다.
여기서, 네트워크(network)는, 복수의 단말 및 서버들과 같은 각각의 노드 상호 간에 정보 교환이 가능한 연결 구조를 의미하는 것으로, 이러한 네트워크의 일 예에는 RF, 3GPP(3rd Generation Partnership Project) 네트워크, LTE(Long Term Evolution) 네트워크, 5GPP(5rd Generation Partnership Project) 네트워크, WIMAX(World Interoperability for Microwave Access) 네트워크, 인터넷(Internet), LAN(Local Area Network), Wireless LAN(Wireless Local Area Network), WAN(Wide Area Network), PAN(Personal Area Network), 블루투스(Bluetooth) 네트워크, NFC 네트워크, 위성 방송 네트워크, 아날로그 방송 네트워크, DMB(Digital Multimedia Broadcasting) 네트워크 등이 포함되나 이에 한정되지는 않는다.
상기 사용자 단말(1100)는 유/무선 통신망을 통해 내부의 임의의 구성 요소 또는 외부의 임의의 적어도 하나의 단말기(영상 캠, 콘솔 조작부 등)과 통신 연결한다. 여기서, 무선 인터넷 기술로는 무선랜(Wireless LAN: WLAN), DLNA(Digital Living Network Alliance), 와이브로(Wireless Broadband: Wibro), 와이맥스(World Interoperability for Microwave Access: Wimax), HSDPA(High Speed Downlink Packet Access), HSUPA(High Speed Uplink Packet Access), IEEE 802.16, 롱 텀 에볼루션(Long Term Evolution: LTE), LTE-A(Long Term Evolution-Advanced), 광대역 무선 이동 통신 서비스(Wireless Mobile Broadband Service: WMBS) 등이 있으며, 각 단말(200, 400)는 상기에서 나열되지 않은 인터넷 기술까지 포함한 범위에서 적어도 하나의 무선 인터넷 기술에 따라 데이터를 송수신하게 된다. 또한, 근거리 통신 기술로는 블루투스(Bluetooth), RFID(Radio Frequency Identification), 적외선 통신(Infrared Data Association: IrDA), UWB(Ultra Wideband), 지그비(ZigBee), 인접 자장 통신(Near Field Communication: NFC), 초음파 통신(Ultra Sound Communication: USC), 가시광 통신(Visible Light Communication: VLC), 와이 파이(Wi-Fi), 와이 파이 다이렉트(Wi-Fi Direct) 등이 포함될 수 있다. 또한, 유선 통신 기술로는 전력선 통신(Power Line Communication: PLC), USB 통신, 이더넷(Ethernet), 시리얼 통신(serial communication), 광/동축 케이블 등이 포함될 수 있다.
또한, 상기 사용자 단말(1100)은 유니버설 시리얼 버스(Universal Serial Bus: USB)를 통해 임의의 단말과 정보를 상호 전송할 수 있다.
또한, 상기 사용자 단말(1100)은 이동통신을 위한 기술표준들 또는 통신방식(예를 들어, GSM(Global System for Mobile communication), CDMA(Code Division Multi Access), CDMA2000(Code Division Multi Access 2000), EV-DO(Enhanced Voice-Data Optimized or Enhanced Voice-Data Only), WCDMA(Wideband CDMA), HSDPA(High Speed Downlink Packet Access), HSUPA(High Speed Uplink Packet Access), LTE(Long Term Evolution), LTE-A(Long Term Evolution-Advanced) 등)에 따라 구축된 이동 통신망 상에서 기지국 등과 무선 신호를 송수신한다.
상기 사용자 단말(1100)은 폭언 및 폭행 방지/신고 서비스 플랫폼(20)을 통해 플랫폼 관리서버(1200)에 접속하는 단말일 수 있다.
상기 사용자 단말(1100)은 폭언 및 폭행 방지/신고 서비스 플랫폼(20)을 통해 상대방이 가하는 폭언 및 폭행에 대한 음성 및 영상을 기록 및 저장하고, 저장된 음성 및 영상정보를 후술하는 플랫폼 관리서버로 제공할 수 있다.
상기 사용자 단말(1100)은 폭언 및 폭행 방지/신고 서비스 플랫폼(10)을 통해 플랫폼 관리서버(1200)에서 분석한 폭언 및 폭행관련 음성 및 영상을 분석한 분석결과를 음성 및 영상으로 출력할 수 있다.
여기서, 분석결과는 폭언 및 폭행에 대한 형사처벌 대상 유무, 처벌요건에 대한 경고내용일 수 있다.
상기 사용자 단말(1100)은 폭언 및 폭행 방지/신고 서비스 플랫폼(10)을 통해 형사법 전문 변호사와의 연결을 요청받을 수 있다.
상기 사용자 단말(1100)은 폭언 및 폭행 방지/신고 서비스 플랫폼을 통해 상대방의 폭언 및 폭행이 발생될 경우, 자동으로 인근 관한 경찰서 또는 119로 자동신고할 수 있다.
다음으로, 상기 플랫폼 관리서버(1200)는 사용자 단말(1100)에서 제공된 폭언 및 폭행에 대한 음성 및 영상을 분석한 후, 상기 폭언 및 폭행에 상응하는 처벌규정이 포함된 경고멘트를 생성하여 제공한다.
또한, 플랫폼 관리서버(1200)는 분석된 폭언 및 폭행이 형사처벌대상인지를 판단한 후, 형사처벌대상일 경우, 데이터베이스에 등록된 형사전문 변호사를 매칭시켜주는 매칭서비스를 제공한다.
보다 구체적으로, 상기 플랫폼 관리서버(1200)는 수신부(1210), 음성 처리/분석부(1220), 영상 처리/분석부(1230), 형사처벌대상 판단부(1240), 법규항목 검색부(1250), 신고처리부(1260), AI 매칭부(1270) 및 플랫폼 제공부(1280)을 포함한다.
상기 수신부(1210)는 사용자 단말(1210)로부터 전송된 폭언 및 폭행에 대한 음성 및 영상을 수신하는 구성일 수 있다.
상기 음성 처리/분석부(1220)는 폭언에 대한 음성정보 중 폭언과 관련된 단어, 문장을 분석한다.
상기 음성 처리/분석부(1220)는 사용자 단말에서 전송된 음성(사용자와 상대방 간의 주고받은 말) 내에서 사용자와 상대방의 고유 음색을 스펙트럼으로 분류한 후, 분류된 스펙트럼들 간을 연결하여 대화자가 발화한 음성정보를 추출한다.
또한, 음성 처리/분석부(1220)는 추출된 대화자(사용자 및 상대방) 별로 추출한 음성 내의 무음구간을 제거한 후, 텍스트로 변환하는 SST 엔진을 포함할 수 있다.
또한, 음성 처리/분석부(1220)는 변환된 텍스트 내에 폭언, 성희롱과 연관된 종류의 단어를 추출할 수 있다.
상기 음성 처리/분석부(1220)는 추출된 폭언 및/또는 성희롱과 연관된 단어들의 노출횟수, 동일 단어의 반복회수 등을 추가로 추출할 수 있다.
한편, 상기 음성 처리/분석부(1220)는 추출된 대화자(사용자 및 상대방)들의 음성을 변환한 텍스트 내에 위화감 및 강압을 유발 또는 의미하 단어를 추가적으로 추출할 수 있다.
다음으로, 영상 처리/분석부(1230)는 사용자 단말에서 전송된 영상(사용자와 상대방이 포함된 영상 또는 상대방의 행동을 촬영한 영상) 내에서 폭행과 연관된 오브젝트를 추출하는 구성일 수 있다.
영상 처리/분석부(1230)는 영상 내에 인체(얼굴, 손, 주먹, 발 등)에 대한 오브젝트 및 흉기(칼, 막대기 등)에 대한 오브젝트를 추출할 수 있다.
보다 구체적으로, 영상 처리/분석부(1230)는 영상 이미지 내의 대상 영역을 이진화, 세션화, 잡음제거 중 하나 이상의 전처리를 수행한 후, 가우시안 필터(Gaussian filter), 라플라시안 필터(Laplacian filter), 가우시안 차(Difference of Gaussian: DoG) 및 캐니 에지 검출(Canny edge detection) 등을 이용하여, 대상영역을 변형 또는 개선시킬 수 있다.
일 예로, 가우시안 필터 등을 이용하여 잡음을 제거하고(Noise reduction), 에지 성분 검출을 위한 그라디언트(gradient) 연산을 수행하며(gradient operation), 끊어진 에지 라인을 보간 하는 비 최대치 억제를 수행하고(non-maximum suppression), 에지 맵을 이진화하는 히스테리시스 경계화(Hysteresis thresholding)를 수행할 수 있다.
영상 처리/분석부(1230)는 RPN(Region Proposal Network)를 이용하여 상기 대상 영역의 이미지를 블록단위(Patch)로 격자분할하고, 격자분할된 대상영역 내에서 인체 및 흉기와 유사한 오브젝트를 추출한다.
영상 처리/분석부(1230)는 대상 영역의 블록단위(patch)를 정규화(normalization) 및 군집화(Clustering)한 후, 상기 R-CNN 알고리즘을 이용하여 상기 대상 영역 내의 오브젝트들을 특정하여 추출하고, 추출된 오브젝트들을 데이터베이스 내에 R-CNN 알고리즘으로 학습하여 저장된 여러 폭행과 관련된 오브젝트들과 비교하여 상기 추출된 오브젝트들이 폭행과 관련된 오브젝트인지를 분석한다.
다음으로, 형사처벌대상 판단부(1240)는 음성 처리/분석부(1220)의 결과값 및 영상 처리/분석부(1230)의 결과값을 기초로 폭언 및 폭행에 대한 형사처벌 대상유무를 판단하는 구성일 수 있다.
보다 구체적으로, 상기 형상처벌대상 판단부(1240)는 음성 처리/분석부(1220)에서 추출된 폭언 및/또는 성희롱과 연관된 단어들의 노출횟수, 동일 단어의 반복횟수, 외화감 및 강압을 유발 또는 의미하는 단어의 노출빈도를 점수화(Scoring)한 후, 산출된 점수가 기 설정값 이상을 초과할 경우, 형사처벌대상을 판단한다.
또한, 형상처벌대상 판단부(1240)는 사용자 단말에서 전송된 영상(사용자와 상대방이 포함된 영상 또는 상대방의 행동을 촬영한 영상) 내에서 폭행과 연관된 오브젝트들의 종류, 오브젝트들 간의 추출 유무 및 위치(인접도)를 기초로 형상처벌대상 유무를 판단한다.
또한, 형사처벌대상 판단부(1240)는 영상의 경우, 오브젝트들 간의 위치변화를 기초로 정당방위를 판단할 수도 있다.
다음으로, 법규항목 검색부(1250)는 형사처벌대상 판단부(1240)로부터 해당 음성 및 영상이 형사처벌대상으로 판단할 경우, 음성 처리/분석부(1220)에서 추출된 폭언 및/또는 성희롱과 연관된 단어들의 노출횟수, 동일 단어의 반복횟수, 외화감 및 강압을 유발 또는 의미하는 단어의 노출빈도를 기초로 처벌법규항목(형사법)을 검색한다.
또한, 사용자 단말에서 전송된 영상(사용자와 상대방이 포함된 영상 또는 상대방의 행동을 촬영한 영상) 내에서 폭행과 연관된 오브젝트들의 종류, 오브젝트들 간의 추출 유무 및 위치(인접도)를 기초로 처벌법규항목(형사법)을 데이터베이스 내에서 검색한다.
참고로, 형사법은 집단적 또는 상습적으로 폭령행위 등을 범하거나 흉기 또는 그 밖의 위험한 물건을 휴대하여 폭력행위 등을 범한 사람을 처벌함을 목적으로 하는 법이다.
형사법은 폭행, 상해, 체포, 감금, 협박, 주거침입, 퇴거불응, 강요, 공갈, 손괴의 죄 등이 그 적용대상이다.
다음으로, 신고처리부(1260)는 형사처벌대상 판단부(1240)로부터 해당 음성 및 영상이 형사처벌대상으로 판단할 경우, 관계기관(경찰서 및 소방서)로 사용자 단말에 긴급호출을 요청한다.
또한, 신고처리부(1260)는 관계기관(경찰서 및 소방서)로 법규항목 검색부에서 추출된 폭언 및 폭행에 대한 처벌법규항목 및 사용자 단말의 위치정보를 관할기관으로 전송할 수 있다.
다음으로, AI 매칭부(1270)는 형사처벌대상 판단부(1240)로부터 해당 음성 및 영상이 형사처벌대상으로 판단할 경우, 사용자 단말(1100)로부터 인접한 위치의 형사전문 변호사를 검색하여 사용자 단말(1100)로 제공한다.
상기 AI 매칭부(1270)는 형사법 중 폭행, 상해, 감금, 협박, 주거침입, 퇴거불응, 강요, 공갈, 손괴 중 어느 하나에 적용된 처벌항목과 관련된 형사전문 변호사를 일일 선임한 후, 사용자 단말로 변호인 선임을 요청할 수 있다.
다음으로, 플랫폼 제공부(1280)는 폭언 및 폭행 방지/신고 서비스 플랫폼(20)을 제공하는 구성일 수 있다.
상기 폭언 및 폭행 방지/신고 서비스 플랫폼(20)은 경고 멘트 인터페이스(21), 폭언 및 폭행신고 인터페이스(22), 환경설정 인터페이스(23) 및 AI 폭언/폭행 처리 인터페이스(24)를 포함한다.
상기 경고 멘트 인터페이스(21)은 사용자의 터치 신호에 기초하여 폭언 및 폭행과 관련된 경고 멘트 및 처벌법규 사항을 출력하는 인터페이스일 수 있다.
상기 경고 멘트 인터페이스(21)는 후술하는 환경설정 인터페이스(23)와 연동되어, 설정 인터페이스 내에 사용자가 등록한 복수 개의 폭언 및 폭행과 관련된 경고성 멘트들 중 어느 하나를 출력하는 인터페이스 일 수 있다.
다음으로, 폭언 및 폭행신고 인터페이스(22)는 사용자의 터치 신호에 기초하여 폭언 및 폭행에 대한 신고메시지 및 신고호출을 요청하는 인터페이스일 수 있다.
상기 폭언 및 폭행신고 인터페이스(22)는 환경설정 인터페이스(23)와 연동되어, 환경설정 인터페이스(13)에 등록된 관할기관의 연락번호로 폭언 및 폭행 신고를 호출하는 구성일 수 있다.
다음으로, 환경설정 인터페이스(13)는 경고성 멘트의 내용 및 신고자의 개인정보를 설정 및 등록하는 인터페이스 일 수 있다.
다음으로, AI 폭언/폭행 처리 인터페이스(24)는 사용자의 음성 및 터치신호를 기초로 동작되며, 사용자의 입력신호가 입력된 시점을 기초로 음성 및 영상을 촬영하며, 기 설정된 시간간격으로 녹음 및 촬영된 음성 및 영상을 플랫폼 관리서버(1200)로 제공한다.
상기 AI 폭언 및 폭행 처리 인터페이스(24)는 전송된 음성 및 영상에 대한 폭언 및 폭행 유무를 판단한 판단결과 및 처벌규정에 대한 정보를 수신하여 출력하는 기능을 수행한다.
참고로, 본 발명에 개시된 플랫폼 관리서버(1200)는 딥러닝 학습 알고리즘을 채용하며, 상기 딥러닝 학습 알고리즘은 Deep Belief Network, Autoencoder, CNN(Convolutional Neural Network), RNN(Recurrent Nerural Network), Deep Q-Network 등을 포함할 수 있고, 본 발명에서 열거한 딥러닝 학습 알고리즘은 일 예시일 뿐, 이에 한정되는 것은 아니다.
본 발명에서는 앞에서 열거한 딥러닝 학습 알고리즘 중 어느 하나인 CNN(Convolutional Neural Network)를 적용시켜, AI 및 딥러닝 기반의 공항 보안 검색 시스템에 적용한 예를 설명하였지만, 이에 한정되는 것은 아니며, 사용자의 선택에 따라 다양한 종류의 딥러닝 학습 알고리즘이 사용될 수도 있다.
도 10은 본 발명의 다른 일 실시예에 따른 폭언 및 폭행 방지/신고 서비스 방법을 설명한 흐름도이고, 도 11 및 도 12는 도 10에 도시된 S810 과정을 보다 상세하게 설명한 흐름도이고, 도 13 및 도 14는 도 10에 도시된 S820을 보다 상세하게 설명한 흐름도이다.
도 10 내지 도 14를 참조하면, 본 발명의 제2 실시예에 따른 폭언 및 폭행 방지/신고 방법(S800)은 사용자 단말(1200)에서 취득한 폭언 및 폭행과 관련된 영상 및 음성정보를 전송하면, 플랫폼 관리서버(1200)에서 폭언 및 폭행과 관련된 음성 및 영상을 분석(S810) 후, 분석된 결과를 기초로 형사처벌대상 유무를 판단한 후, 형사처벌대상일 경우, 적용가능한 형사처벌 법규항목을 검색하여 추출(S820)한다.
이후, 플랫폼 관리서버(1200)는 처벌법규사항이 포함된 경고멘트를 생성하여 사용자 단말로 제공하는 동시에, 관계기관(경찰서, 119)으로 자동신고(S830)한다.
이후, S840 과정이 완료되면, 사용자 단말로 해당 폭언 및 폭행에 대한 형사전문 변호사를 사용자에게 매칭시켜 추천(S840)한다.
여기서, S810 과정은 음성 처리/분석부(1220) 및 영상 처리/분석부(1230)에서 수행하는 과정으로, 예컨대, 음성 정보의 경우, 음성 처리/분석부(1220)에서 사용자 단말(1100)에서 전송된 음성(사용자와 상대방 간의 주고받은 말) 내에서 사용자와 상대방의 고유 음색을 스펙트럼으로 분류한 후, 분류된 스펙트럼들 간을 연결하여 대화자가 발화한 음성정보를 추출하고, 추출된 대화자(사용자 및 상대방) 별로 추출한 음성 내의 무음구간을 제거한 후, 텍스트로 변환하는 과정을 포함한다.
또한, 음성 처리/분석부(1220)에서 변환된 텍스트 내에 폭언, 성희롱과 연관된 종류의 단어를 추출하는 과정 및 추출된 폭언 및/또는 성희롱과 연관된 단어들의 노출횟수, 동일 단어의 반복회수 등을 추가로 추출하는 과정을 포함한다. 또한, 추출된 대화자(사용자 및 상대방)들의 음성을 변환한 텍스트 내에 위화감 및 강압을 유발 또는 의미하 단어를 추가적으로 추출하는 과정을 포함한다.
영상 정보의 경우, 영상 처리/분석부(1230)에서 사용자 단말(1100)에서 전송된 영상(사용자와 상대방이 포함된 영상 또는 상대방의 행동을 촬영한 영상) 내에서 폭행과 연관된 오브젝트(얼굴, 손, 주먹, 발 등)에 대한 오브젝트 및 흉기(칼, 막대기 등)에 대한 오브젝트를 추출한다.
예컨대, 영상 처리/분석부(1230)에서 영상 이미지 내의 대상 영역을 이진화, 세션화, 잡음제거 중 하나 이상의 전처리를 수행한 후, 가우시안 필터(Gaussian filter), 라플라시안 필터(Laplacian filter), 가우시안 차(Difference of Gaussian: DoG) 및 캐니 에지 검출(Canny edge detection) 등을 이용하여, 대상영역을 변형 또는 개선한 후, RPN(Region Proposal Network)를 이용하여 상기 대상 영역의 이미지를 블록단위(Patch)로 격자분할하고, 격자분할된 대상영역 내에서 인체 및 흉기와 유사한 오브젝트를 추출하는 일련의 과정을 포함한다.
또한, 대상 영역의 블록단위(patch)를 정규화(normalization) 및 군집화(Clustering)한 후, 상기 R-CNN 알고리즘을 이용하여 상기 대상 영역 내의 오브젝트들을 특정하여 추출하고, 추출된 오브젝트들을 데이터베이스 내에 R-CNN 알고리즘으로 학습하여 저장된 여러 폭행과 관련된 오브젝트들과 비교하여 상기 추출된 오브젝트들이 폭행과 관련된 오브젝트인지를 분석하는 과정을 포함한다.
다음으로, 상기 S820 과정은 형상처벌대상 판단부(1240)에서 S810 과정에서 추출된 폭언 및/또는 성희롱과 연관된 단어들의 노출횟수, 동일 단어의 반복횟수, 외화감 및 강압을 유발 또는 의미하는 단어의 노출빈도를 점수화(Scoring)한 후, 산출된 점수가 기 설정값 이상을 초과할 경우, 형사처벌대상을 판단하는 과정일 수 있다.
또한, 사용자 단말에서 전송된 영상(사용자와 상대방이 포함된 영상 또는 상대방의 행동을 촬영한 영상) 내에서 폭행과 연관된 오브젝트들의 종류, 오브젝트들 간의 추출 유무 및 위치(인접도)를 기초로 형상처벌대상 유무를 판단하는 과정일 수 있다.
또한, S820 과정은 영상의 경우, 오브젝트들 간의 위치변화를 기초로 정당방위를 판단하는 과정을 포함한다.
다음으로, 상기 S830 과정은 법규항목 검색부(1250)에서 S820 과정에서 해당 음성 및 영상이 형사처벌대상으로 판단할 경우, 음성 처리/분석부(1220)에서 추출된 폭언 및/또는 성희롱과 연관된 단어들의 노출횟수, 동일 단어의 반복횟수, 외화감 및 강압을 유발 또는 의미하는 단어의 노출빈도를 기초로 처벌법규항목(형사법)을 검색하는 과정을 포함한다.
또한, 사용자 단말에서 전송된 영상(사용자와 상대방이 포함된 영상 또는 상대방의 행동을 촬영한 영상) 내에서 폭행과 연관된 오브젝트들의 종류, 오브젝트들 간의 추출 유무 및 위치(인접도)를 기초로 처벌법규항목(형사법)을 데이터베이스 내에서 검색하는 과정을 포함한다.
따라서, 본 발명의 제1 및 제2 실시예에 따른 폭언 및 폭행 방지/신고 서비스 시스템 및 방법을 이용하면, 상대방의 모욕적인 언사 및 행동을 차단할 수 있고, 상대방의 폭언 및 폭행에 대한 명확한 법적처벌규제를 상대방에게 제시할 수 있고, 또한, 실시간으로 상대방의 폭언 및 폭행에 대한 근거자료를 기록 저장할 수 있다는 이점이 있다.
더 나아가, 폭언 및 폭행뿐만 아니라, 성희롱, 강요, 위압 등에 대한 법류적인 처벌규정을 제공받음으로써, 사용자로 하여금 상대방의 불미스런 언행이 법적처벌요건의 대상인지를 명확하게 제공받을 수 있고, 이로 인해 후속 처벌절차를 신속하게 진행할 수 있다는 이점을 제공한다.
또한, 폭언 및 폭행이 발생한 후, 형사전문 변호사를 AI 매칭 알고리즘으로 소개해줌으로써, 법적인 지식이 없는 사용자에게 편리하게 형사전문 변호사를 선임하도록 도와주는 이점이 있다.
이상에서 본 발명은 실시예를 참조하여 상세히 설명되었으나, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자라면 상기에서 설명된 기술적 사상을 벗어나지 않는 범위 내에서 여러 가지 치환, 부가 및 변형이 가능할 것임은 당연하며, 이와 같은 변형된 실시 형태들 역시 아래에 첨부한 특허청구범위에 의하여 정하여지는 본 발명의 보호 범위에 속하는 것으로 이해되어야 할 것이다.
제1 실시예
100: 폭언 및 폭행 방지/신고 서비스 시스템
200: 사용자 단말
300: 플랫폼 서버
10: 폭언 및 폭행 방지/신고 서비스 플랫폼
제2 실시예
1000: 폭언 및 폭행 방지/신고 서비스 시스템
1100: 사용자 단말
1200: 플랫폼 관리서버
1210: 수신부
1220: 음성 처리/분석부
1230: 영상 처리/분석부
1240: 형사처벌대상 판단부
1250: 법규항목 검색부
1260: 신고처리부
1270: AI 매칭부
1280: 플랫폼 제공부
20: 폭언 및 폭행 방지/신고 서비스 플랫폼
100: 폭언 및 폭행 방지/신고 서비스 시스템
200: 사용자 단말
300: 플랫폼 서버
10: 폭언 및 폭행 방지/신고 서비스 플랫폼
제2 실시예
1000: 폭언 및 폭행 방지/신고 서비스 시스템
1100: 사용자 단말
1200: 플랫폼 관리서버
1210: 수신부
1220: 음성 처리/분석부
1230: 영상 처리/분석부
1240: 형사처벌대상 판단부
1250: 법규항목 검색부
1260: 신고처리부
1270: AI 매칭부
1280: 플랫폼 제공부
20: 폭언 및 폭행 방지/신고 서비스 플랫폼
Claims (14)
- 삭제
- 삭제
- 삭제
- 삭제
- 폭언 및 폭행 방지/신고 서비스 플랫폼을 이용하여 외부에서 입력되는 음성 또는 영상을 전송하는 사용자 단말;
상기 사용자 단말로부터 전송된 음성 또는 영상 내에서 폭언 또는 폭행에 대한 음성 또는 오브젝트를 검출하고, 검출된 음성 또는 오브젝트가 폭언 및 폭행요건을 만족할 경우, 관할기관으로 상기 사용자 단말에 호출을 요청하는 플랫폼 관리서버를 포함하고,
상기 플랫폼 관리서버는
상기 사용자 단말에서 전송된 영상을 전처리한 후, 대상영역을 지정하고, RPN(Region Proposal Network)를 이용하여 상기 대상 영역의 이미지를 블록단위(Patch)로 격자분할하고, 격자분할된 대상영역 내에서 인체 및 흉기와 유사한 오브젝트를 추출한 후, 추출된 오브젝트들을 데이터베이스 내에 R-CNN 알고리즘으로 학습하여 저장된 여러 폭행과 관련된 오브젝트들과 비교하여 상기 추출된 오브젝트들이 폭행과 관련된 오브젝트인지를 분석하는 영상 처리/분석부;
상기 사용자 단말에서 전송된 사용자와 상대방 간의 주고받은 음성 내에서 사용자와 상대방의 고유 음색을 스펙트럼으로 분류한 후, 분류된 스펙트럼들 간을 연결하여 대화자가 발화한 음성정보를 추출하고, 추출한 음성 내의 무음구간을 제거한 후, 텍스트로 변환하는 음성 처리/분석부;
상기 영상 처리/분석부에서 추출된 폭행과 연관된 오브젝트들의 종류, 오브젝트들 간의 추출 유무 및 위치를 기초로 형사처벌대상 유무를 판단하는 형사처벌대상 판단부; 및
상기 형사처벌대상 판단부로부터 해당 영상이 형사처벌대상으로 판단될 경우, 상기 영상 처리/분석부에서 추출한 오브젝트들의 종류, 오브젝트들 간의 추출 유무 및 인접도를 기초로 처벌법규항목을 데이터베이스 내에서 검색하여 제공하는 법규항목 검색부; 및
상기 형사처벌대상 판단부로부터 해당 음성 및 영상이 형사처벌대상으로 판단될 경우, 사용자 단말로부터 인접한 위치의 형사전문 변호사를 검색하여 상기 사용자 단말로 제공하는 AI 매칭부를 포함하고,
상기 형사처벌대상 판단부는 상기 오브젝트들 간의 위치변화를 기초로 정당방위를 판단하고,
상기 플랫폼 관리서버는
상기 사용자 단말에서 제공된 폭언 및 폭행에 대한 음성 및 영상을 분석한 후, 상기 폭언 및 폭행에 상응하는 처벌규정이 포함된 경고멘트를 생성하여 제공하고,
상기 음성 처리/분석부는
변환된 텍스트 내에서 폭언, 성희롱과 연관된 종류의 단어를 추출하고, 추출된 폭언 및/또는 성희롱과 연관된 단어들의 노출횟수, 동일 단어의 반복횟수를 추출하고, 추출된 대화자들의 음성을 변환한 텍스트 내에서 위화감 및 강압을 유발 또는 의미하는 단어를 추가적으로 추출하고,
상기 법규항목 검색부는
상기 형사처벌대상 판단부로부터 해당 음성 및 영상이 형사처벌대상으로 판단될 경우, 상기 음성 처리/분석부에서 추출된 폭언 및/또는 성희롱과 연관된 단어들의 노출횟수, 동일 단어의 반복횟수, 위화감 및 강압을 유발 또는 의미하는 단어의 노출빈도를 기초로 처벌법규항목을 검색하는 폭언 및 폭행 방지/신고 서비스 시스템.
- 삭제
- 삭제
- 삭제
- 삭제
- 삭제
- 삭제
- 삭제
- 삭제
- 사용자 단말에서 취득한 폭언 및 폭행과 관련된 영상을 전송하는 단계;
플랫폼 관리서버에서 폭언 및 폭행과 관련된 영상을 분석하는 단계;
상기 플랫폼 관리서버의 형사처벌대상 판단부에서 분석된 결과를 기초로 형사처벌대상 유무를 판단한 후, 형사처벌대상일 경우, 적용가능한 형사처벌 법규항목을 법규항목 검색부에서 검색하여 추출하는 단계 및
상기 플랫폼 관리서버에서 처벌법규사항이 포함된 경고멘트를 생성하여 사용자 단말로 제공하는 동시에, 관계기관인 경찰서, 119로 자동신고하는 단계를 포함하고,
상기 플랫폼 관리서버는
상기 사용자 단말에서 전송된 영상을 전처리한 후, 대상영역을 지정하고, RPN(Region Proposal Network)를 이용하여 상기 대상 영역의 이미지를 블록단위(Patch)로 격자분할하고, 격자분할된 대상영역 내에서 인체 및 흉기와 유사한 오브젝트를 추출한 후, 추출된 오브젝트들을 데이터베이스 내에 R-CNN 알고리즘으로 학습하여 저장된 여러 폭행과 관련된 오브젝트들과 비교하여 상기 추출된 오브젝트들이 폭행과 관련된 오브젝트인지를 분석하는 영상 처리/분석부;
상기 사용자 단말에서 전송된 사용자와 상대방 간의 주고받은 음성 내에서 사용자와 상대방의 고유 음색을 스펙트럼으로 분류한 후, 분류된 스펙트럼들 간을 연결하여 대화자가 발화한 음성정보를 추출하고, 추출한 음성 내의 무음구간을 제거한 후, 텍스트로 변환하는 음성 처리/분석부;
상기 영상 처리/분석부에서 추출된 폭행과 연관된 오브젝트들의 종류, 오브젝트들 간의 추출 유무 및 위치를 기초로 형사처벌대상 유무를 판단하는 형사처벌대상 판단부;
상기 형사처벌대상 판단부로부터 해당 영상이 형사처벌대상으로 판단될 경우, 상기 영상 처리/분석부에서 추출한 오브젝트들의 종류, 오브젝트들 간의 추출 유무 및 인접도를 기초로 처벌법규항목을 데이터베이스 내에서 검색하여 제공하는 법규항목 검색부; 및
상기 형사처벌대상 판단부로부터 해당 음성 및 영상이 형사처벌대상으로 판단될 경우, 사용자 단말로부터 인접한 위치의 형사전문 변호사를 검색하여 상기 사용자 단말로 제공하는 AI 매칭부를 포함하고,
상기 형사처벌대상 판단부는 상기 영상 처리/분석부에서 추출된 폭행과 연관된 오브젝트들의 종류, 오브젝트들 간의 추출 유무 및 위치를 기초로 형사처벌대상 유무를 판단하고,
상기 법규항목 검색부는
상기 형사처벌대상 판단부로부터 해당 영상이 형사처벌대상으로 판단될 경우, 상기 영상 처리/분석부에서 추출한 오브젝트들의 종류, 오브젝트들 간의 추출 유무 및 인접도를 기초로 처벌법규항목을 데이터베이스 내에서 검색하여 제공하고,
상기 형사처벌대상 판단부는 상기 오브젝트들 간의 위치변화를 기초로 정당방위를 판단하고,
상기 플랫폼 관리서버는
상기 사용자 단말에서 제공된 폭언 및 폭행에 대한 음성 및 영상을 분석한 후, 상기 폭언 및 폭행에 상응하는 처벌규정이 포함된 경고멘트를 생성하여 제공하고,
상기 음성 처리/분석부는
변환된 텍스트 내에서 폭언, 성희롱과 연관된 종류의 단어를 추출하고, 추출된 폭언 및/또는 성희롱과 연관된 단어들의 노출횟수, 동일 단어의 반복횟수를 추출하고, 추출된 대화자들의 음성을 변환한 텍스트 내에서 위화감 및 강압을 유발 또는 의미하는 단어를 추가적으로 추출하고,
상기 법규항목 검색부는
상기 형사처벌대상 판단부로부터 해당 음성 및 영상이 형사처벌대상으로 판단될 경우, 상기 음성 처리/분석부에서 추출된 폭언 및/또는 성희롱과 연관된 단어들의 노출횟수, 동일 단어의 반복횟수, 위화감 및 강압을 유발 또는 의미하는 단어의 노출빈도를 기초로 처벌법규항목을 검색하는 폭언 및 폭행 방지/신고 서비스 방법.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020200142000A KR102635497B1 (ko) | 2020-10-29 | 2020-10-29 | 폭언 및 폭행 방지/신고 서비스 방법 및 시스템 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020200142000A KR102635497B1 (ko) | 2020-10-29 | 2020-10-29 | 폭언 및 폭행 방지/신고 서비스 방법 및 시스템 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20220057111A KR20220057111A (ko) | 2022-05-09 |
| KR102635497B1 true KR102635497B1 (ko) | 2024-03-12 |
Family
ID=81581928
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020200142000A Active KR102635497B1 (ko) | 2020-10-29 | 2020-10-29 | 폭언 및 폭행 방지/신고 서비스 방법 및 시스템 |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR102635497B1 (ko) |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101795593B1 (ko) * | 2016-09-19 | 2017-11-08 | 주식회사 부뜰정보시스템 | 전화상담원 보호 장치 및 그 방법 |
| KR101841882B1 (ko) * | 2017-10-12 | 2018-05-04 | 유가현 | 무인방범 시스템 및 방법 |
| KR101974973B1 (ko) * | 2017-12-26 | 2019-05-03 | 주식회사 커넥트엑스 | 소셜 범죄 신고 시스템 및 그 방법 |
| KR102063859B1 (ko) * | 2019-07-05 | 2020-02-11 | 주식회사 딥노이드 | Ai 및 딥러닝 기반의 공항 보안 검색 시스템 및 방법 |
| KR102126498B1 (ko) * | 2019-11-15 | 2020-06-25 | 한국건설기술연구원 | 영상 인식 기반의 위험상황 감지방법, 위험 관리 장치 및 위험상황 감지시스템 |
Family Cites Families (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20080045101A (ko) | 2008-04-29 | 2008-05-22 | 임장운 | 이동용 보안 시스템 |
| KR102211782B1 (ko) * | 2018-12-06 | 2021-02-02 | 이재용 | 성범죄 자가 진단 장치 및 방법 |
| KR20200093152A (ko) * | 2019-01-28 | 2020-08-05 | 장형규 | 해외 여행자를 대상으로 한 범죄 대응 시스템과 그 방법 |
-
2020
- 2020-10-29 KR KR1020200142000A patent/KR102635497B1/ko active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101795593B1 (ko) * | 2016-09-19 | 2017-11-08 | 주식회사 부뜰정보시스템 | 전화상담원 보호 장치 및 그 방법 |
| KR101841882B1 (ko) * | 2017-10-12 | 2018-05-04 | 유가현 | 무인방범 시스템 및 방법 |
| KR101974973B1 (ko) * | 2017-12-26 | 2019-05-03 | 주식회사 커넥트엑스 | 소셜 범죄 신고 시스템 및 그 방법 |
| KR102063859B1 (ko) * | 2019-07-05 | 2020-02-11 | 주식회사 딥노이드 | Ai 및 딥러닝 기반의 공항 보안 검색 시스템 및 방법 |
| KR102126498B1 (ko) * | 2019-11-15 | 2020-06-25 | 한국건설기술연구원 | 영상 인식 기반의 위험상황 감지방법, 위험 관리 장치 및 위험상황 감지시스템 |
Also Published As
| Publication number | Publication date |
|---|---|
| KR20220057111A (ko) | 2022-05-09 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111680535B (zh) | 在视频监控中实时预测一个或多个潜在威胁的方法和系统 | |
| US10714079B2 (en) | Methods and system for analyzing conversational statements and providing feedback in real-time | |
| US20180278504A1 (en) | System, device, and method for real-time conflict identification and resolution, and information corroboration, during interrogations | |
| KR102499198B1 (ko) | 사용자 맞춤형 챗봇 서비스 시스템 및 그 방법 | |
| CN110909531B (zh) | 信息安全的甄别方法、装置、设备及存储介质 | |
| Williams et al. | Data-driven Policing: The hardwiring of discriminatory policing practices across Europe. | |
| KR20150132726A (ko) | 보험사기를 사전 감지하기 위한 장치 및 컴퓨터-판독가능 매체 | |
| US10880672B2 (en) | Evidence management system and method | |
| US11100784B2 (en) | Method and system for detecting and notifying actionable events during surveillance | |
| CN116955573B (zh) | 问题搜索方法、装置、设备及存储介质 | |
| US20240396905A1 (en) | Computer system attack detection | |
| KR20220030800A (ko) | 여성 범죄 상담 서비스 제공 장치 및 방법 | |
| US20180248929A1 (en) | Method to generate and transmit role-specific audio snippets | |
| US10621508B2 (en) | Method and system for correlation detection in multiple spatio-temporal datasets for event sensing | |
| KR102330276B1 (ko) | 피싱 방지 방법 및 시스템 | |
| KR102635497B1 (ko) | 폭언 및 폭행 방지/신고 서비스 방법 및 시스템 | |
| Natatsuka et al. | Poster: A first look at the privacy risks of voice assistant apps | |
| US10628682B2 (en) | Augmenting gesture based security technology using mobile devices | |
| CN117201146A (zh) | 恶意网站识别方法、系统、电子设备及存储介质 | |
| JP7470336B2 (ja) | オーディオデータ識別装置 | |
| CN114863638A (zh) | 基于手表的管控方法、装置、设备及存储介质 | |
| Campos et al. | Dynamic fuzzy model for detecting verbal violence in real time | |
| KR102512285B1 (ko) | 상담 노동자를 위한 스트레스 대응 시스템 및 방법 | |
| Sruti et al. | Crime awareness and registration system using chatbot | |
| CN108710707A (zh) | 展示弱势群体用户信息的方法、装置、终端设备及系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PA0109 | Patent application |
Patent event code: PA01091R01D Comment text: Patent Application Patent event date: 20201029 |
|
| PA0201 | Request for examination | ||
| PG1501 | Laying open of application | ||
| E902 | Notification of reason for refusal | ||
| PE0902 | Notice of grounds for rejection |
Comment text: Notification of reason for refusal Patent event date: 20220620 Patent event code: PE09021S01D |
|
| AMND | Amendment | ||
| E601 | Decision to refuse application | ||
| PE0601 | Decision on rejection of patent |
Patent event date: 20221219 Comment text: Decision to Refuse Application Patent event code: PE06012S01D Patent event date: 20220620 Comment text: Notification of reason for refusal Patent event code: PE06011S01I |
|
| AMND | Amendment | ||
| PX0701 | Decision of registration after re-examination |
Patent event date: 20230502 Comment text: Decision to Grant Registration Patent event code: PX07013S01D Patent event date: 20230320 Comment text: Amendment to Specification, etc. Patent event code: PX07012R01I Patent event date: 20221219 Comment text: Decision to Refuse Application Patent event code: PX07011S01I Patent event date: 20220816 Comment text: Amendment to Specification, etc. Patent event code: PX07012R01I |
|
| X701 | Decision to grant (after re-examination) | ||
| GRNT | Written decision to grant | ||
| PR0701 | Registration of establishment |
Comment text: Registration of Establishment Patent event date: 20240307 Patent event code: PR07011E01D |
|
| PR1002 | Payment of registration fee |
Payment date: 20240308 End annual number: 3 Start annual number: 1 |
|
| PG1601 | Publication of registration |