[go: up one dir, main page]

KR102248706B1 - 지능형 영상 분석 기술에 기반한 통합 교육 관리 시스템 및 그 방법 - Google Patents

지능형 영상 분석 기술에 기반한 통합 교육 관리 시스템 및 그 방법 Download PDF

Info

Publication number
KR102248706B1
KR102248706B1 KR1020190106015A KR20190106015A KR102248706B1 KR 102248706 B1 KR102248706 B1 KR 102248706B1 KR 1020190106015 A KR1020190106015 A KR 1020190106015A KR 20190106015 A KR20190106015 A KR 20190106015A KR 102248706 B1 KR102248706 B1 KR 102248706B1
Authority
KR
South Korea
Prior art keywords
image
training
domain
facial
abnormal situation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
KR1020190106015A
Other languages
English (en)
Other versions
KR20210025945A (ko
Inventor
구인혁
Original Assignee
구인혁
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 구인혁 filed Critical 구인혁
Priority to KR1020190106015A priority Critical patent/KR102248706B1/ko
Publication of KR20210025945A publication Critical patent/KR20210025945A/ko
Application granted granted Critical
Publication of KR102248706B1 publication Critical patent/KR102248706B1/ko
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G06Q50/20—Education
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G06K9/00221—
    • G06K9/00268—
    • G06K9/20—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/094—Adversarial learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Multimedia (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Software Systems (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Computing Systems (AREA)
  • Evolutionary Computation (AREA)
  • Mathematical Physics (AREA)
  • Artificial Intelligence (AREA)
  • Tourism & Hospitality (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Molecular Biology (AREA)
  • Educational Technology (AREA)
  • Human Resources & Organizations (AREA)
  • Acoustics & Sound (AREA)
  • Educational Administration (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Economics (AREA)
  • Signal Processing (AREA)
  • Marketing (AREA)
  • Primary Health Care (AREA)
  • Strategic Management (AREA)
  • General Business, Economics & Management (AREA)
  • Medical Informatics (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

통합 교육 관리 시스템 및 그 방법이 제공된다. 본 개시의 몇몇 실시예에 따른 통합 교육 관리 시스템은, 하나 이상의 촬영 장치로부터 교육 장소에 대한 이미지를 수집하는 수집부와 안면 인식을 통해 상기 수집된 이미지에 포함된 교육 참가자를 식별하고, 상기 식별 결과를 기초로 상기 교육 참가자의 출결 여부를 판단하는 출결 관리부를 포함할 수 있다.

Description

지능형 영상 분석 기술에 기반한 통합 교육 관리 시스템 및 그 방법{SYSTEM FOR INTERGRATED EDUCATION MANAGEMENT BASED ON INTELLIGENT IMAGE ANALYSIS TECHNOLOGY AND METHOD THEREOF}
본 개시는 지능형 영상 분석 기술에 기반한 통합 교육 관리 시스템 및 그 방법에 관한 것이다. 보다 상세하게는, 지능형 영상 분석 기술을 이용하여 교육 참가자에 대한 출결 관리, 교육 집중도 분석 및 교육 과정에서 발생되는 이상 상황 감지를 수행할 수 있는 통합 교육 관리 시스템 및 그 시스템에서 수행되는 방법에 관한 것이다.
정보 통신 기술의 발전과 스마트폰의 보급으로 인해 스마트 교육 환경을 조성하기 위한 초석이 마련되었고, 현재 다양한 교육 기관에서 스마트 교육을 위한 시스템의 도입을 추진 중에 있다. 스마트 교육 시스템의 대표적인 예로는 스마트 출결 관리 시스템을 들 수 있는데, 최근 일부 대학에서는 전자 카드, 비콘, 스마트폰의 블루투스 기능 등을 통해 자동으로 출결을 확인하는 시스템을 도입하고 있다.
이러한 스마트 출결 관리 시스템은 학생, 강사 등의 교육 관계자들이 인터넷으로 출석 현황을 빠르게 확인할 수 있도록 함으로써, 교육 관리의 효율성과 편의성을 높일 수 있다.
그러나, 위에서 언급한 출결 확인 방식은 교육 참가자가 소지한 단말이나 카드 등 물리적 장치를 통해 해당 참가자를 식별할 뿐이어서, 대리 출석 문제를 해결할 수가 없다. 또한, 비콘 또는 블루투스 기반 출결 확인 기법은 거리를 기반으로 출결을 확인하기 때문에, 교육 장소가 아닌 다른 장소에서 통신 연결을 하여 출석을 인정받을 수 있다. 따라서, 해당 기법에서도, 부정 출석의 가능성을 배제하기 어렵다.
또한, 교육 참가자들이 단말기나 카드를 별도로 소지해야 한다는 번거로움이 있고, 습기나 온도 등 환경적인 요소에 제약을 받는 경우도 생길 수 있으며, 장비 분실의 위험도 존재한다.
아울러, 현재 스마트 교육 환경 조성과 관련된 대부분의 연구는 스마트 출결 관리에 치중되어 있으며, 교육 중에 참가자들의 집중도 분석을 통해 교육 효과를 개선하거나 교육 중에 발생되는 이상 상황을 실시간으로 감지하여 교육 장소의 안전을 확보하는 기술에 관해서는 거의 연구가 진행되지 않고 있다. 이로 인해, 교육 참가자의 출결 관리와 태도 관리, 교육 장소의 안전 관리 등을 통합 수행할 수 있는 시스템의 구축은 아직 요원한 실정이다.
한국공개특허 제10-2016-0145384호 (2016.12.20. 공개)
본 개시의 몇몇 실시예를 통해 해결하고자 하는 기술적 과제는, 스마트 교육 환경을 조성할 수 있는 통합 교육 관리 시스템 및 그 시스템에서 수행되는 방법을 제공하는 것이다.
본 개시의 몇몇 실시예를 통해 해결하고자 하는 다른 기술적 과제는, 지능형 영상 분석 기술에 기반하여 대리 출석 문제를 해결하고 교육 참가자에 대한 출결 관리를 자동화할 수 있는 시스템 및 그 시스템에서 수행되는 방법을 제공하는 것이다.
본 개시의 몇몇 실시예를 통해 해결하고자 하는 또 다른 기술적 과제는, 지능형 영상 분석 기술에 기반하여 교육 참가자의 집중도를 측정함으로써, 교육 효과를 개선시킬 수 있는 시스템 및 그 시스템에서 수행되는 방법을 제공하는 것이다.
본 개시의 몇몇 실시예를 통해 해결하고자 하는 또 다른 기술적 과제는, 지능형 영상 분석 기술에 기반하여 교육 과정에서 발생되는 이상 상황을 감지함으로써, 안전한 교육 환경을 조성할 수 있는 시스템 및 그 시스템에서 수행되는 방법을 제공하는 것이다.
본 개시의 몇몇 실시예를 통해 해결하고자 하는 또 다른 기술적 과제는, 안면 인식의 정확도 향상을 통해 출석 관리의 편의성과 정확도를 개선시킬 수 있는 시스템 및 그 시스템에서 수행되는 방법을 제공하는 것이다.
본 개시의 몇몇 실시예를 통해 해결하고자 하는 또 다른 기술적 과제는, 장신구 착용에 따라 안면 인식의 정확도가 떨어지는 문제를 해결할 수 있는 시스템 및 그 시스템에서 수행되는 방법을 제공하는 것이다.
본 개시의 몇몇 실시예를 통해 해결하고자 하는 또 다른 기술적 과제는, 고속으로 지능형 영상 분석을 수행함으로써, 이상 상황 감지의 실시간성을 확보할 수 있는 시스템 및 그 시스템에서 수행되는 방법을 제공하는 것이다.
본 개시의 몇몇 실시예를 통해 해결하고자 하는 또 다른 기술적 과제는, 영상 데이터 유출에 따른 프라이버시 침해 문제를 완화시킬 수 있는 시스템 및 그 시스템에서 수행되는 방법을 제공하는 것이다.
본 개시의 기술적 과제들은 이상에서 언급한 기술적 과제들로 제한되지 않으며, 언급되지 않은 또 다른 기술적 과제들은 아래의 기재로부터 본 개시의 기술분야에서의 통상의 기술자에게 명확하게 이해될 수 있을 것이다.
상기 기술적 과제를 해결하기 위한, 본 개시의 몇몇 실시예에 따른 통합 교육 관리 시스템은, 하나 이상의 촬영 장치로부터 교육 장소에 대한 이미지를 수집하는 수집부 및 안면 인식을 통해 상기 수집된 이미지에 포함된 교육 참가자를 식별하고, 상기 식별 결과를 기초로 상기 교육 참가자의 출결 여부를 판단하는 출결 관리부를 포함할 수 있다.
몇몇 실시예에서, 상기 하나 이상의 촬영 장치 중 적어도 하나는 어안렌즈를 구비하고, 상기 어안렌즈에 의해 촬영된 이미지에 대해 디워핑(dewarping) 처리를 수행하는 처리부를 더 포함할 수 있다.
몇몇 실시예에서, 상기 하나 이상의 촬영 장치 중 적어도 하나는 상기 교육 장소의 출입구를 촬영할 수 있다.
몇몇 실시예에서, 상기 출결 관리부는, 상기 수집된 이미지에서 제1 방향의 안면 영역과 제2 방향의 안면 영역을 검출하고, 상기 제1 방향의 안면 영역에서 제1 특징점을 추출하며, 상기 제2 방향의 안면 영역에서 제2 특징점을 추출하고, 상기 제1 특징점 및 상기 제2 특징점에 기초하여 상기 교육 참가자를 식별할 수 있다.
몇몇 실시예에서, 상기 출결 관리부는, 상기 수집된 이미지를 분석하여 상기 교육 참가자의 장신구 착용 여부를 판단하고, 장신구를 착용했다는 판단에 응답하여, GAN(Generative Adversarial Networks) 기반의 이미지 변환 모델을 통해 상기 수집된 이미지를 장신구가 제거된 이미지로 변환하고, 상기 변환된 이미지에 대해 상기 안면 인식을 수행할 수 있다.
몇몇 실시예에서, 상기 수집된 이미지를 상기 교육 장소에 대한 이탈 정도, 시선 움직임 및 상기 교육 참가자의 개인 단말 사용 정도 중 적어도 하나를 기준으로 분석하여 상기 교육 참가자의 집중도를 측정하는 집중도 측정부를 더 포함할 수 있다.
몇몇 실시예에서, 상기 수집된 이미지를 분석하여 상기 교육 장소에서 발생하는 이상 상황을 감지하는 이상 상황 감지부 및 상기 감지된 이상 상황에 대응되는 조치를 수행하는 조치부를 더 포함할 수 있다.
몇몇 실시예에서, 상기 수집된 이미지를 가공 처리하여 저장하는 저장부를 더 포함하되, 상기 가공 처리는, 상기 수집된 이미지에서 안면 영역을 검출하고, 상기 검출된 안면 영역 중 적어도 일부를 은폐 처리하며, 상기 은폐 처리된 안면 영역에 상기 교육 참가자의 식별 코드를 주입하는 과정을 포함할 수 있다.
상술한 기술적 과제를 해결하기 위한 본 개시의 몇몇 실시예에 따른 통합 교육 관리 방법은, 컴퓨팅 장치에 의하여 수행되는 통합 교육 관리 방법에 있어서, 하나 이상의 촬영 장치로부터 교육 장소에 대한 이미지를 수집하는 단계, 안면 인식을 통해 상기 수집된 이미지에 포함된 교육 참가자를 식별하는 단계 및 상기 식별 결과를 기초로 상기 교육 참가자의 출결 여부를 판단하는 단계를 포함할 수 있다.
상술한 기술적 과제를 해결하기 위한 본 개시의 몇몇 실시예에 따른 컴퓨터 프로그램은, 컴퓨팅 장치와 결합되어, 하나 이상의 촬영 장치로부터 교육 장소에 대한 이미지를 수집하는 단계, 안면 인식을 통해 상기 수집된 이미지에 포함된 교육 참가자를 식별하는 단계 및 상기 식별 결과를 기초로 상기 교육 참가자의 출결 여부를 판단하는 단계를 실행시키기 위하여 컴퓨터로 판독 가능한 기록매체에 저장될 수 있다.
상술한 본 개시의 다양한 실시예에 따르면, 지능형 영상 분석 기술을 활용하여 출결, 태도 및 안전 관리 등이 모두 가능한 통합 교육 관리 시스템이 구축될 수 있으며, 상기 시스템을 통해 스마트 교육 환경이 조성될 수 있다.
또한, 지능형 영상 분석을 통해 출결을 확인함으로써, 대리 출석이 원천 봉쇄되고 수업 중도 이탈도 방지될 수 있다. 뿐만 아니라, 출결 확인 자동화를 통해 출결 관리의 정확도와 효율성이 향상될 수 있다.
또한, 다양한 각도의 안면 특징점을 이용하여 안면 인식이 수행될 수 있다. 이에 따라, 안면 인식 및 출결 확인의 정확도가 향상될 수 있다.
또한, 이미지 변환 모델을 통해 이미지 상의 장신구를 제거함으로써, 교육 참가자가 장신구를 착용한 경우에도 정확하게 안면 인식이 수행될 수 있다.
또한, 지능형 영상 분석 기술을 활용하여 교육 참가자의 집중도가 측정될 수 있으며, 측정된 집중도 정보가 다양한 교육 관계자에게 제공될 수 있다. 이에 따라, 교육 참가자의 참여도를 비롯하여 전반적인 교육 효과가 증진될 수 있다.
또한, 지능형 영상 분석 기술을 활용하여 폭력, 화재 등과 같이 교육 중에 발생될 수 있는 각종 이상 상황이 실시간으로 감지될 수 있으며, 감지된 이상 상황에 따라 적절한 조치가 자동으로 취해질 수 있다. 이에 따라, 안전 관리의 편의성이 증진되고, 안전한 교육 환경이 조성될 수 있다.
또한, 색차 성분 제외, 다운샘플링을 통해 이상 상황 감지를 위해 분석되는 이미지 데이터가 경량화될 수 있다. 이에 따라, 이상 상황 감지의 실시간성이 확보될 수 있어, 더욱 안전한 교육 환경이 조성될 수 있다.
또한, 특징맵 병합 또는 종합을 통해 다양한 특징에 기반하여 이상 상황 감지가 수행될 수 있으며, 이에 따라 이상 상황 감지의 정확도가 향상될 수 있다.
또한, 교육 장소에 대한 이미지가 시스템에 저장되기 전에, 안면 영역에 대한 은폐 처리인 마스킹 처리가 수행되기 때문에, 데이터 유출에 따른 교육 참가자의 프라이버시 침해 문제가 미연에 방지될 수 있다.
본 개시의 기술적 사상에 따른 효과들은 이상에서 언급한 효과들로 제한되지 않으며, 언급되지 않은 또 다른 효과들은 아래의 기재로부터 통상의 기술자에게 명확하게 이해될 수 있을 것이다.
도 1은 본 개시의 몇몇 실시예에 따른 통합 교육 관리 시스템을 나타내는 예시적인 구성도이다.
도 2는 본 개시의 몇몇 실시예에 따른 표준렌즈를 이용한 촬영 장치의 촬영 위치를 예시한다.
도 3 및 도 4는 본 개시의 다른 몇몇 실시예에 따른 어안렌즈 또는 광각렌즈를 이용한 촬영 장치의 촬영 위치와 왜곡 보정 방법을 설명하기 위한 도면이다.
도 5는 본 개시의 몇몇 실시예에 따른 통합 교육 관리 서버를 나타내는 예시적인 블록도이다.
도 6은 본 개시의 몇몇 실시예에 따른 출결 관리 방법을 나타내는 예시적인 흐름도이다.
도 7은 본 개시의 제1 실시예에 따른 안면 인식 방법을 설명하기 위한 예시도이다.
도 8 내지 도 11은 본 개시의 제2 실시예에 따른 안면 인식 방법을 설명하기 위한 도면이다.
도 12는 본 개시의 몇몇 실시예에 따른 교육 집중도 측정 방법을 나타내는 예시적인 흐름도이다.
도 13은 본 개시의 몇몇 실시예에 따른 이상 상황 감지 방법을 나타내는 예시적인 흐름도이다.
도 14 내지 도 16은 도 13에 도시된 이상 상황 감지 단계 S320의 세부 과정을 설명하기 위한 도면이다.
도 17은 본 개시의 몇몇 실시예에 따른 프라이버시 보호 방법을 설명하기 위한 예시도이다.
도 18은 본 개시의 다양한 실시예에 따른 장치들을 구현할 수 있는 예시적인 컴퓨팅 장치를 도시한다.
이하, 첨부된 도면을 참조하여 본 개시의 바람직한 실시예들을 상세히 설명한다. 본 개시의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나 본 개시의 기술적 사상은 이하의 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 이하의 실시예들은 본 개시의 기술적 사상을 완전하도록 하고, 본 개시가 속하는 기술분야에서 통상의 지식을 가진 자에게 본 개시의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 개시의 기술적 사상은 청구항의 범주에 의해 정의될 뿐이다.
각 도면의 구성요소들에 참조부호를 부가함에 있어서, 동일한 구성요소들에 대해서는 비록 다른 도면상에 표시되더라도 가능한 한 동일한 부호를 가지도록 하고 있음에 유의해야 한다. 또한, 본 개시를 설명함에 있어, 관련된 공지 구성 또는 기능에 대한 구체적인 설명이 본 개시의 요지를 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명은 생략한다.
다른 정의가 없다면, 본 명세서에서 사용되는 모든 용어(기술 및 과학적 용어를 포함)는 본 개시가 속하는 기술분야에서 통상의 지식을 가진 자에게 공통적으로 이해될 수 있는 의미로 사용될 수 있다. 또 일반적으로 사용되는 사전에 정의되어 있는 용어들은 명백하게 특별히 정의되어 있지 않는 한 이상적으로 또는 과도하게 해석되지 않는다. 본 명세서에서 사용된 용어는 실시예들을 설명하기 위한 것이며 본 개시를 제한하고자 하는 것은 아니다. 본 명세서에서, 단수형은 문구에서 특별히 언급하지 않는 한 복수형도 포함한다.
또한, 본 개시의 구성 요소를 설명하는 데 있어서, 제1, 제2, A, B, (a), (b) 등의 용어를 사용할 수 있다. 이러한 용어는 그 구성 요소를 다른 구성 요소와 구별하기 위한 것일 뿐, 그 용어에 의해 해당 구성 요소의 본질이나 차례 또는 순서 등이 한정되지 않는다. 어떤 구성 요소가 다른 구성요소에 "연결", "결합" 또는 "접속"된다고 기재된 경우, 그 구성 요소는 그 다른 구성요소에 직접적으로 연결되거나 또는 접속될 수 있지만, 각 구성 요소 사이에 또 다른 구성 요소가 "연결", "결합" 또는 "접속"될 수도 있다고 이해되어야 할 것이다.
본 개시에서 사용되는 "포함한다 (comprises)" 및/또는 "포함하는 (comprising)"은 언급된 구성 요소, 단계, 동작 및/또는 소자는 하나 이상의 다른 구성 요소, 단계, 동작 및/또는 소자의 존재 또는 추가를 배제하지 않는다.
어느 하나의 실시예에 포함된 구성요소와, 공통적인 기능을 포함하는 구성 요소는, 다른 실시예에서 동일한 명칭을 사용하여 설명될 수 있다. 반대되는 기재가 없는 이상, 어느 하나의 실시예에 기재된 설명은 다른 실시예에도 적용될 수 있으며, 중복되는 범위 또는 당해 기술 분야에 속한 통상의 기술자가 자명하게 이해할 수 있는 범위 내에서 구체적인 설명은 생략될 수 있다.
이하, 본 개시의 다양한 실시예에 대하여 첨부된 도면에 따라 상세하게 설명한다.
도 1은 본 개시의 몇몇 실시예에 따른 통합 교육 관리 시스템을 나타내는 예시적인 구성도이다. 이하의 설명에서, 임의의 촬영 장치(1-1 or 1-2, ?? or 1-n)를 지칭하거나 전체 촬영 장치(1-1 내지 1-n)를 총칭하는 경우, 참조번호 "1"을 사용하도록 한다.
도 1에 도시된 바와 같이, 상기 통합 교육 관리 시스템은 하나 이상의 촬영 장치(1)와 통합 교육 관리 서버(10)를 포함할 수 있다. 단, 이는 본 개시의 목적을 달성하기 위한 바람직한 실시예일 뿐이며, 필요에 따라 일부 구성 요소가 추가되거나 삭제될 수 있음은 물론이다. 예를 들어, 상기 통합 교육 관리 시스템은 교육 관리자의 단말(미도시), 교육 참가자의 단말(미도시) 등을 더 포함할 수도 있다. 이하에서는, 설명의 편의상, 통합 교육 관리 서버(10)를 "관리 서버"로 약칭하도록 한다.
도 1에 도시된 통합 교육 관리 시스템의 각각의 구성 요소들은 기능적으로 구분되는 기능 요소들을 나타낸 것으로서, 복수의 구성 요소가 실제 물리적 환경에서는 서로 통합되는 형태로 구현될 수도 있음에 유의한다. 또한, 실제 물리적 환경에서 상기 각각의 구성 요소들은 복수의 세부 기능 요소로 분리되는 형태로 구현될 수도 있다. 예컨대, 관리 서버(10)의 제1 기능은 제1 컴퓨팅 장치에서 구현되고, 제2 기능은 제2 컴퓨팅 장치에서 구현될 수도 있다. 이하, 상기 각각의 구성 요소에 대하여 설명한다.
상기 통합 교육 관리 시스템에서, 관리 서버(10)는 통합 교육 관리 기능을 제공하는 컴퓨팅 장치이다. 상기 통합 교육 관리는 예를 들어 교육 참가자의 출결 관리, 교육 집중도 관리(즉, 교육 태도 관리), 안전 관리 등을 포함할 수 있다. 그러나, 이에 한정되는 것은 아니고, 다양한 유형의 관리 기능이 더 포함될 수도 있다.
앞서 언급한 바와 같이, 관리 서버(10)는 하나 이상의 컴퓨팅 장치로 구현될 수 있다. 여기서, 상기 컴퓨팅 장치는, 노트북, 데스크톱(desktop), 랩탑(laptop) 등이 될 수 있으나, 이에 국한되는 것은 아니며 컴퓨팅 기능 및 통신 기능이 구비된 모든 유형의 장치를 포함할 수 있다. 다만, 지능형 영상 분석을 통해 실시간 관리가 수행되어야 하는 환경이라면, 관리 서버(10)는 고성능의 서버급 컴퓨팅 장치로 구현되는 것이 바람직할 수 있다. 상기 컴퓨팅 장치의 일 예시에 관해서는 도 18을 참조하도록 한다.
본 개시의 다양한 실시예에서, 관리 서버(10)는 하나 이상의 촬영 장치(1)로부터 교육 장소에 대한 다양한 이미지를 수집하고, 지능형 영상 분석 기술에 기반하여 수집된 이미지를 분석할 수 있다. 그리고, 관리 서버(10)는 분석 결과를 토대로 통합 교육 관리를 수행할 수 있다. 예를 들어, 관리 서버(10)는 지능형 영상 분석을 통해 교육 대상자의 출결을 확인하고, 교육 집중도를 측정하며, 이상 상황을 감지할 수 있다. 본 실시예에 따르면, 지능형 영상 분석 기술을 활용하여 전반적인 교육 관리 기능이 자동화될 수 있기 때문에, 스마트 교육 환경이 조성될 수 있다. 본 실시예에 대한 보다 자세한 설명은 도 5이하의 도면을 참조하여 후술하도록 한다.
상기 통합 교육 관리 시스템에서, 촬영 장치(1)는 교육 장소를 촬영하여 분석 대상이 되는 이미지를 생성하는 장치이다. 상기 이미지는 스틸 이미지(still image), 복수의 프레임 이미지로 구성된 비디오 이미지(즉, 동영상), 적외선 이미지, 가시광선 이미지 등과 같이 다양한 유형/형태의 이미지를 포함할 수 있다.
촬영 장치(1)는 교육 장소의 다양한 위치에 설치될 수 있다. 예를 들어, 도 2에 예시된 바와 같이, 제1 촬영 장치(1-1)는 교육 장소의 제1 출입구(21)를 촬영하도록 설치되고, 제2 촬영 장치(1-2)는 교육 장소의 제2 출입구(23)를 촬영하도록 설치될 수 있다. 이와 같은 경우, 교육 장소에 출입하는 사람들이 정확하게 식별될 수 있기 때문에, 보다 효과적으로 통합 교육 관리(e.g. 출결 관리)가 이루어질 수 있다. 여기서, 제1 촬영 장치(1-1) 및 제2 촬영 장치(1-2)는 표준 렌즈(즉, 어안렌즈 또는 광각렌즈가 아닌 일반적인 카메라 렌즈)를 구비한 장치일 수 있다.
촬영 장치(1)는 CCTV(Closed-circuit Television) 등과 같이 다양한 유형의 카메라 장치로 구현될 수 있으며, 이미지를 생성할 수 있다면 어떠한 장치로 구현되더라도 무방하다. 또한, 몇몇 실시예에서는, 촬영 장치(1) 측에 지능형 영상 분석 기능의 일부 또는 전부가 구현될 수도 있다.
몇몇 실시예에서는, 어안렌즈 또는 광각렌즈를 구비한 하나 이상의 촬영 장치(1)가 교육 장소를 촬영할 수도 있다. 이와 같은 경우, 디워핑(dewarping) 기법을 통해 이미지의 왜곡을 보정/제거(e.g. 어안렌즈로 촬영된 원형의 파노라마 이미지를 반듯하게 펼쳐진 이미지로 변환)하는 가공 처리가 수행되고, 가공된 이미지를 기초로 지능형 영상 분석이 수행될 수 있다. 이하, 본 실시예에 대하여 도 3 및 도 4를 참조하여 부연 설명하도록 한다.
도 3에 예시된 바와 같이, 어안렌즈를 구비한 촬영 장치(1)는 교육 장소의 출입구(25-5)보다는 교수자 위치(25-1)와 맨 앞쪽의 교육 참가자 위치(25-3)의 중간 부근에 배치되는 것이 바람직할 수 있다. 360도 촬영이 가능한 어안렌즈의 특성 상 해당 위치에서 촬영 장치(1)가 교육 장소 전반의 이미지를 촬영할 수 있고, 이로 인해 교수자와 교육 참가자 모두에 대해 안면 인식, 행동 인식, 이상 상황 인식 등의 지능형 영상 기법이 적용될 수 있기 때문이다.
상술한 실시예에서, 어안렌즈를 이용하는 이유는 보안 사각지대를 최소화하면서 비용 부담도 함께 줄이기 위한 것이다. 종래의 범용 카메라(즉, 어안렌즈를 이용하지 않는 일반 카메라)를 이용한 CCTV 보안 관리 기술은 카메라가 촬영하는 장소에 사각지대를 만들지 않기 위하여 한 공간에 다수의 카메라를 배치하였다. 그러나, 한 공간에 다수의 카메라를 배치하게 되면, 설치 및 유지 보수 비용이 증가하고, 기대에 비해 효율성이 떨어진다는 문제점이 있었다. 이와 같은 문제점을 해결하기 위하여, 상술한 실시예에서 어안렌즈가 이용되는 것으로 이해될 수 있다.
어안렌즈는 7~15mm의 짧은 초점 거리를 가지고 있기 때문에, 단일 촬영 장치(e.g. 도 3의 1)로도 180도 이상의 화각을 확보할 수 있다. 따라서, 어안렌즈를 구비한 촬영 장치(e.g. 도 3의 1)를 사용함으로써 적은 설치 비용과 낮은 유지 보수 비용으로 사각지대 없이 넓은 영역을 촬영할 수 있다. 다만, 어안렌즈로 촬영한 이미지는 가장자리 영역으로 갈수록 굴절이 심해져서 매우 왜곡된 형태로 생성될 수 있다. 따라서, 이미지의 왜곡을 보정해서 사용해야 하는데, 본 개시의 몇몇 실시예에서는, 하기의 수학식 1에 기초하여 이미지 왜곡을 보정하는 가공 처리가 수행될 수 있다. 단, 다른 수학식이 이용될 수도 있어서, 본 개시의 기술적 범위가 이에 한정되는 것은 아니다.
Figure 112019088710222-pat00001
Figure 112019088710222-pat00002
상기 수학식 1에서, f는 카메라의 초점 거리, P f 는 카메라의 광중심에서 입력 이미지의 (x, y) 좌표(즉, (X 입력이미지, Y 입력이미지)까지의 거리)를 의미한다. 또한, X 입력이미지 및 Y 입력이미지는 입력 이미지의 (x, y) 좌표값이고, X 왜곡보정이미지 및 Y 왜곡보정이미지는 왜곡 보정이 수행된 이미지의 (x, y) 좌표값을 의미한다.
초점 거리(f)와 광중심 까지의 거리(P f )를 알아야 상기 수학식 1을 적용해서 왜곡 보정 이미지를 얻을 수 있다. 따라서, 어안렌즈에 의해 형성되는 이미지의 왜곡 보정 시 초점 거리나 광중심 위치 등과 같은 파라미터가 매우 중요한 의미를 갖게 된다.
상기 수학식 1에 의해 왜곡이 보정된 실례는 도 4에 도시되어 있다. 도 4에 도시된 바와 같이, 입력 이미지(27)가 상기 수학식 1에 의해 반듯하게 펼쳐진 형태의 이미지(29)로 보정될 수 있다. 이미지 왜곡 보정 기법에 대한 설명은 한국공개특허 제10-2011-0068375호를 더 참고하도록 하며, 해당 특허의 개시 내용 전체는 본 명세서로 참조로 포함될 수 있다.
본 개시의 다양한 실시예에서, 촬영 장치(1)와 관리 서버(10)는 네트워크를 통해 통신할 수 있다. 여기서, 상기 네트워크는 근거리 통신망(Local Area Network; LAN), 광역 통신망(Wide Area Network; WAN), 이동 통신망(mobile radio communication network), Wibro(Wireless Broadband Internet) 등과 같은 모든 유형의 유/무선 네트워크로 구현될 수 있다.
지금까지 도 1 및 도 2를 참조하여 본 개시의 몇몇 실시예에 따른 통합 교육 관리 시스템에 대하여 설명하였다. 이하에서는, 관리 서버(10)의 세부 구성 및 동작에 대하여 도 5 이하의 도면을 참조하여 상세하게 설명하도록 한다.
도 5는 본 개시의 몇몇 실시예에 따른 관리 서버(10)를 나타내는 예시적인 블록도이다.
도 5에 도시된 바와 같이, 관리 서버(10)는 수집부(11), 처리부(19), 관리부(13), 조치부(15) 및 저장부(17)를 포함할 수 있다. 다만, 도 5에는 본 개시의 실시예와 관련 있는 구성요소들만이 도시되어 있다. 따라서, 본 개시가 속한 기술분야의 통상의 기술자라면 도 5에 도시된 구성요소들 외에 다른 범용적인 구성 요소들이 더 포함될 수 있음을 알 수 있다. 또한, 도 5에 도시된 관리 서버(10)의 각각의 구성 요소들은 기능적으로 구분되는 기능 요소들을 나타낸 것으로서, 복수의 구성 요소가 실제 물리적 환경에서는 서로 통합되는 형태로 구현될 수도 있음에 유의한다. 이하, 각 구성 요소에 대하여 설명한다.
수집부(11)는 통합 교육 관리를 위한 각종 정보를 수집할 수 있다. 예를 들어, 수집부(11)는 촬영 장치(1)로부터 교육 장소에 대한 이미지를 실시간으로 수집할 수 있다. 다만, 수집부(11)는 촬영 장치(1) 외에도 다양한 모니터링 장치(e.g. AP)로부터 다양한 형태의 모니터링 데이터(e.g. 인터넷 액세스 정보, 음성 데이터 등)를 수집할 수 있다.
다음으로, 처리부(19)는 수집부(11)에서 획득한 이미지(e.g. 어안렌즈에 의해 촬영된 이미지)에 대해 디워핑(dewarping) 처리를 수행할 수 있다. 촬영 장치(1)가 어안렌즈 또는 광각렌즈를 구비한 경우, 상술한 바와 같이, 짧은 초점 거리와 넓은 화각으로 인해 이미지에 왜곡이 발생할 수 있다. 따라서, 처리부(19)는 안면 인식 등과 같은 지능형 영상 기법을 적용하기 위하여 원본 이미지의 왜곡을 보정하고 파노라마 형태로 변환시켜주는 디워핑 처리를 수행할 수 있다. 수집부(11)가 표준 렌즈로 촬영된 이미지만을 수집하는 경우라면, 처리부(19)는 생략될 수도 있다.
다음으로, 관리부(13)는 지능형 영상 분석을 통해 교육 참가자 및/또는 교육 장소에 대한 통합 관리를 수행할 수 있다. 몇몇 실시예에 따른 관리부(13)는 출결 관리부(13-1), 집중도 측정부(13-2) 및 이상 상황 감지부(13-3)를 포함할 수 있다.
출결 관리부(13-1)는 지능형 영상 분석을 통해 교육 참가자의 출결 여부를 판단하고 관리할 수 있다. 예를 들어, 출결 관리부(13-1)는 수집된 이미지를 기초로 안면 인식을 수행하여, 해당 이미지에 포함된 교육 참가자를 식별할 수 있다. 또한, 출결 관리부(13-1)는 식별 결과를 토대로 해당 교육 참가자의 출결 여부를 판단할 수 있다. 중복된 설명을 배제하기 위해, 출결 관리부(13-1)의 동작에 대한 자세한 설명은 도 6 내지 도 11을 참조하여 후술하도록 한다.
다음으로, 집중도 측정부(13-2)는 지능형 영상 분석을 통해 교육 참가자의 집중도를 측정할 수 있다. 예를 들어, 집중도 측정부(13-2)는 교육 참가자가 교육 장소를 이탈한 정도, 교육 참가자의 시선 움직임, 시선 방향, 자신의 개인 단말(e.g. 스마트폰)을 사용한 정도, 신체 움직임 정도 등과 같은 다양한 지표를 기준으로 각 교육 참가자의 집중도를 측정할 수 있다. 중복된 설명을 배제하기 위해, 집중도 측정부(13-2)의 동작에 대한 자세한 설명은 도 12를 참조하여 후술하도록 한다.
다음으로, 이상 상황 감지부(13-3)는 지능형 영상 분석을 통해 교육 장소에서 발생하는 이상 상황을 실시간으로 감지할 수 있다. 상기 이상 상황은 예를 들어 폭력, 화재, 거수자 침입 등을 포함할 수 있을 것이나, 다양한 유형의 이상 상황이 더 포함될 수 있어서, 본 개시의 기술적 범위는 상기 열거된 예시에 한정되지 않는다. 중복된 설명을 배제하기 위해, 이상 상황 감지부(13-3)의 동작에 대한 자세한 설명은 도 13 내지 도 16을 참조하여 후술하도록 한다.
다음으로, 조치부(15)는 출결 확인 결과, 집중도 측정 결과, 이상 상황 발생 등(즉, 관리부 13의 지능형 영상 분석 결과)에 따라 대응되는 조치를 수행한다. 구체적인 조치 방식은 실시예에 따라 달라질 수 있다.
예를 들어, 특정 교육 참가자의 지각 또는 결석이 확인된 경우, 조치부(15)는 교육 관계자(e.g. 학부모, 상급자와 같은 교육 감독자, 교육 참가자 본인 또는 지인, 교육 관리자)의 단말(미도시)로 알림을 제공할 수 있다.
다른 예로써, 특정 교육 참가자의 집중도가 제1 기준치 미만(e.g. 수업 태도 불량)이거나 제2 기준치 이상(e.g. 수업 태도 우수)인 경우, 조치부(15)는 교육 관계자의 단말(미도시)로 알림을 제공할 수 있다. 또한, 조치부(15)는 집중도 현황 정보나 집중도 측정 정보를 교육 관계자의 단말(미도시)로 실시간 또는 비실시간으로 제공할 수 있다.
또 다른 예로써, 폭력, 화재, 거수자 침입 등의 이상 상황이 발생한 경우, 조치부(15)는 교육 관계자의 단말(미도시)로 알림을 제공하거나, 교육 참가자의 단말(미도시)로 비상구 정보를 제공하거나, 방송을 통해 이상 상황을 알리는 등의 조치를 수행할 수 있다. 그리고, 조치부(15)는 긴급 출동 기관(e.g. 경찰서, 소방서, 병원)에게 알림을 제공하고, 긴급 구조를 요청할 수도 있다.
다음으로, 저장부(17)는 통합 교육 관리와 연관된 각종 데이터 및/또는 정보를 저장하고 관리할 수 있다. 예를 들어, 저장부(17)는 교육 참가자 정보 DB(17-1), 출결 정보 DB(17-2), 교수자 정보 DB(17-3), 기타 정보 DB(17-3) 등을 관리할 수 있다. 기타 정보 DB(17-3)는 원시 영상 데이터, 조치 정책, 지능형 영상 분석 결과를 포함할 수 있다.
교육 참가자 정보 DB(17-1)에는 교육 참가자의 신원 정보, 안면 인식을 위한 이미지 또는 특징점 정보, 교육 참가자의 교육 신청 현황 등의 정보가 저장될 수 있다.
출결 정보 DB(17-2)에는 각 교육 참가자의 출결 현황(e.g. 출석, 결석, 지각 등) 등의 정보가 저장될 수 있다.
교수자 정보 DB(17-3)에는 교수자의 신원 정보, 교수 과목 등의 정보가 저장될 수 있다.
본 개시의 몇몇 실시예에서, 저장부(17)는 교육 참가자가 포함된 이미지를 저장하기 전에 안면 영역 중 적어도 일부에 대해 은폐 처리를 수행할 수 있다. 본 실시예에 따르면, 데이터 유출이 발생하더라도 교육 참가자의 프라이버시가 보호될 수 있는데, 본 실시예에 관하여서는 도 17을 참조하여 보다 상세하게 설명하도록 한다.
도 5에 도시된 각 구성 요소는 소프트웨어(Software) 또는, 프로세서(즉, 컴퓨팅 장치), FPGA(Field Programmable Gate Array)나 ASIC(Application-Specific Integrated Circuit)과 같은 하드웨어(Hardware)를 의미할 수 있다. 그렇지만, 상기 구성 요소들은 소프트웨어 또는 하드웨어에 한정되는 의미는 아니며, 어드레싱(Addressing)할 수 있는 저장 매체에 있도록 구성될 수도 있고, 하나 또는 그 이상의 프로세서들을 실행시키도록 구성될 수도 있다. 상기 구성 요소들 안에서 제공되는 기능은 더 세분화된 구성 요소에 의하여 구현될 수 있으며, 복수의 구성 요소들을 합하여 특정한 기능을 수행하는 하나의 구성 요소로 구현될 수도 있다.
한편, 본 개시의 다양한 실시예에 따르면, 통합 교육 관리 서버(10)와 연동하여 동작하는 애플리케이션(application)이 제공될 수 있고, 상기 애플리케이션을 통해 다양한 지능형 영상 분석 정보(e.g. 교수자 및 교육 참가자의 출결, 집중도, 이상 상황 정보 등)가 제공될 수 있다. 상기 애플리케이션은 다양한 교육 관계자의 단말에 설치될 수 있다. 상기 애플리케이션을 통해 교수자는 조금 더 손쉽게 교육 참가자의 출결 및 성적 관리가 가능하고, 교육 참가자는 조금 더 손쉽게 자신의 출결 및 성적을 확인할 수 있다.
상기 어플리케이션의 주된 기능은 실시간 출결 확인, 공결 및 병결 처리를 포함하는 출결 관리 기능, 휴강 및 보강 등 수업에 대한 정보를 실시간으로 제공하는 수업 알림 기능, 강의 및 프로젝트 별 일정, 과제 관리, 진행 척도를 제공하는 일정 관리 기능, 학과 또는 주제별 모임 및 정보 제공 등 커뮤니티를 통한 소통의 장을 제공해주는 커뮤니티 관리 기능을 포함할 수 있다.
이하에서는, 도 6 내지 도 17을 참조하여 본 개시의 다양한 실시예에 따른 방법들에 대하여 상세하게 설명하도록 한다. 상기 방법들의 각 단계는 컴퓨팅 장치에 의해 수행될 수 있다. 다시 말하면, 상기 방법들의 각 단계는 컴퓨팅 장치의 프로세서에 의해 실행되는 하나 이상의 인스트럭션들로 구현될 수 있다. 상기 방법들에 포함되는 모든 단계는 하나의 물리적인 컴퓨팅 장치에 의하여 실행될 수도 있을 것이나, 복수의 물리적인 컴퓨팅 장치에 의해 분산되어 실행될 수도 있다. 예를 들면, 상기 방법의 제1 단계들은 제1 컴퓨팅 장치에 의하여 수행되고, 상기 방법의 제2 단계들은 제2 컴퓨팅 장치에 의하여 수행될 수도 있다. 이하에서는, 이해의 편의를 위해, 상기 방법들의 각 단계가 관리 서버(10)에 의해 수행되는 것을 가정하여 설명을 이어가도록 한다. 따라서, 이하의 설명에서 각 동작의 주어가 생략된 경우, 상기 예시된 장치(10)에 의하여 수행될 수 있는 것으로 이해될 수 있을 것이다.
먼저, 도 6 내지 도 11을 참조하여 본 개시의 몇몇 실시예에 따른 출결 관리 방법에 대하여 설명하도록 한다. 이하의 출결 관리 방법은 출결 관리부(13-1)와 조치부(15)에 의해 수행될 수 있다.
도 6은 본 개시의 몇몇 실시예에 따른 출결 관리 방법을 나타내는 예시적인 흐름도이다. 단, 이는 본 개시의 목적을 달성하기 위한 바람직한 실시예일 뿐이며, 필요에 따라 일부 단계가 추가되거나 삭제될 수 있음은 물론이다.
도 6에 도시된 바와 같이, 상기 출결 관리 방법은 교육 장소에 대한 이미지를 수집하는 단계 S100에서 시작될 수 있다. 예를 들어, 교육 장소의 출입구를 촬영하는 촬영 장치(e.g. 도 1의 1)로부터 출입자들(e.g. 교육 참가자, 거수자 등)이 포함된 이미지가 수집될 수 있다.
몇몇 실시예에서, 상기 수집된 이미지는 어안렌즈 또는 광각렌즈에 의해 촬영된 이미지(e.g. 원형의 파노라마 이미지)일 수 있다. 이와 같은 경우, 상기 수집된 이미지를 분석하기 전에, 디워핑 기법을 이용하여 상기 수집된 이미지의 왜곡을 보정/제거(e.g. 원형의 파노라마 이미지를 반듯하게 펼쳐진 이미지로 변환)하는 가공 처리가 수행될 수 있다. 또한, 가공된 이미지를 분석하여 교육 참가자가 식별될 수 있다.
단계 S120에서, 수집된 이미지를 분석하여 교육 참가자가 식별될 수 있다. 예를 들어, 교육 장소로 출입하는 교육 참가자, 교육 장소를 이탈하는 교육 참가자, 이탈 후 교육 장소로 복귀하는 교육 참가자의 신원이 이미지 분석을 통해 자동으로 식별될 수 있다.
단계 S120에서, 교육 참가자를 식별하는 구체적인 방식은 실시예에 따라 달라질 수 있다.
몇몇 실시예에서는, 수집된 이미지에 대한 안면 인식 결과를 기초로 교육 참가자가 식별될 수 있다. 본 개시의 다양한 실시예에 따른 안면 인식 방법에 관하여서는, 도 7 내지 도 11을 참조하여 상세하게 설명하도록 한다. 본 실시예에 따르면, 안면 인식을 통해 교육 참가자의 출결이 확인되는 바, 대리 출석이 원천 봉쇄될 수 있다.
다른 몇몇 실시예에서는, 상기 안면 인식 결과 외에도 수집된 이미지에서 추출된 장신구 특징 및 복장 특징과 성문 인식(voice recognition) 결과 중 적어도 하나에 더 기초하여 교육 참가자가 식별될 수 있다. 예를 들어, 교육 참가자 정보 DB(17-1)에는 해당 교육 참가자가 빈번하게 착용하는 복장, 장신구 등에 관한 외관 특징 정보가 저장되어 있을 수 있다. 그러면, 안면 인식의 결과로 얻어진 제1 유사도와 상기 수집된 이미지에서 추출된 장신구 특징 및 복장 특징과 기 저장된 외관 특징 정보 간의 제2 유사도를 종합적으로 고려하여 교육 참가자가 식별될 수 있다. 다른 예를 들어, 안면 인식의 결과로 얻어진 제1 유사도와 성문 인식의 결과로 얻어진 제2 유사도를 종합적으로 고려하여 교육 참가자가 식별될 수 있다. 상기 성문 인식은 현재 수집된 교육 참가자의 음성 특징과 기 저장된 음성 특징 정보 간의 유사도를 구하는 방식, 딥러닝 기반의 성문 인식 모델을 이용하는 방식 등 다양한 방식으로 수행될 수 있다. 본 실시예에 따르면, 안면 외에 다른 외관 특성이나 음성 특성을 더 고려하여 교육 참가자의 신원이 식별되므로, 참가자 식별 및 출결 판단의 정확도가 더욱 향상될 수 있다.
또한, 몇몇 실시예에서는, 수집된 제1 이미지(또는 가공된 제1 이미지)로부터 교육 참가자가 정확하게 식별되지 않는 경우, 이미지 상의 해당 교육 참가자에 대응되는 객체를 추적하여 상기 객체가 포함된 제2 이미지를 탐지하고, 상기 제2 이미지를 기초로 교육 참가자가 식별될 수 있다. 이를 통해, 교육 참가자 식별과 출결 판단의 정확도가 더욱 향상될 수 있다.
단계 S140에서, 식별 결과를 기초로 출결 여부가 판단된다. 예를 들어, 식별된 교육 참가자가 해당 교육 과정을 신청한 사람인 경우, 해당 교육 과정에 출석한 것으로 판단될 수 있다. 다른 예를 들어, 식별된 교육 참가자가 기 신청자이나 식별 시각이 교육 시작 시간을 경과한 경우, 해당 교육 과정에 지각한 것으로 판단될 수 있다.
몇몇 실시예에서는, 단계 S140의 판단 결과로 얻어진 출결 정보가 출결 정보 DB(17-2) 등에 기록될 수 있으며, 출결 상황 정보, 출결 현황 정보 등은 실시간으로 지정된 교육 관계자(e.g. 감독자, 교육 참가자 본인 또는 지인, 교육 관리자)들의 단말로 제공될 수 있다.
또한, 몇몇 실시예에서는, 상술한 출결 판단 과정(즉, 단계 S100 내지 단계 S140)이 교육 중에 지속적으로 수행될 수 있다. 본 실시예에 따르면, 교육 도중에 교육 장소를 무단 이탈하는 등과 같이 교육 분위기를 저해하는 다양한 해태 행위들이 예방될 수 있으며, 전반적인 교육 효과가 향상될 수 있다.
지금까지 도 6을 참조하여 본 개시의 몇몇 실시예에 따른 출결 관리 방법에 대하여 설명하였다. 상술한 방법에 따르면, 안면 인식과 같은 지능형 영상 분석 기술을 활용하여 출결 관리가 자동화될 수 있는 바, 출결 관리의 편의성이 크게 향상될 수 있다.
이하에서는, 도 7 내지 도 11을 참조하여 본 개시의 다양한 실시예에 따른 안면 인식 방법에 대하여 설명하도록 한다. 이하에서 후술될 안면 인식 방법들은 전술한 교육 참가자 식별 단계 S120에서 활용될 수 있다.
먼저, 도 7은 본 개시의 제1 실시예에 따른 안면 인식 방법을 설명하기 위한 예시도이다.
상기 제1 실시예는 장신구 착용 여부와 관계없이 안면 인식 자체의 정확도 향상을 위해 고안된 것으로, 다양한 방향의 안면 영역에서 추출된 특징점을 활용하여 안면 인식을 수행하는 방법에 관한 것이다.
보다 구체적으로, 하나 이상의 교육 참가자 이미지에서 복수의 방향에 대응되는 안면 영역이 검출되고, 각각의 안면 영역에서 특징점이 추출될 수 있다. 예를 들어, 도 7에 도시된 바와 같이, 상기 교육 참가자 이미지에서 정면 방향 안면 영역(35), 좌측 방향 안면 영역(34), 우측 방향 안면 영역(36), 상측 방향 안면 영역(32), 하측 방향 안면 영역(38), 좌상측 방향 안면 영역(31), 좌하측 방향 안면 영역(37), 우상측 방향 안면 영역(33) 및 우하측 방향 안면 영역(39)이 검출되고, 각 안면 영역(31 내지 39)에서 특징점이 추출될 수 있다. 몇몇 실시예에서는, 제1 방향의 안면 영역이 검출되지 않는 경우, 기 검출된 제2 방향의 안면 영역 이미지와 머리 모델을 이용하여 상기 제1 방향의 안면 영역 이미지가 생성될 수 있다. 이때, 상기 머리 모델은 해당 교육 참가자의 인구 통계학적 정보(e.g. 인종, 나이, 성별 등)에 기초하여 복수의 머리 모델 중에서 선별된 것일 수도 있다.
복수 방향의 안면 영역에서 추출된 특징점은 기 저장된 교육 참가자의 특징점(즉, 복수 방향의 안면 영역에서 추출된 특징점)과 비교되고, 비교 결과로 얻어진 유사도에 기초하여 해당 교육 참가자의 신원이 식별될 수 있다. 여기서, 비교 대상이 되는 특징점은 교육 참가자 DB(e.g. 도 5의 17-1)에 미리 저장되어 있을 수 있다.
몇몇 실시예서는, 각 방향 별 유사도(e.g. 제1 방향 안면 영역에서 추출된 특징점과 기 저장된 제1 방향 특징점 간의 유사도)에 적어도 일부는 서로 다른 가중치가 부여될 수 있다. 예를 들어, 정면 방향에 가장 높은 가중치가 부여될 수 있다. 다른 예를 들어, 해당 교육 참가자가 장신구를 착용한 경우, 각 방향의 안면 영역에 상기 장신구가 포함된 정도(즉, 안면 인식에 방해를 끼치는 정도)에 기초하여 가중치가 결정될 수 있다. 즉, 장신구가 보이는 비중이 높을수록 해당 방향의 유사도에는 낮은 가중치가 부여될 수 있다. 본 실시예에서, 안면 인식 결과는 최종 안면 유사도에 기초하여 도출될 수 있는데, 상기 최종 안면 유사도는 각 방향 별 유사도에 부여된 가중치에 기초하여 산출될 수 있다(e.g. 가중치 합).
지금까지, 도 7을 참조하여 본 개시의 제1 실시예에 따른 안면 인식 방법에 대하여 설명하였다. 상술한 방법에 따르면, 다양한 방향/각도에서 추출된 특징점을 활용함으로써, 안면 인식의 정확도가 크게 향상될 수 있다.
이하에서는, 도 8 내지 도 11을 참조하여 본 개시의 제2 실시예에 따른 안면 인식 방법을 설명하도록 한다.
상기 제2 실시예에는 교육 참가자가 착용한 장신구로 인해 안면 인식의 정확도가 떨어지는 문제점을 해결하기 위해 고안된 것이다. 상기 장신구는 예를 들어 모자, 마스크, 안경, 귀걸이, 목걸이 등을 포함할 수 있을 것이나, 이외에도 외양 변화를 일으킬 수 있는 모든 종류의 도구를 포함할 수 있다. 이하, 상기 제2 실시예에 대하여 설명한다.
도 8은 본 개시의 제2 실시예에 따른 안면 인식 방법을 나타내는 예시적인 흐름도이다. 단, 이는 본 개시의 목적을 달성하기 위한 바람직한 실시예일 뿐이며, 필요에 따라 일부 단계가 추가되거나 삭제될 수 있음은 물론이다. 도 8을 참조하여 설명한다.
단계 S122에서, 교육 참가자의 이미지에서 장신구 착용 여부가 판단된다. 예를 들어, 상기 이미지에서 해당 교육 참가자의 안면 영역이 검출 및 추출되고, 추출된 안면 영역 내 또는 근처 부위에서 장신구가 존재하는지 여부가 판단될 수 있다.
장신구 존재 여부를 판단하는 구체적인 방식은 실시예에 따라 달라질 수 있다. 예를 들어, 상기 이미지에서 특정 안면 부위에 해당하는 특징이 검출되지 않는 경우 해당 부위에 장신구가 있다고 판단하는 방식(e.g. 입, 코 등이 검출되지 않으면 마스크를 존재했다고 판단함), 특정 장신구의 이미지와 해당 교육 참가자의 이미지를 직접 비교하는 방식, 상기 이미지의 특정 안면 부위에서 특정 장신구의 특징(e.g. 모양, 색상 등)을 갖는 객체가 검출되는지에 기초하여 장신구 존재 여부를 판단하는 방식 등이 이용될 수 있을 것이다. 다만, 이외에도, 다양한 방식으로 장신구 존재 여부가 판단될 수 있어서, 본 개시의 기술적 범위가 상기 열거된 예시에 한정되는 것은 아니다.
해당 교육 참가자가 장신구를 착용하고 있지 않다고 판단된 경우, 단계 S124가 수행될 수 있다. 반대의 경우, 단계 S126이 수행될 수 있다.
단계 S124에서, 원본 이미지로 안면 인식이 수행된다. 여기서, 원본 이미지란 장신구 제거를 위한 변환 과정(즉, 단계 S126의 처리 과정)이 수행되지 않은 이미지를 의미한다. 따라서, 안면 인식의 정확도를 높이기 위해, 소정의 이미지 처리가 수행되더라도 상기 원본 이미지의 범위에 포함될 수 있음은 물론이다.
상기 안면 인식은 상술한 제1 실시예에 따른 안면 인식 방법에 의해 수행될 수 있을 것이나, 이에 한정되지 않고, 딥러닝 기반의 안면 인식 모델을 이용하는 방식 등과 같이 다른 방식으로 수행될 수도 있다.
단계 S126에서, 원본 이미지가 장신구가 제거된 이미지로 변환된다. 이는, 장신구 제거를 통해 안면 인식의 정확도를 높이기 위한 것으로 이해될 수 있다. 본 단계에서, 이미지 변환은 GAN(Generative Adversarial Networks) 기반의 이미지 변환 모델(e.g. 도 9의 40)을 통해 수행될 수 있다. 보다 상세하게는, 도 9에 도시된 바와 같이, 도메인 변환(domain transfer)를 수행하는 이미지 변환 모델(40)을 통해 제1 도메인 이미지(41) 또는 제2 도메인 이미지(43)가 다른 도메인의 페이크 이미지(45, 47)로 변환될 수 있다. 여기서, 상기 제1 도메인은 특정 장신구(e.g. 마스크)를 착용한 이미지와 연관되고, 상기 제2 도메인은 상기 특정 장신구를 착용하지 않은 이미지와 연관될 수 있다. 이하, 본 실시예에 대해 설명함에 있어서, 상기 제1 도메인과 상기 제2 도메인을 앞서 언급한 의미로 계속해서 이용하도록 한다.
이미지 변환 모델(40)은 도메인 변환(또는 이미지 변환) 기능이 구비된 다양한 유형의 GAN에 기초하여 구현될 수 있다. 예를 들어, 이미지 변환 모델(40)은 Disco-GAN, cycle-GAN, UNIT(Unsupervised Image-to-Image Translation), MUNIT(Multimodal Unsupervised Image-to-Image Translation)과 같은 다양한 GAN에 기초하여 구현될 수 있다.
이미지 변환 모델(40)의 몇몇 예시는 도 10 및 도 11에 도시되어 있다. 도 10은 이미지 변환 모델(40)이 cycle-GAN에 기초하여 구현된 것을 예시하고 있고, 도 11은 UNIT에 기초하여 구현된 것을 예시하고 있다. 이하, 설명의 편의상, 이미지 변환 모델(40)을 "변환 모델"로 약칭하고, 도 10에 예시된 이미지 변환 모델은 참조번호 "50"으로 지칭하며, 도 11에 예시된 이미지 변환 모델은 참조번호 "60"으로 지칭하도록 한다.
이하, 도 10을 참조하여 변환 모델(50)의 구조와 학습 방법에 대하여 설명한다.
도 10에 도시된 바와 같이, 변환 모델(50)은 제1 생성기(51), 제2 생성기(52), 제1 판별기(53) 및 제2 판별기(54)를 포함할 수 있다.
제1 생성기(51)는 제1 도메인의 이미지(55-1)를 제2 도메인의 페이크 이미지(55-2)로 변환하는 모듈이다. 그리고, 제2 판별기(54)는 제2 도메인의 실제 이미지(56-1)와 페이크 이미지(55-2)를 판별하는 모듈이다. 제1 생성기(51)와 제2 판별기(54)는 적대적 학습을 통해 상호 보완적으로 학습될 수 있다(즉, 가중치가 업데이트됨).
또한, 제1 생성기(51)는 제1 일관성 오차(consistency loss; LCONSTA)를 이용하여 더 학습될 수 있다. 제1 일관성 오차(LCONSTA)는 제1 생성기(51)로 입력된 실제 이미지(55-1)와 제2 생성기(52)를 통해 변환된 페이크 이미지(55-3) 간의 차이에 기초하여 산출될 수 있다. 이때, 페이크 이미지(55-3)는 제1 생성기(51)를 통해 변환된 페이크 이미지(55-2)를 다시 제2 생성기(52)를 통해 본래의 도메인으로 변환한 이미지를 의미한다. 제1 일관성 오차(LCONSTA)을 학습함으로써, 제1 생성기(51)는 학습 이미지셋이 이미지 쌍(pair)으로 구성되어 있지 않더라도 정확하게 이미지 변환을 수행할 수 있게 된다. 제1 일관성 오차(LCONSTA)는 예를 들어 유클리드 거리(Euclidian distance), 코사인 유사도(cosine similarity) 등에 기초하여 산출될 수 있을 것이나, 본 개시의 기술적 범위가 상기 열거된 예시에 한정되는 것은 아니다.
다음으로, 제2 생성기(52)는 제2 도메인의 이미지(56-1)를 제1 도메인의 페이크 이미지(56-2)로 변환하는 모듈이다. 또한, 제1 판별기(53)는 제1 도메인의 실제 이미지(55-1)와 페이크 이미지(56-2)를 판별하는 모듈이다. 제2 생성기(52)와 제1 판별기(53) 또한 적대적 학습을 통해 상호 보완적으로 학습될 수 있다.
또한, 제2 생성기(52)는 제2 일관성 오차(LCONSTB)를 이용하여 더 학습될 수 있다. 제2 생성기(52)의 학습 과정은 제1 생성기(51)와 유사한 바 더 이상의 설명은 생략하도록 한다.
이하, 도 11을 참조하여 변환 모델(60)의 구조와 학습 방법에 대하여 설명한다.
도 11에 도시된 바와 같이, 변환 모델(60)은 제1 도메인과 연관된 제1 인코더(61), 제1 생성기(63) 및 제1 판별기(65)와, 제2 도메인과 연관된 제2 인코더(62), 제2 생성기(64) 및 제2 판별기(66)를 포함할 수 있다.
제1 인코더(61)는 제1 도메인의 이미지(68-1)를 인코딩 데이터(67)로 인코딩하는 모듈이고, 제2 인코더(62)는 제2 도메인 이미지(69-1)를 인코딩 데이터(67)로 인코딩하는 모듈이다. 인코딩 데이터(67)는 제1 도메인과 제2 도메인 이미지 간(즉, 서로 다른 도메인 간)에 잠재적으로 공유되는 특정 공간(latent shared space) 상의 데이터로 이해될 수 있다.
제1 생성기(63)는 인코딩 데이터(67)에 기초하여 제1 도메인의 페이크 이미지(69-2)를 생성하는 모듈이다. 마찬가지로, 제2 생성기(64)는 인코딩 데이터(67)에 기초하여 제2 도메인의 페이크 이미지(69-2)를 생성하는 모듈이다.
제1 판별기(65)는 제1 도메인 이미지에 대한 판별 동작을 수행하는 모듈이고, 제2 판별기(66)는 제2 도메인 이미지에 대한 판별 동작을 수행하는 모듈이다. 제1 판별기(65)와 제1 생성기(63) 간에는 적대적 학습이 수행되고, 제2 판별기(66)와 제2 생성기(64) 간에도 적대적 학습이 수행될 수 있다.
또한, 이미지 변환을 위해 도 11에 도시된 흐름에 따라 학습이 수행될 수 있다. 예를 들어, 제2 도메인의 이미지(69-1)에 대한 인코딩 데이터(67)가 제1 생성기(63)에 입력되면, 제2 도메인의 이미지(69-1)가 제1 도메인의 페이크 이미지(68-2)로 변환되도록 학습이 수행될 수 있다. 유사하게, 제1 도메인의 이미지(68-1)에 대한 인코딩 데이터(67)가 제2 생성기(64)에 입력되면, 제1 도메인의 이미지(68-1)가 제2 도메인의 페이크 이미지(69-2)로 변환되도록 학습이 수행될 수 있다. 구체적인 학습 방법과 관련해서는"UNIT; Unsupervised Image-to-Image Translation"으로 명명되는 문헌을 참조하도록 한다. 실제 이미지 변환 또한 도 11에 도시된 흐름에 따라 수행될 수 있다.
다시 도 8을 참조하여 설명을 이어가도록 한다.
단계 S128에서, 변환된 이미지로 안면 인식이 수행될 수 있다. 전술한 바와 같이, 상기 안면 인식은 앞서 설명한 제1 실시예에 따른 안면 인식 방법에 따라 수행될 수 있을 것이나, 다른 방식으로 수행되더라도 무방하다.
한편, 본 개시의 다른 몇몇 실시예에서는, 이미지 변환 과정 없이 장신구를 착용한 원본 이미지로 교육 참가자의 신원이 식별될 수도 있다. 예를 들어, 장신구 착용 상태에서의 안면 인식 결과(즉, 안면 유사도), 장신구 특징, 복장 특징, 동작 인식 결과(즉, 동작 유사도), 성문 인식 결과(즉, 음성 유사도) 등의 식별 요소를 종합적으로 고려하여 교육 참가자의 신원이 식별될 수도 있다. 이때, 각 식별 요소에는 동일한 가중치가 부여될 수도 있고, 서로 차등적인 가중치가 부여될 수도 있다. 예를 들어, 상기 안면 인식 결과 정확도는 장신구로 인해 다소 떨어질 수 있기 때문에, 다른 식별 요소보다 더 낮은 가중치가 부여될 수도 있다.
지금까지 도 8 내지 도 11을 참조하여 본 개시의 제2 실시예에 따른 안면 인식 방법에 대하여 설명하였다. 상술한 방법에 따르면, GAN 기반의 이미지 변환 모델을 이용하여, 교육 참가자가 장신구를 착용한 경우에도 높은 정확도로 안면 인식이 수행될 수 있다. 이에 따라, 출결 관리의 정확도도 향상될 수 있다.
이하에서는, 도 12를 참조하여 본 개시의 몇몇 실시예에 따른 교육 집중도 측정 방법에 대하여 설명하도록 한다.
도 12는 본 개시의 몇몇 실시예에 따른 교육 집중도 측정 방법을 나타내는 예시적인 흐름도이다. 단, 이는 본 개시의 목적을 달성하기 위한 바람직한 실시예일 뿐이며, 필요에 따라 일부 단계가 추가되거나 삭제될 수 있음은 물론이다. 이하의 교육 집중도 측정 방법은 집중도 측정부(13-2)와 조치부(15)에 의해 수행될 수 있다.
도 12에 도시된 바와 같이, 상기 교육 집중도 측정 방법은 교육 참가자에 대한 이미지를 수집하는 단계 S200에서 시작될 수 있다. 예를 들어, 교육 장소에 설치된 하나 이상의 촬영 장치(e.g. 도 1의 1)로부터 교육 도중에 촬영된 이미지가 수집될 수 있다. 이외에도, 본 단계에서, 음성 데이터, AP(Access Point) 등을 통한 인터넷 액세스 정보 등과 같이 모니터링 가능한 다양한 정보가 더 수집될 수도 있다.
단계 S220에서, 소정의 상호작용 지표를 기준으로 수집된 이미지를 분석하여 교육 참가자의 집중도가 측정될 수 있다. 여기서, 상기 상호작용 지표는 예를 들어 교육 장소에 대한 이탈 정도, 교육 참가자의 시선 방향, 시선 움직임, 교육 참가자의 개인 단말 사용 정도, 교수자의 질의에 대해 손을 든 횟수, 질의에 대한 답변 횟수, 답변의 정확도, 교육 참가자의 자세, 감정, 표정 등을 포함할 수 있다. 그러나, 이외에도 다양한 상호작용 지표가 더 포함될 수 있어서, 본 개시의 기술적 범위는 상기 열거된 예시에 한정되지 않는다. 본 단계에서 집중도를 측정하는 구체적인 예시들은 다음과 같다.
몇몇 예에서, 교육 장소를 이탈한 횟수 및/또는 이탈 시간에 기초하여 집중도가 측정될 수 있다. 즉, 이탈 횟수가 많거나 이탈 시간이 길수록 집중도는 낮게 측정될 수 있다. 물론, 반대의 경우라면, 집중도는 높게 측정될 수 있다.
다른 예로써, 교육 참가자의 시선 방향이 교수자를 향하고, 시선 유지 시간이 길어질수록 집중도는 높게 측정될 수 있다. 물론, 반대의 경우라면, 집중도는 낮게 측정될 수 있다.
또 다른 예로써, 교육 참가자가 개인 단말을 사용한 횟수가 많거나, 시간이 길수록 집중도는 낮게 측정될 수 있다. 물론, 반대의 경우라면, 집중도는 높게 측정될 수 있다.
또 다른 예로써, 교육 참가자가 손을 든 횟수가 많거나, 답변한 횟수가 많을수록 집중도는 높게 측정될 수 있다. 물론, 반대의 경우라면, 집중도는 낮게 측정될 수 있다.
또 다른 예로써, 교육 참가자가 정면을 응시하고 있지 않거나, 특정 자세(e.g. 조는 자세)를 취하고 있는 경우, 집중도는 낮게 측정될 수 있다. 물론, 반대의 경우라면, 집중도는 높게 측정될 수 있다.
몇몇 예에서는, 교육 중에 수집된 교육 참가자의 음성에 대해 음성 인식이 수행되고, 음성 인식의 결과와 교육 주제와의 관련도에 기초하여 집중도가 측정될 수 있다. 이를테면, 관련도가 높은 경우 질의에 대한 정확한 답변으로 간주하여 집중도가 높게 측정되고, 반대의 경우 부정확한 답변 또는 잡담으로 간주하여 집중도가 낮게 측정될 수 있다.
또한, 몇몇 예에서는, 수집된 이미지에서 인식된 복수의 교육 참가자의 감정 또는 표정과 특정 교육 참가자의 감정 또는 표정과의 차이에 기초하여 상기 특정 교육 참가자의 집중도가 측정될 수 있다. 이를테면, 다수의 교육 참가자가 무감정 또는 무표정인데, 특정 교육 참가자는 즐거운 감정 또는 웃는 표정을 취하고 있는 경우, 상기 특정 교육 참가자의 집중도는 낮게 측정될 수 있다.
또한, 몇몇 예에서는, 전술한 상호작용 지표들의 다양한 조합에 기초하여 교육 참가자의 집중도가 측정될 수 있다. 이를테면, 각 상호작용 지표의 가중치를 고려하여, 각 상호작용에 따라 측정된 집중도를 종합함으로써 교육 참가자의 최종 집중도가 결정될 수 있다. 이때, 각 상호작용 지표의 가중치는 실 데이터를 이용한 통계 분석 결과에 기초하여 결정되거나 조정될 수 있다. 구체적으로, 교육 참가자의 실제 피드백(e.g. 교육 만족도에 대한 설문 조사 결과 등), 교육 성과(e.g. 교육 참가자의 시험 점수 등), 교수자의 프로파일(e.g. 업적, 교수 기간, 횟수 등) 등을 기준으로 해당 교육의 효과가 정량적으로 측정될 수 있다. 그리고, 회귀 분석과 같은 통계 분석을 통해 측정된 교육 효과와 각 상호작용 지표 간의 관련도가 도출될 수 있고, 도출된 관련도에 따라 각 상호작용 지표의 가중치가 결정되거나 조정될 수 있다. 예를 들어, 특정 상호작용 지표가 교육 효과 향상에 큰 영향을 미친 경우(즉, 관련도가 높은 경우), 상기 특정 상호작용 지표의 가중치는 더 높은 값으로 조정될 수 있다.
한편, 몇몇 실시예에서는, 단계 S220의 집중도 측정 결과가 교육 참가자 정보 DB(17-1) 또는 기타 정보 DB(17-4) 등에 기록될 수 있으며, 상기 집중도 측정 결과가 지정된 교육 관계자(e.g. 감독자, 교육 참가자 본인 또는 지인, 교육 관리자)들의 단말로 제공될 수 있다. 본 실시예에 따르면, 교육 참가자의 집중도 저하를 방지하여, 전반적인 교육 효과가 향상될 수 있다.
또한, 몇몇 실시예에서는, 상술한 집중도 측정 과정(즉, 단계 S200 및 단계 S220)이 교육 중에 지속적으로 수행될 수 있다. 본 실시예에 따르면, 교육 참가자의 집중도 저하를 방지하여, 전반적인 교육 효과가 향상될 수 있다.
지금까지 도 12를 참조하여 본 개시의 몇몇 실시예에 따른 교육 집중도 측정 방법에 대하여 설명하였다. 상술한 방법에 따르면, 지능형 영상 분석 기술을 활용하여 교육 참가자의 집중도가 측정될 수 있으며, 측정된 집중도 정보가 다양한 교육 관계자가 제공될 수 있다. 이에 따라, 교육 참가자의 참여도를 비롯하여 전반적인 교육 효과가 증진될 수 있다.
이하에서는, 도 13 내지 도 16을 참조하여 본 개시의 몇몇 실시예에 따른 이상 상황 감지 방법에 대하여 설명하도록 한다. 이하의 이상 상황 감지 방법은 이상 상황 감지부(13-3)와 조치부(15)에 의해 수행될 수 있다.
도 13은 본 개시의 몇몇 실시예에 따른 이상 상황 감지 방법을 나타내는 예시적인 흐름도이다. 단, 이는 본 개시의 목적을 달성하기 위한 바람직한 실시예일 뿐이며, 필요에 따라 일부 단계가 추가되거나 삭제될 수 있음은 물론이다.
도 13에 도시된 바와 같이, 상기 이상 상황 감지 방법은 교육 장소에 대한 이미지를 수집하는 단계 S300에서 시작될 수 있다. 상기 이미지는 복수의 프레임 이미지를 포함할 수 있다.
단계 S320에서, 수집된 이미지를 분석하여 이상 상황이 감지될 수 있다. 본 단계에서, 이상 상황 감지를 위해, 컨볼루션 신경망(convolutional neural network) 기반의 이상 상황 감지 모델을 이용될 수 있다. 이와 관련하여서는, 도 14 내지 도 16을 참조하여 후술하도록 한다.
다만, 본 개시의 다른 몇몇 실시예에 따르면, 컨볼루션 신경망 외에도 다양한 지능형 영상 분석 기법을 이용하여 이상 상황이 감지될 수 있다. 예를 들어, 복수의 프레임 이미지에서 객체를 검출하고, 검출된 객체의 움직임 정도를 분석하여 폭력 상황이 실시간으로 감지될 수 있다. 이를테면, 서로 인접한 둘 이상의 객체 사이에 기준치 이상의 움직임이 검출된 경우, 폭력 상황이 발생했다고 판단될 수 있다.
단계 S340에서, 감지된 이상 상황에 따른 적절한 조치가 수행될 수 있다. 예를 들어, 교육 관계자에게 알림을 제공하거나, 긴급 출동 기관에게 긴급 구조를 요청하는 등의 조치가 수행될 수 있다. 구체적인 조치에 대해서는 앞서 서술한 조치부(15)의 설명 내용을 참조하도록 한다.
이하에서는, 도 14 내지 도 16을 참조하여 상술한 이상 상황 감지 단계 S320의 세부 과정에 대하여 설명하도록 한다. 도 14 및 도 15는 실시간 이상 상황 감지를 위해 분석 대상이 되는 이미지 데이터를 경량화하는 실시예를 설명하기 위한 것이고, 도 16은 이상 상황 감지의 정확도를 향상시키기 위해 고안된 실시예를 설명하기 위한 것이다.
도 14는 본 개시의 몇몇 실시예에 따른 이상 상황 감지 단계 S320의 세부 과정을 나타내는 예시적인 흐름도이다. 단, 이는 본 개시의 목적을 달성하기 위한 바람직한 실시예일 뿐이며, 필요에 따라 일부 단계가 추가되거나 삭제될 수 있음은 물론이다.
도 14에 도시된 바와 같이, 단계 S322에서, 복수의 프레임 이미지 각각에서 색차 성분을 제외하여 복수의 휘도 이미지가 추출될 수 있다. 예를 들어, 도 15에 도시된 바와 같이, RGB 형식의 특정 이미지를 YUV 형식으로 변환하고, 색차 성분(U, V)를 제거하면, 상기 특정 이미지에서 휘도 이미지가 추출될 수 있다. 본 단계는 색차 성분에 대응되는 데이터 제거를 통해 경량화를 수행하는 단계로 이해될 수 있다.
몇몇 실시예에서, 단계 S322는 감지 대상이 되는 이상 상황이 폭력 상황인 경우에 한하여 수행될 수 있다. 폭력 상황은 움직임 등의 특징에 기초하여 검출될 것이므로, 색차 성분이 제외되더라도 높은 정확도로 이상 상황 검출이 가능할 것이기 때문이다.
단계 S324에서, 추출된 복수의 휘도 이미지를 축적하여 3차원의 이미지가 생성될 수 있다. 예를 들어, 도 15에 도시된 바와 같이, 일정 개수의 휘도 이미지(71)가 축적되어(stacking) 3차원 이미지(73)가 생성될 수 있다.
단계 S326에서, 생성된 3차원의 이미지 중 적어도 일부에 대해 다운샘플링(downsampling)이 수행되고, 그 결과로 입력 이미지가 구성될 수 있다. 상기 입력 이미지는 이상 상황 감지 모델로 입력되는 이미지를 의미할 수 있다. 예를 들어, 도 15에 도시된 바와 같이, 3차원 이미지(73)를 다운샘플링하여 입력 이미지(75)가 구성될 수 있다.
상기 다운샘플링은 3차원 이미지(e.g. 73)에 포함된 복수의 휘도 이미지 중에서 일부를 추출하는 방식(e.g. 폭력 상황 검출인 경우, 움직임 벡터의 개수가 기준치 이상인 회도 이미지만을 추출함)으로 수행될 수 있을 것이나, 다른 방식으로 수행되더라도 무방하다.
단계 S328에서, 상기 입력 이미지를 이상 상황 감지 모델에 입력하여 이상 상황이 감지될 수 있다. 예를 들어, 도 15에 도시된 바와 같이, 입력 이미지(75)가 이상 상황 감지 모델에 입력되면, 컨볼루션 연산과 풀링 연산 등을 통해 입력 이미지(75)로부터 특징맵(77, 79 등; feature map)이 추출될 수 있고, 특징맵(77, 79 등)에 기초하여 상기 이상 상황 감지 모델이 이상 상황 감지 결과를 출력할 수 있다. 이를테면, 이상 상황 감지 모델이 화재를 감지하는 이진 분류 모델(e.g. 화재 or 정상 2개의 클래스로 분류하는 모델)인 경우, 이상 상황 감지 모델은 두 클래스의 컨피던스 스코어(confidence score)를 출력할 수 있다. 그러면, 화재 클래스의 컨피던스 스코어가 기준치 이상인지 여부에 기초하여 화재 발생 여부가 결정될 수 있다.
한편, 본 개시의 몇몇 실시예에 따르면, 상기 이상 상황 감지 모델은 복수의 특징맵을 종합하여 새로운 특징맵을 생성하고, 생성된 특징맵을 이용하여 이상 상황 감지를 수행할 수 있다. 그렇게 함으로써, 이상 상황 감지의 정확도가 향상시킬 수 있는데, 이하 본 실시예에 관하여 도 16을 참조하여 부연 설명하도록 한다.
도 16에 도시된 바와 같이, 이상 상황 감지 모델은 복수의 컨볼루션 연산을 통해 입력 이미지(75)로부터 고차원의 특징이 담긴 특징맵을 추출하게 된다. 예를 들어, 제1 특징맵(77)에 대해 다시 컨볼루션 연산이 수행되어, 제2 특징맵(79)이 추출되고, 유사한 방식으로 제3 특징맵(81)과 제4 특징맵(83)이 추출되는데, 제4 특징맵(83)은 제1 특징맵(77)보다 더 고차원의 특징을 포함하게 된다.
그러나, 저차원의 특징 또한 이상 상황 감지에 중요한 역할을 할 수 있는 바, 이상 상황 감지 모델은 복수의 특징맵(e.g. 79, 83)을 종합하여 다양한 특징이 담긴 제5 특징맵(85)을 생성하고, 제5 특징맵(85)에 기초하여 이상 상황 발생 여부를 판단할 수 있다. 예를 들어, 이상 상황 감지 모델은 동일한 프레임 이미지와 연관된 제2 특징맵(79)의 특징값과 제4 특징맵(83)의 특징값을 종합하여 제5 특징맵(85)을 생성할 수 있다. 즉, 상기 종합 과정에서, 제1 프레임 이미지와 연관된 제2 특징맵(79)의 특징값과 제4 특징맵(83)의 특징값이 종합되고, 제2 프레임 이미지와 연관된 제2 특징맵(79)의 특징값과 제4 특징맵(83)의 특징값이 종합될 수 있다. 상기 종합 과정을 통해, 저차원의 특징과 고차원의 특징이 혼합되거나, 중요 특징이 증폭되기 때문에, 이상 상황 감지의 정확도가 더욱 향상될 수 있다.
지금까지 도 13 내지 도 16을 참조하여 본 개시의 몇몇 실시예에 따른 이상 상황 감지 방법에 대하여 설명하였다. 상술한 방법에 따르면, 지능형 영상 분석 기술을 활용하여 폭력, 화재 등과 같이 교육 중에 발생될 수 있는 각종 이상 상황이 실시간으로 감지될 수 있으며, 감지된 이상 상황에 따라 적절한 조치가 자동으로 취해질 수 있다. 이에 따라, 안전 관리의 편의성이 증진되고, 안전한 교육 환경이 조성될 수 있다. 또한, 색차 성분 제외, 다운샘플링 통해 이상 상황 감지를 위해 분석되는 이미지 데이터가 경량화될 수 있는 바, 이상 상황 감지의 실시간성이 확보될 수 있다. 또한, 특징맵 병합 또는 종합을 통해 다양한 특징에 기반하여 이상 상황 감지가 수행될 수 있으며, 이에 따라 이상 상황 감지의 정확도가 향상될 수 있다.
이하에서는, 도 17을 참조하여 본 개시의 몇몇 실시예에 따른 프라이버시 보호 방법에 대하여 설명할 수 있다. 이하의 프라이버시 보호 방법은 저장부(17)에 의해 수행될 수 있으나, 다른 모듈에 의해 수행될 수도 있다. 또한, 저장부(17)가 다른 모듈과 연동하여 상기 프라이버시 보호 방법을 수행할 수도 있다.
도 17은 본 개시의 몇몇 실시예에 따른 프라이버시 보호 방법을 설명하기 위한 예시도이다.
도 17에 도시된 바와 같이, 촬영 장치(e.g. 도 1의 1)로부터 수집된 이미지(91)에는 교육 참가자(95 등)의 다양한 모습이 포함될 수 있다. 이러한 이미지(91)가 유출될 경우, 프라이버시 침해가 야기될 수 있으므로, 본 개시의 몇몇 실시예에서는, 이미지(91)를 저장하기 전에 적절한 가공 처리가 수행될 수 있다.
상기 가공 처리는 안면 영역(e.g. 93-1) 중 적어도 일부 영역에 대한 은폐 처리를 포함할 수 있다. 예를 들어, 수집된 이미지(91)에서 안면 영역(e.g. 93-1)이 검출되면, 안면 영역(e.g. 93-1)의 전부 또는 일부 영역에 대해 마스킹, 모자이크 처리 등이 수행될 수 있다. 은폐 처리된 이미지(94)의 일 예는 도 17의 하단에 도시되어 있다.
또한, 상기 가공 처리는 은폐된 영역(e.g. 93-2)에 해당 교육 참가자(e.g. 95)에 대한 식별 코드를 주입하는 과정을 더 포함할 수 있다. 예를 들어, 은폐된 영역(e.g. 93-2)에 해당 교육 참가자(e.g. 95)를 식별할 수 있는 적절한 식별 코드가 삽입될 수 있다. 물론, 상기 식별 코드는 다른 위치에 삽입되거나, 별도의 메타데이터로 저장되더라도 무방하다. 또한, 상기 식별 코드의 형식은 어떠한 형식이 되더라도 무방하다. 식별 코드를 삽입하는 이유는, 추후 저장된 이미지(94)를 분석할 때, 해당 교육 참가자(e.g. 95)가 식별될 필요성이 있기 때문이다. 몇몇 실시예에서는, 상기 식별 코드는 암호화되어 저장될 수 있다.
지금까지 도 17을 참조하여 본 개시의 몇몇 실시예에 따른 프라이버시 보호 방법에 대하여 설명하였다. 상술한 방법에 따르면, 교육 참가자의 안면이 포함된 이미지에 대해 은폐 처리가 수행되므로, 데이터 유출에 따른 교육 참가자의 프라이버시 침해 문제가 미연에 방지될 수 있다.
이하에서는, 도 18을 참조하여 본 개시의 다양한 실시예에 따른 장치들(e.g. 도 1의 통합 관리 서버 10)를 구현할 수 있는 예시적인 컴퓨팅 장치(100)에 대하여 설명하도록 한다.
도 18은 컴퓨팅 장치(100)를 나타내는 예시적인 하드웨어 구성도이다.
도 18에 도시된 바와 같이, 컴퓨팅 장치(100)는 하나 이상의 프로세서(110), 버스(150), 통신 인터페이스(170), 프로세서(110)에 의하여 수행되는 컴퓨터 프로그램을 로드(load)하는 메모리(130)와, 컴퓨터 프로그램(191)를 저장하는 스토리지(190)를 포함할 수 있다. 다만, 도 18에는 본 개시의 실시예와 관련 있는 구성요소들만이 도시되어 있다. 따라서, 본 개시가 속한 기술분야의 통상의 기술자라면 도 18에 도시된 구성요소들 외에 다른 범용적인 구성 요소들이 더 포함될 수 있음을 알 수 있다. 즉, 컴퓨팅 장치(100)에는, 도 18에 도시된 구성 요소 이외에도 다양한 구성 요소가 더 포함될 수 있다.
프로세서(110)는 컴퓨팅 장치(100)의 각 구성의 전반적인 동작을 제어한다. 프로세서(110)는 CPU(Central Processing Unit), MPU(Micro Processor Unit), MCU(Micro Controller Unit), GPU(Graphic Processing Unit) 또는 본 개시의 기술 분야에 잘 알려진 임의의 형태의 프로세서 중 적어도 하나를 포함하여 구성될 수 있다. 또한, 프로세서(110)는 본 개시의 다양한 실시예에 따른 방법/동작들을 실행하기 위한 적어도 하나의 애플리케이션 또는 프로그램에 대한 연산을 수행할 수 있다. 컴퓨팅 장치(100)는 하나 이상의 프로세서를 구비할 수 있다.
메모리(130)는 각종 데이터, 명령 및/또는 정보를 저장한다. 메모리(130)는 본 개시의 다양한 실시예에 따른 방법/동작들을 실행하기 위하여 스토리지(190)로부터 하나 이상의 프로그램(191)을 로드할 수 있다. 가령, 메모리(130)에 컴퓨터 프로그램(191)이 로드되면, 도 5에 도시된 바와 같은 모듈이 메모리(130) 상에 구현될 수 있다. 메모리(130)는 RAM과 같은 휘발성 메모리로 구현될 수 있을 것이나, 본 개시의 기술적 범위는 이에 한정되지 아니한다.
버스(150)는 컴퓨팅 장치(100)의 구성 요소 간 통신 기능을 제공한다. 버스(150)는 주소 버스(Address Bus), 데이터 버스(Data Bus) 및 제어 버스(Control Bus) 등 다양한 형태의 버스로 구현될 수 있다.
통신 인터페이스(170)는 컴퓨팅 장치(100)의 유무선 인터넷 통신을 지원한다. 또한, 통신 인터페이스(170)는 인터넷 통신 외의 다양한 통신 방식을 지원할 수도 있다. 이를 위해, 통신 인터페이스(170)는 본 개시의 기술 분야에 잘 알려진 통신 모듈을 포함하여 구성될 수 있다.
스토리지(190)는 상기 하나 이상의 프로그램(191)을 비임시적으로 저장할 수 있다. 스토리지(190)는 ROM(Read Only Memory), EPROM(Erasable Programmable ROM), EEPROM(Electrically Erasable Programmable ROM), 플래시 메모리 등과 같은 비휘발성 메모리, 하드 디스크, 착탈형 디스크, 또는 본 개시가 속하는 기술 분야에서 잘 알려진 임의의 형태의 컴퓨터로 읽을 수 있는 기록 매체를 포함하여 구성될 수 있다.
컴퓨터 프로그램(191)은 메모리(130)에 로드될 때 프로세서(110)로 하여금 본 개시의 다양한 실시예에 따른 방법/동작들을 수행하도록 하는 하나 이상의 인스트럭션들(instructions)을 포함할 수 있다. 즉, 프로세서(110)는 상기 하나 이상의 인스트럭션들을 실행함으로써, 본 개시의 다양한 실시예에 따른 방법/동작들을 수행할 수 있다.
예를 들어, 컴퓨터 프로그램(191)은 하나 이상의 촬영 장치로부터 교육 장소에 대한 이미지를 수집하는 동작, 안면 인식을 통해 상기 수집된 이미지에 포함된 교육 참가자를 식별하는 동작 및 상기 식별 결과를 기초로 상기 교육 참가자의 출결 여부를 판단하는 동작을 수행하도록 하는 하나 이상의 인스트럭션들을 포함할 수 있다. 이와 같은 경우, 컴퓨팅 장치(100)를 통해 본 개시의 몇몇 실시예에 따른 통합 교육 관리 서버(10)가 구현될 수 있다.
지금까지 도 1 내지 도 18을 참조하여 본 개시의 기술적 사상과 다양한 실시예에 대하여 설명하였다. 이해의 편의를 위해, 본 개시의 기술적 사상이 교육 장소와 환경을 통합 관리하기 위해 적용된 것을 예로 들어 설명하였으나, 본 개시의 기술적 사상은 지능형 영상 분석이 수행 가능한 임의의 환경에 적용될 수 있다.
지금까지 도 1 내지 도 18을 참조하여 설명한 본 개시의 기술적 사상과 다양한 실시예에 따르면 다음의 효과를 더 달성될 수 있다.
먼저, 종래의 출결 관리는 교수자가 직접 교육 참가자의 이름을 호명하여 출결을 확인하는 방식으로 수행되었다. 이러한 방식은 강의 시간의 일부를 출결 확인에 사용하고, 대리 출석 등에 대해 정확한 출결 확인을 기대할 수 없었다. 또한, 최근에 제안된 비콘을 이용한 출결 관리 시스템은 교육 참가자들이 비콘 근처에서 직접 단말기를 이용하여 출석을 체크하는 방식이기 때문에, 대리 출석이 가능하고 강의실 외부에서 부정 출석 체크가 가능하며, 비콘이 검색되지 않거나 네트워크 문제로 접속 오류가 발생하는 등 효율적이지 못한 부분이 있었다. 이에 반해, 본 개시의 실시예에 따른 출결 확인 방식은 지능형 영상 분석을 통해 교육 참가자를 정확하게 인식함으로써 대리 출석 및 부정 출석에 대한 가능성을 완전히 배제할 수 있다. 또한, 소프트웨어를 통하여 출결이 관리되기 때문에, 교육 참가자들이 별도의 단말기를 이용할 필요가 없어 출결 확인의 편의성도 향상될 수 있다.
또한, 종래의 경우, 수업 정보 및 알람은 각 학교의 학과사무실을 통하여 게시판에 게시되거나 각 학교의 대학정보시스템 홈페이지를 통하여 확인이 가능하였다. 이러한 방식은 학생이 직접 학과사무실을 찾아가야 하거나 컴퓨터를 사용해야 하는 등의 이유로 실시간으로 수업 정보 및 알람을 확인하는 데에 제한이 있었다. 이에 반해, 본 개시의 실시예에 따른 통합 교육 관리 서버(10) 및 이와 연동되는 애플리케이션을 통해 수업에 대한 정보나 휴강 및 보강 등 수업 일정의 변동사항이 교수자와 교육 참가자 간에 실시간으로 공유될 수 있다.
또한, 종래의 경우, 강의 및 프로젝트 별 일정, 과제 관리, 진행 척도를 확인하기 위해서는 교수자 및 교육 참가자들이 직접 대면하여 확인을 하거나 관리 시스템(e.g. 대학정보시스템)에 접속하여 확인을 해야만 했다. 예를 들어, 학생들은 자신이 수강하고 있는 강의가 현재 어떠한 진행도를 보이고 있는지 확인하기 위해 직접 대학정보시스템 홈페이지에 들어가 확인을 해야만 했다. 이러한 접근 과정의 번거로움으로 인해, 종래에는 대부분의 학생들이 강의 진행도를 확인하지 않는 등의 문제점이 있었다. 이에 반해, 본 개시의 실시예에 따른 통합 교육 관리 서버(10) 및 이와 연동되는 애플리케이션은 현재 자신이 수강하고 있는 강의의 진행 척도를 시각적으로 보여줄 수 있다. 이에 따라, 교육 참가자는 교수자의 강의 계획과 현재 진행 척도를 비교하여 이 강의가 좋은 강의인지 여부를 손쉽게 확인할 수 있게 된다. 또한, 교수자가 과제에 대한 정보를 애플리케이션에 등록함으로써 교육 참가자들이 손쉽게 과제를 확인할 수 있게 된다.
또한, 종래의 경우, 주제별 모임 및 정보 제공 등 커뮤니티를 통한 소통의 장이 학교 동아리 및 인터넷 카페 혹은 단일 애플리케이션으로 형성되어 있었다. 그리고, 학생들은 인터넷 카페에 접속하는 번거로움으로 인하여 특별한 공지사항 외에는 카페에 접속하지 않는 문제점이 있다. 이에 반해, 본 개시의 실시예에 따른 통합 교육 관리 서버(10) 및 이와 연동되는 애플리케이션은 뛰어난 접근성을 제공할 수 있다. 즉, 학생들이 상기 애플리케이션을 통해 커뮤니티에 손쉽게 접근할 수 있고, 신규 동아리 및 소통의 장을 손쉽고 원활하게 형성할 수 있게 된다. 또한, 상기 애플리케이션의 파일 첨부 기능을 통해 직접 만나지 않고도 동아리나 소통의 장에 대한 정보가 학생들 간에 공유될 수 있다.
지금까지 도 1 내지 도 18을 참조하여 설명된 본 개시의 기술적 사상은 컴퓨터가 읽을 수 있는 매체 상에 컴퓨터가 읽을 수 있는 코드로 구현될 수 있다. 상기 컴퓨터로 읽을 수 있는 기록 매체는, 예를 들어 이동형 기록 매체(CD, DVD, 블루레이 디스크, USB 저장 장치, 이동식 하드 디스크)이거나, 고정식 기록 매체(ROM, RAM, 컴퓨터 구비 형 하드 디스크)일 수 있다. 상기 컴퓨터로 읽을 수 있는 기록 매체에 기록된 상기 컴퓨터 프로그램은 인터넷 등의 네트워크를 통하여 다른 컴퓨팅 장치에 전송되어 상기 다른 컴퓨팅 장치에 설치될 수 있고, 이로써 상기 다른 컴퓨팅 장치에서 사용될 수 있다.
이상에서, 본 개시의 실시예를 구성하는 모든 구성 요소들이 하나로 결합되거나 결합되어 동작하는 것으로 설명되었다고 해서, 본 개시의 기술적 사상이 반드시 이러한 실시예에 한정되는 것은 아니다. 즉, 본 개시의 목적 범위 안에서라면, 그 모든 구성요소들이 하나 이상으로 선택적으로 결합하여 동작할 수도 있다.
도면에서 동작들이 특정한 순서로 도시되어 있지만, 반드시 동작들이 도시된 특정한 순서로 또는 순차적 순서로 실행되어야만 하거나 또는 모든 도시 된 동작들이 실행되어야만 원하는 결과를 얻을 수 있는 것으로 이해되어서는 안 된다. 특정 상황에서는, 멀티태스킹 및 병렬 처리가 유리할 수도 있다. 더욱이, 위에 설명한 실시예들에서 다양한 구성들의 분리는 그러한 분리가 반드시 필요한 것으로 이해되어서는 안 되고, 설명된 프로그램 컴포넌트들 및 시스템들은 일반적으로 단일 소프트웨어 제품으로 함께 통합되거나 다수의 소프트웨어 제품으로 패키지 될 수 있음을 이해하여야 한다.
이상 첨부된 도면을 참조하여 본 개시의 실시예들을 설명하였지만, 본 개시가 속하는 기술분야에서 통상의 지식을 가진 자는 그 기술적 사상이나 필수적인 특징을 변경하지 않고서 본 개시가 다른 구체적인 형태로도 실시될 수 있다는 것을 이해할 수 있다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적인 것이 아닌 것으로 이해해야만 한다. 본 개시의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 개시에 의해 정의되는 기술적 사상의 권리범위에 포함되는 것으로 해석되어야 할 것이다.

Claims (18)

  1. 하나 이상의 촬영 장치로부터 교육 장소에 대한 이미지를 수집하는 수집부; 및
    안면 인식을 통해 상기 수집된 이미지에 포함된 교육 참가자를 식별하고, 상기 식별 결과를 기초로 상기 교육 참가자의 출결 여부를 판단하는 출결 관리부를 포함하고,
    상기 출결 관리부는 상기 수집된 이미지에서 복수 방향의 안면 영역에서 특징점을 추출하고, 추출된 상기 특징점과 기 저장된 상기 교육 참가자의 특징점을 비교하여 획득된 유사도에 기초하여 해당 교육 참가자의 신원을 식별하되, 상기 복수 방향의 안면 영역에 대해, 안면 인식에 방해를 끼치는 정도를 판단하여 각 방향별 유사도에 상이한 가중치를 부여하고, 상기 각 방향별 유사도에 부여된 가중치에 기초하여 최종 안면 유사도를 산출하고,
    상기 특징점은 정면 방향 안면 영역의 특징점, 좌측 방향 안면 영역의 특징점, 우측 방향 안면 영역의 특징점, 상측 방향 안면 영역의 특징점, 하측 방향 안면 영역의 특징점, 좌상측 방향 안면 영역의 특징점, 좌하측 방향 안면 영역의 특징점, 우상측 방향 안면 영역의 특징점 및 우하측 방향 안면 영역의 특징점을 포함하는 것
    인 통합 교육 관리 시스템.
  2. 제1 항에 있어서,
    상기 하나 이상의 촬영 장치 중 적어도 하나는 어안렌즈를 구비하고,
    상기 어안렌즈에 의해 촬영된 이미지에 대해 디워핑(dewarping) 처리를 수행하는 처리부를 더 포함하는,
    통합 교육 관리 시스템.
  3. 제1 항에 있어서,
    상기 하나 이상의 촬영 장치 중 적어도 하나는 상기 교육 장소의 출입구를 촬영하는 것인,
    통합 교육 관리 시스템.
  4. 제1 항에 있어서,
    상기 출결 관리부는,
    상기 안면 인식 결과 외에도 상기 수집된 이미지에서 추출된 장신구 특징 및 복장 특징에 더 기초하여 상기 교육 참가자를 식별하는,
    통합 교육 관리 시스템.
  5. 삭제
  6. 삭제
  7. 제1 항에 있어서,
    상기 출결 관리부는,
    상기 수집된 이미지를 분석하여 상기 교육 참가자의 장신구 착용 여부를 판단하고,
    장신구를 착용했다는 판단에 응답하여, GAN(Generative Adversarial Networks) 기반의 이미지 변환 모델을 통해 상기 수집된 이미지를 장신구가 제거된 이미지로 변환하고,
    상기 변환된 이미지에 대해 상기 안면 인식을 수행하는,
    통합 교육 관리 시스템.
  8. 제7 항에 있어서,
    상기 이미지 변환 모델은 제1 도메인의 이미지를 제2 도메인의 페이크 이미지(fake image)로 변환하는 제1 생성기(generator), 상기 제2 도메인의 이미지를 상기 제1 도메인의 페이크 이미지로 변환하는 제2 생성기, 상기 제1 도메인의 이미지와 상기 제1 도메인의 페이크 이미지를 판별하는 제1 판별기(discriminator) 및 상기 제2 도메인의 이미지와 상기 제2 도메인의 페이크 이미지를 판별하는 제2 판별기를 포함하고,
    상기 제1 도메인은 상기 장신구를 포함하는 이미지와 연관되며,
    상기 제2 도메인은 상기 장신구를 포함하지 않는 이미지와 연관되되,
    상기 출결 관리부는,
    상기 제1 생성기를 통해 제1 학습 이미지를 제2 학습 이미지로 변환하고, 상기 제2 생성기를 통해 상기 제2 학습 이미지를 제3 학습 이미지로 변환하며, 상기 제1 학습 이미지와 상기 제3 학습 이미지 간의 차이를 기초로 상기 제1 생성기를 업데이트하고,
    상기 제2 생성기와 상기 제1 판별기 간에 적대적 학습(adversarial learning)을 수행하며,
    상기 제1 생성기와 상기 제2 판별기 간에 적대적 학습을 수행하여 상기 이미지 변환 모델을 학습시키는,
    통합 교육 관리 시스템.
  9. 제7 항에 있어서,
    상기 이미지 변환 모델은 제1 도메인의 이미지를 인코딩하는 제1 인코더(encoder), 제2 도메인의 이미지를 인코딩하는 제2 인코더, 상기 제1 인코더 또는 상기 제2 인코더에서 출력된 인코딩 데이터를 이용하여 상기 제1 도메인의 페이크 이미지(fake image)를 생성하는 제1 생성기(generator) 및 상기 인코딩 데이터를 이용하여 상기 제2 도메인의 페이크 이미지를 생성하는 제2 생성기를 포함하고,
    상기 제1 도메인은 상기 장신구를 포함하는 이미지와 연관되며,
    상기 제2 도메인은 상기 장신구를 포함하지 않는 이미지와 연관되되,
    상기 출결 관리부는,
    상기 제1 인코더를 통해 상기 수집된 이미지에 대한 제1 인코딩 데이터를 얻고,
    상기 제1 인코딩 데이터를 상기 제2 생성기에 입력하여 상기 변환된 이미지를 생성하는,
    통합 교육 관리 시스템.
  10. 제1 항에 있어서,
    상기 수집된 이미지를 상기 교육 장소에 대한 이탈 정도, 시선 움직임 및 상기 교육 참가자의 개인 단말 사용 정도 중 적어도 하나를 기준으로 분석하여 상기 교육 참가자의 집중도를 측정하는 집중도 측정부를 더 포함하는,
    통합 교육 관리 시스템.
  11. 제10 항에 있어서,
    상기 집중도 측정부는,
    교육 중에 수집된 상기 교육 참가자의 음성에 대한 음성 인식을 수행하고,
    상기 음성 인식의 결과와 상기 교육의 주제와의 관련도에 더 기초하여 상기 집중도를 측정하는,
    통합 교육 관리 시스템.
  12. 제10 항에 있어서,
    상기 집중도 측정부는,
    상기 수집된 이미지에서 인식된 복수의 교육 참가자의 감정 또는 표정과 특정 교육 참가자의 감정 또는 표정과의 차이에 더 기초하여 상기 특정 교육 참가자의 집중도를 측정하는,
    통합 교육 관리 시스템.
  13. 제1 항에 있어서,
    상기 수집된 이미지를 분석하여 상기 교육 장소에서 발생하는 이상 상황을 감지하는 이상 상황 감지부; 및
    상기 감지된 이상 상황에 대응되는 조치를 수행하는 조치부를 더 포함하는,
    통합 교육 관리 시스템.
  14. 제13 항에 있어서,
    상기 수집된 이미지는 복수의 프레임 이미지를 포함하고,
    상기 이상 상황 감지부는,
    상기 복수의 프레임 이미지에서 색차 성분을 제외하여 복수의 휘도 이미지를 추출하고,
    상기 추출된 복수의 휘도 이미지를 축적하여 3차원의 이미지를 생성하며,
    상기 생성된 3차원의 이미지 중 적어도 일부를 다운샘플링(downsampling)하여 입력 이미지를 구성하고,
    상기 구성된 입력 이미지를 컨볼루션 신경망(convolutional neural network) 기반의 이상 상황 감지 모델에 입력하여 상기 이상 상황을 감지하는,
    통합 교육 관리 시스템.
  15. 제13 항에 있어서,
    상기 수집된 이미지는 복수의 프레임 이미지를 포함하고,
    상기 이상 상황 감지부는,
    상기 복수의 프레임 이미지를 축적하여 입력 이미지를 구성하고,
    상기 구성된 입력 이미지를 컨볼루션 신경망(convolutional neural network) 기반의 이상 상황 감지 모델에 입력하여 상기 이상 상황을 감지하되,
    상기 이상 상황 감지 모델은,
    제1 컨볼루션 연산을 통해 제1 특징맵(feature map)을 추출하는 제1 컨볼루션 레이어와 제2 컨볼루션 연산을 통해 제2 특징맵을 추출하는 제2 컨볼루션 레이어를 포함하고,
    동일 프레임 이미지와 연관된 상기 제1 특징맵의 특징값과 상기 제2 특징맵의 특징값을 종합하여(aggregating) 제3 특징맵을 생성하며,
    상기 제3 특징맵을 기초로 상기 이상 상황을 감지하는,
    통합 교육 관리 시스템.
  16. 제1 항에 있어서,
    상기 수집된 이미지를 가공 처리하여 저장하는 저장부를 더 포함하되,
    상기 가공 처리는,
    상기 수집된 이미지에서 안면 영역을 검출하고,
    상기 검출된 안면 영역 중 적어도 일부를 은폐 처리하며,
    상기 은폐 처리된 안면 영역에 상기 교육 참가자의 식별 코드를 주입하는 과정을 포함하는,
    통합 교육 관리 시스템.
  17. 삭제
  18. 삭제
KR1020190106015A 2019-08-28 2019-08-28 지능형 영상 분석 기술에 기반한 통합 교육 관리 시스템 및 그 방법 Active KR102248706B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020190106015A KR102248706B1 (ko) 2019-08-28 2019-08-28 지능형 영상 분석 기술에 기반한 통합 교육 관리 시스템 및 그 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020190106015A KR102248706B1 (ko) 2019-08-28 2019-08-28 지능형 영상 분석 기술에 기반한 통합 교육 관리 시스템 및 그 방법

Publications (2)

Publication Number Publication Date
KR20210025945A KR20210025945A (ko) 2021-03-10
KR102248706B1 true KR102248706B1 (ko) 2021-05-10

Family

ID=75147946

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020190106015A Active KR102248706B1 (ko) 2019-08-28 2019-08-28 지능형 영상 분석 기술에 기반한 통합 교육 관리 시스템 및 그 방법

Country Status (1)

Country Link
KR (1) KR102248706B1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20240125722A (ko) 2023-02-09 2024-08-20 주식회사 메타록 교육큐브에서의 학습자 학습태도 분석과 집중도 체크 검출 시스템 및 그 방법

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102535244B1 (ko) * 2021-04-28 2023-05-26 주식회사 와이티 음성인식 및 안면 일부 랜드마크를 이용한 신원확인 시스템 및 그 방법
KR102544463B1 (ko) * 2021-10-14 2023-06-20 유현민 하브루타 학습 및 3트랙 진도 프로그램을 적용한 수학 지도 시스템
KR102414773B1 (ko) * 2021-12-24 2022-06-29 쿨사인 주식회사 엣지 디바이스에서 생성된 메타데이터를 서버에서 재분석한 후 보완하거나 추가하는 시스템
KR102805931B1 (ko) * 2022-03-30 2025-05-14 경북대학교 산학협력단 이미지 생성 네트워크를 이용한 얼굴 추적 장치 및 얼굴 추적 방법
KR102765550B1 (ko) * 2024-03-20 2025-02-12 현대건설(주) 인공지능을 기반으로 하는 안전보건교육 시스템 및 방법

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015185875A (ja) * 2014-03-20 2015-10-22 フリュー株式会社 管理サーバ、写真シール作成装置、画像管理方法、制御プログラム、および記録媒体

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101890134B1 (ko) * 2013-07-08 2018-08-23 우리윈시스템 주식회사 Cctv 감시장치 비트맵에 의한 이미지 데이터 처리 움직임 분석 제어 방법
KR101775974B1 (ko) * 2014-10-15 2017-09-19 한국과학기술연구원 학생 수업태도 분석 시스템 및 분석 방법
KR101766347B1 (ko) * 2015-05-27 2017-08-08 노성렬 집중도 평가시스템
KR20160145384A (ko) 2015-06-10 2016-12-20 클래스베리 주식회사 출결관리 시스템 및 방법
KR102380426B1 (ko) * 2017-03-23 2022-03-31 삼성전자주식회사 얼굴 인증 방법 및 장치
KR102403494B1 (ko) * 2017-04-27 2022-05-27 에스케이텔레콤 주식회사 생성적 대립 네트워크에 기반한 도메인 간 관계를 학습하는 방법
KR102008290B1 (ko) * 2017-11-14 2019-08-07 고려대학교 산학협력단 영상에서 객체의 행동을 인식하는 방법 및 그 장치
KR102681701B1 (ko) * 2018-11-14 2024-07-05 현대자동차주식회사 얼굴 인식 장치 및 방법

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015185875A (ja) * 2014-03-20 2015-10-22 フリュー株式会社 管理サーバ、写真シール作成装置、画像管理方法、制御プログラム、および記録媒体

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20240125722A (ko) 2023-02-09 2024-08-20 주식회사 메타록 교육큐브에서의 학습자 학습태도 분석과 집중도 체크 검출 시스템 및 그 방법

Also Published As

Publication number Publication date
KR20210025945A (ko) 2021-03-10

Similar Documents

Publication Publication Date Title
KR102248706B1 (ko) 지능형 영상 분석 기술에 기반한 통합 교육 관리 시스템 및 그 방법
CN109743541B (zh) 智能监控方法、装置、计算机设备及存储介质
CN109359548B (zh) 多人脸识别监控方法及装置、电子设备及存储介质
Dospinescu et al. Face detection and face recognition in android mobile applications
Davies et al. An evaluation of South Wales Police's use of automated facial recognition
Soltane et al. A smart system to detect cheating in the online exam
Tsuchiya et al. Detecting deception using machine learning with facial expressions and pulse rate
Babatunde et al. Mobile based student attendance system using geo-fencing with timing and face recognition
Cameron CCTV and (In) dividuation
Manchanda et al. D-LORD: DYSL-AI database for low-resolution disguised face recognition
Verma et al. Automated smart artificial intelligence-based proctoring system using deep learning
CN111738199A (zh) 图像信息验证方法、装置、计算装置和介质
Bouras et al. An online real-time face recognition system for police purposes
Huang et al. Research on learning state based on students’ attitude and emotion in class learning
Bekzod et al. Face recognition based automated student attendance system
Ferreira et al. Where’s Wally: A gigapixel image study for face recognition in crowds
Fulzele et al. Utilizing cloud capabilities for face detection and face recognition during COVID-19: comparative analysis
Menon Leveraging Facial Recognition Technology in Criminal Identification
Shivanna et al. An Efficient Attendance Management with Deep Learning
Jager et al. Expanding on the briar dataset: A comprehensive whole body biometric recognition resource at extreme distances and real-world scenarios (collections 1-4)
Garg et al. AI‐Based Surveillance Systems for Effective Attendance Management: Challenges and Opportunities
Zolotarev et al. Liveness detection methods implementation to face identification reinforcement in gaming services
Asha et al. The Face Sync-Smart Attendance System
Nguyen et al. Proctoring online exam using iot technology
Selvan et al. E-Voting Based on Face Recognition Using KNN Classifier

Legal Events

Date Code Title Description
PA0109 Patent application

Patent event code: PA01091R01D

Comment text: Patent Application

Patent event date: 20190828

PA0201 Request for examination

Patent event code: PA02012R01D

Patent event date: 20200619

Comment text: Request for Examination of Application

Patent event code: PA02011R01I

Patent event date: 20190828

Comment text: Patent Application

PA0302 Request for accelerated examination

Patent event date: 20200619

Patent event code: PA03022R01D

Comment text: Request for Accelerated Examination

Patent event date: 20190828

Patent event code: PA03021R01I

Comment text: Patent Application

PE0902 Notice of grounds for rejection

Comment text: Notification of reason for refusal

Patent event date: 20200904

Patent event code: PE09021S01D

PG1501 Laying open of application
E701 Decision to grant or registration of patent right
PE0701 Decision of registration

Patent event code: PE07011S01D

Comment text: Decision to Grant Registration

Patent event date: 20210323

N231 Notification of change of applicant
PN2301 Change of applicant

Patent event date: 20210412

Comment text: Notification of Change of Applicant

Patent event code: PN23011R01D

PN2301 Change of applicant

Patent event date: 20210429

Comment text: Notification of Change of Applicant

Patent event code: PN23011R01D

PR0701 Registration of establishment

Comment text: Registration of Establishment

Patent event date: 20210429

Patent event code: PR07011E01D

PR1002 Payment of registration fee

Payment date: 20210429

End annual number: 3

Start annual number: 1

PG1601 Publication of registration
PR1001 Payment of annual fee

Payment date: 20240313

Start annual number: 4

End annual number: 4