[go: up one dir, main page]

KR20240171604A - System and method for recommending educational contents to develop social skills and program stored in recording medium - Google Patents

System and method for recommending educational contents to develop social skills and program stored in recording medium Download PDF

Info

Publication number
KR20240171604A
KR20240171604A KR1020230069762A KR20230069762A KR20240171604A KR 20240171604 A KR20240171604 A KR 20240171604A KR 1020230069762 A KR1020230069762 A KR 1020230069762A KR 20230069762 A KR20230069762 A KR 20230069762A KR 20240171604 A KR20240171604 A KR 20240171604A
Authority
KR
South Korea
Prior art keywords
conversation
text data
evaluation
content recommendation
social
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
KR1020230069762A
Other languages
Korean (ko)
Inventor
최다은
이진진
우승훈
임민영
Original Assignee
주식회사 놀잇
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 놀잇 filed Critical 주식회사 놀잇
Priority to KR1020230069762A priority Critical patent/KR20240171604A/en
Publication of KR20240171604A publication Critical patent/KR20240171604A/en
Ceased legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10Services
    • G06Q50/20Education
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/40Information retrieval; Database structures therefor; File system structures therefor of multimedia data, e.g. slideshows comprising image and additional audio data
    • G06F16/43Querying
    • G06F16/435Filtering based on additional data, e.g. user or group profiles
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00Handling natural language data
    • G06F40/10Text processing
    • G06F40/12Use of codes for handling textual entities
    • G06F40/151Transformation
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00Handling natural language data
    • G06F40/30Semantic analysis
    • G06F40/35Discourse or dialogue representation
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/044Recurrent networks, e.g. Hopfield networks
    • G06N3/0442Recurrent networks, e.g. Hopfield networks characterised by memory or gating, e.g. long short-term memory [LSTM] or gated recurrent units [GRU]
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/0464Convolutional networks [CNN, ConvNet]
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10Services
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09BEDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B5/00Electrically-operated educational appliances
    • G09B5/08Electrically-operated educational appliances providing for individual presentation of information to a plurality of student stations
    • G09B5/14Electrically-operated educational appliances providing for individual presentation of information to a plurality of student stations with provision for individual teacher-student communication
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/26Speech to text systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Business, Economics & Management (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • General Engineering & Computer Science (AREA)
  • Tourism & Hospitality (AREA)
  • Artificial Intelligence (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Data Mining & Analysis (AREA)
  • Software Systems (AREA)
  • Marketing (AREA)
  • Mathematical Physics (AREA)
  • Molecular Biology (AREA)
  • Evolutionary Computation (AREA)
  • Biophysics (AREA)
  • General Business, Economics & Management (AREA)
  • Strategic Management (AREA)
  • Multimedia (AREA)
  • Primary Health Care (AREA)
  • Biomedical Technology (AREA)
  • Educational Administration (AREA)
  • Educational Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Economics (AREA)
  • Human Resources & Organizations (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Acoustics & Sound (AREA)
  • Human Computer Interaction (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

According to an embodiment of the present invention, a system for recommending educational content comprises: an inference model generation unit for receiving an embedding vector generated from text data of a 1:1 conversation and generating an inference model trained to output an evaluation result for each social evaluation item of a 1:1 conversation person; a text data generation unit for acquiring a conversation image between 1:1 conversation persons and generating text data from the acquired 1:1 conversation image; a word embedding unit for dividing the generated text data into word units, embedding the word-based text data, and converting the word-based text data into an embedding vector value; an evaluation result inference unit for inputting the embedding vector value of the text data of a subject to be analyzed into the generated inference model, and outputting an evaluation result for each social evaluation item of the subject to be analyzed by the inference model; and a content recommendation unit for recommending educational content matched with the subject to be analyzed based on the output evaluation result for each social evaluation item.

Description

소셜 능력 향상을 위한 교육 컨텐츠 추천 시스템, 교육 컨텐츠 추천 방법 및 기록 매체에 저장된 프로그램{SYSTEM AND METHOD FOR RECOMMENDING EDUCATIONAL CONTENTS TO DEVELOP SOCIAL SKILLS AND PROGRAM STORED IN RECORDING MEDIUM}{SYSTEM AND METHOD FOR RECOMMENDING EDUCATIONAL CONTENTS TO DEVELOP SOCIAL SKILLS AND PROGRAM STORED IN RECORDING MEDIUM}

본 발명은 교육 컨텐츠 추천 기술에 관한 것으로서, 더욱 상세하게는, 소셜 능력 향상을 위한 교육 컨텐츠 추천 시스템, 교육 컨텐츠 추천 방법 및 기록 매체에 저장된 프로그램에 관한 것이다.The present invention relates to an educational content recommendation technology, and more specifically, to an educational content recommendation system for improving social skills, an educational content recommendation method, and a program stored in a recording medium.

유아 또는 아동은 유치원, 학교, 학원 등의 집단 내에서 사회적 관계를 맺으며 소셜 능력을 키울 수 있다. 또한, 유아 또는 아동들은 가정 내에서 부모, 형제, 자매 등과의 상호 작용을 통하여 소셜 능력을 향상시킬 수 있다. Infants or children can develop social skills by forming social relationships within groups such as kindergartens, schools, and academies. In addition, infants or children can improve their social skills through interactions with parents, brothers, and sisters within the home.

유아 또는 아동이 상대방의 말에 주의를 기울여 듣고 이해하며, 자신이 하는 말을 상대방이 잘 이해하고 있는가의 여부를 상대방의 반응으로부터 파악하는 것은 언어 이상의 더욱 포괄적인 능력으로서, 유아 또는 아동은 의사소통과정에서 주제를 조정하고 대화에서의 실패를 수정하고, 상황의 맥락을 이용하여 어떻게, 무엇을 이야기 하는지를 결정한다. When infants or children pay attention to what others say, listen to what they say, understand it, and determine whether the other person understands what they are saying from their reactions, this is a broader ability than just language. In the process of communication, infants or children adjust topics, correct mistakes in conversation, and use the context of the situation to decide how and what to say.

유아들 또는 아동들이 2명씩 짝을 지어 상호작용을 할 때 사회적 관계가 강하게 형성되며, 유치원 또는 학교 교육 활동시에 두 명의 아이가 1:1로 짝을 지어 또래 짝 활동을 할 경우 단순히 집단 활동을 실시하는 경우보다 유아의 유치원 적응력, 사회성, 언어능력 향상에 더 긍정적인 영향을 미친다는 연구 결과가 있다. There are research results showing that when infants or children pair up and interact with each other, strong social relationships are formed, and when two children pair up 1:1 and engage in peer pair activities during kindergarten or school activities, it has a more positive effect on the infants' kindergarten adaptability, sociality, and language skills than when they simply engage in group activities.

한편, 최근 출생률이 저하되면서 한 가정에 2명 이상의 아이가 있는 경우 보다 1명의 아이가 있는 경우가 많아지고 있고, 이에 따라 가정 내에서 짝 활동을 할 수 있는 기회가 적어지게 되었다. 이러한 이유로, 유아 또는 아동을 대상으로 소셜 능력을 향상시키기 위한 방안이 필요하다. Meanwhile, as the birth rate has recently decreased, there are more cases of one child per household than two or more children, and as a result, there are fewer opportunities for pair activities within the household. For this reason, measures are needed to improve social skills in infants and children.

본 발명이 해결하고자 하는 과제는, 아이의 소셜 능력을 평가하고, 부족한 소셜 능력을 향상시킬 수 있는 교육 컨텐츠 추천 시스템, 교육 컨텐츠 추천 방법 및 프로그램을 제공하는 것이다.The problem to be solved by the present invention is to provide an educational content recommendation system, an educational content recommendation method, and a program that can evaluate a child's social ability and improve the child's insufficient social ability.

상술한 과제를 해결하기 위한 수단으로서, 본 발명의 일 개시에 따른 교육 컨텐츠 추천 시스템은, 1:1 대화의 텍스트 데이터로부터 생성된 임베딩 벡터를 입력 받고, 1:1 대화자의 소셜 평가 항목별 평가 결과를 출력하도록 학습된 추론 모델을 생성하는 추론 모델 생성부; 1:1 대화자 간의 대화 영상을 취득하고, 취득된 1:1 대화 영상으로부터 텍스트 데이터를 생성하는 텍스트 데이터 생성부;As a means for solving the above-described problem, an educational content recommendation system according to one disclosure of the present invention comprises: an inference model generation unit which receives an embedding vector generated from text data of a 1:1 conversation and generates an inference model learned to output an evaluation result for each social evaluation item of a 1:1 conversationalist; a text data generation unit which acquires a conversation video between 1:1 conversationalists and generates text data from the acquired 1:1 conversation video;

생성된 텍스트 데이터를 워드 단위로 구분하고, 워드 기반 임베딩하여 임베딩 벡터값으로 변환하는 워드 임베딩부; 분석 대상자의 텍스트 데이터의 임베딩 벡터값을 생성된 상기 추론 모델에 입력하고, 상기 추론 모델에 의해 분석 대상자의 소셜 평가 항목별 평가 결과를 출력하는 평가 결과 추론부; 및 출력된 소셜 평가 항목별 평가 결과에 기초하여 분석 대상자와 매칭하는 교육 컨텐츠를 추천하는 컨텐츠 추천부를 포함할 수 있다. The method may include a word embedding unit that divides the generated text data into word units, embedding the words, and converting them into embedding vector values; an evaluation result inference unit that inputs the embedding vector values of the text data of the analysis subject into the generated inference model, and outputs the evaluation results for each social evaluation item of the analysis subject by the inference model; and a content recommendation unit that recommends educational content that matches the analysis subject based on the output evaluation results for each social evaluation item.

사용자의 거주 지역, 관심사, 연령, 성향 및 이용 목적을 포함하는 사용자 정보, 매칭 건수, 누적 사용 시간, 상대방 평가 점수를 포함하는 매칭 성과 정보에 기초하여 1:1 대화자가 매칭될 수 있다. 1:1 conversation partners can be matched based on user information including the user's residential area, interests, age, tendencies, and usage purpose, and matching performance information including the number of matches, cumulative usage time, and the other party's evaluation score.

소셜 평가 항목별 평가 결과는 (1) 담화 관리 능력 항목, (2) 상황 또는 청자 맥락에 따른 조절 및 적용 능력 항목, (3) 의사 소통 의도 능력을 포함하는 각 소셜 평가 항목에 대한 충족 또는 미충족을 포함할 수 있다. The evaluation results for each social assessment item may include a satisfaction or failure for each social assessment item, including (1) discourse management ability item, (2) adjustment and application ability according to situation or listener context item, and (3) communication intention ability.

상기 추론 모델은 Bidirectional LSTM 알고리즘에 기초한 학습 모델을 포함할 수 있다. The above inference model may include a learning model based on a Bidirectional LSTM algorithm.

상기 워드 임베딩은 CNN 및 Glove 벡터 임베딩 알고리즘에 기초하여 수행될 수 있다. The above word embedding can be performed based on CNN and Glove vector embedding algorithms.

분석 대상자의 텍스트 데이터의 임베딩 벡터값은 1:1 대화 중에서 분석 대상자의 발화 텍스트 및 분석 대상자와 대화 상대방의 1:1 대화의 발화 텍스트에 기초하여 생성될 수 있다. The embedding vector value of the text data of the analysis subject can be generated based on the speech text of the analysis subject in a 1:1 conversation and the speech text of the 1:1 conversation between the analysis subject and the conversation partner.

상기 발화 텍스트는 미리 정해진 상황과 미리 정해진 시간 동안에 이루어지는 1:1 대화가 텍스트 데이터로 변환된 것일 수 있다. The above spoken text may be text data converted from a 1:1 conversation that takes place in a predetermined situation and over a predetermined period of time.

상기 컨텐츠 추천부는 평가 결과 중 미충족으로 평가된 소셜 평가 항목에 대응하는 라벨링 컨텐츠를 추천할 수 있다. The above content recommendation unit can recommend labeling content corresponding to social evaluation items that were evaluated as unsatisfactory among the evaluation results.

상술한 과제를 해결하기 위한 다른 수단으로서, 본 발명의 일 개시에 따른 영상 추천 방법은, 1:1 대화의 텍스트 데이터로부터 생성된 임베딩 벡터를 입력 받고, 1:1 대화자의 소셜 평가 항목별 평가 결과를 출력하도록 학습된 추론 모델을 생성하는 추론 모델 생성 단계; 1:1 대화자 간의 대화 영상을 취득하고, 취득된 1:1 대화 영상으로부터 텍스트 데이터를 생성하는 텍스트 데이터 생성 단계; 생성된 텍스트 데이터를 워드 단위로 구분하고, 워드 기반 임베딩하여 임베딩 벡터값으로 변환하는 워드 임베딩 단계; 분석 대상자의 텍스트 데이터의 임베딩 벡터값을 생성된 추론 모델에 입력하고, 추론 모델에 의해 분석 대상자의 소셜 평가 항목별 평가 결과를 출력하는 평가 지표 추론 단계; 및 출력된 소셜 평가 항목별 평가 결과에 기초하여 분석 대상자와 매칭하는 교육 컨텐츠를 추천하는 컨텐츠 추천 단계를 포함할 수 있다. As another means for solving the above-described problem, a video recommendation method according to one disclosure of the present invention may include an inference model generation step of receiving an embedding vector generated from text data of a 1:1 conversation and generating an inference model learned to output an evaluation result for each social evaluation item of a 1:1 conversationalist; a text data generation step of acquiring a conversation video between 1:1 conversationalists and generating text data from the acquired 1:1 conversation video; a word embedding step of dividing the generated text data into word units and converting it into an embedding vector value by word-based embedding; an evaluation index inference step of inputting an embedding vector value of text data of an analysis subject into the generated inference model and outputting an evaluation result for each social evaluation item of the analysis subject by the inference model; and a content recommendation step of recommending educational content matching the analysis subject based on the output evaluation result for each social evaluation item.

상술한 과제를 해결하기 위한 다른 수단으로서, 본 발명의 일 개시에 따른 프로그램은, 상기 교육 컨텐츠 추천 방법을 컴퓨터에 의해 수행하기 위해 기록 매체에 저장된 프로그램을 포함할 수 있다. As another means for solving the above-described problem, a program according to one disclosure of the present invention may include a program stored in a recording medium for performing the above-described educational content recommendation method by a computer.

본 발명의 실시예에 따르면, 1:1 대화의 텍스트 데이터로부터 생성된 임베딩 벡터를 입력 받고, 1:1 대화자의 소셜 평가 항목별 평가 결과를 출력하도록 학습된 추론 모델을 생성하며, 1:1 대화자 간의 대화 영상을 취득하고, 취득된 1:1 대화 영상으로부터 텍스트 데이터를 생성하고, 생성된 텍스트 데이터를 워드 단위로 구분하고, 워드 기반 임베딩하여 임베딩 벡터값으로 변환하며, 분석 대상자의 텍스트 데이터의 임베딩 벡터값을 생성된 상기 추론 모델에 입력하고, 상기 추론 모델에 의해 분석 대상자의 소셜 평가 항목별 평가 결과를 출력하고, 출력된 소셜 평가 항목별 평가 결과에 기초하여 분석 대상자와 매칭하는 교육 컨텐츠를 추천함으로써, 아이의 소셜 능력을 높은 정확도로 평가하고, 부족한 소셜 능력을 향상시킬 수 있는 교육 컨텐츠 추천 시스템, 교육 컨텐츠 추천 방법 및 프로그램이 제공될 수 있다.According to an embodiment of the present invention, an educational content recommendation system, an educational content recommendation method, and a program can be provided, which can evaluate a child's social ability with high accuracy and improve insufficient social ability by inputting an embedding vector generated from text data of a 1:1 conversation, generating an inference model trained to output an evaluation result for each social evaluation item of a 1:1 conversationalist, acquiring a conversation video between the 1:1 conversationalist, generating text data from the acquired 1:1 conversation video, dividing the generated text data into word units, converting it into an embedding vector value through word-based embedding, inputting the embedding vector value of the text data of the analysis subject into the generated inference model, outputting the evaluation result for each social evaluation item of the analysis subject by the inference model, and recommending educational content matching the analysis subject based on the output evaluation result for each social evaluation item.

도 1은 본 발명의 일 실시예에 따른 교육 컨텐츠 추천 시스템(100)과 다른 구성들 간의 연결 관계를 나타내는 도면이다.
도 2는 본 발명의 일 실시예에 따른 교육 컨텐츠 추천 시스템(100)의 구성을 나타내는 블록도이다.
도 3은 발화 데이터의 수집 및 워드 임베딩 생성을 설명하는 도면이다.
도 4는 추론 모델을 생성하는 방법을 설명하는 도면이다.
도 5는 본 발명의 일 실시예에 따른 교육 컨텐츠 추천 시스템의 동작 방법을 설명하는 개략도이다.
도 6은 본 발명의 일 실시예에 따른 교육 컨텐츠 추천 시스템에 의해 수행되는 영상 추천 방법을 나타내는 흐름도이다.
FIG. 1 is a diagram showing the connection relationship between an educational content recommendation system (100) according to one embodiment of the present invention and other components.
Figure 2 is a block diagram showing the configuration of an educational content recommendation system (100) according to one embodiment of the present invention.
Figure 3 is a diagram illustrating the collection of speech data and generation of word embeddings.
Figure 4 is a diagram illustrating a method for generating an inference model.
FIG. 5 is a schematic diagram illustrating an operation method of an educational content recommendation system according to one embodiment of the present invention.
FIG. 6 is a flowchart illustrating a video recommendation method performed by an educational content recommendation system according to one embodiment of the present invention.

이하, 첨부된 도면을 참조하여 본 발명의 바람직한 실시예를 상세히 설명하기로 한다.Hereinafter, preferred embodiments of the present invention will be described in detail with reference to the attached drawings.

본 발명에서 사용되는 용어는 본 발명에서의 기능을 고려하면서 가능한 현재 널리 사용되는 일반적인 용어들을 선택하였으나, 이는 당 분야에 종사하는 기술자의 의도 또는 판례, 새로운 기술의 출현 등에 따라 달라질 수 있다. 또한, 특정한 경우는 출원인이 임의로 선정한 용어도 있으며, 이 경우 해당되는 발명의 설명 부분에서 상세히 그 의미를 기재할 것이다. 따라서 본 발명에서 사용되는 용어는 단순한 용어의 명칭이 아닌, 그 용어가 가지는 의미와 본 발명의 전반에 걸친 내용을 토대로 정의되어야 한다The terms used in the present invention are selected from the most widely used general terms possible while considering the functions of the present invention, but they may vary depending on the intention of engineers working in the field, precedents, the emergence of new technologies, etc. In addition, in certain cases, there are terms arbitrarily selected by the applicant, and in this case, the meanings thereof will be described in detail in the description of the relevant invention. Therefore, the terms used in the present invention should be defined based on the meanings of the terms and the overall contents of the present invention, rather than simply the names of the terms.

명세서 전체에서 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있음을 의미한다. 또한, 명세서에 기재된 "...부", "모듈" 등의 용어는 적어도 하나 이상의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어 또는 소프트웨어로 구현되거나 하드웨어와 소프트웨어의 결합으로 구현될 수 있다.When a part of the specification is said to "include" a component, this does not mean that it excludes other components, but rather that it may include other components, unless otherwise specifically stated. In addition, terms such as "part", "module", etc., described in the specification mean a unit that processes at least one function or operation, which may be implemented by hardware or software, or a combination of hardware and software.

아래에서는 첨부한 도면을 참고하여 본 발명의 실시예에 대하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.Hereinafter, with reference to the attached drawings, embodiments of the present invention will be described in detail so that those skilled in the art can easily practice the present invention. However, the present invention may be implemented in various different forms and is not limited to the embodiments described herein. In addition, in order to clearly describe the present invention in the drawings, parts that are not related to the description are omitted, and similar parts are assigned similar drawing reference numerals throughout the specification.

도 1은 본 발명의 일 실시예에 따른 교육 컨텐츠 추천 시스템(100)과 다른 구성들 간의 연결 관계를 나타내는 도면이다.FIG. 1 is a diagram showing the connection relationship between an educational content recommendation system (100) according to one embodiment of the present invention and other components.

도 1을 참조하면, 교육 컨텐츠 추천 시스템(100)은 복수의 대화자 단말기(200) 및 전문가 단말기(300)와 네트워크를 통하여 연결될 수 있다. 교육 컨텐츠 추천 시스템(100)은 1:1 대화를 수행한 대화자의 소셜 능력을 평가하고, 평가 결과에 기초하여 부족한 소셜 능력을 향상시키기 위한 교육 컨텐츠를 추천할 수 있다. 또한, 교육 컨텐츠 추천 시스템(100)은 1:1 대화에 대한 전문가 평가 결과를 샘플 데이터로하여 평가 결과를 추론하는 학습 모델을 구축하고, 구축된 학습 모델을 이용하여 대화자의 소셜 능력을 평가할 수 있다. Referring to FIG. 1, the educational content recommendation system (100) can be connected to a plurality of conversational terminals (200) and expert terminals (300) through a network. The educational content recommendation system (100) can evaluate the social ability of a conversationalist who has performed a 1:1 conversation, and recommend educational content for improving the insufficient social ability based on the evaluation result. In addition, the educational content recommendation system (100) can construct a learning model that infers the evaluation result by using the expert evaluation result for the 1:1 conversation as sample data, and can evaluate the social ability of the conversationalist using the constructed learning model.

복수의 대화자는 대화자 단말기(200)를 통하여 교육 컨텐츠 추천 시스템(100)에 네트워크를 통하여 접속할 수 있다. 교육 컨텐츠 추천 시스템(100)은 사용자의 요청에 따라 1:1 대화자를 매칭할 수 있다. 사용자는 매칭된 1:1 대화 상대방과 교육 컨텐츠 추천 시스템(100)에서 제시하는 정해진 상황 및 정해진 시간 동안 화상을 통한 1:1 대화를 수행하고, 대화 수행 후에 교육 컨텐츠 추천 시스템(100)에 의해 추천된 교육 컨텐츠를 시청할 수 있다. A plurality of conversation partners can access the educational content recommendation system (100) through a network via conversation partner terminals (200). The educational content recommendation system (100) can match 1:1 conversation partners according to a user's request. The user can conduct a 1:1 conversation via video with the matched 1:1 conversation partner during a set situation and set time presented by the educational content recommendation system (100), and after the conversation, can watch the educational content recommended by the educational content recommendation system (100).

교육 전문가는 전문가 단말기(300)를 이용하여 교육 컨텐츠 추천 시스템(100)에 접속할 수 있다. 교육 컨텐츠 추천 시스템(100)은 1:1 대화 영상을 교육 전문가에 제공하고, 교육 전문가는 제공된 1:1 대화 영상을 보고, 대화자 각각에 대하여 소셜 능력의 평가 항목별로 평가를 수행할 수 있다. 교육 컨텐츠 추천 시스템(100)은 교육 전문가의 평가 결과를 1:1 대화 영상에 라벨링하고, 라벨링된 평가 결과를 이용하여 평가 결과를 추론하기 위한 학습 모델이 학습될 수 있다. An education expert can access an education content recommendation system (100) using an expert terminal (300). The education content recommendation system (100) provides a 1:1 conversation video to the education expert, and the education expert can view the provided 1:1 conversation video and perform an evaluation of each conversationalist according to each evaluation item of social ability. The education content recommendation system (100) labels the evaluation results of the education expert on the 1:1 conversation video, and a learning model can be learned to infer the evaluation results using the labeled evaluation results.

교육 컨텐츠 추천 시스템(100)은 1:1 대화자의 소셜 평가 항목별 평가 결과를 출력하도록 학습된 추론 모델을 생성할 수 있다. 또한, 교육 컨텐츠 추천 시스템(100)은 1:1 대화자 간의 대화 영상을 취득하고, 취득된 1:1 대화 영상으로부터 텍스트 데이터를 생성할 수 있다. 생성된 텍스트 데이터는 워드 단위로 구분되고, 워드 기반 임베딩에 의해 임베딩 벡터값으로 변환될 수 있다. The educational content recommendation system (100) can generate an inference model that is trained to output evaluation results for each social evaluation item of a 1:1 conversationalist. In addition, the educational content recommendation system (100) can acquire a conversation video between 1:1 conversationalists and generate text data from the acquired 1:1 conversation video. The generated text data is divided into word units and can be converted into an embedding vector value by word-based embedding.

교육 컨텐츠 추천 시스템(100)은 분석 대상자의 텍스트 데이터의 임베딩 벡터값을 생성된 생성된 추론 모델에 입력하고, 생성된 추론 모델에 의해 분석 대상자의 소셜 평가 항목별 평가 결과를 출력할 수 있다. 또한, 교육 컨텐츠 추천 시스템(100)는 출력된 소셜 평가 항목별 평가 결과에 기초하여 분석 대상자와 매칭하는 교육 컨텐츠를 추천할 수 있다. The educational content recommendation system (100) can input the embedding vector value of the text data of the subject of analysis into the generated inference model, and output the evaluation results of each social evaluation item of the subject of analysis by the generated inference model. In addition, the educational content recommendation system (100) can recommend educational content that matches the subject of analysis based on the output evaluation results of each social evaluation item.

도 2는 본 발명의 일 실시예에 따른 교육 컨텐츠 추천 시스템(100)의 구성을 나타내는 블록도이다. Figure 2 is a block diagram showing the configuration of an educational content recommendation system (100) according to one embodiment of the present invention.

도 2를 참조하면, 교육 컨텐츠 추천 시스템(100)은 추론 모델 생성부(110), 텍스트 데이터 생성부(120), 워드 임베딩부(130), 평가 결과 추론부(140) 및 컨텐츠 추천부(150)를 포함할 수 있다. 도 2에는 추론 모델 생성부(110), 텍스트 데이터 생성부(120), 워드 임베딩부(130), 평가 결과 추론부(140) 및 컨텐츠 추천부(150)가 별개의 구성으로 도시되어 있으나, 2 이상의 기능을 수행하는 통합된 기능부(예를 들면, 추론 모델 생성부 및 평가 결과 추론부의 기능을 수행하는 하나의 기능부)로 구성될 수 있다. Referring to FIG. 2, the educational content recommendation system (100) may include an inference model generation unit (110), a text data generation unit (120), a word embedding unit (130), an evaluation result inference unit (140), and a content recommendation unit (150). In FIG. 2, the inference model generation unit (110), the text data generation unit (120), the word embedding unit (130), the evaluation result inference unit (140), and the content recommendation unit (150) are illustrated as separate configurations, but may be configured as an integrated functional unit that performs two or more functions (for example, one functional unit that performs the functions of the inference model generation unit and the evaluation result inference unit).

추론 모델 생성부(110)는 1:1 대화의 텍스트 데이터로부터 생성된 임베딩 벡터를 입력 받고, 1:1 대화자의 소셜 평가 항목별 평가 결과를 출력하도록 학습된 추론 모델을 생성할 수 있다. The inference model generation unit (110) can receive an embedding vector generated from text data of a 1:1 conversation and generate an inference model trained to output evaluation results for each social evaluation item of a 1:1 conversationalist.

일 실시예에서, 1:1 대화의 텍스트 데이터로부터 워드 임베딩에 의하여 임베딩 벡터를 생성할 수 있고, 생성된 임베딩 벡터와 전문가에 의한 1:1 대화의 소셜 평가 항목별 평가 결과가 샘플 데이터로서 딥러닝 알고리즘의 추론 모델에 의해 학습될 수 있다. 전문가는 복수의 1:1 대화의 대화 당사자 각각 대하여 소정의 소셜 평가 항목별로 충족 또는 미충족으로 평가 결과를 라벨링할 수 있다. 전문가의 평가 결과 및 해당 1:1 대화의 임베딩 벡터에 의해 추론 모델이 학습될 수 있다. In one embodiment, an embedding vector can be generated from text data of a 1:1 conversation by word embedding, and the generated embedding vector and the evaluation results of each social evaluation item of the 1:1 conversation by an expert can be learned as sample data by an inference model of a deep learning algorithm. The expert can label the evaluation results of each conversation party of a plurality of 1:1 conversations as satisfied or unsatisfied for each social evaluation item. The inference model can be learned by the evaluation results of the expert and the embedding vector of the corresponding 1:1 conversation.

다른 실시예에서, 추론 모델은 1:1 대화의 텍스트 데이터에 대하여 생성된 임베딩 벡터와 교육 전문가에 의해 작성된 예시 대화 스크립트의 텍스트 데이터에 의하여 생성된 임베딩 벡터 간의 유사도를 계산하고, 계산된 유사도에 따라 소셜 능력의 평가 항목별 평가 결과를 출력할 수 있다. 즉, 교육 전문가는 소셜 평가 항목별로 평가 기준을 충족하는 대화 스크립트 예시를 작성하고, 추론 모델에서는 작성된 대화 스크립트 예시를 변환한 제1 임베딩 벡터값과 1:1 대화의 텍스트 데이터를 변환한 제2 임베딩 벡터 간의 유사도를 계산하고, 유사도가 소정치 이하인 경우에 해당 평가 항목에 대한 소셜 능력이 부족하다고 판정할 수 있다. In another embodiment, the inference model may calculate the similarity between the embedding vector generated for the text data of the 1:1 conversation and the embedding vector generated by the text data of the example conversation script written by the education expert, and output the evaluation result for each evaluation item of the social ability according to the calculated similarity. That is, the education expert may write an example conversation script that satisfies the evaluation criteria for each social evaluation item, and the inference model may calculate the similarity between the first embedding vector value converted from the written example conversation script and the second embedding vector converted from the text data of the 1:1 conversation, and if the similarity is lower than a predetermined value, it may be determined that the social ability for the corresponding evaluation item is insufficient.

소셜 평가 항목별 평가 결과는 (1) 담화 관리 능력 항목, (2) 상황 또는 청자 맥락에 따른 조절 및 적용 능력 항목, (3) 의사 소통 의도 능력을 포함하는 각 소셜 평가 항목에 대한 충족 또는 미충족을 포함할 수 있다. 표 1은 전문가에 의한 소셜 평가 항목의 구체적인 예(상위 항목 및 세부 항목)를 나타낸다. 전문가는 1:1 대화의 각 대화자에 대하여 표 1과 같이 각 세부 항목에 대하여 0점부터 3점까지의 점수를 부여하여 평가를 수행할 수 있다. 세부 항목의 총점이 소정 값 미만인 경우에 해당 상위 항목의 소셜 능력이 충족하지 않다고 판단될 수 있다. The evaluation results for each social evaluation item may include satisfaction or non-satisfaction for each social evaluation item, including (1) discourse management ability item, (2) adjustment and application ability item according to situation or listener context item, and (3) communication intention ability. Table 1 shows specific examples (higher items and sub-items) of social evaluation items by experts. Experts can perform evaluation by giving each interlocutor in a 1:1 conversation a score from 0 to 3 for each sub-item as shown in Table 1. If the total score of the sub-item is less than a given value, it may be determined that the social ability of the corresponding higher item is not satisfied.

[표 1][Table 1]

추론 모델은 Bidirectional LSTM 알고리즘에 기초한 학습 모델을 포함할 수 있다. LSTM은 순방향(왼쪽에서 오른쪽)으로 정보를 추출하지만 역방향으로도 정보를 추출해서 이용할 수 있고, 이를 양방향(Bidirectional) LSTM이라고 한다. 양방향 LSTM을 사용할 경우 시퀀스 데이터에서 더 많은 정보를 추출할 수 있기 때문에 LSTM에 비교하여 더 좋은 성능을 얻을 수 있다. The inference model can include a learning model based on the Bidirectional LSTM algorithm. LSTM extracts information in the forward direction (from left to right), but it can also extract information and use it in the reverse direction, which is called Bidirectional LSTM. When using Bidirectional LSTM, it can obtain better performance than LSTM because it can extract more information from sequence data.

텍스트 데이터 생성부(120)는 1:1 대화자 간의 대화 영상을 취득하고, 취득된 1:1 대화 영상으로부터 텍스트 데이터를 생성할 수 있다. 1:1 대화자의 매칭은 시스템에 접속한 사용자의 정보에 기초하여 결정될 수 있다. The text data generation unit (120) can acquire a video of a conversation between 1:1 conversation partners and generate text data from the acquired video of a 1:1 conversation partner. Matching of 1:1 conversation partners can be determined based on information of a user connected to the system.

일 실시예에서, 사용자의 거주 지역, 관심사, 연령, 성향 및 이용 목적을 포함하는 사용자 정보, 매칭 건수, 누적 사용 시간, 상대방 평가 점수를 포함하는 매칭 성과 정보에 기초하여 1:1 대화자가 매칭될 수 있다. 거주 지역, 관심사, 연령, 성향 및 이용 목적이 동일한 사용자 간에는 매칭 확률이 높아질 수 있다. 또한, 사용자 정보의 유사도에 의한 매칭 확률이 동일한 경우에, 매칭 건수, 누적 사용 시간, 상대방 평가 점수가 큰 값을 갖는 사용자일수록 매칭 확률이 더 높아질 수 있다. In one embodiment, 1:1 conversation partners may be matched based on user information including the user's residence, interests, age, tendencies, and usage purposes, and matching performance information including the number of matches, cumulative usage time, and the other party's evaluation score. The matching probability may be higher between users who have the same residence, interests, age, tendencies, and usage purposes. In addition, in cases where the matching probability by the similarity of the user information is the same, the matching probability may be higher for users who have larger values for the number of matches, cumulative usage time, and the other party's evaluation score.

텍스트 데이터 생성부(120)는 1:1 대화 영상으로부터 음성을 추출하고, 추출된 음성을 텍스트로 변환할 수 있다. 텍스트 데이터 생성부(120)는 텍스트를 형태소 분석을 통하여 품사 태그를 결정하고, 개체명 인식(자연어 처리)에 의해 텍스트 데이터(스크립트 데이터)를 추출할 수 있다. The text data generation unit (120) can extract voice from a 1:1 conversation video and convert the extracted voice into text. The text data generation unit (120) can determine part-of-speech tags through morphological analysis of the text and extract text data (script data) through entity recognition (natural language processing).

워드 임베딩부(130)는 생성된 텍스트 데이터를 워드 단위로 구분하고, 워드 기반으로 임베딩하여 임베딩 벡터값으로 변환할 수 있다. 1:1 대화의 텍스트 데이터는 형태소 분석기에 의해 워드 단위로 구분되고, 단어 단위로 구분된 텍스트는 각 단어간 유사도를 고려하여 벡터값(실수값)으로 변환될 수 있다. The word embedding unit (130) can divide the generated text data into word units, embed it on a word basis, and convert it into an embedding vector value. The text data of a 1:1 conversation is divided into word units by a morphological analyzer, and the text divided into word units can be converted into a vector value (real value) by considering the similarity between each word.

일 실시예에서, 워드 임베딩은 CNN 및 Glove 벡터 임베딩 알고리즘에 기초하여 수행될 수 있다. CNN은 합성곱 계층(convolutional layer)과 풀링 계층(pooling layer)이라고 하는 새로운 층을 fully-connected 계층 이전에 추가함으로써 원본 데이터에 필터링 기법을 적용한 뒤에 필터링된 데이터에 대해 분류 연산이 수행되도록 구성하는 알고리즘이다. Glove 벡터 임베딩 알고리즘은 데이터의 입출력 단어쌍에 대해서 하나의 윈도우 내에서 얼마나 동시에 자주 나오는지를 사전에 미리 계산하고, 입출력 워드 임베딩 벡터의 내적과 logP가 서로 가까워 지도록 손실함수를 만드는 알고리즘이다. Glove 벡터 임베딩 알고리즘을 이용하면 중복되는 계산이 줄어들어 학습 속도가 향상되며, 적은 샘플 데이터에 대하여도 추론 정확도를 높일 수 있다. In one embodiment, word embedding can be performed based on CNN and Glove vector embedding algorithm. CNN is an algorithm that applies a filtering technique to original data and then performs a classification operation on the filtered data by adding new layers called convolutional layer and pooling layer before the fully-connected layer. Glove vector embedding algorithm is an algorithm that calculates in advance how frequently input and output word pairs of data appear simultaneously within one window and creates a loss function so that the inner product and logP of the input and output word embedding vectors become close to each other. Using Glove vector embedding algorithm reduces redundant calculations, thereby improving learning speed and increasing inference accuracy even for a small number of sample data.

분석 대상자의 텍스트 데이터의 임베딩 벡터값은 1:1 대화 중에서 분석 대상자의 발화 텍스트 및 분석 대상자와 대화 상대방의 1:1 대화의 발화 텍스트에 기초하여 생성될 수 있다. 즉, 분석 대상자의 텍스트 데이터의 임베딩 벡터값은 분석 대상자의 발화 텍스트가 2회 포함되고, 대화 상대방의 발화 텍스트가 1회 포함될 수 있다. 이러한 구성에 의하면, 1:1 대화의 각 대화자에 대하여 상이한 임베딩 벡터값을 얻을 수 있으며, 각 대화자별로 상이한 임베딩 벡터값을 추론 모델에 입력함으로써 각 대화자별 소셜 능력의 평가 결과를 얻을 수 있다. The embedding vector value of the text data of the analysis subject can be generated based on the speech text of the analysis subject in a 1:1 conversation and the speech text of the 1:1 conversation between the analysis subject and the conversation partner. In other words, the embedding vector value of the text data of the analysis subject can include the speech text of the analysis subject twice and the speech text of the conversation partner once. According to this configuration, a different embedding vector value can be obtained for each conversation partner in a 1:1 conversation, and by inputting a different embedding vector value for each conversation partner into the inference model, an evaluation result of the social ability of each conversation partner can be obtained.

1:1 대화 중의 분석 대상자의 발화 텍스트는 미리 정해진 상황과 미리 정해진 시간 동안에 이루어지는 1:1 대화의 대화가 텍스트 데이터로 변환된 것일 수 있다. 일 실시예에서는 1:1 대화 중 특정 상황이 주어질 수 있다(예를 들면, 1분 동안 서로 인사하는 시간이 주어짐). 이와 같이 특정 상황 및 소정의 대화 시간이 제시됨으로써, 워드 임베딩 및 추론 모델에 입력되는 입력 데이터의 양을 최소화할 수 있다. The utterance text of the subject of analysis during a 1:1 conversation may be a text data of a 1:1 conversation that takes place in a predetermined situation and for a predetermined time. In one embodiment, a specific situation may be given during the 1:1 conversation (for example, a time of 1 minute is given to greet each other). By presenting a specific situation and a predetermined conversation time in this way, the amount of input data input to the word embedding and inference model can be minimized.

평가 결과 추론부(140)는 분석 대상자의 텍스트 데이터의 임베딩 벡터값을 생성된 추론 모델에 입력하고, 추론 모델에 의해 분석 대상자의 소셜 평가 항목별 평가 결과를 출력할 수 있다. 예를 들면, 아동 A와 아동 B 간의 1:1 대화가 수행된 경우에, 1:1 대화의 텍스트 데이터가 워드 임베딩에 의하여 임베딩 벡터값으로 변환되며, 이 임베딩 벡터값을 생성된 추론 모델에 입력하면, 분석 대상자인 아동 A에 대한 소셜 평가 항목별 평가 결과가 출력될 수 있다. The evaluation result inference unit (140) can input the embedding vector value of the text data of the analysis subject into the generated inference model, and output the evaluation result for each social evaluation item of the analysis subject by the inference model. For example, when a 1:1 conversation is performed between child A and child B, the text data of the 1:1 conversation is converted into an embedding vector value by word embedding, and when this embedding vector value is input into the generated inference model, the evaluation result for each social evaluation item of child A, the analysis subject, can be output.

컨텐츠 추천부(150)는 출력된 소셜 평가 항목별 평가 결과에 기초하여 분석 대상자와 매칭하는 교육 컨텐츠를 추천할 수 있다. 또한, 컨텐츠 추천부(150)는 평가 결과 중 미충족으로 평가된 소셜 평가 항목에 대응하는 라벨링 컨텐츠를 추천할 수 있다.The content recommendation unit (150) can recommend educational content that matches the analysis subject based on the evaluation results for each output social evaluation item. In addition, the content recommendation unit (150) can recommend labeling content corresponding to a social evaluation item that is evaluated as unsatisfactory among the evaluation results.

예를 들면, 분석 대상자인 아동 A에 대하여 담화 관리 능력(인사나누기 및 접근시도하기)이 부족하다고 평가된 경우에, 담화 관리 능력을 향상시키기 위한 영상 컨텐츠로 미리 라벨링된 인사 잘하기 영상 A가 추천될 수 있다. 분석 대상자에게 부족하다고 평가된 항목이 다수 존재하는 경우, 각 항목의 평가값의 크기에 따라 가장 부족한 능력을 향상시키기 위한 하나 또는 복수의 영상 컨텐츠가 추천될 수 있다. For example, if child A, who is the subject of the analysis, is evaluated as having a lack of discourse management ability (greeting and attempting to approach), a video content, “How to Greet Well” A, which is pre-labeled as a video content for improving discourse management ability, may be recommended. If there are multiple items evaluated as being lacking in the subject of the analysis, one or more video contents for improving the most lacking ability may be recommended depending on the size of the evaluation value of each item.

또한, 1:1 대화를 수행한 분석 대상자의 담화 관리 능력(인사나누기 및 접근시도하기)을 더 세부적으로 평가하여, "짝꿍에게 이름을 물어봄"에 관한 세부 평가 항목 및 "나의 이름을 말해줌"에 관한 세부 평가 항목에 따라 상이한 영상 컨텐츠를 제공할 수 있다. In addition, by evaluating the discourse management ability (greeting and approaching) of the subject of analysis who performed a 1:1 conversation in more detail, different video contents can be provided according to the detailed evaluation items of “asking the partner’s name” and “telling my name.”

예를 들면, 분석 대상자 A의 경우, 담화 관리 능력이 부족하다고 평가되고, 세부 항목으로 "짝꿍에게 이름을 물어봄"항목이 부족하다고 평가된 경우에, "짝꿍에게 이름을 물어봄"관련 능력의 향상을 위한 영상 컨텐츠 a를 추천할 수 있다. 또한, 분석 대상자 B의 경우, 담화 관리 능력이 부족하다고 평가되고, 세부 항목으로 "나의 이름을 말해줌"항목이 부족하다고 평가된 경우에, "나의 이름을 말해줌"관련 능력의 향상을 위한 영상 컨텐츠 b를 추천할 수 있다. For example, in the case of subject A, if the discourse management ability is evaluated as being insufficient and the detailed item "asking a partner's name" is evaluated as being insufficient, video content a can be recommended for improving the ability related to "asking a partner's name." In addition, in the case of subject B, if the discourse management ability is evaluated as being insufficient and the detailed item "telling my name" is evaluated as being insufficient, video content b can be recommended for improving the ability related to "telling my name."

도 3은 발화 데이터의 수집 및 워드 임베딩 생성을 설명하는 도면이다.Figure 3 is a diagram illustrating the collection of speech data and generation of word embeddings.

도 3을 참조하면, 아동 사용자는 단말기를 통하여 시스템(100)에 접속하고, 아동 매칭 시스템에 의해 다른 대화 상대방과 매칭될 수 있다. 아동 사용자는 대화 상대방 아동과 정해진 시간(예를 들면, 20분간) 1:1 영상 대화를 수행하고, 1:1 영상으로부터 음성이 추출되고 추출된 음성이 텍스트로 변환될 수 있다. 1:1 영상으로부터 변환된 텍스트 데이터는 데이터베이스에 빅데이터로 저장될 수 있다. Referring to FIG. 3, a child user can access the system (100) through a terminal and be matched with another conversation partner by a child matching system. The child user can conduct a 1:1 video conversation with the conversation partner child for a set period of time (e.g., 20 minutes), and voice can be extracted from the 1:1 video and the extracted voice can be converted into text. Text data converted from the 1:1 video can be stored as big data in a database.

분석 전문가(교육 전문가)는 1:1 영상 샘플 데이터에 대하여 아동 언어 분석 지표 및 메타 데이터를 제공할 수 있다. 분석 전문가는 어휘, 말투, 속도, 텐션 등의 지표와 판단의 정도 등의 메타 데이터를 제공하며, 제공된 분석 지표 및 메타 데이터에 따라 아동의 소셜 능력의 평가 결과가 도출될 수 있다. The analysis specialist (education specialist) can provide child language analysis indicators and metadata for 1:1 video sample data. The analysis specialist provides indicators such as vocabulary, speech, speed, and tension, and metadata such as the degree of judgment, and the evaluation results of the child's social ability can be derived based on the provided analysis indicators and metadata.

도 4는 추론 모델을 생성하는 방법을 설명하는 도면이다. Figure 4 is a diagram illustrating a method for generating an inference model.

아동의 매칭 영상 데이터로부터 음성 데이터가 추출되어 대화 스크립트가 저장될 수 있다. 대화 스크립트 중 무의미한 대화를 가비지로 검출하여 제거하고, 유의미한 대화로부터 워드 임베딩 모델이 생성될 수 있다. Voice data can be extracted from the child's matching video data and a dialogue script can be stored. Meaningless dialogues in the dialogue script can be detected as garbage and removed, and a word embedding model can be generated from meaningful dialogues.

Bidirectional LSTM의 결과 히든 스테이트로 구성된 각 단어의 표현 구성이 얻어질 수 있고, 전문가의 라벨링 데이터에 의한 학습 또는 전문가의 예시 스크립트와의 유사도에 기초한 학습에 의해 추론 모델이 생성될 수 있다. As a result of Bidirectional LSTM, a representation configuration of each word composed of hidden states can be obtained, and an inference model can be created by learning by expert labeling data or learning based on similarity with expert example scripts.

도 5는 본 발명의 일 실시예에 따른 교육 컨텐츠 추천 시스템의 동작 방법을 설명하는 개략도이다.FIG. 5 is a schematic diagram illustrating an operation method of an educational content recommendation system according to one embodiment of the present invention.

교육 컨텐츠 추천 시스템(100)에 접속한 아동은 매칭 시스에 의해 1:1 대화에 매칭되고, 1:1 대화를 수행하면 발화 스크립트가 워드 임베딩되고, 추론 모델에 의해 아동의 발화 의도가 예측되고, 소셜 능력의 평가가 이루어질 수 있다. 교육 컨텐츠 추천 시스템(100)은 영상 추천 알고리즘에 의해 아동의 소셜 능력 평가 결과에 따라 솔루션 영상을 추천하며, 솔루션 영상을 시청한 아동은 소셜 능력을 향상시킬 수 있다. 전문가는 아동의 1:1 대화에 대하여 소셜 능력의 평가를 수행하고, 전문가에 평가 결과가 추론 모델의 학습에 피드백되어 추론 모델의 정확도가 향상될 수 있다. A child who accesses the educational content recommendation system (100) is matched to a 1:1 conversation by a matching system, and when the 1:1 conversation is performed, the speech script is word-embedded, the child's speech intention is predicted by an inference model, and an evaluation of social ability can be performed. The educational content recommendation system (100) recommends a solution video based on the evaluation result of the child's social ability by a video recommendation algorithm, and a child who watches the solution video can improve his or her social ability. An expert performs an evaluation of the child's social ability for the 1:1 conversation, and the evaluation result of the expert is fed back to the learning of the inference model, so that the accuracy of the inference model can be improved.

도 6은 본 발명의 일 실시예에 따른 교육 컨텐츠 추천 시스템에 의해 수행되는 영상 추천 방법을 나타내는 흐름도이다. FIG. 6 is a flowchart illustrating a video recommendation method performed by an educational content recommendation system according to one embodiment of the present invention.

도 6을 참조하면, 영상 추천 방법은 추론 모델 생성 단계(S110), 텍스트 데이터 생성 단계(S120), 워드 임베딩 단계(S130), 평가 결과 추론 단계(S140) 및 컨텐츠 추천 단계(S150)를 포함할 수 있다. Referring to FIG. 6, the image recommendation method may include an inference model generation step (S110), a text data generation step (S120), a word embedding step (S130), an evaluation result inference step (S140), and a content recommendation step (S150).

추론 모델 생성부(110)에 의해 수행되는 추론 모델 생성 단계(S110)에서는, 1:1 대화의 텍스트 데이터로부터 생성된 임베딩 벡터를 입력 받고, 1:1 대화자의 소셜 평가 항목별 평가 결과를 출력하도록 학습된 추론 모델을 생성할 수 있다. In the inference model generation step (S110) performed by the inference model generation unit (110), an inference model trained to receive an embedding vector generated from text data of a 1:1 conversation and output the evaluation results for each social evaluation item of a 1:1 conversationist can be generated.

텍스트 데이터 생성부(120)에 의해 수행되는 텍스트 데이터 생성 단계(S120)에서는, 1:1 대화자 간의 대화 영상을 취득하고, 취득된 1:1 대화 영상으로부터 텍스트 데이터를 생성할 수 있다. In the text data generation step (S120) performed by the text data generation unit (120), a conversation video between 1:1 conversation partners can be acquired, and text data can be generated from the acquired 1:1 conversation video.

워드 임베딩부(130)에 의해 수행되는 워드 임베딩 단계(S130)에서는, 생성된 텍스트 데이터를 워드 단위로 구분하고, 워드 기반 임베딩하여 임베딩 벡터값으로 변환할 수 있다. In the word embedding step (S130) performed by the word embedding unit (130), the generated text data can be divided into word units and converted into an embedding vector value through word-based embedding.

평가 결과 추론부(140)에 의해 수행되는 평가 결과 추론 단계(S140)에서는, 분석 대상자의 텍스트 데이터의 임베딩 벡터값을 생성된 추론 모델에 입력하고, 추론 모델에 의해 분석 대상자의 소셜 평가 항목별 평가 결과를 출력할 수 있다. In the evaluation result inference step (S140) performed by the evaluation result inference unit (140), the embedding vector value of the text data of the analysis subject is input into the generated inference model, and the evaluation result for each social evaluation item of the analysis subject can be output by the inference model.

컨텐츠 추천부(150)에 의해 수행되는 컨텐츠 추천 단계(S150)에서는, 출력된 소셜 평가 항목별 평가 결과에 기초하여 분석 대상자와 매칭하는 교육 컨텐츠를 추천할 수 있다. In the content recommendation step (S150) performed by the content recommendation unit (150), educational content matching the analysis subject can be recommended based on the evaluation results for each output social evaluation item.

추론 모델 생성 단계(S110), 텍스트 데이터 생성 단계(S120), 워드 임베딩 단계(S130), 평가 결과 추론 단계(S140) 및 컨텐츠 추천 단계(S150)에 상세 내용에 대하여는, 추론 모델 생성부(110), 텍스트 데이터 생성부(120), 워드 임베딩부(130), 평가 결과 추론부(140) 및 컨텐츠 추천부(150)에 대하여 상술한 설명이 참조될 수 있다. For details on the inference model generation step (S110), the text data generation step (S120), the word embedding step (S130), the evaluation result inference step (S140), and the content recommendation step (S150), reference may be made to the descriptions given above for the inference model generation unit (110), the text data generation unit (120), the word embedding unit (130), the evaluation result inference unit (140), and the content recommendation unit (150).

이상에서 설명된 단계 또는 프로세스는 하드웨어 구성요소, 소프트웨어 구성요소, 및/또는 하드웨어 구성요소 및 소프트웨어 구성요소의 조합에 의해 실행될 수 있다. 예를 들어, 실시예들에서 설명된 단계 또는 프로세스는, 예를 들어, 프로세서, 콘트롤러, ALU(arithmetic logic unit), 디지털 신호 프로세서(digital signal processor), 마이크로컴퓨터, FPA(field programmable array), PLU(programmable logic unit), 마이크로프로세서, 또는 명령(instruction)을 실행하고 응답할 수 있는 다른 어떠한 장치와 같이, 하나 이상의 범용 컴퓨터 또는 특수 목적 컴퓨터를 이용하여 실행될 수 있다. 처리 장치는 운영 체제(OS) 및 상기 운영 체제 상에서 수행되는 하나 이상의 소프트웨어 애플리케이션을 수행할 수 있다. 또한, 처리 장치는 소프트웨어의 실행에 응답하여, 데이터를 접근, 저장, 조작, 처리 및 생성할 수도 있다. 이해의 편의를 위하여, 처리 장치는 하나가 사용되는 것으로 설명된 경우도 있지만, 해당 기술분야에서 통상의 지식을 가진 자는, 처리 장치가 복수 개의 처리 요소(processing element) 및/또는 복수 유형의 처리 요소를 포함할 수 있음을 알 수 있다. 예를 들어, 처리 장치는 복수 개의 프로세서 또는 하나의 프로세서 및 하나의 콘트롤러를 포함할 수 있다. 또한, 병렬 프로세서(parallel processor)와 같은, 다른 처리 구성(processing configuration)도 가능하다.The steps or processes described above may be performed by hardware components, software components, and/or a combination of hardware components and software components. For example, the steps or processes described in the embodiments may be performed using one or more general-purpose computers or special-purpose computers, such as, for example, a processor, a controller, an arithmetic logic unit (ALU), a digital signal processor, a microcomputer, a field programmable array (FPA), a programmable logic unit (PLU), a microprocessor, or any other device capable of executing instructions and responding to them. The processing device may execute an operating system (OS) and one or more software applications running on the operating system. In addition, the processing device may access, store, manipulate, process, and generate data in response to the execution of the software. For ease of understanding, the processing device is sometimes described as being used alone, but those skilled in the art will recognize that the processing device may include multiple processing elements and/or multiple types of processing elements. For example, the processing device may include multiple processors, or a processor and a controller. Other processing configurations, such as parallel processors, are also possible.

소프트웨어는 컴퓨터 프로그램(computer program), 코드(code), 명령(instruction), 또는 이들 중 하나 이상의 조합을 포함할 수 있으며, 원하는 대로 동작하도록 처리 장치를 구성하거나 독립적으로 또는 결합적으로 (collectively) 처리 장치를 명령할 수 있다. 소프트웨어 및/또는 데이터는, 처리 장치에 의하여 해석되거나 처리 장치에 명령 또는 데이터를 제공하기 위하여, 어떤 유형의 기계, 구성요소(component), 물리적 장치, 가상 장치(virtual equipment), 컴퓨터 저장 매체 또는 장치, 또는 전송되는 신호 파(signal wave)에 영구적으로, 또는 일시적으로 구체화(embody)될 수 있다. 소프트웨어는 네트워크로 연결된 컴퓨터 시스템 상에 분산되어서, 분산된 방법으로 저장되거나 실행될 수도 있다. 소프트웨어 및 데이터는 하나 이상의 컴퓨터 판독 가능 기록 매체에 저장될 수 있다.The software may include a computer program, code, instructions, or a combination of one or more of these, which may configure a processing device to perform a desired operation or may independently or collectively command the processing device. The software and/or data may be permanently or temporarily embodied in any type of machine, component, physical device, virtual equipment, computer storage medium or device, or transmitted signal waves, for interpretation by the processing device or for providing instructions or data to the processing device. The software may also be distributed over network-connected computer systems, and stored or executed in a distributed manner. The software and data may be stored on one or more computer-readable recording media.

실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 실시예의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.The method according to the embodiment may be implemented in the form of program commands that can be executed through various computer means and recorded on a computer-readable medium. The computer-readable medium may include program commands, data files, data structures, etc., alone or in combination. The program commands recorded on the medium may be those specially designed and configured for the embodiment or may be those known to those skilled in the art and available for use. Examples of the computer-readable recording medium include magnetic media such as hard disks, floppy disks, and magnetic tapes, optical media such as CD-ROMs and DVDs, magneto-optical media such as floptical disks, and hardware devices specially configured to store and execute program commands such as ROMs, RAMs, flash memories, etc. Examples of the program commands include not only machine language codes generated by a compiler but also high-level language codes that can be executed by a computer using an interpreter, etc. The hardware devices described above may be configured to operate as one or more software modules to perform the operations of the embodiment, and vice versa.

이상과 같이 실시예들이 비록 한정된 실시예와 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기의 기재로부터 다양한 수정 및 변형이 가능하다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.Although the embodiments have been described above by way of limited examples and drawings, those skilled in the art can make various modifications and variations from the above description. For example, appropriate results can be achieved even if the described techniques are performed in a different order than the described method, and/or components of the described system, structure, device, circuit, etc. are combined or combined in a different form than the described method, or are replaced or substituted by other components or equivalents.

그러므로, 다른 구현들, 다른 실시예들 및 특허청구범위와 균등한 것들도 후술하는 특허청구범위의 범위에 속한다.Therefore, other implementations, other embodiments, and equivalents to the claims are also included in the scope of the claims described below.

Claims (10)

1:1 대화의 텍스트 데이터로부터 생성된 임베딩 벡터를 입력 받고, 1:1 대화자의 소셜 평가 항목별 평가 결과를 출력하도록 학습된 추론 모델을 생성하는 추론 모델 생성부;
1:1 대화자 간의 대화 영상을 취득하고, 취득된 1:1 대화 영상으로부터 텍스트 데이터를 생성하는 텍스트 데이터 생성부;
생성된 텍스트 데이터를 워드 단위로 구분하고, 워드 기반 임베딩하여 임베딩 벡터값으로 변환하는 워드 임베딩부;
분석 대상자의 텍스트 데이터의 임베딩 벡터값을 생성된 상기 추론 모델에 입력하고, 상기 추론 모델에 의해 분석 대상자의 소셜 평가 항목별 평가 결과를 출력하는 평가 결과 추론부; 및
출력된 소셜 평가 항목별 평가 결과에 기초하여 분석 대상자와 매칭하는 교육 컨텐츠를 추천하는 컨텐츠 추천부
를 포함하는 교육 컨텐츠 추천 시스템.
An inference model generation unit that receives an embedding vector generated from text data of a 1:1 conversation and generates an inference model trained to output evaluation results for each social evaluation item of a 1:1 conversationalist;
A text data generation unit that acquires a video of a conversation between 1:1 conversation participants and generates text data from the acquired video of the 1:1 conversation;
A word embedding unit that divides the generated text data into word units, embeds words, and converts them into embedding vector values;
An evaluation result inference unit that inputs the embedding vector value of the text data of the subject of analysis into the generated inference model and outputs the evaluation result for each social evaluation item of the subject of analysis by the inference model; and
Content recommendation section that recommends educational content that matches the analysis target based on the evaluation results for each printed social evaluation item
An educational content recommendation system including:
제1항에 있어서,
사용자의 거주 지역, 관심사, 연령, 성향 및 이용 목적을 포함하는 사용자 정보, 매칭 건수, 누적 사용 시간, 상대방 평가 점수를 포함하는 매칭 성과 정보에 기초하여 1:1 대화자가 매칭되는 교육 컨텐츠 추천 시스템.
In the first paragraph,
An educational content recommendation system in which 1:1 conversation partners are matched based on user information including the user's residential area, interests, age, tendencies, and usage purpose, and matching performance information including the number of matches, cumulative usage time, and the other party's evaluation score.
제1항에 있어서,
소셜 평가 항목별 평가 결과는 (1) 담화 관리 능력 항목, (2) 상황 또는 청자 맥락에 따른 조절 및 적용 능력 항목, (3) 의사 소통 의도 능력을 포함하는 각 소셜 평가 항목에 대한 충족 또는 미충족을 포함하는 교육 컨텐츠 추천 시스템.
In the first paragraph,
The evaluation results for each social evaluation item are (1) discourse management ability item, (2) adjustment and application ability according to situation or listener context item, and (3) communication intention ability. This is an educational content recommendation system that includes satisfaction or non-satisfaction for each social evaluation item.
제1항에 있어서,
상기 추론 모델은 Bidirectional LSTM 알고리즘에 기초한 학습 모델을 포함하는 교육 컨텐츠 추천 시스템.
In the first paragraph,
The above inference model is an educational content recommendation system including a learning model based on a Bidirectional LSTM algorithm.
제1항에 있어서,
상기 워드 임베딩은 CNN 및 Glove 벡터 임베딩 알고리즘에 기초하여 수행되는 교육 컨텐츠 추천 시스템.
In the first paragraph,
The above word embedding is an educational content recommendation system performed based on CNN and Glove vector embedding algorithms.
제1항에 있어서,
분석 대상자의 텍스트 데이터의 임베딩 벡터값은 1:1 대화 중에서 분석 대상자의 발화 텍스트 및 분석 대상자와 대화 상대방의 1:1 대화의 발화 텍스트에 기초하여 생성되는 교육 컨텐츠 추천 시스템.
In the first paragraph,
An educational content recommendation system in which the embedding vector value of the text data of the subject of analysis is generated based on the speech text of the subject of analysis during a 1:1 conversation and the speech text of the 1:1 conversation between the subject of analysis and the conversation partner.
제6항에 있어서,
상기 발화 텍스트는 미리 정해진 상황과 미리 정해진 시간 동안에 이루어지는 1:1 대화가 텍스트 데이터로 변환된 것인 교육 컨텐츠 추천 시스템.
In Article 6,
The above speech text is an educational content recommendation system in which a 1:1 conversation that takes place in a predetermined situation and for a predetermined time is converted into text data.
제1항에 있어서,
상기 컨텐츠 추천부는 평가 결과 중 미충족으로 평가된 소셜 평가 항목에 대응하는 라벨링 컨텐츠를 추천하는 교육 컨텐츠 추천 시스템.
In the first paragraph,
The above content recommendation unit is an educational content recommendation system that recommends labeled content corresponding to social evaluation items that were evaluated as unsatisfactory among the evaluation results.
1:1 대화의 텍스트 데이터로부터 생성된 임베딩 벡터를 입력 받고, 1:1 대화자의 소셜 평가 항목별 평가 결과를 출력하도록 학습된 추론 모델을 생성하는 추론 모델 생성 단계;
1:1 대화자 간의 대화 영상을 취득하고, 취득된 1:1 대화 영상으로부터 텍스트 데이터를 생성하는 텍스트 데이터 생성 단계;
생성된 텍스트 데이터를 워드 단위로 구분하고, 워드 기반 임베딩하여 임베딩 벡터값으로 변환하는 워드 임베딩 단계;
분석 대상자의 텍스트 데이터의 임베딩 벡터값을 생성된 추론 모델에 입력하고, 추론 모델에 의해 분석 대상자의 소셜 평가 항목별 평가 결과를 출력하는 평가 지표 추론 단계; 및
출력된 소셜 평가 항목별 평가 결과에 기초하여 분석 대상자와 매칭하는 교육 컨텐츠를 추천하는 컨텐츠 추천 단계
를 포함하는 교육 컨텐츠 추천 방법.
An inference model generation step for generating an inference model that receives an embedding vector generated from text data of a 1:1 conversation and is trained to output evaluation results for each social evaluation item of a 1:1 conversationalist;
A text data generation step of acquiring a video of a conversation between 1:1 conversation participants and generating text data from the acquired video of the 1:1 conversation;
A word embedding step that divides the generated text data into word units, embeds them based on words, and converts them into embedding vector values;
An evaluation index inference step in which the embedding vector value of the text data of the analysis subject is input into the generated inference model, and the evaluation result for each social evaluation item of the analysis subject is output by the inference model; and
Content recommendation step that recommends educational content that matches the analysis target based on the evaluation results for each printed social evaluation item.
A method for recommending educational content including:
제9항에 기재된 교육 컨텐츠 추천 방법을 컴퓨터에 의해 수행하기 위해 기록 매체에 저장된 프로그램.A program stored in a recording medium for performing the educational content recommendation method described in Article 9 by a computer.
KR1020230069762A 2023-05-31 2023-05-31 System and method for recommending educational contents to develop social skills and program stored in recording medium Ceased KR20240171604A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020230069762A KR20240171604A (en) 2023-05-31 2023-05-31 System and method for recommending educational contents to develop social skills and program stored in recording medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020230069762A KR20240171604A (en) 2023-05-31 2023-05-31 System and method for recommending educational contents to develop social skills and program stored in recording medium

Publications (1)

Publication Number Publication Date
KR20240171604A true KR20240171604A (en) 2024-12-09

Family

ID=93849102

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020230069762A Ceased KR20240171604A (en) 2023-05-31 2023-05-31 System and method for recommending educational contents to develop social skills and program stored in recording medium

Country Status (1)

Country Link
KR (1) KR20240171604A (en)

Similar Documents

Publication Publication Date Title
Bilquise et al. Emotionally intelligent chatbots: A systematic literature review
JP7486540B2 (en) Automated assistants that address multiple age groups and/or vocabulary levels
US12153642B2 (en) Automatic navigation of interactive web documents
US12182883B2 (en) In-call experience enhancement for assistant systems
KR102222451B1 (en) An apparatus for predicting the status of user's psychology and a method thereof
CN118608851B (en) Digital image classification and annotation
CN110728298A (en) Multi-task classification model training method, multi-task classification method and device
KR20230141907A (en) Analyzing web pages to facilitate automatic navigation
US20200183928A1 (en) System and Method for Rule-Based Conversational User Interface
George et al. Conversational implicatures in English dialogue: Annotated dataset
CN114048319B (en) Humor text classification method, device, equipment and medium based on attention mechanism
Wu et al. Multimodal emotion recognition in conversations: A survey of methods, trends, challenges and prospects
Lau et al. Improving depression assessment with multi-task learning from speech and text information
Aattouri et al. Modeling of an artificial intelligence based enterprise callbot with natural language processing and machine learning algorithms
CN120277199A (en) Child education knowledge boundary management method, system and equipment based on large model
KR20240171604A (en) System and method for recommending educational contents to develop social skills and program stored in recording medium
Meiselwitz Social Computing and Social Media. Design, Human Behavior and Analytics: 11th International Conference, SCSM 2019, Held as Part of the 21st HCI International Conference, HCII 2019, Orlando, FL, USA, July 26-31, 2019, Proceedings, Part I
Chan Understanding, Building, and Evaluating Models for Context Aware Conditional Natural Language Generation
田中翔平 et al. Reflective Response of Dialogue System Focusing on User's Event
CN121117533A (en) Evaluation method, device, equipment and storage medium of large language model
Cueva et al. Crawling to improve multimodal emotion detection
Sentiments et al. Develop Intelligent iOS Apps with Swift

Legal Events

Date Code Title Description
PA0109 Patent application

St.27 status event code: A-0-1-A10-A12-nap-PA0109

PA0201 Request for examination

St.27 status event code: A-1-2-D10-D11-exm-PA0201

R18-X000 Changes to party contact information recorded

St.27 status event code: A-3-3-R10-R18-oth-X000

D13-X000 Search requested

St.27 status event code: A-1-2-D10-D13-srh-X000

D14-X000 Search report completed

St.27 status event code: A-1-2-D10-D14-srh-X000

PG1501 Laying open of application

St.27 status event code: A-1-1-Q10-Q12-nap-PG1501

E902 Notification of reason for refusal
PE0902 Notice of grounds for rejection

St.27 status event code: A-1-2-D10-D21-exm-PE0902

P11-X000 Amendment of application requested

St.27 status event code: A-2-2-P10-P11-nap-X000

B15 Application refused following examination

Free format text: ST27 STATUS EVENT CODE: N-2-6-B10-B15-EXM-PE0601 (AS PROVIDED BY THE NATIONAL OFFICE)

PE0601 Decision on rejection of patent

St.27 status event code: N-2-6-B10-B15-exm-PE0601