WO2022065561A1

WO2022065561A1 - Method for classifying intention of character string and computer program

Info

Publication number: WO2022065561A1
Application number: PCT/KR2020/013311
Authority: WO
Inventors: 유태준; 안준환; 서상원
Original assignee: Minds Lab Inc
Current assignee: Minds Lab Inc
Priority date: 2020-09-28
Filing date: 2020-09-29
Publication date: 2022-03-31
Anticipated expiration: 2023-03-28
Also published as: KR20220042940A; KR102456646B1

Abstract

A method for classifying an intention of an input character string to generate a response corresponding to the input character string, according to one embodiment of the present invention, may comprise the steps of: determining an order of one or more intention classification models, wherein the one or more intention classification models are models for determining a response engine which generates a response corresponding to the input character string; and determining a response engine corresponding to an intention of the input character string by sequentially using the one or more intention classification models according to the order.

Description

A method for classifying the intent of a string and a computer program

본 발명의 실시예들은 하나 이상의 의도 분류 모델이 순차적으로 구성되는 의도 분류기를 이용하여 입력 문자열에 대응되는 응답 엔진을 결정하는 문자열의 의도 분류 방법 및 컴퓨터 프로그램에 관한 것 이다.Embodiments of the present invention relate to a method for classifying an intent of a character string and a computer program for determining a response engine corresponding to an input character string using an intent classifier in which one or more intent classification models are sequentially configured.

최근 인공지능 기술의 발달과 보급으로, 인간의 개입 없이 사용자와 컴퓨터 시스템 간의 대화를 수행할 수 있는 대화 시스템 또는 챗봇이 널리 보급되고 있는 추세이다. With the recent development and dissemination of artificial intelligence technology, a conversation system or chatbot capable of performing a conversation between a user and a computer system without human intervention is becoming more popular.

특히 챗봇은 사용자가 별도의 웹사이트나 애플리케이션을 통하지 않고, 메신저 등을 이용하여 간편하게 질의하고 그에 대한 답변을 받을 수 있다는 점에서 널리 사용되고 있다.In particular, chatbots are widely used in that users can easily ask questions and receive answers through messengers, without going through a separate website or application.

이와 같은 챗봇은 전화나 웹사이트를 통해 고객의 상담에 대응하는 작업을 자동화하는데 주로 활용되고 있고, 이 경우 사용자의 질문 의도를 정확하게 이해하고 그에 맞는 답변을 제공하는 것이 주요한 목표가 된다.Such chatbots are mainly used to automate tasks that respond to customer consultations through phone calls or websites.

즉, 고객 상담을 위한 챗봇은 불특정 다수를 대상으로 한 상담에 주로 활용되고 있으며, 개인별 특성에 따른 답변을 고려하지 않고 예상되는 질문/응답의 쌍들을 미리 저장해 두고 기계학습이나 패턴 매칭을 통해 사용자의 질문에 가장 가까운 질문/응답 쌍을 추출하여 답변을 제공하는 방법을 이용하고 있다.In other words, chatbots for customer consultation are mainly used for consultations with unspecified people. They do not consider answers according to individual characteristics, but store expected question/response pairs in advance, A method is used to provide an answer by extracting the question/response pair closest to the question.

종래의 챗봇은 사용자의 특성이나 주변상황을 이해하고 그에 맞는 답변이나 서비스를 제공하는데 어려움을 겪고 있다. 그 이유는, 의도 분류 모델이 간단하게 구성되어 있기 때문이다.Conventional chatbots have difficulties in understanding the user's characteristics or surrounding circumstances and providing appropriate answers or services. The reason is that the intention classification model is configured simply.

즉 종래기술은 단일 의도 분류 모델을 사용하여, 해당 모델에서만 질의사항에 대한 답변을 처리하도록 구현되어 있기에, 모든 사용자의 모든 질문에 대해 답변을 제공하기 어려운 측면이 있었다. That is, since the prior art uses a single intent classification model to process answers to questions only in the corresponding model, it is difficult to provide answers to all questions of all users.

실제로 종래기술에 따르면 사용자의 질의에 대해서 단일 의도 분류 모델 내에서 답변을 찾고 적절한 답변을 찾지 못한 경우 유사한 답변을 제공하거나(그렇지만 이러한 답변은 정답이 아닐 확률이 매우 높다), 사람이 해당 답변을 처리하도록 하여 챗봇이 제대로 활용되지 못하는 문제점이 있었다.In fact, according to the prior art, an answer to a user's query is found within a single intent classification model, and if an appropriate answer is not found, a similar answer is provided (however, such an answer is very likely not the correct answer), or a person processes the answer There was a problem that the chatbot could not be used properly.

본 발명은 상술한 문제점을 해결하기 위한 것으로, 사용자가 입력한 메시지의 의도를 보다 잘 파악하여, 적절한 응답 엔진을 제공하고자 한다.The present invention is to solve the above problems, and to better understand the intention of a message input by a user, and to provide an appropriate response engine.

본 발명의 일 실시예에 따른 입력 문자열에 대응되는 응답 생성을 위해 상기 입력 문자열의 의도를 분류하는 방법은, 하나 이상의 의도 분류 모델의 오더를 결정하는 단계로써, 상기 하나 이상의 의도 분류 모델은 상기 입력 문자열에 대응되는 응답을 생성하는 응답 엔진을 결정하는 모델이고; 및 상기 오더에 따라 상기 하나 이상의 의도 분류 모델을 순차적으로 사용하여 상기 입력 문자열의 의도에 대응되는 응답 엔진을 결정하는 단계;를 포함할 수 있다.The method of classifying the intent of the input string for generating a response corresponding to the input string according to an embodiment of the present invention includes determining an order of one or more intention classification models, wherein the one or more intention classification models are selected from the input string. a model for determining a response engine that generates a response corresponding to a character string; and determining a response engine corresponding to the intention of the input string by sequentially using the one or more intention classification models according to the order.

상기 오더는 제1 의도 분류 모델이 제2 의도 분류 모델보다 선행하는 오더를 포함하고, 상기 응답 엔진을 결정하는 단계는 상기 제1 의도 분류 모델의 응답이 소정의 제1 조건을 만족한 경우 상기 제1 의도 분류 모델로부터 결정된 응답 엔진을 상기 입력 문자열의 의도에 대응되는 응답 엔진으로 결정하는 단계; 및 상기 제1 의도 분류 모델의 응답이 상기 소정의 제1 조건을 만족하지 않는 경우 상기 제2 의도 분류 모델의 응답이 소정의 제2 조건을 만족하는지 여부를 판단하는 단계;를 포함할 수 있다.The order includes an order in which a first intention classification model precedes a second intention classification model, and the determining of the response engine includes the first intention classification model when the response of the first intention classification model satisfies a first predetermined condition. 1 determining a response engine determined from the intent classification model as a response engine corresponding to the intent of the input string; and determining whether the response of the second intention classification model satisfies a second predetermined condition when the response of the first intention classification model does not satisfy the first predetermined condition.

상기 제1 의도 분류 모델은 기 정의된 복수의 룰(Rule)에 기반하여 상기 입력 문자열에 대한 응답 엔진을 결정하는 모델이고, 상기 응답 엔진을 결정하는 단계는 상기 복수의 룰 중 어느 하나의 룰이 만족되는 경우, 상기 제1 조건을 만족한 것으로 판단하고, 상기 어느 하나의 룰에 대응되는 응답 엔진을 상기 입력 문자열의 의도에 대응되는 응답 엔진으로 결정할 수 있다.The first intention classification model is a model for determining a response engine with respect to the input string based on a plurality of predefined rules, and the determining of the response engine includes any one rule among the plurality of rules. If it is satisfied, it may be determined that the first condition is satisfied, and a response engine corresponding to the one rule may be determined as a response engine corresponding to the intention of the input character string.

상기 응답 엔진을 결정하는 단계는 상기 복수의 룰 중 어느 하나의 룰도 만족되지 않는 경우, 상기 제1 조건을 만족하지 않는 것으로 판단하고, 상기 제1 의도 분류 모델에 후행하는 제2 의도 분류 모델의 응답이 소정의 제2 조건을 만족하는지 여부를 판단할 수 있다.In the determining of the response engine, if any one of the plurality of rules is not satisfied, it is determined that the first condition is not satisfied, and the second intention classification model following the first intention classification model is determined. It may be determined whether the response satisfies a predetermined second condition.

상기 제1 의도 분류 모델은 학습된 제1 인공 신경망에 기반하여 상기 입력 문자열에 대한 응답 엔진을 결정하는 모델이고, 상기 응답 엔진을 결정하는 단계는 상기 제1 인공 신경망에 기반하여 결정된 응답 엔진이 정답일 확률이 소정의 임계 확률 이상일 경우, 상기 제1 조건을 만족한 것으로 판단할 수 있다.The first intention classification model is a model for determining a response engine for the input string based on a learned first artificial neural network, and in the determining of the response engine, the response engine determined based on the first artificial neural network is the correct answer When the probability is greater than or equal to a predetermined threshold probability, it may be determined that the first condition is satisfied.

상기 응답 엔진을 결정하는 단계는 상기 확률이 소정의 임계 확률 미만일 경우, 상기 제1 조건을 만족하지 않는 것으로 판단하고, 상기 제1 의도 분류 모델에 후행하는 제2 의도 분류 모델의 응답이 소정의 제2 조건을 만족하는지 여부를 판단할 수 있다.In the determining of the response engine, when the probability is less than a predetermined threshold probability, it is determined that the first condition is not satisfied, and the response of a second intention classification model that follows the first intention classification model is a predetermined second 2 It can be judged whether the condition is satisfied.

상기 응답 엔진을 결정하는 단계는 상기 제1 의도 분류 모델의 응답이 소정의 제1 조건을 만족한 경우 상기 제1 의도 분류 모델로부터 결정된 응답 엔진의 입력 데이터 형식에 따라 상기 입력 문자열을 변환하는 단계;를 더 포함할 수 있다.The determining of the response engine may include: when the response of the first intent classification model satisfies a predetermined first condition, converting the input string according to the input data format of the response engine determined from the first intent classification model; may further include.

본 발명에 따르면 사용자의 질의(즉 입력 문자열)에 대한 응답 정확도를 향상시킬 수 있다.According to the present invention, it is possible to improve the accuracy of response to a user's query (ie, an input string).

또한 본 발명에 따르면 복수의 의도 분류 모델을 순차적으로 사용함으로써, 단일 의도 분류 모델 사용에 따른 단점을 해소할 수 있다.In addition, according to the present invention, by sequentially using a plurality of intention classification models, it is possible to solve the disadvantages of using a single intention classification model.

또한 본 발명에 따르면 사용자의 질의(즉 입력 문자열) 내용에 따라 의도 분류 모델의 오더를 적절하게 결정함으로써, 입력 문자열에 대한 응답이 효율적으로 이루어 지도록 할 수 있다.In addition, according to the present invention, by appropriately determining the order of the intention classification model according to the contents of the user's query (ie, input string), it is possible to efficiently respond to the input string.

도 1은 본 발명의 일 실시예에 따른 문자열의 의도 분류 시스템의 구성을 개략적으로 도시한 도면이다.1 is a diagram schematically illustrating the configuration of an intention classification system for character strings according to an embodiment of the present invention.

도 2는 본 발명의 일 실시예에 따른 서버(100)의 구성을 개략적으로 도시한 도면이다.2 is a diagram schematically illustrating a configuration of a server 100 according to an embodiment of the present invention.

도 3은 의도 분류 모델의 풀(Pool)(500)과 예시적인 의도 분류 모델의 오더를 도시한 도면이다.3 is a diagram illustrating a pool 500 of an intention classification model and an order of an exemplary intention classification model.

도 4는 의도 분류기를 생성하기 위한 인터페이스가 표시된 화면(600)의 예시이다.4 is an example of a screen 600 on which an interface for generating an intention classifier is displayed.

도 5 및 도 6은 영역(700A, 700B)에 대한 사용자의 조작에 따라 의도 분류기의 오더를 변경하는 과정을 설명하기 위한 도면이다.5 and 6 are diagrams for explaining a process of changing the order of the intention classifier according to the user's manipulation of the regions 700A and 700B.

도 7은 본 발명의 일 실시예에 따른 제어부(120)가 제2 인공 신경망(920)을 학습하는 과정을 설명하기 위한 도면이다.7 is a diagram for explaining a process in which the controller 120 learns the second artificial neural network 920 according to an embodiment of the present invention.

도 8은 본 발명의 일 실시예에 따른 제어부(120)가 학습된 제2 인공 신경망(920)을 이용하여 의도 분류 모델의 순서를 결정하는 과정을 설명하기 위한 도면이다.8 is a diagram for explaining a process in which the control unit 120 determines the order of the intention classification model using the learned second artificial neural network 920 according to an embodiment of the present invention.

도 9는 본 발명의 일 실시예에 따른 제어부(120)가 입력 문자열에 대응되는 응답 엔진을 결정하는 과정을 설명하기 위한 도면이다.9 is a diagram for explaining a process in which the controller 120 determines a response engine corresponding to an input string according to an embodiment of the present invention.

도 10은 의도 분류기를 구성하는 의도 분류 모델 중 룰에 기반하여 의도를 분류하는 모델이 사용된 경우의 대화 화면(810)을 도시한 도면이다.FIG. 10 is a diagram illustrating a dialog screen 810 when a model for classifying an intention based on a rule among intention classification models constituting the intention classifier is used.

도 11은 의도 분류기를 구성하는 의도 분류 모델 중 학습된 제1 인공 신경망에 기반하여 의도 분류 대상 입력 문자열에 대한 응답 엔진을 결정하는 모델이 사용된 경우의 대화 화면(820)을 도시한 도면이다.FIG. 11 is a diagram illustrating a dialog screen 820 when a model for determining a response engine for an intention classification target input string based on a learned first artificial neural network among intention classification models constituting an intention classifier is used.

도 12는 본 발명의 일 실시예에 따른 제어부(120)에 의해 수행되는 문자열의 의도 분류 방법을 설명하기 위한 흐름도이다. 12 is a flowchart illustrating a method for classifying an intention of a character string performed by the controller 120 according to an embodiment of the present invention.

도 13은 본 발명의 일 실시예에 따른 의도 분류기 생성 인터페이스 제공 방법을 설명하기 위한 흐름도이다.13 is a flowchart illustrating a method of providing an intention classifier generating interface according to an embodiment of the present invention.

본 발명은 다양한 변환을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세한 설명에 상세하게 설명하고자 한다. 본 발명의 효과 및 특징, 그리고 그것들을 달성하는 방법은 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 다양한 형태로 구현될 수 있다. Since the present invention can apply various transformations and can have various embodiments, specific embodiments are illustrated in the drawings and described in detail in the detailed description. Effects and features of the present invention, and a method for achieving them will become apparent with reference to the embodiments described below in detail in conjunction with the drawings. However, the present invention is not limited to the embodiments disclosed below and may be implemented in various forms.

이하, 첨부된 도면을 참조하여 본 발명의 실시예들을 상세히 설명하기로 하며, 도면을 참조하여 설명할 때 동일하거나 대응하는 구성 요소는 동일한 도면부호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다.Hereinafter, embodiments of the present invention will be described in detail with reference to the accompanying drawings, and when described with reference to the drawings, the same or corresponding components are given the same reference numerals, and the overlapping description thereof will be omitted. .

이하의 실시예에서, 제1, 제2 등의 용어는 한정적인 의미가 아니라 하나의 구성 요소를 다른 구성 요소와 구별하는 목적으로 사용되었다. 이하의 실시예에서, 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 이하의 실시예에서, 포함하다 또는 가지다 등의 용어는 명세서상에 기재된 특징, 또는 구성요소가 존재함을 의미하는 것이고, 하나 이상의 다른 특징들 또는 구성요소가 부가될 가능성을 미리 배제하는 것은 아니다. 도면에서는 설명의 편의를 위하여 구성 요소들이 그 크기가 과장 또는 축소될 수 있다. 예컨대, 도면에서 나타난 각 구성의 크기 및 형태는 설명의 편의를 위해 임의로 나타내었으므로, 본 발명이 반드시 도시된 바에 한정되지 않는다. In the following embodiments, terms such as first, second, etc. are used for the purpose of distinguishing one component from another, not in a limiting sense. In the following examples, the singular expression includes the plural expression unless the context clearly dictates otherwise. In the following embodiments, terms such as include or have means that the features or components described in the specification are present, and the possibility that one or more other features or components will be added is not excluded in advance. In the drawings, the size of the components may be exaggerated or reduced for convenience of description. For example, since the size and shape of each component shown in the drawings are arbitrarily indicated for convenience of description, the present invention is not necessarily limited to the illustrated bar.

본 발명의 일 실시예에 따른 문자열의 의도 분류 시스템은 입력 문자열에 대응되는 응답의 생성을 위해 입력 문자열의 의도를 분류할 수 있다.The system for classifying the intent of the character string according to an embodiment of the present invention may classify the intent of the input character string to generate a response corresponding to the input character string.

본 발명에서 입력 문자열의 '의도를 분류'하는 것은 해당 문자열의 의미 및/또는 의도를 파악하고 그에 따른 후속 처리를 수행하는 것을 의미할 수 있다. 가령 본 발명에서 문자열의 '의도를 분류'하는 것은 해당 문자열의 의미 및/또는 의도에 대응되는 응답을 생성하기 위한 응답 엔진을 선택하고, 선택된 응답 엔진을 이용하여 해당 문자열에 대한 응답 문자열을 생성하는 일련의 과정을 의미할 수 있다. 다만 이는 예시적인것으로 본 발명의 사상이 이에 한정되는 것은 아니다.In the present invention, 'classifying the intent' of the input string may mean identifying the meaning and/or intent of the corresponding string and performing subsequent processing accordingly. For example, in the present invention, 'classifying the intent' of a character string includes selecting a response engine for generating a response corresponding to the meaning and/or intent of the character string, and generating a response string for the corresponding character string using the selected response engine. It can mean a series of processes. However, this is an example, and the spirit of the present invention is not limited thereto.

또한 본 발명의 일 실시예에 따른 문자열의 의도 분류 시스템은 하나 이상의 의도 분류 모델로 구성되는 의도 분류기를 생성하기 위한 인터페이스를 사용자에게 제공하여, 사용자가 의도 분류기를 생성하도록 할 수 있다. In addition, the system for classifying the intent of a character string according to an embodiment of the present invention provides an interface for generating an intent classifier composed of one or more intent classification models to the user, so that the user can generate the intent classifier.

본 발명에서 '의도 분류기'는 하나 이상의 의도 분류 모델로 구성되는것으로, 입력 문자열의 의도를 분류하는 하나 이상의 의도 분류 모델의 순차적인 조합을 의미할 수 있다.In the present invention, an 'intention classifier' is composed of one or more intention classification models, and may mean a sequential combination of one or more intention classification models for classifying the intent of an input string.

본 발명에서 '의도 분류 모델'은 입력 문자열에 대응되는 응답을 생성하는 응답 엔진을 결정하는 모델을 의미할 수 있다.In the present invention, the 'intention classification model' may refer to a model that determines a response engine that generates a response corresponding to an input string.

본 발명에서 '응답 엔진'은 입력 문자열에 대응되는 응답 문자열을 응답으로써 생성하는 엔진을 의미할 수 있다.In the present invention, the 'response engine' may mean an engine that generates a response string corresponding to an input string as a response.

본 발명의 일 실시예에 따른 문자열의 의도 분류 시스템은 입력 문자열을 소정의 순서에 따라 하나 이상의 의도 분류 모델에 입력하고(이 때 소정의 순서에 따라 의도 분류 모델이 구성된 것을 의도 분류기라고 함), 특정 의도 분류 모델에서 결정된 응답 엔진을 이용하여 입력 문자열에 대한 응답을 생성할 수 있다.In the character string intent classification system according to an embodiment of the present invention, the input character string is input to one or more intention classification models in a predetermined order (in this case, the intention classification model configured according to the predetermined order is referred to as an intention classifier), A response to the input string may be generated using a response engine determined in a specific intent classification model.

이와 같은 본 발명의 일 실시예에 따른 문자열의 의도 분류 시스템은 도 1에 도시된 바와 같이 서버(100), 제1 사용자 단말(200), 제2 사용자 단말(300) 및 통신망(400)을 포함할 수 있다.As shown in FIG. 1 , the character string intent classification system according to an embodiment of the present invention includes a server 100 , a first user terminal 200 , a second user terminal 300 , and a communication network 400 . can do.

본 발명의 일 실시예에 따른 제1 사용자 단말(200) 및 제2 사용자 단말(300)은 사용자들이 서버(100)에 의해 제공되는 다양한 서비스를 이용할 수 있도록 사용자들과 서버(100)를 매개하는 다양한 형태의 장치를 의미할 수 있다. 가령 제1 사용자 단말(200)은 시스템의 관리자 단말로써, 의도 분류기를 생성하기 위한 인터페이스를 서버(100)로부터 수신하여 화면에 표시하고, 인터페이스에 대한 사용자의 입력을 획득하여 서버(100)로 전송할 수 있다. 또한 제2 사용자 단말(300)은 서비스 이용자의 단말로써, 자신의 요구사항을 기재한 문자열을 서버(100)로 전송하고, 서버(100)가 의도 분류기를 이용하여 생성한 응답을 수신하여 화면에 표시할 수 있다. 다만 이는 예시적인것으로 본 발명의 사상이 이에 한정되는 것은 아니다.The first user terminal 200 and the second user terminal 300 according to an embodiment of the present invention mediate users and the server 100 so that users can use various services provided by the server 100 . It may mean various types of devices. For example, the first user terminal 200 is a system manager terminal, receives an interface for generating an intention classifier from the server 100 and displays it on the screen, and obtains a user input for the interface and transmits it to the server 100 . can In addition, the second user terminal 300 is a terminal of the service user, and transmits a character string describing its own requirements to the server 100, receives a response generated by the server 100 using the intention classifier, and displays it on the screen. can be displayed However, this is an example, and the spirit of the present invention is not limited thereto.

이와 같은 사용자 단말(200, 300)은 도 1에 도시된 바와 같이 휴대용 단말(201 내지 203, 301 내지 303)을 의미할 수도 있고, 컴퓨터(204, 304)를 의미할 수도 있다.Such user terminals 200 and 300 may mean portable terminals 201 to 203 and 301 to 303 as shown in FIG. 1 or may mean computers 204 and 304 .

본 발명의 일 실시예에 따른 사용자 단말(200, 300)은 상술한 기능을 수행하기 위해 콘텐츠 등을 표시하기 위한 표시수단, 이러한 콘텐츠에 대한 사용자의 입력을 획득하기 위한 입력수단을 구비할 수 있다. 이 때 입력수단 및 표시수단은 다양하게 구성될 수 있다. 가령 입력수단은 키보드, 마우스, 트랙볼, 마이크, 버튼, 터치패널 등을 포함할 수 있으나 이에 한정되지 않는다.The user terminals 200 and 300 according to an embodiment of the present invention may include a display means for displaying content, etc. in order to perform the above-described function, and an input means for obtaining a user's input for such content. . In this case, the input means and the display means may be configured in various ways. For example, the input means may include, but is not limited to, a keyboard, a mouse, a trackball, a microphone, a button, a touch panel, and the like.

도 1에는 제1 사용자 단말(200)과 제2 사용자 단말(300)이 모두 단수개인 것으로 도시되었지만, 이와 같은 수량은 예시적인것으로 본 발명의 사상이 이에 한정되는 것은 아니다. 따라서 제1 사용자 단말(200) 및 제2 사용자 단말(300)은 복수일 수도 있다.Although both the first user terminal 200 and the second user terminal 300 are illustrated in FIG. 1 as being singular, these quantities are exemplary and the spirit of the present invention is not limited thereto. Accordingly, the first user terminal 200 and the second user terminal 300 may be plural.

본 발명의 일 실시예에 따른 통신망(400)은 시스템의 각 구성 간의 데이터 송수신을 매개하는 통신망을 의미할 수 있다. 가령 통신망(400)은 LANs(Local Area Networks), WANs(Wide Area Networks), MANs(Metropolitan Area Networks), ISDNs(Integrated Service Digital Networks) 등의 유선 네트워크나, 무선 LANs, CDMA, 블루투스, 위성 통신 등의 무선 네트워크를 망라할 수 있으나, 본 발명의 범위가 이에 한정되는 것은 아니다.The communication network 400 according to an embodiment of the present invention may mean a communication network that mediates data transmission/reception between each component of the system. For example, the communication network 400 may include wired networks such as Local Area Networks (LANs), Wide Area Networks (WANs), Metropolitan Area Networks (MANs), Integrated Service Digital Networks (ISDNs), and the like, wireless LANs, CDMA, Bluetooth, satellite communication, and the like. may cover a wireless network, but the scope of the present invention is not limited thereto.

본 발명의 일 실시예에 따른 서버(100)는 하나 이상의 의도 분류 모델로 구성되는 의도 분류기를 생성하기 위한 인터페이스를 제1 사용자 단말(200)에 제공하여 제1 사용자 단말(200)의 사용자가 의도 분류기를 생성하도록 할 수 있다.The server 100 according to an embodiment of the present invention provides an interface for generating an intention classifier composed of one or more intention classification models to the first user terminal 200 so that the user of the first user terminal 200 may You can create a classifier.

또한 본 발명의 일 실시예에 따른 서버(100)는 생성된 의도 분류기를 이용하여, 제2 사용자 단말(300)로부터 수신된 입력 문자열의 의도를 분류할 수 있다. In addition, the server 100 according to an embodiment of the present invention may classify the intent of the input string received from the second user terminal 300 using the generated intent classifier.

도 2는 본 발명의 일 실시예에 따른 서버(100)의 구성을 개략적으로 도시한 도면이다. 2 is a diagram schematically illustrating a configuration of a server 100 according to an embodiment of the present invention.

도 2를 참조하면, 본 발명의 일 실시예에 따른 서버(100)는 통신부(110), 제어부(120) 및 메모리(130)를 포함할 수 있다. 또한 도면에는 도시되지 않았으나, 본 발명의 일 실시예에 따른 서버(100)는 입/출력부, 프로그램 저장부 등을 더 포함할 수 있다. Referring to FIG. 2 , the server 100 according to an embodiment of the present invention may include a communication unit 110 , a control unit 120 , and a memory 130 . Also, although not shown in the drawings, the server 100 according to an embodiment of the present invention may further include an input/output unit, a program storage unit, and the like.

통신부(110)는 서버(100)가 사용자 단말(200, 300)과 같은 다른 네트워크 장치와 유무선 연결을 통해 제어 신호 또는 데이터 신호와 같은 신호를 송수신하기 위해 필요한 하드웨어 및 소프트웨어를 포함하는 장치일 수 있다. The communication unit 110 may be a device including hardware and software necessary for the server 100 to transmit and receive signals such as control signals or data signals through wired/wireless connection with other network devices such as the user terminals 200 and 300. .

제어부(120)는 프로세서(Processor)와 같이 데이터를 처리할 수 있는 모든 종류의 장치를 포함할 수 있다. 여기서, '프로세서(Processor)'는, 예를 들어 프로그램 내에 포함된 코드 또는 명령으로 표현된 기능을 수행하기 위해 물리적으로 구조화된 회로를 갖는, 하드웨어에 내장된 데이터 처리 장치를 의미할 수 있다. 이와 같이 하드웨어에 내장된 데이터 처리 장치의 일 예로써, 마이크로프로세서(Microprocessor), 중앙처리장치(Central Processing Unit: CPU), 프로세서 코어(Processor Core), 멀티프로세서(Multiprocessor), ASIC(Application-Specific Integrated Circuit), FPGA(Field Programmable Gate Array) 등의 처리 장치를 망라할 수 있으나, 본 발명의 범위가 이에 한정되는 것은 아니다.The controller 120 may include all kinds of devices capable of processing data, such as a processor. Here, the 'processor' may refer to a data processing device embedded in hardware having a physically structured circuit to perform a function expressed as, for example, a code or a command included in a program. As an example of the data processing device embedded in the hardware as described above, a microprocessor, a central processing unit (CPU), a processor core, a multiprocessor, an application-specific integrated (ASIC) Circuit) and a processing device such as a field programmable gate array (FPGA) may be included, but the scope of the present invention is not limited thereto.

메모리(130)는 서버(100)가 처리하는 데이터를 일시적 또는 영구적으로 저장하는 기능을 수행한다. 메모리는 자기 저장 매체(Magnetic Storage Media) 또는 플래시 저장 매체(Flash Storage Media)를 포함할 수 있으나, 본 발명의 범위가 이에 한정되는 것은 아니다. 가령 메모리(130)는 의도 분류기를 구성하는 하나 이상의 의도 분류 모델의 식별정보 및 사용 순번을 일시적 및/또는 영구적으로 저장할 수 있다.The memory 130 performs a function of temporarily or permanently storing data processed by the server 100 . The memory may include a magnetic storage medium or a flash storage medium, but the scope of the present invention is not limited thereto. For example, the memory 130 may temporarily and/or permanently store identification information and use order of one or more intention classification models constituting the intention classifier.

이하에서는 서버(100)의 제어부(120)의 동작을 중심으로 설명한다.Hereinafter, the operation of the control unit 120 of the server 100 will be mainly described.

본 발명의 일 실시예에 따른 제어부(120)는 의도 분류기를 구성하는 하나 이상의 의도 분류 모델의 오더를 결정할 수 있다.The controller 120 according to an embodiment of the present invention may determine the order of one or more intention classification models constituting the intention classifier.

전술한 바와 같이 본 발명에서 '의도 분류기'는 하나 이상의 의도 분류 모델로 구성되는것으로, 입력 문자열의 의도를 분류하기 위한 하나 이상의 의도 분류 모델의 순차적 조합을 의미할 수 있다.As described above, in the present invention, the 'intention classifier' is composed of one or more intention classification models, and may mean a sequential combination of one or more intention classification models for classifying the intent of the input string.

또한 본 발명에서 '의도 분류 모델'은 입력 문자열에 대응되는 응답을 생성하는 응답 엔진을 결정하기 위한 모델을 의미할 수 있다.Also, in the present invention, the 'intention classification model' may refer to a model for determining a response engine that generates a response corresponding to an input string.

또한 본 발명에서 '응답 엔진'은 입력 문자열에 대응되는 응답 문자열을 응답으로써 생성하는 엔진을 의미할 수 있다.Also, in the present invention, the 'response engine' may mean an engine that generates a response string corresponding to an input string as a response.

한편 본 발명에서 의도 분류 모델의 '오더'는 의도 분류 모델의 사용 순서 또는 우선순위를 의미할 수 있다. 따라서 오더가 상대적으로 높은 의도 분류 모델은 오더가 상대적으로 낮은 의도 분류 모델보다 입력 문자열의 의도 파악에 먼저 사용될 수 있다.Meanwhile, in the present invention, the 'order' of the intention classification model may mean the order or priority of use of the intention classification model. Therefore, the intention classification model with a relatively high order can be used first to grasp the intent of the input string rather than the intention classification model with a relatively low order.

본 발명의 일 실시예에서, 의도 분류 모델의 풀(500)은 도 3에 도시된 바와 같이 다양한 타입의 의도 분류 모델을 포함할 수 있다. In an embodiment of the present invention, the pool 500 of intention classification models may include various types of intention classification models as shown in FIG. 3 .

가령 의도 분류 모델은 룰에 기반하여 의도를 분류하는 모델들(510), 형태소 분석에 기반하여 의도를 분류하는 모델들(520), 학습된 인공 신경망을 이용하여 의도를 분류하는 모델들(530) 및 코드에 기반하여 의도를 분류하는 모델들(540)을 포함할 수 있다.For example, the intention classification model includes models 510 for classifying intentions based on rules, models 520 for classifying intentions based on morphological analysis, and models 530 for classifying intentions using a learned artificial neural network. and models 540 for classifying intentions based on codes.

본 발명에서 '룰에 기반하여 의도를 분류하는 모델'은 입력 문자열이 특정 룰(또는 조건)을 만족하는지 여부에 기초하여 해당 입력 문자열의 의도를 분류하는 모델을 의미할 수 있다. 가령 룰에 기반하여 의도를 분류하는 모델은 입력 문자열에 기 정의된 하나 이상의 단어가 포함되어 있는지 여부를 파악하여, 포함된 단어의 종류에 따라 입력 문자열의 의도를 분류할 수 있다. 다만 이는 예시적인것으로 본 발명의 사상이 이에 한정되는 것은 아니다.In the present invention, a 'model for classifying intentions based on rules' may refer to a model for classifying intentions of a corresponding input string based on whether the input string satisfies a specific rule (or condition). For example, a model for classifying intentions based on a rule may determine whether or not one or more predefined words are included in the input string, and classify the intention of the input string according to the type of the included words. However, this is an example, and the spirit of the present invention is not limited thereto.

본 발명에서 '형태소 분석에 기반하여 의도를 분류하는 모델'은 입력 문자열을 형태소 단위로 분할하고, 분할된 입력 문자열이 소정의 룰(또는 조건)을 만족하는지 여부에 기초하여 해당 입력 문자열의 의도를 분류하는 모델을 의미할 수 있다. 전술한 룰에 기반하여 의도를 분류하는 모델과 비교했을 때, 이와 같은 형태소 분석에 기반하여 의도를 분류하는 모델은 입력 문자열을 형태소 단위로 분할한 뒤 소정의 룰을 만족하는지 여부를 판단한다는 점에서 차이가 있다.In the present invention, the 'model for classifying intention based on morpheme analysis' divides the input string into morpheme units, and determines the intention of the input string based on whether the divided input string satisfies a predetermined rule (or condition). It can mean a classification model. Compared with the model for classifying intentions based on the aforementioned rules, the model for classifying intentions based on such morpheme analysis divides the input string into morpheme units and determines whether a predetermined rule is satisfied. There is a difference.

본 발명에서 '학습된 인공 신경망을 이용하여 의도를 분류하는 모델'은 학습된 인공 신경망을 이용하여 입력 문자열에 대응되는 의도(예를 들어 응답 엔진의 식별 정보)를 출력하는 모델로써, 때때로 '제1 인공 신경망'으로 지칭하여 설명된다.In the present invention, a 'model for classifying intentions using a learned artificial neural network' is a model that outputs an intention (eg, identification information of a response engine) corresponding to an input string using the learned artificial neural network, and sometimes 'the first 1 It will be described as an 'artificial neural network'.

본 발명에서 '제1 인공 신경망'은 입력 문자열과 해당 입력 문자열의 응답에 사용되는 엔진의 식별정보를 포함하는 복수의 학습 데이터에 기반하여 학습될 수 있다.In the present invention, the 'first artificial neural network' may be learned based on a plurality of learning data including an input string and identification information of an engine used for a response to the input string.

본 발명의 일 실시예에 따른 제1 인공 신경망은 복수의 학습 데이터 각각에 포함되는 입력 문자열과 해당 입력 문자열의 응답에 사용되는 엔진의 식별정보 간의 상관관계를 학습한(또는 학습하는)신경망을 의미할 수 있다. The first artificial neural network according to an embodiment of the present invention refers to a neural network that has learned (or learned) the correlation between an input string included in each of a plurality of learning data and identification information of an engine used for a response to the input string. can do.

따라서 본 발명의 일 실시예에 따른 제1 인공 신경망은 입력 문자열의 입력에 대응하여, 해당 입력 문자열의 응답을 위한 응답 엔진의 식별 정보를 출력하도록 학습된(또는 학습되는) 신경망을 의미할 수 있다.Therefore, the first artificial neural network according to an embodiment of the present invention may refer to a neural network that has been trained (or learned) to output identification information of a response engine for a response to an input string in response to an input of the input string. .

한편 본 발명에서 제1 인공 신경망은 다양한 구조의 신경망 모델로써 구현될 수 있다. 가령 제1 인공 신경망은 CNN 모델, RNN 모델 및 LSTM 모델로써 구현될 수 있다. 다만 이와 같은 신경망 모델을 예시적인것으로, 학습 데이터에 기초하여 입력과 출력간의 상관관계를 학습할 수 있는 수단은 본 발명의 제1 인공 신경망(920)으로써 사용될 수 있다.Meanwhile, in the present invention, the first artificial neural network may be implemented as a neural network model having various structures. For example, the first artificial neural network may be implemented as a CNN model, an RNN model, and an LSTM model. However, such a neural network model is an example, and a means for learning a correlation between an input and an output based on the learning data may be used as the first artificial neural network 920 of the present invention.

본 발명에서 '코드에 기반하여 의도를 분류하는 모델'은 입력 문자열에 특정 키워드(또는 코드)가 포함되어있는지 여부에 기초하여 해당 입력 문자열의 의도를 분류하는 모델을 의미할 수 있다. 이와 같이 코드에 기반하여 의도를 분류하는 모델은 전술한 룰에 기반하여 의도를 분류하는 모델과 같은 원리로 입력 문자열의 의도를 분류할 수 있다.In the present invention, a 'model for classifying intentions based on codes' may mean a model for classifying intentions of a corresponding input string based on whether or not a specific keyword (or code) is included in the input string. As described above, the model for classifying the intent based on the code may classify the intent of the input string on the same principle as the model for classifying the intent based on the above-described rule.

본 명세서에서 때때로 '룰에 기반하여 의도룰 분류하는 모델'은 전술한 모델(즉 룰에 기반하여 의도를 분류하는 모델들(510))만을 지칭하는 것일 수도 있고, 룰에 기반하여 의도룰 분류하는 모델, 형태소 분석에 기반하여 의도를 분류하는 모델 및 코드에 기반하여 의도를 분류하는 모델을 모두 지칭하는 것일 수도 있다.In this specification, sometimes the 'model for classifying intention rules based on rules' may refer only to the above-described model (that is, models 510 for classifying intentions based on rules), and It may refer to both a model, a model for classifying intentions based on morphological analysis, and a model for classifying intentions based on codes.

본 발명의 일 실시예에 따른 제어부(120)는 의도 분류 모델의 풀(500)로부터 일부 의도 분류 모델을 선별하여 도 3에 도시된 바와 같이 의도 분류 모델의 오더를 결정할 수 있다. The controller 120 according to an embodiment of the present invention may select some intention classification models from the pool 500 of intention classification models and determine the order of the intention classification models as shown in FIG. 3 .

가령 제어부(120)는 룰에 기반하여 의도를 분류하는 모델(511), 형태소 분석에 기반하여 의도를 분류하는 모델(521), 학습된 인공 신경망을 이용하여 의도를 분류하는 모델(531) 그리고 마지막에는 코드에 기반하여 의도를 분류하는 모델(541)순으로 의도 분류기가 구성되도록 할 수 있다.For example, the controller 120 includes a model 511 for classifying intentions based on rules, a model 521 for classifying intentions based on morpheme analysis, a model 531 for classifying intentions using a learned artificial neural network, and finally The intention classifier may be configured in the order of the model 541 for classifying the intention based on the code.

본 발명의 일 실시예에 따른 제어부(120)는 다양한 방식으로 의도 분류기를 구성하는 의도 분류 모델들의 오더를 결정할 수 있다. The controller 120 according to an embodiment of the present invention may determine the order of intention classification models constituting the intention classifier in various ways.

가령 제어부(120)는 사용자의 입력에 기초하여 의도 분류 모델들의 오더를 결정할 수도 있고, 학습된 인공 신경망(제2 인공 신경망)을 이용하여 의도 분류 모델들의 오더를 결정할 수도 있다. 다만 상술한 두 가지 방식은 예시적인것으로 본 발명의 사상이 이에 한정되는 것은 아니다.For example, the controller 120 may determine the order of intention classification models based on a user's input, or may determine the order of intention classification models using a learned artificial neural network (second artificial neural network). However, the two methods described above are exemplary and the spirit of the present invention is not limited thereto.

도 4 내지 도 6은 본 발명의 일 실시예에 따른 제어부(120)가 사용자의 입력에 기초하여 의도 분류 모델들의 순서를 결정하는 과정을 설명하기 위한 도면이다.4 to 6 are diagrams for explaining a process in which the controller 120 determines the order of intention classification models based on a user input according to an embodiment of the present invention.

도 4는 의도 분류기를 생성하기 위한 인터페이스가 표시된 화면(600)의 예시이다. 이와 같은 화면(600)은 제1 사용자 단말(200)에서 표시되어, 사용자가 의도 분류기를 생성하도록 할 수 있다.4 is an example of a screen 600 on which an interface for generating an intention classifier is displayed. Such a screen 600 may be displayed on the first user terminal 200 to allow the user to generate an intention classifier.

본 발명의 일 실시예에서, 화면(600)은 제1 인터페이스가 표시되는 영역(630), 제2 인터페이스가 표시되는 영역(640), 제3 인터페이스가 표시되는 영역(610) 및 제4 인터페이스가 표시되는 영역(620)을 포함할 수 있다.In an embodiment of the present invention, the screen 600 includes an area 630 displaying a first interface, an area 640 displaying a second interface, an area 610 displaying a third interface, and a fourth interface. It may include a displayed area 620 .

본 발명의 일 실시예에서 영역(630)에 표시되는 제1 인터페이스는 하나 이상의 모델 타입을 선택 가능한 형태로 표시하는 인터페이스 일 수 있다. 이와 같은 제1 인터페이스는 의도 분류기에 의도 분류 모델을 추가하는 사용자의 입력에 대응하여 표시될 수 있다.In an embodiment of the present invention, the first interface displayed on the area 630 may be an interface that displays one or more model types in a selectable form. Such a first interface may be displayed in response to a user input for adding an intention classification model to the intention classifier.

본 발명의 선택적 실시예에서, 제1 인터페이스는 비활성화 상태로 표시되다가, 의도 분류기에 의도 분류 모델을 추가하는 사용자의 입력에 대응하여 활성화 상태로 표시될 수 있다. In an optional embodiment of the present invention, the first interface may be displayed in an inactive state and then displayed in an activated state in response to a user input for adding an intention classification model to the intention classifier.

본 발명의 또 다른 선택적 실시예에서, 제1 인터페이스는 제4 인터페이스에서 개별 의도 분류 모델의 타입을 설정하거나 변경하는 사용자의 입력에 대응하여 표시될 수도 있다.In another optional embodiment of the present invention, the first interface may be displayed in response to a user input for setting or changing the type of the individual intent classification model in the fourth interface.

바꾸어 말하면 본 발명의 일 실시예에 따른 제어부(120)는 하나 이상의 의도 분류 모델의 타입을 제1 인터페이스를 통하여 제공할 수 있다. 가령 제어부(120)는 도 4에 도시된 바와 같이 룰에 기반하여 의도를 분류하는 타입(PCRE), 형태소 분석에 기반하여 의도를 분류하는 타입(HMD), 학습된 인공 신경망을 이용하여 의도를 분류하는 타입(DNN) 및 코드에 기반하여 의도를 분류하는 타입(Final Rule)을 선택 가능한 의도 분류 모델의 타입으로써 제공할 수 있다. 다만 이와 같은 타입들은 예시적인것으로 본 발명의 사상이 이에 한정되는 것은 아니다.In other words, the controller 120 according to an embodiment of the present invention may provide one or more types of intention classification models through the first interface. For example, as shown in FIG. 4 , the controller 120 classifies the intention using a type (PCRE) for classifying an intention based on a rule, a type for classifying an intention based on a morpheme analysis (HMD), and a learned artificial neural network. A type (Final Rule) for classifying an intention based on a type (DNN) and a code may be provided as a selectable intention classification model type. However, these types are exemplary and the spirit of the present invention is not limited thereto.

본 발명의 일 실시예에서 영역(640)에 표시되는 제2 인터페이스는 상술한 제1 인터페이스 대한 사용자의 입력에 따라 선택된 타입에 포함되는 하나 이상의 세부 모델을 선택 가능한 형태로 표시하는 인터페이스 일 수 있다. 이와 같은 제2 인터페이스는 사용자가 제1 인터페이스에 표시된 하나 이상의 타입 중 어느 하나의 타입을 선택함에 따라 표시될 수 있다.In an embodiment of the present invention, the second interface displayed on the area 640 may be an interface that displays one or more detailed models included in a type selected according to a user input for the above-described first interface in a selectable form. Such a second interface may be displayed as a user selects any one of one or more types displayed on the first interface.

바꾸어 말하면, 본 발명의 일 실시예에 따른 제어부(120)는 도 4에 도시된 바와 같이 사용자의 제1 인터페이스에 대한 입력(예를 들어 학습된 인공 신경망을 이용하여 의도를 분류하는 타입(DNN)을 선택하는 입력)에 따라, 해당 타입에 속하는 의도 분류 모델들을 제2 인터페이스에 선택 가능한 형태로 표시할 수 있다. 다만 도 4의 영역(640)에 도시된 의도 분류 모델들은 예시적인것으로 본 발명의 사상이 이에 한정되는 것은 아니다.In other words, as shown in FIG. 4 , the control unit 120 according to an embodiment of the present invention provides an input to the user's first interface (eg, a type (DNN) for classifying intention using a learned artificial neural network). In accordance with the input of selecting , the intention classification models belonging to the corresponding type may be displayed in a selectable form on the second interface. However, the intention classification models shown in the area 640 of FIG. 4 are exemplary and the spirit of the present invention is not limited thereto.

본 발명의 일 실시예에서 영역(610)에 표시되는 제3 인터페이스는 의도 분류기를 구성하는 하나 이상의 의도 분류 모델이 표시되는 인터페이스 일 수 있다. In an embodiment of the present invention, the third interface displayed in the region 610 may be an interface in which one or more intention classification models constituting the intention classifier are displayed.

본 발명의 일 실시예에 따른 제어부(120)는 제2 인터페이스에서 세부 모델을 선택하는 사용자의 입력에 따라 제3 인터페이스에 선택된 모델을 추가할 수 있다. The controller 120 according to an embodiment of the present invention may add the selected model to the third interface according to a user input for selecting a detailed model from the second interface.

본 발명의 일 실시예에 따른 제어부(120)는 도 4에 도시된 바와 같이, 의도 분류기에 포함되는 복수의 의도 분류 모델 각각에 대응되는 객체를 의도 분류 모델의 사용 오더에 따라 나열하여 리스트의 형태로 표시할 수 있다. As shown in FIG. 4 , the controller 120 according to an embodiment of the present invention lists objects corresponding to each of a plurality of intention classification models included in the intention classification model according to the order of use of the intention classification model to form a list. can be displayed as

또한 제어부(120)는 리스트상에 표시된 객체에 대한 조작에 따라 의도 분류기를 구성하는 의도 분류 모델의 오더를 변경할 수도 있다. 이에 대한 상세한 설명은 도 5 및 도 6을 참조하여 후술한다.Also, the controller 120 may change the order of the intention classification model constituting the intention classifier according to the manipulation of the object displayed on the list. A detailed description thereof will be described later with reference to FIGS. 5 and 6 .

본 발명의 일 실시예에서 영역(620)에 표시되는 제4 인터페이스는 선택된 세부 모델에 대한 하나 이상의 속성값을 변경하기 위한 인터페이스 일 수 있다.According to an embodiment of the present invention, the fourth interface displayed on the area 620 may be an interface for changing one or more attribute values for the selected detailed model.

본 발명의 선택적 실시예에서, 제4 인터페이스는 의도 분류기의 타입을 변경하기 위한 항목(621)을 포함할 수 있다. 본 발명의 선택적 실시예에 따른 제어부(120)는 항목(621)에 대한 사용자의 입력에 따라, 전술한 제1 인터페이스 및/또는 제2 인터페이스를 표시하거나, 각 인터페이스의 활성화 상태를 변경할 수 있다. 다만 이는 예시적인것으로 본 발명의 사상이 이에 한정되는 것은 아니다.In an optional embodiment of the present invention, the fourth interface may include an item 621 for changing the type of the intent classifier. The controller 120 according to an optional embodiment of the present invention may display the above-described first interface and/or second interface or change an activation state of each interface according to a user input for the item 621 . However, this is an example, and the spirit of the present invention is not limited thereto.

한편 선택된 세부 모델이 기 정의된 복수의 룰에 기반하여 의도 분류 대상 입력 문자열에 대한 응답 엔진을 결정하는 모델인 경우, 제4 인터페이스는 입력 문자열이 기 정의된 복수의 룰 중 어느 하나의 룰에도 해당하지 않을 경우의 의도 분류기의 동작을 설정하기 위한 항목을 포함할 수 있다. On the other hand, when the selected detailed model is a model that determines the response engine for the input string to be classified based on a plurality of predefined rules, the fourth interface corresponds to any one rule among the plurality of predefined rules for the input string. It may include an item for setting the operation of the intention classifier when not done.

바꾸어말하면, 본 발명의 일 실시예에 따른 제어부(120)는 제4 인터페이스를 통하여 입력 문자열이 기 정의된 복수의 룰 중 어느 하나의 룰에 해당하지 않는 경우의 입력 문자열의 처리 방법을 입력 받을 수 있다. In other words, the control unit 120 according to an embodiment of the present invention may receive an input string processing method when the input string does not correspond to any one of a plurality of predefined rules through the fourth interface. there is.

이때 '룰에 기반하여 의도 분류 대상 입력 문자열에 대한 응답 엔진을 결정하는 모델'은 광의의 의미로 사용된 것으로, 룰에 기반하여 의도룰 분류하는 모델, 형태소 분석에 기반하여 의도를 분류하는 모델 및 코드에 기반하여 의도를 분류하는 모델을 모두 포괄하는 개념으로 사용되었다.In this case, 'a model that determines a response engine for an input string to be classified based on a rule' is used in a broad sense, and includes a model for classifying intention rules based on rules, a model for classifying intentions based on morphological analysis, and It was used as a concept that encompasses all models that classify intentions based on codes.

또한 선택된 세부 모델이 학습된 제1 인공 신경망에 기반하여 의도 분류 대상 입력 문자열에 대한 응답 엔진을 결정하는 모델인 경우, 제4 인터페이스는 세부 모델의 출력 결과의 사용 여부를 결정하는데 사용되는 임계값인 확률 값을 입력하기 위한 항목(622)을 포함할 수 있다. In addition, when the selected detailed model is a model that determines a response engine for an input string to be classified based on the learned first artificial neural network, the fourth interface is a threshold value used to determine whether to use the output result of the detailed model. It may include an item 622 for entering a probability value.

바꾸어말하면, 의도 분류 모델이 인공 신경망인 경우 본 발명의 일 실시예에 따른 제어부(120)는 제4 인터페이스를 통하여 해당 모델의 출력 결과의 사용 여부를 판단하는데 사용되는 확률 값을 입력받을 수 있다.In other words, when the intention classification model is an artificial neural network, the controller 120 according to an embodiment of the present invention may receive a probability value used to determine whether to use the output result of the corresponding model through the fourth interface.

본 발명의 일 실시예에 따른 제어부(120)는 영역(610)의 리스트상에 표시된 객체에 대한 조작에 따라 의도 분류기를 구성하는 의도 분류 모델의 오더를 변경할 수 있다.The controller 120 according to an embodiment of the present invention may change the order of the intention classification model constituting the intention classifier according to the manipulation of the object displayed on the list of the area 610 .

설명의 편의를 위해, 의도 분류기의 최초 오더가 도 5에 도시된 객체(710, 720, 730)의 순서와 같음을 전제로 설명한다.For convenience of description, it is assumed that the initial order of the intention classifier is the same as the order of the objects 710 , 720 , and 730 illustrated in FIG. 5 .

상술한 가정 하에, 본 발명의 일 실시예에 따른 제어부(120)는 리스트 상의 객체에 대한 사용자의 위치 이동 입력에 따라 객체들의 상대적 위치 관계를 변경할 수 있다.Under the above-mentioned assumption, the controller 120 according to an embodiment of the present invention may change the relative positional relationship of the objects according to the user's position movement input for the objects on the list.

가령 제어부(120)는 객체(730)를 리스트의 가장 상단으로 이동시키는 조작 및 객체(710)를 리스트의 가장 하단으로 이동시키는 조작을 입력 받을 수 있다. 이러한 경우 제어부(120)는 도 6에 도시된 바와 같이 객체(730, 710)의 순서를 변경하여 표시할 수 있다. For example, the controller 120 may receive an operation for moving the object 730 to the top of the list and an operation for moving the object 710 to the bottom of the list. In this case, the controller 120 may change the order of the objects 730 and 710 and display them as shown in FIG. 6 .

또한 제어부(120)는 각 객체(730, 710)에 대응되는 의도 분류 모델의 오더를 객체(730, 710)의 변경된 순서에 따라 변경할 수 있다. 도 6의 경우 객체(730)에 대응되는 의도 분류 모델의 오더를 3에서 1로, 객체(710)에 대응되는 의도 분류 모델의 오더를 1에서 3으로 변경할 수 있다. Also, the controller 120 may change the order of the intention classification model corresponding to each of the objects 730 and 710 according to the changed order of the objects 730 and 710 . In the case of FIG. 6 , the order of the intention classification model corresponding to the object 730 may be changed from 3 to 1 and the order of the intention classification model corresponding to the object 710 may be changed from 1 to 3.

본 발명의 선택적 실시예에서, 학습된 제1 인공 신경망에 기반하여 의도 분류 대상 입력 문자열에 대한 응답 엔진에 대응되는 객체(710)는 모델의 출력 결과의 사용 여부를 결정하는데 사용되는 임계값인 확률 값을 입력하기 위한 입력 상자(711)를 더 포함할 수 있다. 물론 이와 같은 입력 상자(711)는 객체(710)의 이동에 따라 함께 이동할 수 있다.In an optional embodiment of the present invention, the object 710 corresponding to the response engine to the input string to be classified based on the learned first artificial neural network is a probability that is a threshold value used to determine whether to use the output result of the model An input box 711 for inputting a value may be further included. Of course, such an input box 711 may move together with the movement of the object 710 .

본 발명의 일 실시예에 따른 제어부(120)는 학습된 제2 인공 신경망을 이용하여 의도 분류 모델들의 순서를 결정할 수 있다. 가령 본 발명의 일 실시예에 따른 제어부(120)는 인터페이스(740)에 대한 사용자의 입력에 따라, 학습된 제2 인공 신경망을 이용하여 의도 분류 모델들의 순서를 결정할 수 있다.The controller 120 according to an embodiment of the present invention may determine the order of the intention classification models by using the learned second artificial neural network. For example, the controller 120 according to an embodiment of the present invention may determine the order of the intention classification models by using the learned second artificial neural network according to a user input to the interface 740 .

도 7은 본 발명의 일 실시예에 따른 제어부(120)가 제2 인공 신경망(920)을 학습하는 과정을 설명하기 위한 도면이다. 7 is a diagram for explaining a process in which the controller 120 learns the second artificial neural network 920 according to an embodiment of the present invention.

본 발명에서 제2 인공 신경망(920)은 입력 문자열과 해당 입력 문자열의 의도 분류를 위한 하나 이상의 의도 분류 모델들의 오더를 포함하는 복수의 학습 데이터(910)에 기반하여 학습될 수 있다. In the present invention, the second artificial neural network 920 may be trained based on a plurality of training data 910 including an input string and an order of one or more intention classification models for intention classification of the input string.

본 발명의 일 실시예에 따른 제2 인공 신경망(920)은 복수의 학습 데이터(910) 각각에 포함되는 입력 문자열과 해당 입력 문자열의 의도 분류를 위한 하나 이상의 의도 분류 모델들의 오더 간의 상관관계를 학습한(또는 학습하는)신경망을 의미할 수 있다. The second artificial neural network 920 according to an embodiment of the present invention learns a correlation between an input string included in each of the plurality of training data 910 and an order of one or more intention classification models for intention classification of the input string. It can mean one (or learning) neural network.

따라서 본 발명의 일 실시예에 따른 제2 인공 신경망(920)은 입력 문자열의 입력에 대응하여, 해당 입력 문자열의 의도 분류를 위한 하나 이상의 의도 분류 모델들의 오더를 출력하도록 학습된(또는 학습되는) 신경망을 의미할 수 있다.Accordingly, the second artificial neural network 920 according to an embodiment of the present invention is trained (or learned) to output an order of one or more intention classification models for intention classification of the input string in response to the input of the input string. It can mean a neural network.

한편 본 발명에서 제2 인공 신경망(920)은 다양한 구조의 신경망 모델로써 구현될 수 있다. 가령 제2 인공 신경망(920)은 CNN 모델, RNN 모델 및 LSTM 모델로써 구현될 수 있다. 다만 이와 같은 신경망 모델을 예시적인것으로, 학습 데이터에 기초하여 입력과 출력간의 상관관계를 학습할 수 있는 수단은 본 발명의 제2 인공 신경망(920)으로써 사용될 수 있다.Meanwhile, in the present invention, the second artificial neural network 920 may be implemented as a neural network model having various structures. For example, the second artificial neural network 920 may be implemented as a CNN model, an RNN model, and an LSTM model. However, such a neural network model is an example, and a means for learning a correlation between an input and an output based on the learning data may be used as the second artificial neural network 920 of the present invention.

첫 번째 학습 데이터(911)는 입력 문자열(911A)과 해당 입력 문자열의 의도 분류를 위한 하나 이상의 의도 분류 모델들의 오더(911B)를 포함할 수 있다. 두 번째 학습 데이터(912) 및 세 번째 학습 데이터(913)도 첫 번째 학습 데이터(911)와 마찬가지의 항목들을 포함할 수 있다.The first training data 911 may include an input string 911A and an order 911B of one or more intention classification models for intention classification of the input string. The second training data 912 and the third training data 913 may also include the same items as the first training data 911 .

본 발명의 일 실시예에 따른 제어부(120)는 도 7에서 설명한 과정에 따라 학습된 제2 인공 신경망(920)을 이용하여, 입력 문자열(930)로부터 해당 입력 문자열의 의도 분류를 위한 하나 이상의 의도 분류 모델들의 오더(940)를 결정할 수 있다. 가령 제2 인공 신경망(920)은 '병무청 챗봇에 대해서 알려줘'와 같은 입력 문자열의 입력에 따라 [HMD_Model_1, NN_Model_3, Final_Model_2]와 같이 오더를 결정할 수 있다. 다만 이는 예시적인것으로 본 발명의 사상이 이에 한정되는 것은 아니다.The control unit 120 according to an embodiment of the present invention uses the second artificial neural network 920 learned according to the process described in FIG. 7 , and one or more intentions for classification of the corresponding input string from the input string 930 An order 940 of classification models may be determined. For example, the second artificial neural network 920 may determine an order such as [HMD_Model_1, NN_Model_3, Final_Model_2] according to an input of an input string such as 'Tell me about the Military Manpower Administration chatbot'. However, this is an example, and the spirit of the present invention is not limited thereto.

본 발명의 일 실시예에 따른 제어부(120)는 제2 인공 신경망(920)에 의해 결정된 오더에 따라 영역(700B)에 표시된 리스트 상의 복수의 의도 분류 모델 각각에 대응되는 객체를 정렬하여 표시할 수 있다. 이때 제어부(120)는 제2 인공 신경망(920)에 의해 결정된 오더에 포함되는 의도 분류 모델들의 식별 정보를 참조하여, 리스트 상의 객체를 추가하거나 또는 삭제할 수도 있다.According to the order determined by the second artificial neural network 920, the control unit 120 according to an embodiment of the present invention can arrange and display objects corresponding to each of the plurality of intention classification models on the list displayed in the region 700B. there is. In this case, the controller 120 may add or delete an object on the list with reference to identification information of intention classification models included in the order determined by the second artificial neural network 920 .

이하에서는 도 3 내지 도 8에서 설명한 과정에 따라 의도 분류 모델들의 오더가 결정되었음을 전제로, 입력 문자열의 의도에 대응되는 응답 엔진을 결정하는 과정을 설명한다. Hereinafter, a process of determining a response engine corresponding to the intention of the input string will be described on the assumption that the order of the intention classification models is determined according to the process described with reference to FIGS. 3 to 8 .

전술한 바와 같이 본 발명에서 '응답 엔진'은 입력 문자열에 대응되는 응답 문자열을 응답으로써 생성하는 엔진을 의미하는 것으로, '의도 분류 모델'에 의해 결정되는 것 일 수 있다.As described above, in the present invention, the 'response engine' refers to an engine that generates a response string corresponding to an input string as a response, and may be determined by the 'intention classification model'.

본 발명의 일 실시예에 따른 제어부(120)는 오더에 따라 하나 이상의 의도 분류 모델을 순차적으로 사용하여 입력 문자열의 의도에 대응되는 응답 엔진을 결정할 수 있다.The controller 120 according to an embodiment of the present invention may determine a response engine corresponding to the intention of the input string by sequentially using one or more intention classification models according to an order.

도 9는 본 발명의 일 실시예에 따른 제어부(120)가 입력 문자열에 대응되는 응답 엔진을 결정하는 과정을 설명하기 위한 도면이다. 이하에서는 설명의 편의를 위해 HMD_Model_1을 제1 의도 분류 모델로 명명하여 설명하고, SC_Model_3을 제2 의도 분류 모델로 명명하여 설명하며, 제1 의도 분류 모델이 제2 의도 분류 모델보다 선행하는 오더를 갖는 것을 전제로 설명한다.9 is a diagram for explaining a process in which the controller 120 determines a response engine corresponding to an input string according to an embodiment of the present invention. Hereinafter, for convenience of explanation, HMD_Model_1 is named and described as the first intention classification model, SC_Model_3 is named and described as the second intention classification model, and the first intention classification model has an order that precedes the second intention classification model. It is explained on the premise that

본 발명의 일 실시예에 따른 제어부(120)는 제1 의도 분류 모델의 응답(Output_Resp)이 소정의 제1 조건을 만족한 경우, 제1 의도 분류 모델로부터 결정된 응답 엔진(Resp_Engine_N)을 입력 문자열(Input_String)의 의도에 대응되는 응답 엔진으로 결정할 수 있다. When the response (Output_Resp) of the first intention classification model satisfies a first predetermined condition, the control unit 120 according to an embodiment of the present invention receives the response engine (Resp_Engine_N) determined from the first intention classification model as an input string ( Input_String) can be determined by the response engine corresponding to the intent.

바꾸어 말하면 제어부(120)는 제1 의도 분류 모델의 응답(Output_Resp)이 소정의 제1 조건을 만족할 경우 제1 의도 분류 모델을 이용하여 입력 문자열(Input_String)에 대한 응답을 생성하는 응답 엔진을 결정할 수 있다. In other words, when the response (Output_Resp) of the first intent classification model satisfies a first predetermined condition, the controller 120 may determine a response engine that generates a response to the input string (Input_String) using the first intention classification model. there is.

가령 본 발명의 일 실시예에 따른 제어부(120)는 제1 의도 분류 모델이 기 정의된 복수의 룰에 기반하여 입력 문자열(Input_String)에 대한 응답 엔진을 결정하는 모델인 경우, 복수의 룰 중 어느 하나의 룰이 만족될 경우 제1 조건을 만족한 것으로 판단할 수 있다. 이러한 경우 제어부(120)는 만족된 룰에 대응되는 응답 엔진(Resp_Engine_N)을 입력 문자열(Input_String)의 의도에 대응되는 응답 엔진으로 결정할 수 있다. For example, when the first intention classification model according to an embodiment of the present invention is a model for determining a response engine for an input string (Input_String) based on a plurality of predefined rules, any one of the plurality of rules When one rule is satisfied, it may be determined that the first condition is satisfied. In this case, the controller 120 may determine the response engine Resp_Engine_N corresponding to the satisfied rule as the response engine corresponding to the intention of the input string Input_String.

한편 본 발명의 일 실시예에 따른 제어부(120)는 복수의 룰 중 어느 하나의 룰도 만족되지 않는 경우, 제1 조건을 만족하지 않는 것으로 판단할 수 있다. 다만 이는 예시적인것으로 본 발명의 사상이 이에 한정되는 것은 아니다.Meanwhile, when any one of the plurality of rules is not satisfied, the controller 120 according to an embodiment of the present invention may determine that the first condition is not satisfied. However, this is an example, and the spirit of the present invention is not limited thereto.

본 발명의 일 실시예에 따른 제어부(120)는 제1 의도 분류 모델이 학습된 제1 인공 신경망에 기반하여 입력 문자열(Input_String)에 대한 응답 엔진을 결정하는 모델인 경우, 제1 인공 신경망에 기반하여 결정된 응답 엔진이 정답일 확률이 소정의 임계 확률 이상일 때 제1 조건을 만족한 것으로 판단할 수 있다.When the first intention classification model is a model for determining a response engine for an input string (Input_String) based on the learned first artificial neural network, the controller 120 according to an embodiment of the present invention is based on the first artificial neural network. When the probability that the determined response engine is correct is greater than or equal to a predetermined threshold probability, it may be determined that the first condition is satisfied.

물론 제어부(120)는 응답 엔진이 정답일 확률이 소정의 임계 확률 미만일 경우, 제1 조건을 만족하지 않는 것으로 판단할 수도 있다.Of course, when the probability that the response engine is correct is less than a predetermined threshold probability, the controller 120 may determine that the first condition is not satisfied.

본 발명의 일 실시예에 따른 제어부(120)는 제1 의도 분류 모델의 응답이 소정의 제1 조건을 만족한 경우, 제1 의도 분류 모델로부터 결정된 응답 엔진(Resp_Engine_N)의 입력 데이터 형식에 따라 입력 문자열(Input_String)을 변환하여 변환 문자열(Trans_Input)을 생성할 수 있다. When the response of the first intention classification model satisfies a first predetermined condition, the controller 120 according to an embodiment of the present invention inputs the input according to the input data format of the response engine Resp_Engine_N determined from the first intention classification model. A converted string (Trans_Input) can be created by converting the string (Input_String).

또한 제어부(120)는 변환 문자열(Trans_Input)을 응답 엔진(Resp_Engine_N)에 입력 할 수 있다. 이때 본 발명의 일 실시예에 따른 제어부(120)는 제1 의도 분류 모델로부터 결정된 응답 엔진(Resp_Engine_N)과 대응되는 변환 엔진(Trans_Engine_N)을 사용하여 입력 문자열(Input_String)로부터 변환 문자열(Trans_Input)을 생성할 수 있다. Also, the controller 120 may input the converted string Trans_Input to the response engine Resp_Engine_N. At this time, the controller 120 according to an embodiment of the present invention generates a converted string (Trans_Input) from the input string (Input_String) using the response engine (Resp_Engine_N) and the corresponding conversion engine (Trans_Engine_N) determined from the first intention classification model. can do.

본 발명의 선택적 실시예에서, 제어부(120)는 입력 문자열(Input_String)을 변환 없이 응답 엔진(Resp_Engine_N)으로 입력할 수도 있다. In an optional embodiment of the present invention, the controller 120 may input the input string Input_String to the response engine Resp_Engine_N without conversion.

본 발명의 일 실시예에 따른 제어부(120)는 상술한 과정에 따라 결정된 응답 엔진(Resp_Engine_N)을 이용하여 입력 문자열(Input_String)에 대한 응답을 생성할 수 있다.The controller 120 according to an embodiment of the present invention may generate a response to the input string Input_String by using the response engine Resp_Engine_N determined according to the above-described process.

도 10 및 도 11은 본 발명의 일 실시예에 따른 의도 분류기가 사용된 경우의 대화 화면(810, 820)을 도시한 도면이다. 이와 같은 화면(810, 820)은 제2 사용자 단말(300)에서 표시되어, 사용자가 자신의 입력 메시지에 따른 응답을 얻도록 할 수 있다.10 and 11 are diagrams illustrating dialog screens 810 and 820 when an intention classifier is used according to an embodiment of the present invention. Such screens 810 and 820 may be displayed on the second user terminal 300 so that the user may obtain a response according to his/her input message.

전술한 바와 같이 본 발명의 일 실시예에 다른 제어부(120)는 의도 분류기의 오더에 따라 하나 이상의 의도 분류 모델을 이용하여 제2 사용자 단말(300)로부터 수신된 입력 문자열(811)의 의도를 분류할 수 있다.As described above, the controller 120 according to an embodiment of the present invention classifies the intention of the input string 811 received from the second user terminal 300 using one or more intention classification models according to the order of the intention classifier. can do.

가령 도 10에 도시된 상황에서, 입력 문자열(811)이 '민원 서류'를 포함할 때의 룰을 만족하는 경우, 본 발명의 일 실시예에 따른 제어부(120)는 해당 규칙에 대응되는 응답 엔진을 이용하여 입력 문자열(811)에 대한 응답 문자열(812)을 생성할 수 있다. For example, in the situation shown in FIG. 10 , if the input string 811 satisfies the rule for including the 'civil complaint document', the control unit 120 according to an embodiment of the present invention controls the response engine corresponding to the rule. may be used to generate a response string 812 for the input string 811 .

본 발명의 일 실시예에 따른 제어부(120)는 매 입력 문자열 마다 오더에 따른 하나 이상의 의도 분류 모델을 순차적으로 사용하여 입력 문자열의 의도에 대응되는 응답 엔진을 결정할 수 있다. 가령 제2 사용자 단말(300)로부터 수신된 두 번째 입력 문자열(813)에 대해서 오더에 따른 하나 이상의 의도 분류 모델을 순차적으로 사용하여 입력 문자열(813)의 의도에 대응되는 응답 엔진을 결정할 수 있다.The controller 120 according to an embodiment of the present invention may determine a response engine corresponding to the intention of the input string by sequentially using one or more intention classification models according to the order for each input string. For example, the response engine corresponding to the intention of the input string 813 may be determined by sequentially using one or more intention classification models according to the order for the second input string 813 received from the second user terminal 300 .

또한 제어부(120)는 이전 입력 문자열의 응답 엔진과 동일한 응답 엔진을 현재 입력 문자열의 응답 엔진으로 사용할 수도 있다. 가령 제어부(120)는 새로운 입력 문자열(813)에 대해서, 이전 입력 문자열(811)의 응답 엔진과 동일한 응답 엔진을 응답 엔진으로 사용하여 응답 문자열(814)을 생성할 수 있다. 다만 이는 예시적인것으로 본 발명의 사상이 이에 한정되는 것은 아니다.Also, the controller 120 may use the same response engine as the response engine of the previous input string as the response engine of the current input string. For example, with respect to the new input string 813 , the controller 120 may generate the response string 814 by using the same response engine as the response engine of the previous input string 811 as a response engine. However, this is an example, and the spirit of the present invention is not limited thereto.

본 발명의 일 실시예에 따른 제어부(120)는 제1 인공 신경망에 제2 사용자 단말(300)로부터 수신된 입력 문자열(821)을 입력하여 입력 문자열(821)에 대응되는 응답 엔진을 결정할 수 있다.The controller 120 according to an embodiment of the present invention may determine a response engine corresponding to the input string 821 by inputting the input string 821 received from the second user terminal 300 into the first artificial neural network. .

또한 본 발명의 일 실시예에 따른 제어부(120)는 결정된 응답 엔진의 응답 문자열(822)을 제2 사용자 단말(300)로 전송할 수 있다.In addition, the controller 120 according to an embodiment of the present invention may transmit the determined response string 822 of the response engine to the second user terminal 300 .

본 발명의 일 실시예에 따른 제어부(120)는 전술한 바와 같이 매 입력 문자열 마다 오더른 의도 분류 모델을 순차적으로 이용할 수도 있고, 이전 입력 문자열의 응답 엔진과 동일한 응답 엔진을 이용할 수도 있다. 다만 이는 예시적인것으로 본 발명의 사상이 이에 한정되는 것은 아니다.As described above, the controller 120 according to an embodiment of the present invention may sequentially use the ordered intention classification model for each input string, or may use the same response engine as the response engine of the previous input string. However, this is an example, and the spirit of the present invention is not limited thereto.

도 12는 본 발명의 일 실시예에 따른 제어부(120)에 의해 수행되는 문자열의 의도 분류 방법을 설명하기 위한 흐름도이다. 도 13은 본 발명의 일 실시예에 따른 의도 분류기 생성 인터페이스 제공 방법을 설명하기 위한 흐름도이다.12 is a flowchart illustrating a method for classifying an intention of a character string performed by the controller 120 according to an embodiment of the present invention. 13 is a flowchart illustrating a method of providing an intention classifier generating interface according to an embodiment of the present invention.

이하에서는 도 1 내지 도 13을 함께 참조하여 설명하되, 도 1 내지 도 11에서 설명한 내용과 중복되는 내용은 생략한다.Hereinafter, the description will be made with reference to FIGS. 1 to 13 , but content overlapping with those described with reference to FIGS. 1 to 11 will be omitted.

본 발명의 일 실시예에 따른 제어부(120)는 입력 문자열을 획득할 수 있다.(S1210) 이때 입력 문자열은 응답의 생성의 대상이 되는 문자일 수 있다.The controller 120 according to an embodiment of the present invention may obtain an input character string. (S1210) In this case, the input character string may be a character that is a target of generating a response.

가령 본 발명의 일 실시예에 따른 제어부(120)는 제2 사용자 단말(300)로부터 수신하는 방식으로 입력 문자열을 획득할 수 있다. 다만 이는 예시적인것으로 본 발명의 사상이 이에 한정되는 것은 아니다.For example, the control unit 120 according to an embodiment of the present invention may obtain the input string by receiving it from the second user terminal 300 . However, this is an example, and the spirit of the present invention is not limited thereto.

본 발명의 일 실시예에 따른 제어부(120)는 의도 분류기를 구성하는 하나 이상의 의도 분류 모델의 오더를 결정할 수 있다.(S1220)The controller 120 according to an embodiment of the present invention may determine the order of one or more intention classification models constituting the intention classifier (S1220).

도 4 내지 도 6은 본 발명의 일 실시예에 따른 제어부(120)가 사용자의 입력에 기초하여 의도 분류 모델들의 순서를 결정하는 과정을 설명하기 위한 도면이다. 이하에서는 도 13을 참조하여 설명한다.4 to 6 are diagrams for explaining a process in which the controller 120 determines the order of intention classification models based on a user input according to an embodiment of the present invention. Hereinafter, it will be described with reference to FIG. 13 .

본 발명의 일 실시예에 따른 제어부(120)는 하나 이상의 의도 분류 모델의 타입을 선택 가능한 형태로 표시하는 제1 인터페이스를 제공할 수 있다.(S1310) 가령 제어부(120)는 도 4에 도시된 바와 같이 룰에 기반하여 의도를 분류하는 타입(PCRE), 형태소 분석에 기반하여 의도를 분류하는 타입(HMD), 학습된 인공 신경망을 이용하여 의도를 분류하는 타입(DNN) 및 코드에 기반하여 의도를 분류하는 타입(Final Rule)을 선택 가능한 의도 분류 모델의 타입으로써 제공할 수 있다. 다만 이와 같은 타입들은 예시적인것으로 본 발명의 사상이 이에 한정되는 것은 아니다.The controller 120 according to an embodiment of the present invention may provide a first interface for displaying one or more types of intention classification models in a selectable form. (S1310) For example, the controller 120 may As shown, a type that classifies an intention based on a rule (PCRE), a type that classifies an intention based on morphological analysis (HMD), a type that classifies an intention using a learned artificial neural network (DNN), and an intention based on a code It is possible to provide a type (Final Rule) for classifying , as a type of a selectable intention classification model. However, these types are exemplary and the spirit of the present invention is not limited thereto.

본 발명의 일 실시예에 따른 제어부(120)는 도 4에 도시된 바와 같이 사용자의 제1 인터페이스에 대한 입력(예를 들어 학습된 인공 신경망을 이용하여 의도를 분류하는 타입(DNN)을 선택하는 입력)에 따라, 해당 타입에 속하는 의도 분류 모델들을 제2 인터페이스에 선택 가능한 형태로 표시하여 제2 인터페이스를 제공할 수 있다.(S1320) 다만 도 4의 영역(640)에 도시된 의도 분류 모델들은 예시적인것으로 본 발명의 사상이 이에 한정되는 것은 아니다.As shown in FIG. 4, the control unit 120 according to an embodiment of the present invention selects an input to the user's first interface (eg, a type (DNN) for classifying intention using a learned artificial neural network). input), the second interface may be provided by displaying the intention classification models belonging to the corresponding type in a selectable form on the second interface (S1320). However, the intention classification models shown in the area 640 of FIG. 4 are As an example, the spirit of the present invention is not limited thereto.

본 발명의 일 실시예에 따른 제어부(120)는 제2 인터페이스에서 세부 모델을 선택하는 사용자의 입력에 따라 제3 인터페이스에 선택된 모델을 추가하여 제3 인터페이스를 제공할 수 있다. (S1330)The controller 120 according to an embodiment of the present invention may provide a third interface by adding the selected model to the third interface according to a user input for selecting a detailed model from the second interface. (S1330)

상술한 가정 하에, 본 발명의 일 실시예에 따른 제어부(120)는 리스트 상의 객체에 대한 사용자의 위치 이동 입력에 따라 제3 인터페이스에 표시되는 객체의 표시를 갱신하여 제공할 수 있다. (S1340)Under the above-mentioned assumption, the controller 120 according to an embodiment of the present invention may update and provide the display of the object displayed on the third interface according to the user's input to move the position of the object on the list. (S1340)

본 발명의 일 실시예에 따른 제어부(120)는 제2 인공 신경망(920)에 의해 결정된 오더에 따라 영역(700B)에 표시된 리스트 상의 복수의 의도 분류 모델 각각에 대응되는 객체를 정렬하여 표시할 수 있다. 이때 제어부(120)는 제2 인공 신경망(920)에 의해 결정된 오더에 포함되는 의도 분류 모델들의 식별 정보를 참조하여, 리스트 상의 객체를 추가하거나 또는 삭제할 수도 있다.According to the order determined by the second artificial neural network 920, the control unit 120 according to an embodiment of the present invention can arrange and display an object corresponding to each of the plurality of intention classification models on the list displayed in the region 700B. there is. In this case, the controller 120 may add or delete an object on the list with reference to identification information of intention classification models included in the order determined by the second artificial neural network 920 .

본 발명의 일 실시예에 따른 제어부(120)는 오더에 따라 하나 이상의 의도 분류 모델을 순차적으로 사용하여 입력 문자열의 의도에 대응되는 응답 엔진을 결정할 수 있다.(S1230)The controller 120 according to an embodiment of the present invention may determine a response engine corresponding to the intention of the input string by sequentially using one or more intention classification models according to an order (S1230).

본 발명의 일 실시예에 따른 제어부(120)는 상술한 과정에 따라 결정된 응답 엔진(Resp_Engine_N)을 이용하여 입력 문자열(Input_String)에 대한 응답을 생성할 수 있다.(S1240)The controller 120 according to an embodiment of the present invention may generate a response to the input string Input_String by using the response engine Resp_Engine_N determined according to the above-described process (S1240).

이상 설명된 본 발명에 따른 실시예는 컴퓨터 상에서 다양한 구성요소를 통하여 실행될 수 있는 컴퓨터 프로그램의 형태로 구현될 수 있으며, 이와 같은 컴퓨터 프로그램은 컴퓨터로 판독 가능한 매체에 기록될 수 있다. 이때, 매체는 컴퓨터로 실행 가능한 프로그램을 저장하는 것일 수 있다. 매체의 예시로는, 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체, CD-ROM 및 DVD와 같은 광기록 매체, 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical medium), 및 ROM, RAM, 플래시 메모리 등을 포함하여 프로그램 명령어가 저장되도록 구성된 것이 있을 수 있다. The embodiment according to the present invention described above may be implemented in the form of a computer program that can be executed through various components on a computer, and such a computer program may be recorded in a computer-readable medium. In this case, the medium may be to store a program executable by a computer. Examples of the medium include a hard disk, a magnetic medium such as a floppy disk and a magnetic tape, an optical recording medium such as CD-ROM and DVD, a magneto-optical medium such as a floppy disk, and those configured to store program instructions, including ROM, RAM, flash memory, and the like.

한편, 상기 컴퓨터 프로그램은 본 발명을 위하여 특별히 설계되고 구성된 것이거나 컴퓨터 소프트웨어 분야의 당업자에게 공지되어 사용 가능한 것일 수 있다. 컴퓨터 프로그램의 예에는, 컴파일러에 의하여 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용하여 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드도 포함될 수 있다.Meanwhile, the computer program may be specially designed and configured for the present invention, or may be known and used by those skilled in the computer software field. Examples of the computer program may include not only machine code generated by a compiler, but also high-level language code that can be executed by a computer using an interpreter or the like.

본 발명에서 설명하는 특정 실행들은 일 실시 예들로서, 어떠한 방법으로도 본 발명의 범위를 한정하는 것은 아니다. 명세서의 간결함을 위하여, 종래 전자적인 구성들, 제어 시스템들, 소프트웨어, 상기 시스템들의 다른 기능적인 측면들의 기재는 생략될 수 있다. 또한, 도면에 도시된 구성 요소들 간의 선들의 연결 또는 연결 부재들은 기능적인 연결 및/또는 물리적 또는 회로적 연결들을 예시적으로 나타낸 것으로서, 실제 장치에서는 대체 가능하거나 추가의 다양한 기능적인 연결, 물리적인 연결, 또는 회로 연결들로서 나타내어질 수 있다. 또한, "필수적인", "중요하게" 등과 같이 구체적인 언급이 없다면 본 발명의 적용을 위하여 반드시 필요한 구성 요소가 아닐 수 있다.The specific implementations described in the present invention are only examples, and do not limit the scope of the present invention in any way. For brevity of the specification, descriptions of conventional electronic components, control systems, software, and other functional aspects of the systems may be omitted. In addition, the connection or connection members of the lines between the components shown in the drawings illustratively represent functional connections and/or physical or circuit connections, and in an actual device, various functional connections, physical connections that are replaceable or additional may be referred to as connections, or circuit connections. In addition, unless there is a specific reference such as "essential", "importantly", etc., it may not be a necessary component for the application of the present invention.

따라서, 본 발명의 사상은 상기 설명된 실시예에 국한되어 정해져서는 아니 되며, 후술하는 특허청구범위뿐만 아니라 이 특허청구범위와 균등한 또는 이로부터 등가적으로 변경된 모든 범위는 본 발명의 사상의 범주에 속한다고 할 것이다.Therefore, the spirit of the present invention should not be limited to the above-described embodiments, and the scope of the spirit of the present invention is not limited to the scope of the scope of the present invention. will be said to belong to

Claims

In the method of classifying the intent of the input string to generate a response corresponding to the input string,

determining an order of one or more intention classification models, wherein the one or more intention classification models are models for determining a response engine generating a response corresponding to the input string; and

and determining a response engine corresponding to the intent of the input string by sequentially using the one or more intention classification models according to the order.

The method according to claim 1

the order is

The first intention classification model includes an order that precedes the second intention classification model,

The step of determining the response engine comprises:

determining a response engine determined from the first intent classification model as a response engine corresponding to the intent of the input string when the response of the first intent classification model satisfies a first predetermined condition; and

String intent classification, including; determining whether the response of the second intention classification model satisfies a second predetermined condition when the response of the first intention classification model does not satisfy the first predetermined condition method.

3. The method according to claim 2

The first intention classification model is

It is a model for determining a response engine for the input string based on a plurality of predefined rules,

The step of determining the response engine comprises:

If any one of the plurality of rules is satisfied, it is determined that the first condition is satisfied,

and determining a response engine corresponding to the one rule as a response engine corresponding to the intent of the input character string.

4. The method of claim 3

The step of determining the response engine comprises:

If any one of the plurality of rules is not satisfied, it is determined that the first condition is not satisfied,

and determining whether a response of a second intention classification model following the first intention classification model satisfies a predetermined second condition.

3. The method according to claim 2

The first intention classification model is

It is a model for determining a response engine for the input string based on the learned first artificial neural network,

The step of determining the response engine comprises:

When a probability that the response engine determined based on the first artificial neural network is correct is greater than or equal to a predetermined threshold probability, it is determined that the first condition is satisfied.

6. The method of claim 5

The step of determining the response engine comprises:

If the probability is less than a predetermined threshold probability, it is determined that the first condition is not satisfied,

3. The method according to claim 2

The step of determining the response engine comprises:

When the response of the first intent classification model satisfies a first predetermined condition, converting the input string according to the input data format of the response engine determined from the first intent classification model; classification method.