KR20050066805A - Transfer method with syllable as a result of speech recognition - Google Patents
Transfer method with syllable as a result of speech recognition Download PDFInfo
- Publication number
- KR20050066805A KR20050066805A KR1020030098287A KR20030098287A KR20050066805A KR 20050066805 A KR20050066805 A KR 20050066805A KR 1020030098287 A KR1020030098287 A KR 1020030098287A KR 20030098287 A KR20030098287 A KR 20030098287A KR 20050066805 A KR20050066805 A KR 20050066805A
- Authority
- KR
- South Korea
- Prior art keywords
- voice recognition
- voice
- scenario
- speech
- recognition result
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/01—Assessment or evaluation of speech recognition systems
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/28—Constructional details of speech recognition systems
- G10L15/30—Distributed recognition, e.g. in client-server systems, for mobile phones or network applications
Landscapes
- Engineering & Computer Science (AREA)
- Computational Linguistics (AREA)
- Health & Medical Sciences (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- Acoustics & Sound (AREA)
- Multimedia (AREA)
- Telephonic Communication Services (AREA)
Abstract
1. 청구범위에 기재된 발명이 속하는 기술분야1. TECHNICAL FIELD OF THE INVENTION
본 발명은 음절 음성인식기의 음성인식결과 전달 방법에 관한 것임.The present invention relates to a speech recognition result delivery method of a syllable speech recognizer.
2. 발명이 해결하려고 하는 기술적 과제2. The technical problem to be solved by the invention
본 발명은 서비스별 음성인식기를 독립적으로 사용하지 않고 모든 서비스가 공유하여 사용하는 지능망 시스템에서의 음성인식 서비스 중, 음절 음성인식 기능을 사용할 경우에 있어서, 보다 효율적으로 음절 음성인식결과를 전달함으로써, 시스템 성능을 향상시킬 수 있는 음성인식 결과 전달 방법을 제공하고자 함.The present invention, when using the syllable speech recognition function of the speech recognition service in the intelligent network system that all services are shared and used without using the voice recognition for each service independently, by delivering the syllable speech recognition results more efficiently, To provide a method of delivering speech recognition results to improve system performance.
3. 발명의 해결 방법의 요지3. Summary of the Solution of the Invention
본 발명은, 음성인식 시스템에서의 음성인식결과 전달 방법에 있어서, 호 접속시, 호 처리부가 시나리오 처리부로부터 해당 시나리오를 가져와 시나리오를 구동시키는 시나리오 구동단계; 상기 시나리오에 따라 음성인식 기능을 이용하는 경우, 상기 시나리오 처리부가 음성인식 엔진정보(제어정보)를 상기 호처리부를 통해 음성인식기로 전달하는 정보제공단계; 및 상기 음성인식기가 음성인식을 수행하여, 음성인식결과를 상기 음성인식 엔진정보(제어정보)에 의거하여 하나의 스트링으로 패킹하여, 상기 호 처리부를 통해 상기 시나리오 처리부로 전달하는 제1 음성인식결과 전달단계를 포함함.According to an aspect of the present invention, there is provided a voice recognition result transfer method in a voice recognition system, comprising: a scenario driving step of driving a scenario by obtaining a corresponding scenario from a scenario processing unit when a call is connected; An information providing step of transmitting, by the scenario processor, voice recognition engine information (control information) to the voice recognizer through the call processor when the voice recognition function is used according to the scenario; And a first voice recognition result of performing the voice recognition, packing the voice recognition result into one string based on the voice recognition engine information (control information), and transmitting the voice recognition result to the scenario processing unit through the call processing unit. Including a delivery step.
4. 발명의 중요한 용도4. Important uses of the invention
본 발명은 지능망 시스템 등에 이용됨.The present invention is used in an intelligent network system.
Description
본 발명은 음절 음성인식기의 음성인식 결과 전달 방법에 관한 것으로, 특히 음성인식 서비스 중 음절 음성인식 기능을 사용할 경우에 있어서 음절 음성인식 결과의 전달 방법에 관한 것이다. The present invention relates to a speech recognition result delivery method of a syllable speech recognizer, and more particularly, to a method of delivering syllable speech recognition results when a syllable speech recognition function is used in a speech recognition service.
음성인식 시스템에서는 통신망을 통하여 입력된 사람의 음성을 음성인식 기술을 이용하여 텍스트로 변환하고, 이를 입력으로 서비스를 제공한다. 이러한 음성인식 시스템에서는 서비스 성능을 분석하기 위해서 입력된 음성과 그에 대한 결과들을 저장해 놓고, 나중에 이를 분석하여 서비스 성능 분석 및 개선하는 자료로 사용하고 있다.In a voice recognition system, a voice of a person input through a communication network is converted into text using voice recognition technology, and a service is provided as an input. In the voice recognition system, the input voice and the results thereof are stored for analyzing the service performance and later used as data for analyzing and improving the service performance.
참고적으로, 음성인식 서비스 과정을 살펴보면, 음성인식 시나리오 절차에 따라 사용자의 음성이 입력되면, 음성인식기가 이를 인식하여, 인식결과는 발화검증단계를 거쳐 인식단어에 대한 발화검증값이 계산되는데, 이때 이 값이 높게 나오면 사용자에게 확인 절차없이 서비스를 진행하고, 중간값의 경우는 사용자의 확인절차를 거친 후 성공여부에 따라 서비스가 진행되며, 아주 낮은 경우는 "서비스 대상 단어가 아닙니다"라는 안내멘트를 출력한 후 재입력을 요구하게 된다. 여기서, 검증결과의 임계값 설정은 서비스에 따라서 운용자가 탄력적으로 설정할 수 있다. For reference, referring to the voice recognition service process, when a user's voice is input according to a voice recognition scenario procedure, the voice recognizer recognizes it, and the recognition result passes through a speech verification step, and a speech verification value for the recognized word is calculated. If this value is high, the service proceeds to the user without confirmation. If the median value is high, the service proceeds according to the user's success. If the value is very low, the service is not a word. After the comment is printed, it is required to re-enter it. Here, the threshold setting of the verification result may be flexibly set by the operator according to the service.
즉, 발화검증시에는, 인식에 사용되는 데이터를 처리하여 발화검증용 데이터를 만들어 사용하는데, 인식결과가 맞는 경우 발화검증용 데이터를 사용한 인식을 하게 되면 그 확률값이 매우 작게 나와서 인식결과의 확률값과 발화검증시에 확률값의 비가 크게 되어 "1"에 가까운 값이 나오게 되고, 인식결과가 틀린 경우는 "0"에 가까운 값이 나오게 된다. 그러므로, 발화검증시 "1"에 가까운 값이 출력되면 사용자에게 확인 절차없이 서비스(예를 들면, 전화번호 다이얼링 서비스)를 진행할 수 있고, "0"과 "1"의 중간값의 경우는 사용자의 확인절차를 거친후 성공여부에 따라 서비스(전화번호 다이얼링 서비스)가 진행되며, "0"에 가까운 경우는 서비스 대상 단어가 아니라는 안내멘트를 출력후 재입력을 요구한다.In other words, during speech verification, the data used for recognition is processed to generate speech verification data. If the recognition result is correct, the recognition value using the speech verification data is very small and the probability value is very small. When the utterance verification is performed, the ratio of probability values becomes large and a value close to "1" comes out. If the recognition result is incorrect, a value close to "0" comes out. Therefore, if a value close to "1" is output during speech verification, the user can proceed with the service (for example, a telephone number dialing service) without confirmation, and in the case of the intermediate value of "0" and "1", After the verification process, the service (telephone number dialing service) proceeds according to success. If it is close to "0", it outputs an announcement saying that the word is not a service target and re-enters it.
이와 같은 음성인식 기능을 이용하는 서비스에서 음성인식 대상단어의 추가 및 삭제 등의 작업은 필수 사항이다. 하지만, 종래에는 텍스트 입력을 통해 대상단어의 추가 및 삭제, 수정 등의 작업을 수행하였다. 그러나, 현재 지능망 기반 음성인식 서비스에서 음성인식 대상 단어(명칭)의 추가를 위해 텍스트 입력을 통하지 않고, 사용자 음성을 이용한 음성등록 기능을 이용하게 되었다. 이에, 음성등록을 위해 필요한 기능은 음성인식 기능을 이용하여 구현할 수 있다. 이 경우 음절 인식기능을 이용하여 구현 가능하지만, 특히 지능망 시스템에서의 음성인식결과 전달시, 전달 갯수에 한계가 있고, 쓸데없는 데이터의 전송으로 인해 네트워크 부담이 증가된다. In the service using the voice recognition function, operations such as adding and deleting a word to be recognized are essential. However, in the related art, operations of adding, deleting, and modifying a target word have been performed through text input. However, in the current intelligent network-based speech recognition service, a voice registration function using a user's voice is used instead of a text input to add a speech recognition target word (name). Thus, a function necessary for voice registration may be implemented using a voice recognition function. In this case, the syllable recognition function can be implemented, but the number of transfers is limited, especially when transmitting the voice recognition result in the intelligent network system, and the network burden is increased due to the useless data transmission.
그럼, 지능망 시스템에서의 음성인식결과를 전달하는 종래의 방법을 보다 구체적으로 살펴보면 다음과 같다.Then, the conventional method of delivering the voice recognition result in the intelligent network system in more detail as follows.
일반적으로, 음성인식을 담당하는 음성인식기에서 입력된 사용자 음성에 대한 음성인식을 수행한 결과는 호처리를 담당하고 있는 호 처리부를 경유해서 서비스 로직을 제어하는 시나리오 처리부로 전달된다. In general, the result of performing the voice recognition on the user voice input from the voice recognizer responsible for voice recognition is transmitted to the scenario processing unit that controls the service logic via the call processing unit responsible for call processing.
그러나, 이때 종래의 음성인식결과 전달 방법에 따르면, 다음과 같은 문제점이 발생된다. However, according to the conventional voice recognition result delivery method, the following problems occur.
첫 번째로, 특히 지능망 시스템에서는 음성인식결과의 전달에 있어 한계가 있다. 즉, 지능망 시스템은 시스템 구성상 한번에 12개까지의 인식결과만을 전달할 수 있도록 설계되어 있어, 12개 이상의 음성인식결과는 전달할 수 없다. 예를 들면, 음성인식기가 "안녕하세요 홍길동이 좀 부탁합니다."를 인식한 경우, 전체 문장을 인식했다 하더라도 13번째부터의 인식결과는 전달하지 못한다. 즉, "합니다."는 전달이 안된다. First, there are limitations in the delivery of speech recognition results, especially in intelligent network systems. That is, the intelligent network system is designed to deliver up to 12 recognition results at a time in the system configuration, so that more than 12 voice recognition results cannot be delivered. For example, if the voice recognizer recognizes "Hello, Hong Gil-dong, please.", Even if the entire sentence is recognized, the recognition result from the 13th cannot be delivered. In other words, "." Should not be passed.
두 번째로, 네트워크 부하가 많이 발생한다. 예를 들면, 음절인식 기능을 이용한 서비스 중 이름인식이 있다. 즉, "홍길동"이라고 발화하면, "홍", "길", "동"의 결과가 나오게 된다. 이 경우 3개의 패킷(3개 × 패킷사이즈(1024 바이트))의 전달이 필요하다. 그러나, 각 패킷에 포함된 다른 내용은 거의 의미가 없다. 즉, 이름인식의 경우, 한번 음성인식 요구시 적어도 2개 혹은 3개 이상의 패킷이 전송되므로 네트워크 부담이 많이 증가하게 된다. 이러한 문제는 결국 전체 지능망 서비스에 큰 부담을 주게 된다. Second, there is a lot of network load. For example, one of the services using the syllable recognition function is name recognition. That is, when "Hong Gil-dong" is uttered, the results of "Hong", "Gil", and "Dong" are produced. In this case, 3 packets (3 × packet size (1024 bytes)) need to be delivered. However, the other contents contained in each packet are almost meaningless. That is, in the case of name recognition, since at least two or three or more packets are transmitted in a single voice recognition request, the network burden increases. This problem eventually puts a heavy burden on the overall intelligent network service.
즉, 지능망 시스템에서의 서비스는 지능망 시스템을 구성하는 각 구성요소간 네트워크를 통한 제어정보의 이동이 많으므로, 네트워크 부하는 제어정보의 흐름을 방해하기 때문에 다른 서비스에 큰 영향을 주게 된다. 특히, 지능망 시스템에서는 서비스별 음성인식기를 독립적으로 사용하지 않고 모든 서비스가 공유하여 사용하므로, 지능망 시스템의 자원들을 보다 효율적으로 사용하여 서비스에 지장없는 안정적인 서비스를 지원할 수 있는 방안이 절실히 요구된다. That is, since services in the intelligent network system move a lot of control information through the network between each component constituting the intelligent network system, the network load interferes with the flow of control information, and thus has a great effect on other services. In particular, in the intelligent network system, all the services are shared without using the voice recognizer for each service independently. Therefore, there is an urgent need for a method capable of supporting stable services without disrupting the service by using the resources of the intelligent network system more efficiently.
정리해 보면, 음성인식 기능이 지능망으로 수용되면서 다양한 음성인식 서비스가 개발되고 있는 바, 음성인식 기능의 특성상 음성인식을 위해서 인식 대상단어의 음성인식 엔진으로 전달되어 그 도메인내에서 음성인식을 수행하게 된다. In summary, various voice recognition services are being developed as the voice recognition function is accepted as an intelligent network, which is delivered to the voice recognition engine of the target word for speech recognition due to the characteristics of the voice recognition function, thereby performing voice recognition in the domain. .
종래의 인식 대상단어에 대한 입력은 텍스트 입력을 통한 방법이 보통이지만, 최근 개발된 음성등록 기능은 음성인식 기능을 이용한 응용으로서 음성인식 대상단어의 입력을 텍스트로만 하는 방법에서 탈피하여, 전화상으로 음성을 통해 등록하는 것이 가능하게 되었다. Conventionally, the input of the recognition target word is a text input method, but the recently developed voice registration function is an application using the speech recognition function. It is now possible to register via voice.
그럼에도 불구하고, 지능망 시스템에서는 서비스별로 음성인식기를 독립적으로 사용하지 않고 모든 서비스가 공유하여 사용하고 있는 바, 종래의 지능망 시스템에서의 음성인식결과 전달 체계는 인식결과 전달 갯수에 한계가 있고, 쓸데없는 데이터의 전송으로 인해 네트워크 부담이 증가되므로, 지능망 시스템의 자원들을 효율적으로 사용하여 보다 안정적인 서비스를 제공할 수 있는 방안이 필수적으로 요구된다. Nevertheless, in the intelligent network system, the voice recognition results delivery system in the conventional intelligent network system has a limit in the number of recognition results delivery. Since the burden of the network increases due to the transmission of data, a method of efficiently using resources of the intelligent network system to provide a more stable service is required.
본 발명은, 상기와 같은 요구에 부응하기 위하여 제안된 것으로, 서비스별 음성인식기를 독립적으로 사용하지 않고 모든 서비스가 공유하여 사용하는 지능망 시스템에서의 음성인식 서비스 중, 음절 음성인식 기능을 사용할 경우에 있어서, 보다 효율적으로 음절 음성인식결과를 전달함으로써, 시스템 성능을 향상시킬 수 있는 음성인식 결과 전달 방법을 제공하는데 그 목적이 있다. The present invention has been proposed to meet the above requirements, and when using the syllable speech recognition function among the voice recognition services in the intelligent network system that all services share and use without using the voice recognition for each service independently. In this regard, an object of the present invention is to provide a method of delivering speech recognition results that can improve system performance by delivering syllable speech recognition results more efficiently.
상기 목적을 달성하기 위한 본 발명은, 음성인식 시스템에서의 음성인식결과 전달 방법에 있어서, 호 접속시, 호 처리부가 시나리오 처리부로부터 해당 시나리오를 가져와 시나리오를 구동시키는 시나리오 구동단계; 상기 시나리오에 따라 음성인식 기능을 이용하는 경우, 상기 시나리오 처리부가 음성인식 엔진정보(제어정보)를 상기 호처리부를 통해 음성인식기로 전달하는 정보제공단계; 및 상기 음성인식기가 음성인식을 수행하여, 음성인식결과를 상기 음성인식 엔진정보(제어정보)에 의거하여 하나의 스트링으로 패킹하여, 상기 호 처리부를 통해 상기 시나리오 처리부로 전달하는 제1 음성인식결과 전달단계를 포함하여 이루어진 것을 특징으로 한다. According to an aspect of the present invention, there is provided a method of delivering a voice recognition result in a voice recognition system, comprising: a scenario driving step of driving a scenario by obtaining a corresponding scenario from a scenario processing unit when a call is connected; An information providing step of transmitting, by the scenario processor, voice recognition engine information (control information) to the voice recognizer through the call processor when the voice recognition function is used according to the scenario; And a first voice recognition result of performing the voice recognition, packing the voice recognition result into one string based on the voice recognition engine information (control information), and transmitting the voice recognition result to the scenario processing unit through the call processing unit. Characterized in that it comprises a delivery step.
또한, 상기 음성인식기가 음성인식을 수행하여, 음성인식결과를 상기 음성인식 엔진정보(제어정보)에 의거하여 공지의 방식대로 여러 패킷으로 나누어 상기 호 처리부를 통해 상기 시나리오 처리부로 전달하는 제2 음성인식결과 전달단계를 더 포함한다. The voice recognizer performs voice recognition and divides the voice recognition result into a plurality of packets according to a known method based on the voice recognition engine information (control information) and delivers the second voice to the scenario processing unit through the call processing unit. It further includes a recognition result delivery step.
상술한 목적, 특징들 및 장점은 첨부된 도면과 관련한 다음의 상세한 설명을 통하여 보다 분명해 질 것이다. 이하, 첨부된 도면을 참조하여 본 발명에 따른 바람직한 일실시예를 상세히 설명한다.The above objects, features and advantages will become more apparent from the following detailed description taken in conjunction with the accompanying drawings. Hereinafter, exemplary embodiments of the present invention will be described in detail with reference to the accompanying drawings.
도 1 은 일반적인 음성인식 시스템의 구성 예시도이다.1 is an exemplary configuration of a general voice recognition system.
시나리오 처리부(12)는 호 처리부(11)를 통해 들어온 접속호에 해당하는 시나리오를 구동시킨다. 호 접속후, 해당 시나리오가 구동되면서, 음절 음성인식인지 아니면 일반 음성인식인지에 대한 제어정보(엔진정보)가 호 처리부(11)를 통해 음성인식기(13)로 전달된다. The scenario processing unit 12 drives a scenario corresponding to the connection call entered through the call processing unit 11. After the call is connected, the scenario is driven, and control information (engine information) on whether the syllable speech recognition or the general speech recognition is transmitted to the speech recognizer 13 through the call processor 11.
호 처리부(11)는 음성등록을 위한 음절 음성인식 서비스를 위하여 사용자가 해당 전화번호로 발신을 하면, 시나리오 처리부(12)로부터 해당 시나리오를 갖고 와서, 시나리오를 구동시킨다. The call processing unit 11 brings the corresponding scenario from the scenario processing unit 12 and drives the scenario when the user makes a call to the corresponding telephone number for the syllable speech recognition service for voice registration.
음성인식기(13)에서는 음성인식을 수행하되, 제어정보(엔진정보)에 따라 음성인식결과에 대한 처리 방법을 달리한다. 즉, 일반 음성인식의 경우, 인식결과는 하나의 전달 패킷에 실려서 호 처리부(11)를 통해 시나리오 처리부(11)로 전달된다. 하지만, 음절 음성인식의 경우에는, 시나리오 처리부(11)에서 전달한 제어정보를 판독하여, 음절인식이라 판단되면, 음성인식 결과로서 나온 결과들을 하나로 묶게 된다. 예를 들어 "홍", "길", "동"이라는 세개의 음절이 음성인식 결과로 나왔다면, 하나의 스트링 "홍길동"으로 묶는다. 이렇게 묶은 결과는 최종 음성인식 결과로서 호 처리부(11)를 거쳐 시나리오 처리부(12)로 전달되어, 시나리오 처리부(12)에서 해당하는 시나리오에 이용하게 된다.The voice recognizer 13 performs voice recognition, but differs in processing methods for the voice recognition result according to the control information (engine information). That is, in the case of general voice recognition, the recognition result is carried in one delivery packet to the scenario processing unit 11 through the call processing unit 11. However, in the case of syllable speech recognition, the control information transmitted from the scenario processing unit 11 is read, and if it is determined to be syllable recognition, the results of the speech recognition result are bundled together. For example, if three syllables "hong", "gil", and "dong" result in speech recognition, group them into one string "honggildong". The bundled results are delivered to the scenario processing unit 12 via the call processing unit 11 as a final voice recognition result, and used by the scenario processing unit 12 for the corresponding scenario.
전체적인 동작을 살펴보면, 음성등록을 위한 음절 음성인식 서비스를 위하여 사용자가 해당 전화번호로 발신을 하면, 먼저 호 처리부(11)로 호 접속이 이루어지면서, 호 처리부(11)는 시나리오 처리부(12)로부터 해당 시나리오를 갖고 와서 시나리오를 구동시킨다. 이때, 음성인식 기능을 이용하는 상태인 경우, 시나리오 처리부(12)에서 음성인식 엔진정보(제어정보)를 호처리부(11)를 통해 음성인식기(13)로 전달한다. 즉, 서비스 로직에 따라 음성등록 기능을 수행할 시점이라면 이에 해당하는 음절 음성인식기 요구인지 아니면 일반적인 음성인식의 경우인지에 대한 제어정보(엔진정보)를 호 처리부(11)를 통해 음성인식기(13)로 전달한다. Looking at the overall operation, when the user makes a call to the phone number for syllable speech recognition service for voice registration, first the call connection is made to the call processing unit 11, the call processing unit 11 from the scenario processing unit 12 Bring the scenario and run it. At this time, when the voice recognition function is used, the scenario processing unit 12 transmits the voice recognition engine information (control information) to the voice recognizer 13 through the call processing unit 11. That is, when it is time to perform the voice registration function according to the service logic, the voice recognizer 13 receives control information (engine information) on whether the corresponding syllable voice recognizer is required or the case of the general voice recognition. To pass.
그러면, 음성인식기(13)에서는 입력된 사용자 음성에 대한 음성인식을 수행하고, 전달받은 엔진정보(제어정보)를 이용해서 음성인식 결과를 정리(음절 음성인식의 경우 음성인식결과를 하나의 스트링으로 패킹, 일반 음성인식의 경우 패킹하지 않음)하여, 해당 음성인식 결과를 호 처리부(11)를 통해 시나리오 처리부(12)로 전달한다. 즉, 음성인식기(13)의 음성인식 엔진에서는 입력된 사용자의 음성에 대한 음성인식을 수행하여 그 결과를 정리하는데, 이때 전달받은 제어정보(엔진정보)에 따라 음성인식결과를 묶음으로 하거나 하지 않고 정해진 패킷 구조에 따라 호 처리부(11)를 통해 시나리오 처리부(12)로 전달한다. 이때, 음절 음성인식 결과 각각의 하나의 스트링으로 패킹하는데, 예를 들면 "홍", "길", "동"이란 음절인식결과가 나왔다면, "홍길동"이란 하나의 스트링으로 패킹한다. Then, the voice recognizer 13 performs voice recognition on the input user's voice and organizes the voice recognition results using the received engine information (control information) (in the case of syllable voice recognition, the voice recognition results as one string). Packing, not packing in the case of general voice recognition), and transfers the voice recognition result to the scenario processing unit 12 through the call processing unit 11. That is, the voice recognition engine of the voice recognizer 13 performs voice recognition on the input voice of the user and organizes the results. In this case, the voice recognition results are not bundled or not according to the received control information (engine information). The call processor 11 transmits the scenario processor 12 through the call processor 11 according to the determined packet structure. At this time, the syllable speech recognition result is packed into one string of each. For example, if the syllable recognition results of "hong", "gil", and "dong" are output, it is packed into one string of "honggil-dong".
여기서, 음성인식결과로서는 인식명, 대표명, 클래스명, 신뢰도(발화검증값) 정보 등이 될 수 있다. 그리고, 음성인식기(13)는 음성등록의 경우 사용자 음성을 음성 저장기(14)에 저장시, 패킹 작업 수행후 얻어진 결과를 사용자 음성 파일의 이름으로 사용한다. 이때, 음성 파일 저장시, 음성인식 결과에 대한 사용자의 선택으로서 음성인식 결과가 틀렸다는 정보를 이중음다주파(DTMF) 톤으로 입력할 경우, 사용자 음성들을 별도로 저장한다. 즉, 틀렸다고 "*" 버튼을 눌렀을 경우, 해당 디렉토리에 따로 사용자 음성을 저장한다. 그 이유는 추후에 음성인식율 등 해당 음성파일에 대한 상세 분석을 위한 근거자료로 사용하기 위함이다. Here, the voice recognition result may include recognition name, representative name, class name, reliability (speech verification value) information, and the like. In the case of voice registration, the voice recognizer 13 uses the result obtained after the packing operation as the name of the user voice file when storing the user voice in the voice storage 14. At this time, when the voice file is stored, when the information indicating that the voice recognition result is wrong as the user's selection for the voice recognition result is input in the DTMF tone, the user voices are separately stored. In other words, if you press the wrong "*" button, the user's voice is stored separately in the directory. The reason for this is to be used as a basis for detailed analysis of the voice file such as voice recognition rate.
상기 음성인식결과는 묶음을 하거나(스트링 패킹) 하지 않고 정해진 패킷 구조에 따라 호 처리부(11)를 통해 시나리오 처리부(12)로 전달된다. The voice recognition result is transmitted to the scenario processing unit 12 through the call processing unit 11 according to a predetermined packet structure without bundle (string packing).
이해를 돕기 위하여, 음성인식기(13)에서의 음성인식 과정을 살펴보면 다음과 같다. To help understand, look at the speech recognition process in the speech recognizer 13 as follows.
음성인식기(13)는 보통 전처리부, 인식 어휘 관리부, 비대상 어휘 관리부, 발음사전 관리부, HMM 파라미터 처리부, 인식 처리부 등으로 구성된다. The speech recognizer 13 usually includes a preprocessor, a recognized vocabulary manager, a non-target vocabulary manager, a pronunciation dictionary manager, an HMM parameter processor, a recognition processor, and the like.
전처리부에서의 음성인식 전처리 과정을 살펴보면, 호 처리부(11)를 통해 입력되는 음성의 앞뒤에 있는 묵음 구간을 제외한 음성구간을 찾아, 찾은 음성 구간의 음성신호로부터 음성의 특징을 추출한다.Looking at the speech recognition preprocessing process in the preprocessing unit, the speech section except for the silent section before and after the voice input through the call processing unit 11 is searched, and the feature of the speech is extracted from the found speech signal.
서비스가 제공되기 전에, 시나리오 처리부(12)의 시나리오에 따라 필요한 인식 어휘가 호 처리부(11)를 통해 인식 어휘 관리부에 보내지며, 비대상 어휘는 관리자에 의해서 수동으로 입력되거나, 인식 어휘 관리부에서 이전 데이터와 새로운 데이터를 비교하여 인식할 필요가 없는 인식어휘들을 자동으로 생성하여 비대상 어휘 관리부로 보내진다. 그러면, 비대상 어휘 관리부에서는 비대상 어휘 목록 관리 과정을 거친 후 발음사전 관리부로 보낸다. Before the service is provided, the necessary recognition vocabulary is sent to the recognition vocabulary management unit through the call processing unit 11 according to the scenario of the scenario processing unit 12, and the non-target vocabulary is manually input by the administrator or transferred from the recognition vocabulary management unit. Recognized vocabularies that do not need to be recognized by comparing the data with the new data are automatically generated and sent to the non-target vocabulary management unit. Then, the non-target vocabulary management unit goes through the non-target vocabulary list management process and sends it to the pronunciation dictionary management unit.
여기서, 초기에 서비스에 필요없지만 필요없이 자주 입력되는 명칭들을 관리자가 수동으로 설정하거나, 인식 어휘 관리부에서 네트워크로 연결된 시스템에서 관련 자료를 받아 이전 자료와의 차이를 이용하여 새로운 데이터에서 빠진 어휘를 해당 날짜와 카운터를 초기화시켜 비대상 어휘 군에 자동으로 첨가한다. Here, administrators manually set the names that are not necessary for the service but are frequently entered without any need, or the relevant vocabulary is received from the network-connected system in the Recognition Vocabulary Management Department to use the difference from the previous data to apply the missing vocabulary from the new data Initialize the date and counter and automatically add them to the non-target vocabulary group.
이후, 발음사전 관리부는 인식 어휘 관리부와 비대상 어휘 관리부에서 보내온 어휘들을 통합하여 인식에 필요한 발음사전과 인식결과 기호를 만들어 인식 처리부로 보낸다. 또한, 인식에 필요한 은닉 마르코프 모델(HMM) 파라미터 역시 HMM 파라미터 처리부에서 인식 처리부로 보내진다. After that, the pronunciation dictionary management unit integrates the vocabularies sent from the recognition vocabulary management unit and the non-target vocabulary management unit, and creates a pronunciation dictionary and a recognition result symbol for recognition and sends it to the recognition processor. In addition, hidden Markov model (HMM) parameters required for recognition are also sent from the HMM parameter processing unit to the recognition processing unit.
상기 인식 처리부에서의 음성인식 처리 과정을 구체적으로 살펴보면 다음과 같다.Looking at the speech recognition processing in the recognition processing unit in detail as follows.
먼저, 비터비 탐색 과정을 수행하여, 음소 모델 데이터베이스로 구성된 발음사전에 등록된 단어들에 대해 전처리부의 음성 특징값을 이용하여 유사도(Likelihood)가 가장 유사한 단어들을 선정한다. First, a Viterbi search process is performed to select words most similar in likelihood to the words registered in the phonetic dictionary composed of a phoneme model database using the speech feature values of the preprocessor.
이어서, 발화검증 과정을 수행하여, 비터비 탐색 과정에서 선정된 단어를 이용하여 음소단위로 특징구간을 분할한 후에, 반음소 모델을 이용하여 음소단위의 유사 신뢰도(Likelihood Ratio Confidence Score)를 구한다. Subsequently, after performing the speech verification process, the feature section is divided into phoneme units by using the word selected in the Viterbi search process, and then the likelihood ratio confidence score of the phoneme unit is calculated using the semitone phone model.
이때, 문장을 인식할 경우에도 상기의 발화검증 과정은 동일하게 적용되어 문법만 추가되며, 문장단위의 검증이 된다.In this case, even when the sentence is recognized, the above utterance verification process is applied in the same manner so that only the grammar is added and the sentence unit is verified.
상기의 신뢰도는 비터비 탐색 결과 수치와는 의미가 다르다. 즉, 비터비 탐색 결과 수치는 어떤 단어나 음소에 대한 단순한 유사도를 나타낸 것인 반면에, 신뢰도는 인식된 결과인 음소나 단어에 대해 그 외의 다른 음소나 단어로부터 그 말이 발화되었을 확률에 대한 상대값을 의미한다.The reliability is different from the Viterbi search result. That is, the Viterbi search result number represents a simple similarity to a word or phoneme, while the reliability is a relative value of the probability that the word is spoken from other phonemes or words for the recognized phoneme or word. Means.
신뢰도를 결정하기 위해서는 음소(Phone) 모델과 반음소(Anti-phone) 모델이 필요하다. To determine the reliability, a phone model and an anti-phone model are required.
먼저, 음소 모델은 어떤 음성에서 실제로 발화된 음소들을 추출하여 추출된 음소들을 훈련시켜 생성된 HMM이다. 이러한 음소 모델은 일반적인 HMM에 근거한 음성인식 시스템에서 사용되는 모델이다. First, a phoneme model is an HMM generated by training extracted phonemes by extracting phonemes actually spoken in a voice. The phoneme model is a model used in a speech recognition system based on a general HMM.
한편, 반음소 모델은 실제 발화된 음소와 아주 유사한 음소들(이를 유사음소집합(Cohort Set)이라 함)을 사용하여 훈련된 HMM을 말한다. The semitone phone model, on the other hand, refers to an HMM that is trained using phonemes that are very similar to actual phonemes (these are called cohort sets).
이와 같이, 음성인식 시스템에서는 사용하는 모든 음소들에 대해서 각기 음소 모델과 반음소 모델이 존재한다. 예를 들어 설명하면, "ㅏ"라는 음소에 대해서는 "ㅏ" 음소 모델이 있고, "ㅏ"에 대한 반음소 모델이 존재하게 되는 것이다. 예를 들면, "ㅏ" 음소의 모델은 음성 데이터베이스에서 "ㅏ"라는 음소만을 추출하여 HMM의 훈련 방식대로 훈련을 시켜서 만들어지게 된다. 그리고, "ㅏ"에 대한 반음소 모델을 구축하기 위해서는 "ㅏ"에 대한 유사음소집합을 구해야 한다. 이는 음소인식 결과를 보면 구할 수 있는데, 음소인식 과정을 수행하여 "ㅏ" 이외의 다른 어떤 음소들이 "ㅏ"로 오인식되었는지를 보고 이를 모아서 "ㅏ"에 대한 유사음소집합을 결정할 수 있다. 즉, "ㅑ, ㅓ, ㅕ" 등의 음소들이 주로 "ㅏ"로 오인식되었다면 이들을 유사음소집합이라 할 수 있고, 이들을 모아서 HMM 훈련과정을 거치면 "ㅏ" 음소에 대한 반음소 모델이 생성된다.As such, in the speech recognition system, a phoneme model and a semiphoneme model exist for each phoneme used. For example, there is a "ㅏ" phoneme model for the phoneme "음", and a semiphoneme model for "ㅏ". For example, the model of "ㅏ" phoneme is made by extracting only the "ㅏ" phoneme from the speech database and training it according to HMM's training method. In order to construct a semitone phone model for "ㅏ", a similar phoneme set for "ㅏ" should be obtained. This can be obtained from the phoneme recognition result. By performing the phoneme recognition process, it is possible to determine which phonemes other than "ㅏ" are misrecognized as "ㅏ" and collect them to determine a similar phoneme set for "ㅏ". In other words, if the phonemes such as "ㅑ, ㅓ, ㅕ" are misidentified as "주로", they can be called similar phoneme sets, and when they are collected and subjected to HMM training, a semi-phoneme model for the "ㅏ" phoneme is generated.
이와 같은 방식으로 모든 음소에 대하여 음소 모델과 반음소 모델이 생성되었다면, 입력된 음성에 대한 신뢰도는 다음과 같이 계산된다. If a phoneme model and a semiphoneme model are generated for all phonemes in this manner, the reliability of the input voice is calculated as follows.
우선, 음소 모델을 탐색하여 가장 유사한 음소를 하나 찾아낸다. First, the phoneme model is searched to find the most similar phoneme.
그리고, 찾아낸 음소에 대한 반음소 모델에 대한 유사도를 계산해 낸다. Then, the similarity of the semitone phone model with respect to the found phonemes is calculated.
최종적인 신뢰도는 음소 모델에 대한 유사도와 반음소 모델에 대한 유사도의 차이를 구하고, 이에 소정의 특정함수를 적용시켜 신뢰도값의 범위를 조절하여 구할 수 있다.The final reliability can be obtained by calculating the difference between the similarity between the phoneme model and the similarity between the semi-phoneme model and adjusting a range of the reliability value by applying a predetermined specific function thereto.
인식 처리부의 인식결과는 비대상 어휘 관리부로 보내지고, 아울러 호 처리부(11)를 통해 시나리오 처리부(12)로 전달되어, 해당 서비스 시나리오에서 이용된다. The recognition result of the recognition processing unit is sent to the non-target vocabulary management unit, and is also transmitted to the scenario processing unit 12 through the call processing unit 11 and used in the corresponding service scenario.
도 2 는 본 발명에 따른 음절 음성인식기의 음성인식결과 전달 방법에 대한 일실시예 흐름도이다.2 is a flowchart illustrating a method of delivering a speech recognition result of a syllable speech recognizer according to the present invention.
우선, 음성등록을 위한 음절 음성인식 서비스를 위하여 사용자가 해당 전화번호로 발신을 하면, 호 처리부(11)로 호 접속이 이루어지면서, 호 처리부(11)는 시나리오 처리부(12)로부터 해당 시나리오를 갖고 와서 시나리오를 구동시킨다. 이때, 음성인식 기능을 이용하는 상태인 경우, 시나리오 처리부(12)에서 음성인식 엔진정보(제어정보)를 호처리부(11)를 통해 음성인식기(13)로 전달한다. 즉, 서비스 로직에 따라 음성등록 기능을 수행할 시점이라면, 이에 해당하는 음절 음성인식기 요구인지 아니면 일반적인 음성인식의 경우인지에 대한 제어정보(엔진정보)를 호 처리부(11)를 통해 음성인식기(13)로 전달한다. First, when a user makes a call to a corresponding phone number for syllable speech recognition service for voice registration, a call connection is made to the call processing unit 11, and the call processing unit 11 has a corresponding scenario from the scenario processing unit 12. Come and run the scenario. At this time, when the voice recognition function is used, the scenario processing unit 12 transmits the voice recognition engine information (control information) to the voice recognizer 13 through the call processing unit 11. That is, when it is time to perform the voice registration function according to the service logic, the voice recognizer 13 receives control information (engine information) on whether the corresponding syllable voice recognizer request or general voice recognition is performed through the call processor 11. To pass).
그러면, 음성인식기(13)에서는 도 2에 도시된 바와 같이 입력된 사용자 음성에 대한 음성인식을 수행하고, 호 처리부(11)로부터 전달받은 엔진정보(제어정보)를 판독하여(201) 음절 음성인식인지이지 혹은 일반 음성인식인지를 확인한다(202).Then, the voice recognizer 13 performs voice recognition on the input user voice as shown in FIG. 2, reads engine information (control information) received from the call processor 11 (201), and recognizes syllable speech. Check whether it is cognitive or general speech recognition (202).
확인 결과, 음절 음성인식의 경우, 음성인식결과를 하나의 스트링으로 패킹하여(203), 하나의 패킷에 음성인식결과를 적용한 후(204), 호 처리부(11)를 통해 패킷을 전달한다(205). 즉, 음절 음성인식 결과 각각의 하나의 스트링으로 패킹하는데, 예를 들면 "류", "차", "앙", "썬"이란 음절인식결과가 나왔다면, "류차앙썬"이란 스트링으로 패킹하여 하나의 패킷으로 호 처리부(11)를 통해 시나리오 처리부(12)로 전달한다.As a result, in the case of syllable speech recognition, the speech recognition result is packed into one string (203), the speech recognition result is applied to one packet (204), and the packet is delivered through the call processor 11 (205). ). In other words, the syllable speech recognition result is packed into one string of each. For example, if the syllable recognition results of "Ryu", "Cha", "An" and "Sun" are shown, it is packed into a string of "Ryu Chaang Son". The packet is transmitted to the scenario processor 12 through the call processor 11 as one packet.
확인 결과, 일반 음성인식의 경우, 패킹하지 않고 인식결과별로 패킷에 적용하여(204) 호 처리부(11)를 통해 시나리오 처리부(12)로 전달한다(205). 예를 들면, "류", "차", "앙", "썬"이란 음절인식결과가 나왔다면, 각각의 패킷으로(4개의 패킷으로) 호 처리부(11)를 통해 시나리오 처리부(12)로 전달한다.As a result of the confirmation, in the case of general speech recognition, the packet is applied to the packet for each recognition result without packing (204) and transmitted to the scenario processing unit 12 through the call processing unit 11 (205). For example, if syllable recognition results of "Ryu", "tea", "ang", and "sun" are obtained, each packet (in four packets) is transmitted to the scenario processing unit 12 through the call processing unit 11. To pass.
상기 음성인식기(13)에서 호 처리부(11)를 통해 시나리오 처리부(12)로 전달되는 패킷에는 인식명, 대표명, 클래스명, 신뢰도(발화검증값) 정보 등이 포함된다. The packet transmitted from the voice recognizer 13 to the scenario processor 12 through the call processor 11 includes a recognition name, a representative name, a class name, reliability (speech verification value) information, and the like.
상술한 바와 같은 본 발명의 방법은 프로그램으로 구현되어 컴퓨터로 읽을 수 있는 기록매체(씨디롬, 램, 롬, 플로피 디스크, 하드 디스크, 광자기 디스크 등)에 저장될 수 있다.The method of the present invention as described above may be implemented as a program and stored in a computer-readable recording medium (CD-ROM, RAM, ROM, floppy disk, hard disk, magneto-optical disk, etc.).
이상에서 설명한 본 발명은 전술한 실시예 및 첨부된 도면에 의해 한정되는 것이 아니고, 본 발명의 기술적 사상을 벗어나지 않는 범위 내에서 여러 가지 치환, 변형 및 변경이 가능하다는 것이 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 있어 명백할 것이다. The present invention described above is not limited to the above-described embodiments and the accompanying drawings, and various substitutions, modifications, and changes are possible in the art without departing from the technical spirit of the present invention. It will be clear to those of ordinary knowledge.
상기한 바와 같은 본 발명은, 음절인식 기능을 사용할 경우 하나의 스트링으로 패킹함으로써, 특히 서비스별로 음성인식 유닛을 독립적으로 사용하지 않고 모든 서비스가 공유하여 사용하는 지능망 시스템에서, 인식결과 전달 갯수의 한계를 극복하고, 쓸데없는 데이터의 전송을 막아 네트워크 부담을 경감시킬 있어, 지능망 시스템의 자원들을 보다 효율적으로 사용할 수 있고, 안정적인 서비스가 가능한 효과가 있다.The present invention as described above, when using the syllable recognition function by packing as one string, in particular, in the intelligent network system that all services share and use without using the voice recognition unit independently for each service, the limit of the number of recognition results transmission In order to reduce the network burden by overcoming unnecessary data transmission and preventing unnecessary data transmission, the resources of the intelligent network system can be used more efficiently, and stable services are possible.
도 1 은 본 발명이 적용되는 음성인식 시스템의 구성 예시도.1 is an exemplary configuration of a voice recognition system to which the present invention is applied.
도 2 는 본 발명에 따른 음절 음성인식기의 음성인식결과 전달 방법에 대한 일실시예 흐름도. 2 is a flow chart of an embodiment of a method of delivering a speech recognition result of a syllable speech recognizer according to the present invention.
* 도면의 주요 부분에 대한 부호 설명* Explanation of symbols on the main parts of the drawing
11 : 호 처리부 12 : 시나리오 처리부11: call processing unit 12: scenario processing unit
13 : 음성인식 유닛 14 : 음성 저장기 13: voice recognition unit 14: voice storage
Claims (6)
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020030098287A KR101002135B1 (en) | 2003-12-27 | 2003-12-27 | Method of delivering speech recognition result of syllable speech recognizer |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020030098287A KR101002135B1 (en) | 2003-12-27 | 2003-12-27 | Method of delivering speech recognition result of syllable speech recognizer |
Publications (2)
Publication Number | Publication Date |
---|---|
KR20050066805A true KR20050066805A (en) | 2005-06-30 |
KR101002135B1 KR101002135B1 (en) | 2010-12-16 |
Family
ID=37257830
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020030098287A Expired - Fee Related KR101002135B1 (en) | 2003-12-27 | 2003-12-27 | Method of delivering speech recognition result of syllable speech recognizer |
Country Status (1)
Country | Link |
---|---|
KR (1) | KR101002135B1 (en) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR100718147B1 (en) * | 2005-02-01 | 2007-05-14 | 삼성전자주식회사 | Apparatus and method of generating grammar network for speech recognition and dialogue speech recognition apparatus and method employing the same |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPS6171730A (en) | 1984-09-14 | 1986-04-12 | Nec Corp | Voice data transfer system |
JP2001195087A (en) | 2000-01-06 | 2001-07-19 | Mitsubishi Electric Corp | Voice recognition system |
-
2003
- 2003-12-27 KR KR1020030098287A patent/KR101002135B1/en not_active Expired - Fee Related
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR100718147B1 (en) * | 2005-02-01 | 2007-05-14 | 삼성전자주식회사 | Apparatus and method of generating grammar network for speech recognition and dialogue speech recognition apparatus and method employing the same |
Also Published As
Publication number | Publication date |
---|---|
KR101002135B1 (en) | 2010-12-16 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US6937983B2 (en) | Method and system for semantic speech recognition | |
CN1655235B (en) | Automatic identification of telephone callers based on voice characteristics | |
US6751595B2 (en) | Multi-stage large vocabulary speech recognition system and method | |
US7974843B2 (en) | Operating method for an automated language recognizer intended for the speaker-independent language recognition of words in different languages and automated language recognizer | |
US7711105B2 (en) | Methods and apparatus for processing foreign accent/language communications | |
US8488750B2 (en) | Method and system of providing interactive speech recognition based on call routing | |
WO2008084476A2 (en) | Vowel recognition system and method in speech to text applications | |
US8428241B2 (en) | Semi-supervised training of destination map for call handling applications | |
US20080243504A1 (en) | System and method of speech recognition training based on confirmed speaker utterances | |
TW200304638A (en) | Network-accessible speaker-dependent voice models of multiple persons | |
CN111768789A (en) | Electronic equipment and method, device and medium for determining identity of voice sender thereof | |
US20080243499A1 (en) | System and method of speech recognition training based on confirmed speaker utterances | |
US20040240633A1 (en) | Voice operated directory dialler | |
US20050049858A1 (en) | Methods and systems for improving alphabetic speech recognition accuracy | |
CN1753083B (en) | Speech sound marking method, system and speech sound discrimination method and system based on speech sound mark | |
CN109616116B (en) | Communication system and communication method thereof | |
KR101002135B1 (en) | Method of delivering speech recognition result of syllable speech recognizer | |
US20090326940A1 (en) | Automated voice-operated user support | |
US20080243498A1 (en) | Method and system for providing interactive speech recognition using speaker data | |
KR100622019B1 (en) | Voice interface system and method | |
CN113822029A (en) | Customer service assistance method, device and system | |
KR100541759B1 (en) | Voice recognition service method through non-target vocabulary management | |
TWI722715B (en) | Modularized system of an intelligent voice assistance and operating method thereof | |
KR20050001684A (en) | System and method for recognizing voice dealing with out-of-vocabulary words, and computer readable medium storing thereof | |
JP2002082691A (en) | Automatic recognition method of company name included in uttering |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PA0109 | Patent application |
St.27 status event code: A-0-1-A10-A12-nap-PA0109 |
|
PG1501 | Laying open of application |
St.27 status event code: A-1-1-Q10-Q12-nap-PG1501 |
|
A201 | Request for examination | ||
PA0201 | Request for examination |
St.27 status event code: A-1-2-D10-D11-exm-PA0201 |
|
R18-X000 | Changes to party contact information recorded |
St.27 status event code: A-3-3-R10-R18-oth-X000 |
|
D13-X000 | Search requested |
St.27 status event code: A-1-2-D10-D13-srh-X000 |
|
D14-X000 | Search report completed |
St.27 status event code: A-1-2-D10-D14-srh-X000 |
|
PN2301 | Change of applicant |
St.27 status event code: A-3-3-R10-R11-asn-PN2301 St.27 status event code: A-3-3-R10-R13-asn-PN2301 |
|
E902 | Notification of reason for refusal | ||
PE0902 | Notice of grounds for rejection |
St.27 status event code: A-1-2-D10-D21-exm-PE0902 |
|
P11-X000 | Amendment of application requested |
St.27 status event code: A-2-2-P10-P11-nap-X000 |
|
P13-X000 | Application amended |
St.27 status event code: A-2-2-P10-P13-nap-X000 |
|
E701 | Decision to grant or registration of patent right | ||
PE0701 | Decision of registration |
St.27 status event code: A-1-2-D10-D22-exm-PE0701 |
|
GRNT | Written decision to grant | ||
PR0701 | Registration of establishment |
St.27 status event code: A-2-4-F10-F11-exm-PR0701 |
|
PR1002 | Payment of registration fee |
Fee payment year number: 1 St.27 status event code: A-2-2-U10-U11-oth-PR1002 |
|
PG1601 | Publication of registration |
St.27 status event code: A-4-4-Q10-Q13-nap-PG1601 |
|
R18-X000 | Changes to party contact information recorded |
St.27 status event code: A-5-5-R10-R18-oth-X000 |
|
R18-X000 | Changes to party contact information recorded |
St.27 status event code: A-5-5-R10-R18-oth-X000 |
|
R18-X000 | Changes to party contact information recorded |
St.27 status event code: A-5-5-R10-R18-oth-X000 |
|
P22-X000 | Classification modified |
St.27 status event code: A-4-4-P10-P22-nap-X000 |
|
R18-X000 | Changes to party contact information recorded |
St.27 status event code: A-5-5-R10-R18-oth-X000 |
|
FPAY | Annual fee payment |
Payment date: 20131202 Year of fee payment: 4 |
|
PR1001 | Payment of annual fee |
Fee payment year number: 4 St.27 status event code: A-4-4-U10-U11-oth-PR1001 |
|
R18-X000 | Changes to party contact information recorded |
St.27 status event code: A-5-5-R10-R18-oth-X000 |
|
LAPS | Lapse due to unpaid annual fee | ||
PC1903 | Unpaid annual fee |
Not in force date: 20141211 Payment event data comment text: Termination Category : DEFAULT_OF_REGISTRATION_FEE St.27 status event code: A-4-4-U10-U13-oth-PC1903 |
|
PC1903 | Unpaid annual fee |
Ip right cessation event data comment text: Termination Category : DEFAULT_OF_REGISTRATION_FEE Not in force date: 20141211 St.27 status event code: N-4-6-H10-H13-oth-PC1903 |
|
P22-X000 | Classification modified |
St.27 status event code: A-4-4-P10-P22-nap-X000 |
|
R18-X000 | Changes to party contact information recorded |
St.27 status event code: A-5-5-R10-R18-oth-X000 |
|
R18-X000 | Changes to party contact information recorded |
St.27 status event code: A-5-5-R10-R18-oth-X000 |