KR101755308B1 - Sound recognition module, Navigation apparatus having the same and vehicle having the same - Google Patents
Sound recognition module, Navigation apparatus having the same and vehicle having the same Download PDFInfo
- Publication number
- KR101755308B1 KR101755308B1 KR1020150162539A KR20150162539A KR101755308B1 KR 101755308 B1 KR101755308 B1 KR 101755308B1 KR 1020150162539 A KR1020150162539 A KR 1020150162539A KR 20150162539 A KR20150162539 A KR 20150162539A KR 101755308 B1 KR101755308 B1 KR 101755308B1
- Authority
- KR
- South Korea
- Prior art keywords
- information
- thread
- database
- unit
- speech recognition
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/28—Constructional details of speech recognition systems
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/16—Sound input; Sound output
- G06F3/167—Audio in a user interface, e.g. using voice commands for navigating, audio feedback
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/08—Speech classification or search
- G10L15/18—Speech classification or search using natural language modelling
- G10L15/183—Speech classification or search using natural language modelling using context dependencies, e.g. language models
- G10L15/187—Phonemic context, e.g. pronunciation rules, phonotactical constraints or phoneme n-grams
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Human Computer Interaction (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Computational Linguistics (AREA)
- Acoustics & Sound (AREA)
- General Health & Medical Sciences (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Artificial Intelligence (AREA)
- Navigation (AREA)
Abstract
본 발명은 제1정보와, 제1정보보다 용량이 큰 제2정보를 저장하는 데이터베이스부; 음성 인식 모드이면 제1 스레드를 이용하여 제1정보의 로딩 및 음성 인식을 수행하고, 제2스레드를 이용하여 제2정보의 로딩 및 음성 인식을 수행하되, 제1 스레드에서 인식된 음성이 제1정보와 매칭되면 제2스레드의 로딩을 정지시키는 프로세서를 포함한다.
본 발명은 멀티 스레드(Multi Thread)를 이용하여 주소 데이터 베이스(DB)를 로딩 함으로써 주소 DB를 로딩하는 시간을 줄일 수 있고 음성 인식을 통한 주소의 인식 시간을 단축시킬 수 있다.
이에 따라 본 발명은 음성 인식 시, 사용자가 발화를 대기하는 시간을 최소화할 수 있어 사용자의 만족도를 향상시킬 수 있다.
이와 같이 본 발명은 사용자에게 보다 정확하고 신속한 주소 검색 결과를 제공할 수 있다.The present invention may include a database unit for storing first information and second information having a capacity larger than that of the first information; Performing a loading and speech recognition of the first information using the first thread and performing the loading and speech recognition of the second information using the second thread using the first thread, And stopping the loading of the second thread if it matches the information.
According to the present invention, loading of an address database (DB) by loading a multi-thread (Multi Thread) can reduce the time for loading an address DB and shorten the recognition time of an address through voice recognition.
Accordingly, the present invention can minimize the time for the user to wait for speech in speech recognition, thereby improving the user's satisfaction.
As described above, the present invention can provide a more accurate and quick address search result to the user.
Description
본 발명은 음성을 인식하는 음성 인식 모듈과, 음성 인식을 이용하여 목적지를 입력받고, 입력된 목적지까지의 경로를 탐색하여 안내하는 단말기 및 차량에 관한 것이다.The present invention relates to a voice recognition module for recognizing voice, a terminal for inputting a destination using voice recognition, and a terminal for searching and guiding a route to an input destination.
일반적으로, 단말기는 내비게이션 기능, 전화 기능, 오디오 기능, 라디오 기능, 방송 기능, 문자 메시지 서비스 기능, 인터넷 기능 등을 수행할 수 있다.In general, the terminal can perform a navigation function, a telephone function, an audio function, a radio function, a broadcasting function, a text message service function, and an Internet function.
여기서 내비게이션 기능은 다수의 위성위치확인시스템(Global Positioning System: 이하 "GPS"라 함)을 통해 위성들로부터 위치 정보를 각각 제공받아 현재 차량의 위치를 계산하고, 계산된 위치를 지도에 맵 매칭(Map Matching)시켜 표시하고, 사용자로부터 목적지를 입력받아 미리 설정된 경로탐색 알고리즘에 따라 계산된 현재 위치부터 목적지까지의 경로탐색을 수행하고, 탐색된 경로를 지도에 매칭시켜 표시하고, 경로를 따라 사용자를 목적지까지 안내하는 기능이다.Here, the navigation function receives position information from a plurality of satellites through a plurality of global positioning systems (hereinafter referred to as "GPS"), calculates the position of the current vehicle, maps the calculated positions to maps Map Matching), displays a destination from a user, performs a route search from a current position calculated to a destination according to a predetermined route search algorithm, displays the detected route on a map, displays the route, It is a function to guide to the destination.
단말기는 내비게이션 기능을 통해 경로 안내 시 도로가 교차하는 교차점에서 사용자가 진입도로를 명확하게 인지할 수 있도록 그래픽 지도를 확대하여 표시하거나, 2분할 화면 기능을 사용하여 일측에는 기존 스케일(Scale)의 그래픽 지도를 디스플레이하고 다른 일측에는 교차점을 확대한 그래픽 지도를 표시한다. The terminal may display the graphic map enlargedly so that the user can clearly recognize the entry road at the intersection where the road intersects at the guidance of the route through the navigation function, or display the existing scale Displays a map, and on the other side displays a graphical map of enlarged intersections.
여기서 교차점은 삼거리 이상의 교차로 및 고가도로 또는 지하도로의 분기점 및 고속도로의 인터체인지(Interchange) 등을 의미한다.The intersection here means an intersection of three or more distances and an interchange of a highway or an intersection to an underpass and a highway.
단말기는 내비게이션 기능 수행 시 터치 또는 조그 다이얼을 통해 목적지의 이름이나 주소를 입력받기 때문에 목적지 입력이 번거로운 문제가 있었다.The terminal receives a name or an address of a destination via a touch or a jog dial when the navigation function is performed.
또한 차량은 주행 중에 터치 또는 조그 다이얼을 통해 목적지를 입력받기 때문에 운전자의 시선이 분산되게 하고 운전 집중력이 저하되게 하는 문제가 있었다. 이 때문에 사고 위험성이 높아지는 문제가 발생하였다.Further, since the vehicle receives the destination through the touch or the jog dial during driving, there is a problem that the driver's eyes are dispersed and the driving concentration is lowered. This poses a problem that the risk of accidents increases.
이에 따라 최근에는 음성 인식을 이용하여 단말기나 차량의 각종 기능을 제어하는 기술들이 개발되고 있다.Recently, technologies for controlling various functions of terminals and vehicles using speech recognition have been developed.
일 측면은 음성 인식 명령이 입력되면 데이터베이스부의 제1정보를 로딩하여 음성인식을 수행하는 제1스레드와, 제1스레드 동작 중 데이터베이스부의 제2정보를 로딩하여 음성인식을 수행하는 제2스레드를 생성하는 프로세서를 포함하는 음성 인식 모듈, 그를 가지는 단말기 및 차량을 제공한다.A first thread for performing voice recognition by loading first information of a database unit when a voice recognition command is input and a second thread for performing voice recognition by loading second information of a database unit during a first thread operation A terminal, and a vehicle having the voice recognition module.
다른 측면은 음성 인식 명령이 입력되면 제1정보를 로딩하여 음성인식을 수행하는 제1스레드와, 제2정보를 로딩하여 음성인식을 수행하는 제2스레드를 생성하고, 제2스레드에서 제2정보 로딩 중 제1스레드에서 음성이 명령어로 인식되면 제2스레드의 로딩 동작을 정지시키는 프로세서를 포함하는 음성 인식 모듈, 그를 가지는 단말기 및 차량을 제공한다.The second aspect of the present invention includes a first thread for loading first information and performing voice recognition when a voice recognition command is input, a second thread for performing voice recognition by loading second information, And a processor for stopping the loading operation of the second thread when voice is recognized as an instruction in the first thread during loading, a terminal having the same and a vehicle having the same.
일 측면에 따른 음성 인식 모듈은 제1정보와, 제1정보보다 용량이 큰 제2정보를 저장하는 데이터베이스부; 음성 인식 모드이면 제1 스레드를 이용하여 제1정보를 로딩하고 로딩된 제1정보를 이용하여 음성 인식을 수행하고, 제2스레드를 이용하여 제2정보를 로딩하고 로딩된 제2정보를 이용하여 음성 인식을 수행하되, 제2스레드에 제2정보의 로딩이 완료되기 전에 제1 스레드에서 음성이 인식되면 제2스레드의 로딩을 정지시키는 프로세서를 포함한다.A speech recognition module according to one aspect includes a database unit storing first information and second information having a larger capacity than the first information; In the voice recognition mode, the first information is loaded using the first thread, the voice recognition is performed using the loaded first information, the second information is loaded using the second thread, and the second information is loaded And stopping the loading of the second thread if speech is recognized in the first thread before the second thread finishes loading the second information.
일 측면에 따른 음성 인식 모듈의 프로세서는, 제1스레드에서 음성이 미인식되면 제1스레드의 음성 인식을 정지시키고 제2스레드의 제2정보의 로딩을 유지시키며, 제2스레드에서 제2정보의 로딩이 완료되면 제2스레드에 로딩된 제2정보를 이용하여 음성인식을 수행하는 것을 포함한다.The processor of the speech recognition module according to one aspect stops voice recognition of the first thread and keeps loading of the second information of the second thread when voice is not recognized in the first thread, And performing voice recognition using the second information loaded in the second thread when loading is completed.
일 측면에 따른 음성 인식 모듈의 제1정보는, 미리 설정된 단어수보다 적은 단어수를 갖는 제어 명령어 및 복수의 기능에 각각 대응하는 기능 명칭어의 정보를 포함하고, 제2정보는, 미리 설정된 단어수 이상의 단어수를 갖고, 복수의 기능을 각각 수행하기 위해 필요한 자료 정보를 포함한다.Wherein the first information of the speech recognition module according to one aspect includes information of a control command word having a word count smaller than a preset word count and a function name word corresponding to each of a plurality of functions, The number of words is equal to or greater than the number of words, and includes data information necessary for performing each of a plurality of functions.
일 측면에 따른 음성 인식 모듈은 소리를 수집하고 수집된 소리에 대응하는 신호를 프로세서에 전송하는 소리 수집부를 더 포함한다.The speech recognition module according to one aspect further includes a sound collector for collecting sound and transmitting a signal corresponding to the collected sound to the processor.
일 측면에 따른 음성 인식 모듈은 외부에서 전송된 소리의 신호를 프로세서에 전송하는 수신부를 더 포함한다.The voice recognition module according to one aspect further includes a receiver for transmitting an externally transmitted sound signal to the processor.
일 측면에 따른 음성 인식 모듈은 소리의 신호를 저장하는 메모리부를 더 포함한다.The speech recognition module according to one aspect further includes a memory unit for storing a sound signal.
일 측면에 따른 음성 인식 모듈의 프로세서는, 음성 인식 모드의 동작 명령이 수신되면 제1 스레드 및 제 2 스레드를 생성하는 것을 더 포함한다.The processor of the speech recognition module according to one aspect further includes generating a first thread and a second thread when an operation command of a voice recognition mode is received.
일 측면에 따른 음성 인식 모듈의 프로세서는, 음성 인식 모드의 동작 명령이 수신되면 제1스레드를 이용하여 음성 인식을 위한 안내음의 출력을 수행하는 것을 포함한다.The processor of the speech recognition module according to one aspect includes performing an output of a guidance sound for voice recognition using a first thread when an operation command of a voice recognition mode is received.
다른 측면에 따른 단말기는 소리를 검출하고 검출된 소리의 신호를 출력하는 소리 검출부; 소리의 신호에 기초하여 음성 인식을 수행하는 음성 인식 모듈; 복수의 기능 중 내비게이션 기능이 선택되면 음성 인식의 정보에 기초하여 길 안내를 제어하는 제어부; 및 내비게이션 기능을 표시하는 표시부를 포함하고, 음성 인식 모듈은, 복수의 기능에 각각 대응하는 기능 명칭어 및 각 기능의 복수의 제어 명령어의 정보를 저장하는 제1데이터베이스와, 주소 정보를 저장하는 제2데이터베이스를 갖는 데이터베이스부와, 음성 인식 모드이면 제1 스레드를 이용하여 제1데이터베이스의 정보를 로딩하고 로딩된 정보를 이용하여 음성 인식을 수행하고, 제2스레드를 이용하여 제2데이터베이스의 정보를 로딩하고 로딩된 정보를 이용하여 음성 인식을 수행하되, 제2스레드에 정보의 로딩이 완료되기 전에 제1 스레드에서 인식된 음성이 제1데이터베이스에 저장된 정보와 매칭되면 제2스레드의 로딩을 정지시키는 프로세서를 포함다.A terminal according to another aspect detects a sound and outputs a detected sound signal; A speech recognition module for performing speech recognition based on a sound signal; A control unit for controlling the route guidance based on the voice recognition information when the navigation function is selected among the plurality of functions; And a display unit for displaying a navigation function. The speech recognition module includes a first database for storing a function name word corresponding to each of a plurality of functions and a plurality of control command words for each function, A database unit having a first database, a second database, and a third database, wherein the first database is loaded with information of the first database, the voice recognition is performed using the loaded information, and the information of the second database If the voice recognized by the first thread is matched with the information stored in the first database before the loading of the information into the second thread is completed, loading of the second thread is stopped Includes a processor.
다른 측면에 따른 단말기는 음성 인식 모드를 입력받는 입력부를 더 포함한다.The terminal according to another aspect further includes an input unit for receiving a voice recognition mode.
다른 측면에 따른 단말기에 마련된 음성 인식 모듈의 프로세서는, 제1스레드에서 인식된 음성이 제1데이터베이스의 정보와 비매칭되면 제1스레드의 음성 인식을 정지시키고 제2스레드의 제2데이터베이스의 정보의 로딩을 유지시키고, 제2스레드에 정보의 로딩이 완료되면 로딩된 제2데이터베이스의 정보를 이용하여 음성인식을 수행하는 것을 포함한다.The processor of the voice recognition module provided in the terminal according to the other aspect stops the speech recognition of the first thread if the voice recognized in the first thread is not matched with the information of the first database and stops the voice recognition of the information of the second database of the second thread And performing voice recognition using information of the loaded second database when loading of information into the second thread is completed.
다른 측면에 따른 단말기는 현재의 위치 정보를 수신하는 통신부를 더 포함하고, 제어부는, 제2스레드에서 인식된 음성 인식의 정보에 대응하는 목적지를 확인하고, 현재의 위치 정보에 기초하여 확인된 목적지까지의 경로를 탐색하는 것을 포함한다.The terminal according to another aspect further includes a communication unit for receiving the current location information. The control unit confirms the destination corresponding to the information of the voice recognition recognized in the second thread, and determines, based on the current location information, And searching for a path up to < RTI ID = 0.0 >
다른 측면에 따른 단말기에 마련된 음성 인식 모듈은 음소별로 특징 벡터의 벡터열을 저장하는 음향 모델부를 더 포함하고, 프로세서는, 상시 소리의 신호의 주파수 특성을 프레임 별로 계산하여 소리의 신호에 포함된 특징 벡터를 추출하는 것을 더 포함한다.The speech recognition module provided in the terminal according to another aspect further includes an acoustic model unit for storing a vector sequence of feature vectors for each phoneme, and the processor calculates a frequency characteristic of a regular sound signal on a frame- And extracting the vector.
다른 측면에 따른 단말기에 마련된 음성 인식 모듈은, 소리의 신호를 저장하는 메모리부를 더 포함한다.The voice recognition module provided in the terminal according to another aspect further includes a memory unit for storing a sound signal.
다른 측면에 따른 단말기에 마련된 음성 인식 모듈의 제1스레드는, 음향 모델부 및 제1데이터베이스의 정보에 기초하여 음성 인식을 수행하고, 제2스레드는, 메모리부, 음향 모델부 및 제2데이터베이스의 정보에 기초하여 음성 인식을 수행한다.The first thread of the voice recognition module provided in the terminal according to the other aspect performs voice recognition based on the information of the acoustic model part and the first database, and the second thread performs the voice recognition of the memory part, the acoustic model part, And performs speech recognition based on the information.
다른 측면에 따른 단말기에 마련된 음성 인식 모듈의 프로세서는, 음성 인식 모드의 동작 명령이 수신되면 제1 스레드 및 제 2 스레드를 생성하는 것을 더 포함한다.The processor of the voice recognition module provided in the terminal according to another aspect further includes generating a first thread and a second thread when an operation command of a voice recognition mode is received.
다른 측면에 따른 단말기에 마련된 음성 인식 모듈의 프로세서는, 음성 인식 모드의 동작 명령이 수신되면 제1스레드를 이용하여 음성 인식을 위한 안내음의 출력을 수행하는 것을 포함한다.The processor of the voice recognition module provided in the terminal according to the other aspect includes performing the output of the guidance sound for voice recognition using the first thread when the voice recognition mode operation command is received.
다른 측면에 따른 단말기에 마련된 음성 인식 모듈은, 제1 스레드에서 인식된 음성이 제어 명령어이면 제어 명령어의 정보를 제어부에 출력하고, 제1 스레드에서 인식된 음성이 기능 명칭어이면 기능 명칭어의 정보를 제어부에 출력하고, 제어부는, 제어 명령어의 정보가 수신되면 수신된 제어 명령어의 정보에 기초하여 내비게이션 기능의 동작을 제어하고, 기능 명칭어의 정보가 수신되면 수신된 기능 명칭어의 정보에 기초하여 수행 중인 기능을 변경한다.The voice recognition module provided in the terminal according to the other aspect outputs the control command information to the control unit if the voice recognized in the first thread is a control command and if the voice recognized in the first thread is the function name, And the control unit controls the operation of the navigation function based on the information of the control command word received when the information of the control command word is received. When the information of the function name word is received, To change the function being performed.
또 다른 측면에 따른 차량은 위치 정보를 수신하는 통신부; 소리를 검출하고 검출된 소리의 신호를 출력하는 소리 검출부; 소리의 신호에 기초하여 음성 인식을 수행하는 음성 인식 모듈; 복수의 기능 중 내비게이션 기능이 선택되면 위치 정보 및 음성 인식의 정보에 기초하여 길 안내를 제어하는 제어부; 및 내비게이션 기능을 표시하는 표시부를 포함하고, 음성 인식 모듈은, 복수의 기능에 각각 대응하는 기능 명칭어 및 각 기능의 복수의 제어 명령어의 정보를 저장하는 제1데이터베이스와, 주소 정보를 저장하는 제2데이터베이스를 갖는 데이터베이스부와, 음성 인식 모드이면 제1 스레드를 이용하여 제1데이터베이스의 정보를 로딩하고 로딩된 정보를 이용하여 음성 인식을 수행하고, 제2스레드를 이용하여 제2데이터베이스의 정보를 로딩하고 로딩된 정보를 이용하여 음성 인식을 수행하되, 제2스레드에서 정보의 로딩이 완료되기 전에 제1스레드에서 인식된 음성이 제1데이터베이스의 정보와 비매칭되면 제2스레드에 로딩된 제2데이터베이스의 정보를 이용하여 음성인식을 수행하고 인식된 음성의 정보를 제어부에 출력하는 프로세서를 포함한다.The vehicle according to another aspect includes: a communication unit for receiving location information; A sound detection unit for detecting a sound and outputting a signal of the detected sound; A speech recognition module for performing speech recognition based on a sound signal; When the navigation function is selected among the plurality of functions, controls the route guidance based on the position information and the voice recognition information; And a display unit for displaying a navigation function. The speech recognition module includes a first database for storing a function name word corresponding to each of a plurality of functions and a plurality of control command words for each function, A database unit having a first database, a second database, and a third database, wherein the first database is loaded with information of the first database, the voice recognition is performed using the loaded information, and the information of the second database When the voice recognized in the first thread is mismatched with the information in the first database before the loading of the information in the second thread is completed, the voice recognition is performed using the loaded and loaded information, And a processor for performing speech recognition using information of the database and outputting the recognized speech information to the control unit.
또 다른 측면에 따른 차량에 마련된 음성 인식 모듈의 프로세서는, 제2스레드에서 정보의 로딩이 완료되기 전에 제1 스레드에서 인식된 음성이 제1데이터베이스에 저장된 정보와 매칭되면 제2스레드의 로딩을 정지시키는 것을 포함한다.The processor of the voice recognition module provided in the vehicle according to another aspect stops the loading of the second thread when the voice recognized in the first thread matches the information stored in the first database before the loading of the information in the second thread is completed, .
또 다른 측면에 따른 차량에 마련된 음성 인식 모듈의 프로세서의 제2스레드는, 위치 정보에 대응하는 주소의 정보를 로딩한다.The second thread of the processor of the voice recognition module provided in the vehicle according to another aspect loads the information of the address corresponding to the position information.
또 다른 측면에 따른 차량의 제어부는, 제2스레드에서 인식된 음성 인식의 정보에 대응하는 목적지를 확인하고, 위치정보에 기초하여 확인된 목적지까지의 경로를 탐색하는 것을 포함한다.A controller of the vehicle according to another aspect includes identifying a destination corresponding to the information of the speech recognition recognized in the second thread and searching for a route to the identified destination based on the location information.
또 다른 측면에 따른 차량에 마련된 음성 인식 모듈은, 음소별로 특징 벡터의 벡터열을 저장하는 음향 모델부와, 소리의 신호를 저장하는 메모리부를 더 포함하고, 프로세서는, 상시 소리의 신호의 주파수 특성을 프레임 별로 계산하여 소리의 신호에 포함된 특징 벡터를 추출하는 것을 포함한다.According to another aspect of the present invention, there is provided a voice recognition module comprising: an acoustic model unit for storing a vector sequence of a feature vector for each phoneme; and a memory unit for storing a sound signal, And extracting a feature vector included in the sound signal.
또 다른 측면에 따른 차량에 마련된 음성 인식 모듈의 제1스레드는, 음향 모델부 및 제1데이터베이스의 정보에 기초하여 음성 인식을 수행하고, 제2스레드는, 메모리부, 음향 모델부 및 제2데이터베이스의 정보에 기초하여 음성 인식을 수행한다.The first thread of the voice recognition module provided in the vehicle according to another aspect performs speech recognition based on the information of the acoustic model part and the first database, and the second thread performs speech recognition based on information of the memory part, And performs speech recognition on the basis of the information
또 다른 측면에 따른 차량에 마련된 음성 인식 모듈은, 제1 스레드에서 인식된 음성이 제어 명령어이면 제어 명령어의 정보를 제어부에 출력하고, 제1 스레드에서 인식된 음성이 기능 명칭어이면 기능 명칭어의 정보를 제어부에 출력하고, 제어부는, 제어 명령어의 정보가 수신되면 수신된 제어 명령어의 정보에 기초하여 내비게이션 기능의 동작을 제어하고, 기능 명칭어의 정보가 수신되면 수신된 기능 명칭어의 정보에 기초하여 수행 중인 기능을 변경한다.According to another aspect of the present invention, there is provided a voice recognition module for outputting control command information to a control unit if voice recognized in a first thread is a control command word, When the information of the control command word is received, the control unit controls the operation of the navigation function based on the information of the received control command word. When the information of the function name word is received, Change the function being performed on a basis.
본 발명은 멀티 스레드(Multi Thread)를 이용하여 주소 데이터 베이스(DB)를 로딩 함으로써 주소 DB를 로딩하는 시간을 줄일 수 있고 음성 인식을 통한 주소의 인식 시간을 단축시킬 수 있다.According to the present invention, loading of an address database (DB) by loading a multi-thread (Multi Thread) can reduce the time for loading an address DB and shorten the recognition time of an address through voice recognition.
이에 따라 본 발명은 음성 인식 시, 사용자가 발화를 대기하는 시간을 최소화할 수 있어 사용자의 만족도를 향상시킬 수 있다.Accordingly, the present invention can minimize the time for the user to wait for speech in speech recognition, thereby improving the user's satisfaction.
이와 같이 본 발명은 사용자에게 보다 정확하고 신속한 주소 검색 결과를 제공할 수 있다.As described above, the present invention can provide a more accurate and quick address search result to the user.
또한 본 발명은 내비게이션 기능 수행 중 다른 기능을 수행하기 위한 명령어가 입력되면 입력된 명령어의 인식 결과에 기초하여 내비게이션 기능의 수행이 정지되도록 한 후 다른 기능이 수행되도록 할 수 있어 기능 변경의 처리 속도를 향상시킬 수 있다.Further, according to the present invention, when a command for performing another function is inputted during the navigation function, the navigation function is stopped based on the recognition result of the inputted command, and then another function is performed, Can be improved.
이로 인해 음성인식 기능을 갖는 음성 인식 모듈, 단말기 및 차량의 품질을 향상시킬 수 있고 나아가 사용자의 만족도를 높일 수 있으며 사용자의 편리성 및 차량의 안전성을 향상시킬 수 있다.Accordingly, it is possible to improve the quality of the voice recognition module, the terminal, and the vehicle having the voice recognition function, further increase the satisfaction of the user, and improve the convenience of the user and the safety of the vehicle.
도 1은 실시 예에 따른 음성 인식 모듈이 마련된 차량의 예시도이다.
도 2는 실시 예에 따른 음성 인식 모듈이 마련된 차량의 내부 예시도이다.
도 3은 실시 예에 따른 음성 인식 모듈이 마련된 차량의 제어 구성도이다.
도4는 실시 예에 따른 음성 인식 모듈의 제어 구성도이다.
도 5는 실시 예에 따른 음성 인식 모듈의 프로세서의 상세 구성도이다.
도 6은 실시 예에 따른 음성 인식 모듈의 프로세서의 음성 인식 순서도로, 일 예의 순서도이다.
도 7 내지 도 9는 실시 예에 따른 음성 인식 모듈의 음성 인식에 대응하는 표시부의 표시 예시도이다.
도 10은 실시 예에 따른 음성 인식 모듈의 프로세서의 음성 인식 순서도로, 다른 예의 순서도이다.
도 11은 실시 예에 따른 음성 인식 모듈이 마련된 단말기 제어 구성도이다.1 is an exemplary view of a vehicle provided with a voice recognition module according to an embodiment.
2 is an internal view of a vehicle provided with a voice recognition module according to an embodiment.
3 is a control configuration diagram of a vehicle provided with a voice recognition module according to an embodiment.
4 is a block diagram illustrating a control structure of a speech recognition module according to an embodiment of the present invention.
5 is a detailed configuration diagram of a processor of the speech recognition module according to the embodiment.
6 is a flowchart of speech recognition of a processor of a speech recognition module according to an embodiment, and is an example of a flowchart.
Figs. 7 to 9 are diagrams showing display examples of a display section corresponding to speech recognition of the speech recognition module according to the embodiment. Fig.
FIG. 10 is a flowchart of speech recognition of the processor of the speech recognition module according to the embodiment, and is a flowchart of another example.
FIG. 11 is a configuration diagram of a terminal having a voice recognition module according to an embodiment of the present invention.
이하, 첨부된 도면을 참조하여 본 발명에 대해 상세히 설명한다.Hereinafter, the present invention will be described in detail with reference to the accompanying drawings.
도 1은 일 실시 예에 따른 음성 인식 모듈이 마련된 차량의 예시도이고, 도2는 도1에 도시된 차량의 내부 예시도이다. FIG. 1 is an exemplary view of a vehicle equipped with a voice recognition module according to one embodiment, and FIG. 2 is an internal view of the vehicle shown in FIG. 1. FIG.
차량(1)은 사람 또는 화물을 운송할 목적으로 차륜을 구동시켜 주행하는 기기로, 도로 위를 이동한다.The
차량(1)은 내장과 외장을 갖는 차체(Body)와, 차체를 제외한 나머지 부분으로 주행에 필요한 기계 장치가 설치되는 차대(Chassis)를 포함한다.The
도 1 에 도시된 바와 같이 차체의 외장(110)은 프론트 패널(111), 본네트(112), 루프 패널(113), 리어 패널(114), 트렁크(115), 전후좌우의 도어(116) 등을 포함한다. 1, the
그리고 차체의 외장은 프론트 패널, 본네트, 루프 패널, 리어 패널, 트렁크, 전후좌우 도어(116), 전후좌우 도어(116)에 마련된 윈도우 글래스(117), 전후좌우 윈도우 글래스(117) 사이의 경계에 마련된 필러(118)를 더 포함한다.The exterior of the vehicle body is attached to the boundary between the front panel, the bonnet, the roof panel, the rear panel, the trunk, the front and rear left and
또한 전후좌우의 도어에 설치된 윈도우 글래스는, 사이드 윈도우 글래스와, 필러와 필러 사이에 설치되되 개폐 불가능하게 설치된 쿼터 윈도우 글래스와, 후방 측에 설치된 리어 윈도우 글래스와, 전방 측에 설치된 프런트 윈도우 글래스를 더 포함한다.Further, the window glass installed on the front, rear, left, and right doors includes a side window glass, a quarter window glass installed between the filler and the filler but not openable and closable, a rear window glass provided on the rear side, and a front window glass provided on the front side .
차체의 외장은 운전자에게 차량(1) 후방의 시야를 제공하는 사이드 미러(119) 등을 더 포함한다.The exterior of the vehicle body further includes a
도 2에 도시된 바와 같이, 차체의 내장(120)은 탑승자가 앉는 시트(121: 121a, 121b)와, 대시 보드(122)와, 대시 보드 상에 배치되고 타코미터, 속도계, 냉각수 온도계, 연료계, 방향전환 지시등, 상향등 표시등, 경고등, 안전벨트 경고등, 주행 거리계, 주행 기록계, 자동변속 선택레버 표시등, 도어 열림 경고등, 엔진 오일 경고등, 연료부족 경고등이 배치된 계기판(즉 클러스터, 123)과, 차량 방향을 조작하는 스티어링 휠(124)과, 대시 보드(122)에서 시트(121)의 사이 영역까지 연장된 센터 페시아(125)를 포함한다.2, the
시트(121)는 운전자가 앉는 운전석(121a), 동승자가 앉는 조수석(121b), 차량 내 후방에 위치하는 뒷좌석을 포함한다.The
클러스터(123)는 디지털 방식으로 구현할 수 있다. 이러한 디지털 방식의 클러스터는 차량 정보 및 주행 정보를 영상으로 표시한다.The
센터 페시아(125)는 대시 보드(122) 중에서 운전석(121a)과 조수석(121b) 사이에 위치하는 헤드 유닛(126)을 포함한다.The center pacea 125 includes a
즉 헤드 유닛(126)은 오디오 기능, 라디오 기능, 공기 조화 기능 및 시트의 열선 기능, 내비게이션 기능, 디엠비 기능, 전화 기능을 수행하는 각종 부하와 연결되어 있고, 각 기능을 수행하기 위한 동작 명령을 입력받고 입력된 동작 명령에 기초하여 각 기능의 동작을 제어하거나 해당 부하로 동작 명령을 전송한다.That is, the
센터 페시아(125)에는 송풍구, 시거잭 등이 설치될 수 있고 멀티단자(127) 등이 설치될 수 있다.The
여기서 멀티단자(127)는 헤드 유닛(126)과 인접한 위치에 배치될 수 있고, USB 포트, AUX단자를 포함하고, SD슬롯을 더 포함할 수 있다.The
차량(1)은 각종 기능의 동작 명령을 입력받기 위한 입력부(128)를 더 포함할 수 있고 수행 중인 기능에 대한 정보 및 사용자에 의해 입력된 정보를 표시하는 표시부(129)를 더 포함할 수 있다.The
입력부(128)는 헤드 유닛(126) 및 센터페시아(125)에 마련될 수 있고, 각종 기능의 동작 온 오프 버튼, 각종 기능의 설정값을 변경하기 위한 버튼 등과 같은 적어도 하나의 물리적인 버튼을 포함한다. The
좀 더 구체적으로 입력부(128)는 차량에서 수행 가능한 복수의 기능 중 적어도 하나의 기능의 동작 명령을 입력받는 것도 가능하고, 각 기능의 동작 명령을 음성 인식을 통해 입력받기 위한 음성 인식 모드를 입력받는 것도 가능하며, 입력된 신호를 헤드 유닛(126)의 제어부에 전송한다. More specifically, the
또한, 입력부(128)는 내비게이션 기능 선택 시 목적지의 정보를 입력받고 입력된 목적지의 정보를 단말기(130)에 전송하며, 디엠비 기능 또는 라디오 기능 선택 시 채널 및 음량 정보를 입력받고 입력된 채널 및 음량 정보를 단말기(130)에 전송한다.When the navigation function is selected, the
입력부(128)는 단말기(130)의 표시부에 표시된 커서의 이동 명령 및 선택 명령 등을 입력하기 위한 조그 다이얼(미도시) 또는 터치 패드를 더 포함하는 것도 가능하다. The
여기서 조그 다이얼 또는 터치 패드는 센터페시아 등에 마련될 수 있다.Here, the jog dial or the touch pad may be provided in a center fascia or the like.
센터 페시아(125)에는 사용자로부터 정보를 입력받고 입력된 정보에 대응하는 결과를 출력하는 단말기(130)가 마련될 수 있다.The
이러한 단말기(130)는 입력부와 표시부를 포함하고, 내비게이션 기능, 디엠비 기능, 오디오 기능, 비디오 기능, 전화 기능, 라디오 기능 중 적어도 하나의 기능이 선택되면 선택된 적어도 하나의 기능을 수행하고 수행 중인 기능의 동작 정보 등을 표시할 수 있다.The terminal 130 includes an input unit and a display unit and performs at least one selected function when at least one of the navigation function, the DMB function, the audio function, the video function, the telephone function, and the radio function is selected, Operation information and the like can be displayed.
단말기(130)의 입력부는 단말기(130)의 표시부에 일체로 마련된 터치 패널을 포함할 수 있다. The input unit of the terminal 130 may include a touch panel integrally provided in the display unit of the terminal 130.
이러한 단말기의 입력부는 단말기의 표시부에 버튼 형상으로 활성화되어 표시될 수 있고 이때 표시된 버튼의 위치 정보를 입력받는다.The input unit of the terminal can be activated and displayed in the form of a button on the display unit of the terminal, and receives the position information of the displayed button.
단말기의 입력부와 표시부는 터치스크린으로 마련될 수 있다. The input unit and the display unit of the terminal may be provided with a touch screen.
이러한 단말기는 대시 보드 상에 거치식으로 설치될 수도 있다.Such a terminal may be laid out on a dashboard.
차량(1)은 룸미러 주변, 또는 실내등 주변에 마련되고, 내부의 소리를 검출하는 소리 검출부(140)와, 소리 검출부에서 검출된 소리 내의 음성을 인식하는 음성 인식 모듈(150)를 더 포함한다.The
소리 검출부(140)는 사용자가 발화한 검출하고 검출된 음성 신호를 전기 신호로 출력하는 하나 또는 복수 개의 마이크로 폰 또는 마이크로 폰 어레이일 수 있다.The
아울러 소리 검출부(140)는 음성 인식 모듈(150)에 마련될 수도 있다.In addition, the
음성 인식 모듈(150)는 헤드 유닛(126)과 통신을 수행하여 인식된 음성의 정보를 헤드 유닛(126)에 전송한다. The
이러한 음성 인식 모듈(150)는 헤드 유닛(126)으로부터 음성 인식 모드의 동작 명령을 수신할 수 있다.The
아울러 음성 인식 모듈(150)는 헤드 유닛(126)에 일체로 마련될 수 있다.In addition, the
헤드 유닛(126)은 음성 인식 모듈로부터 전송된 음성 정보에 기초하여 각종 기능을 제어할 수 있다.The
차량의 차대는 동력 발생 장치, 동력 전달 장치, 주행 장치, 조향 장치, 제동 장치, 현가 장치, 변속 장치, 연료 장치, 전후좌우 차륜 등을 더 포함한다.The vehicle's vehicle frame further includes a power generating device, a power transmitting device, a traveling device, a steering device, a braking device, a suspension device, a transmission device, a fuel device, and front and rear left and right wheels.
차량(1)은 운전자 및 탑승자의 안전을 위한 여러 가지 안전장치들을 더 포함한다.The
차량의 안정장치로는 차량 충돌 시 운전자 등 탑승자의 안전을 목적으로 하는 에어백 제어 장치와, 차량의 가속 또는 코너링 시 차량의 자세를 차량자세 안정 제어 장치(ESC: Electronic Stability Control) 등 여러 종류의 안전장치들이 있다.Examples of the stabilizing device of the vehicle include an airbag control device for the purpose of safety of a passenger such as a driver in the event of a vehicle collision and various types of safety devices such as an electronic stability control (ESC) There are devices.
이외에도 차량(1)은 후방 또는 측방의 장애물 내지 다른 차량을 감지하는 근접센서, 강수 여부 및 강수량을 감지하는 레인 센서 등의 감지 장치를 더 포함하는 것도 가능하다.In addition, the
이러한 차량(1)은 동력 발생 장치, 동력 전달 장치, 주행 장치, 조향 장치, 제동 장치, 현가 장치, 변속 장치, 연료 장치, 여러 가지 안전 장치 및 각종 센서들의 구동을 제어하는 전자 제어 유닛(ECU: Electronic Control Unit)을 포함한다.This
또한 차량(1)은 운전자의 편의를 위해 설치된 핸즈프리 장치, GPS, 오디오 장치 및 블루투스 장치, 후방 카메라, 단말기의 충전 장치, 하이패스 장치 등의 전자 장치를 선택적으로 포함할 수 있다.The
이러한 차량(1)은 시동모터(미도시)에 동작 명령을 입력하기 위한 시동 버튼을 더 포함할 수 있다.The
즉 차량(1)은 시동 버튼이 온 되면 시동모터(미도시)를 동작시키고 시동 모터의 동작을 통해 동력 발생장치인 엔진(미도시)을 구동시킨다.That is, the
차량(1)은 단말 장치, 오디오 기기, 실내 등, 시동 모터, 그 외 전자장치들에 전기적으로 연결되어 구동 전력을 공급하는 배터리(미도시)를 더 포함한다.The
이러한 배터리는 주행 중 자체 발전기 또는 엔진의 동력을 이용하여 충전을 수행한다.Such a battery performs charging using power from the self-generator or the engine while driving.
도 3은 실시 예에 따른 음성 인식 모듈이 마련된 차량의 제어 구성도로, 차량은 단말기(130), 소리 검출부(140), 음성 인식 모듈(150), 제어부(160), 저장부(170), 통신부(180) 및 부하부(190)를 포함한다.3 is a control structure of a vehicle provided with a voice recognition module according to the embodiment. The vehicle includes a terminal 130, a
단말기(130)는 사용자와의 인터페이스를 위한 기기로, 사용자로부터 적어도 하나의 기능의 동작 명령을 입력받고, 입력된 동작 명령에 기초하여 적어도 하나의 기능을 수행하며, 수행 중인 기능의 동작 정보를 표시한다.The terminal 130 is an apparatus for interfacing with a user. The terminal 130 receives at least one operation command from the user, performs at least one function based on the input operation command, and displays operation information of the function being performed do.
단말기(130)는 입력부(131)와 표시부(132)를 포함할 수 있다.The terminal 130 may include an
여기서 입력부(131)는 터치 패널로 구현 가능하고, 표시부(132)는 LCD 등의 평판 표시 패널로 구현 가능하다. 즉 단말기(130)는 터치 패널과 평판 표시 패널이 일체로 형성된 터치 스크린으로 구현 가능하다. Here, the
이러한 단말기(130)는 터치 패널에 터치된 위치의 신호를 제어부(160)에 전송한다.The terminal 130 transmits a signal of a touched position to the touch panel to the
단말기(130)의 입력부(131)는 복수의 기능의 동작 명령을 각각 입력받을 수 있고, 음성 인식 모드의 동작/정지 명령을 입력받을 수 있다.The
여기서 음성 인식 모드는 복수의 기능 중 적어도 하나의 기능 수행 시 음성으로 동작 명령을 입력받는 모드이다.Here, the voice recognition mode is a mode in which an operation command is input by voice when at least one of a plurality of functions is performed.
입력부(131)는 내비게이션 기능 수행 시 수동으로 목적지 정보 및 경로 안내 명령을 입력받고, 입력된 목적지 정보를 제어부(160)에 전송한다. The
여기서 사용자에 의해 수동으로 입력된 목적지 정보는, 문자로, 주소, 전화 번호 및 시설명 정보 중 적어도 하나를 포함하고, 목적지에 대응하는 단축어(예를 들어, 집, 회사 등)를 더 포함할 수 있다. Here, the destination information manually input by the user includes at least one of characters, an address, a telephone number, and facility name information, and may further include a shortcut (e.g., house, company, etc.) corresponding to the destination have.
아울러 내비게이션 기능의 주소 입력은 음성 인식 모드와 수동 입력 모드를 통해 입력받을 수 있다.In addition, the address input of the navigation function can be input through voice recognition mode and manual input mode.
단말기(130)의 표시부(132)는 수행 중인 기능의 동작 정보를 표시한다.The
예를 들어, 단말기(130)의 표시부(132)는 내비게이션 기능의 수행 시 길 안내를 위한 지도, 도로 환경 정보 및 입력 가능한 입력 정보를 표시할 수 있다.For example, the
즉 표시부(132)는 차량의 현재 위치가 매칭된 지도, 동작 상태 및 그 외 부가정보들을 표시한다.That is, the
표시부(132)는 전화 통화와 관련된 정보를 표시하거나, 음악 재생과 관련된 정보를 표시하거나, 라디오 방송과 관련된 정보를 표시하는 것도 가능하고, 외부의 방송 신호를 영상으로 표시하는 것도 가능하다.The
또한 단말기의 표시부(132)는 음성 인식 모드의 동작/정지 정보를 표시한다.The
표시부(132)는 음성 인식에 의해 주소가 입력된 경우, 음성 인식된 주소 정보를 표시하는 것도 가능하다.When the address is inputted by voice recognition, the
또한 표시부(132)는 라디오 기능이나, 전화 기능, 오디오 기능 시 음성 인식된 채널, 전화번호, 음악의 곡명의 정보 등을 표시하는 것도 가능하다.The
표시부(132)는 음성 인식된 제어 명령어 및 기능 명칭어를 표시하는 것도 가능하다. The
소리 검출부(140)는 소리를 검출하고 검출된 소리의 신호를 음성 인식 모듈(150)에 전달한다. 여기서 소리는 사용자가 발화한 사용자의 음성을 포함한다. The
음성 인식 모듈(150)은 수신된 소리의 신호를 분석하여 음성을 인식한다.The
여기서 음성을 인식하는 것은, 사용자에 의해 발화된 발화어를 인식하는 것을 포함한다.Recognizing the speech here includes recognizing the speech uttered by the user.
이러한 음성 인식 모듈(150)는 외부의 소리 검출부로부터 소리의 신호를 수신하는 것도 가능하고, 내부에 소리 검출부를 구비하는 것도 가능하다.The
이러한 음성 인식 모듈을 도 4 및 도 5를 참조하여 설명한다.This speech recognition module will be described with reference to Figs. 4 and 5. Fig.
도 4에 도시된 바와 같이 음성 인식 모듈(150)은 신호처리부(151), 프로세서(152), 메모리부(153), 데이터베이스부(154) 및 음향 모델부(155)를 포함하고, 프로세서(152)는 수신부(152a), 로딩부(152b), 인식부(152c) 및 출력부(152d)를 포함한다.4, the
신호처리부(151)는 소리 검출부에서 검출된 소리의 신호가 수신되면 수신된 소리의 신호를 신호 처리한다.The
즉 신호처리부(151)는 아날로그의 소리의 신호를 디지털 신호로 변환하고, 변환된 디지털 신호 중의 노이즈를 제거하며 노이즈가 제거된 소리의 신호를 프로세서(152)에 전송한다.That is, the
아울러 신호처리부(151)는 아날로그 신호에서 노이즈를 제거한 후 디지털 신호로 변환하는 것도 가능하다. In addition, the
프로세서(152)는 음성 인식 모드의 동작 명령이 수신되면 신호 처리된 소리의 신호와 데이터베이스부에 저장된 정보에 기초하여 음성을 인식하고, 인식된 음성의 정보를 제어부(160)에 전송한다.The
이러한 프로세서(152)의 수신부(152a)는 음성 인식 모드의 동작 온/오프 명령을 수신하고, 소리 검출부에서 검출된 소리의 신호를 수신한다.The
프로세서의 로딩부(152b)는 데이터베이스부(154)에 저장된 정보를 로딩하여 인식부(152c)에 전달한다.The
프로세서의 인식부(152c)는 복수 개의 스레드를 생성하고, 복수의 스레드를 이용하여 음성을 각각 인식하되, 신호 처리된 소리의 신호와 데이터베이스부에 저장된 정보, 음향 모델부의 음향 모델에 기초하여 음성을 각각 인식하고, 인식된 음성의 정보를 제어부(160)에 전송한다.The
프로세서의 출력부(152d)는 인식부에서 인식된 발화어의 정보를 제어부(160)에 출력한다.The
메모리부(153)는 발화어의 정보를 저장한다.The
메모리부(153)는 신호 처리된 소리의 신호를 저장하는 것도 가능하다.The
메모리부(153)는 발화어를 발음 기호(즉, 발음 문자열)로 변환하는 프로그램을 더 저장할 수 있다.The
데이터베이스부(154)는 제1정보를 저장하는 제1데이터베이스(154a), 제1정보보다 용량이 큰 제2정보를 저장하는 제2데이터베이스(154 b)를 저장한다.The
여기서 제1정보는 미리 설정된 단어수보다 작은 단어수를 갖는 정보로, 확인, 취소, 삭제, 수정/편집, 종료, 이전 화면 이동, 이후 화면 이동 등의 제어 명령어의 정보, 기능 명칭어의 정보를 포함하고, 제2정보는 미리 설정된 단어수 이상의 단어수를 갖는 정보로, 복수의 기능을 수행하기 위해 필요한 자료 정보(예 주소 정보)를 포함한다.Here, the first information is information having a word number smaller than a preset number of words and includes information of control commands such as confirmation, cancellation, deletion, modification / editing, termination, previous screen movement and subsequent screen movement, And the second information is information having a word count equal to or greater than a predetermined word count, and includes data information (e.g., address information) necessary for performing a plurality of functions.
제어 명령어의 정보와 기능 명칭어의 정보는, 어느 하나의 동작을 바로 수행할 수 있도록 하는 명령을 가진 단어의 정보이다.The information of the control command word and the information of the function name word are information of a word having a command that enables one of the operations to be performed immediately.
아울러 제1정보는 목적지의 단축어, 지방 자치단체(특별시, 광역시, 도 등)의 지역 명칭어의 정보를 더 포함할 수 있고, 제2정보는 시도구동별 주소의 하위 정보, 전화 번호 정보, 음악 정보, 영상 정보 등을 더 포함할 수 있다.In addition, the first information may further include information on the short name of the destination, the local name of the local government (special city, metropolitan city, province, etc.), and the second information may include the sub information of the address for each trial driving, Information, image information, and the like.
여기서 목적지의 단축어는 사용자에 의해 설정된 것이다. 예를 들면, 목적지의 단축어는 사용자가 자주 가는 목적지의 이름으로, 집, 회사일 수 있다.Here, the shortcut of the destination is set by the user. For example, a shortcut to a destination can be a house, a company, a name of a destination that users often go to.
음향 모델부(155)는 음소별로 특징 벡터의 벡터열을 갖는 음향 모델을 저장한다.The acoustic modeling unit 155 stores an acoustic model having a vector sequence of feature vectors for each phoneme.
데이터베이스부(154)의 정보를 로딩하여 음성을 인식하는 프로세서(152)를 도 5를 참조하여 좀 더 구체적으로 설명한다.The
도 5에 도시된 바와 같이, 음성 인식 모듈의 데이터베이스부(154)는 제1데이터베이스(154a)와 제2데이터베이스(154b)를 포함하고, 프로세서(152)의 로딩부(152b)는 제1로딩부(b1)와, 제2로딩부(b2)를 포함하며, 프로세서의 인식부는 제1스레드(c1)와 제2스레드(c2)를 포함한다.5, the
제1데이터베이스(154a)는 확인, 취소, 삭제, 수정/편집, 종료, 이전 화면 이동, 이후 화면 이동 등의 제어 명령어의 정보와, 내비게이션 기능, 라디오 기능, 비디오 기능, 전화 기능, 오디오 기능의 기능 명칭어의 정보를 저장한다.The
아울러 제1데이터베이스는 주소 정보 중 가장 상위 정보인 각 도의 도명 및 수도, 광역시 등 단어의 정보를 저장하는 것도 가능하다. 예를 들어, 서울시, 인천, 울산, 강원도, 경기도 등을 포함할 수 있다.It is also possible that the first database stores information of words such as a street name, a capital city, a metropolitan city, and the like, which is the most upper information among the address information. For example, it can include Seoul, Incheon, Ulsan, Gangwon-do, and Kyonggi-do.
제2데이터베이스(154 b)는 도별 시설물의 주소 정보를 저장한다.The second database 154b stores the address information of the facility.
아울러 제2데이터베이스(154 b)는 시별 시설물명의 주소 정보를 저장하는 것도 가능하고, 구별 시설물명의 주소 정보, 동별 시설물명의 주소 정보를 저장하는 것도 가능하며, 번지나 도로명의 주소 정보를 저장하는 것도 가능하다.In addition, the second database 154b can store the address information of the name of the facility by time, store the address information of the distinction facility name, the address information of the facility name by the city, and store the address information of the address or the road name Do.
제1로딩부(b1)는 제1데이터베이스(154a)의 정보를 로딩하여 제1스레드(c1)로 전달하고, 제2로딩부(b2)는 제2데이터베이스(154b)의 정보를 로딩하여 제2스레드(c2)로 전달한다.The first loading unit b1 loads information of the
이러한 로딩부의 기능은 스레드 내에 포함될 수 있다.The function of such a loading unit can be included in a thread.
인식부(152c)는 미리 생성된 제1스레드(c1)를 포함하고, 음성 인식 모드의 동작 명령이 입력되면 제2스레드(c2)를 추가로 생성한다.The recognizing
아울러 인식부는 미리 생성된 제1스레드(c1)와 제2스레드(c2)를 모두 포함할 수 있다.In addition, the recognition unit may include both the first thread (c1) and the second thread (c2) generated in advance.
인식부의 제1스레드(c1)는 소리의 신호에서 포즈(pause) 구간을 인식하고, 포즈(pause) 구간이 인식되면 사용자의 발화가 끝났다고 판단하고, 발화 시작 시점부터 발화 종료 시점 사이에 검출된 소리의 신호의 주파수 특성을 프레임 별로 계산하여 소리의 신호에 포함된 특징 벡터를 추출한다.The first thread (c1) of the recognition unit recognizes a pause period in the signal of the sound, determines that the user's utterance is finished when the pause interval is recognized, and determines that the sound detected during the utterance termination And the feature vector included in the sound signal is extracted.
인식부의 제1스레드(c1)는 추출된 특징 벡터의 벡터열을 음향모델부의 음향 모델과 비교하여 소리의 신호 내 음소를 확인하며 확인된 음소를 문맥으로 변환시켜 발화어를 인식하고 인식된 발화어의 정보의 저장을 제어한다.The first thread (c1) of the recognition unit compares the vector string of the extracted feature vector with the acoustic model of the acoustic model unit, confirms the phonemes in the sound signal, converts the confirmed phoneme into the context, recognizes the speech word, And the like.
아울러 인식부의 제1스레드(c1)는 수신된 소리의 신호의 저장을 제어하는 것도 가능하다.It is also possible that the first thread (c1) of the recognition unit controls the storage of the received sound signal.
인식부의 제1스레드(c1)는 제1데이터베이스(154a)의 정보가 로딩되면 로딩된 제1데이터베이스(154a)의 정보 중 음성 인식된 발화어의 정보와 매칭되는 정보가 존재하는지 판단한다.The first thread (c1) of the recognizing unit judges whether there is information matched with the information of the speech recognition speech among the information of the
여기서 제1데이터베이스의 정보 중 음성 인식된 발화어의 정보와 매칭되는 정보가 존재하는지 판단하는 것은, 음성 인식된 발화어의 정보와 제1데이터베이스(154a)에 저장된 복수 정보를 각각 비교하여 매칭 정도에 따른 신뢰 스코어를 각각 확인하고, 확인된 신뢰 스코어(Confidence score) 중 기준 스코어 이상의 신뢰 스코어를 갖는 정보가 존재하면 제1데이터베이스(154a)의 정보 중 음성 인식된 발화어의 정보와 매칭되는 정보가 존재한다고 판단하는 것을 포함한다.Here, it is determined whether there is information matching the information of the speech recognition uttered word among the information of the first database, by comparing the information of the speech recognition uttered word with the plurality of information stored in the
인식부의 제1스레드(c1)는 기준 스코어 이상의 신뢰 스코어를 갖는 정보를 확인하고 확인된 정보를 출력부에 전송한다.The first thread (c1) of the recognition unit confirms the information having the trust score of the reference score or more and transmits the confirmed information to the output unit.
이때 인식부의 제1스레드(c1)는 제2스레드(c2)의 제2데이터베이스의 로딩이 정지되도록 한다.At this time, the first thread (c1) of the recognition unit causes the loading of the second database of the second thread (c2) to be stopped.
인식부의 제1스레드(c1)는 제1데이터베이스의 정보 중 음성 인식된 발화어의 정보와 매칭되는 정보가 없다고 판단되면 제2스레드(c2)에서의 음성 인식을 제어한다.The first thread (c1) of the recognition unit controls the speech recognition in the second thread (c2) if it is determined that there is no information matching the information of the speech recognition speech among the information of the first database.
인식부의 제1스레드(c1)는 음성 인식 모드의 동작 명령이 수신되면 음성 인식을 위한 안내음의 출력을 수행한다.The first thread (c1) of the recognition unit performs the output of a guidance sound for voice recognition when an operation command in the voice recognition mode is received.
인식부(152c)의 제2스레드(c2)는 제1스레드(c1)에서 음성 인식을 수행하는 동안 제2데이터베이스(154b)의 정보를 로딩하고, 제1스레드(c1)에서 음성 인식 명령이 수신되면 메모리부(153)에 저장된 발화어의 정보를 수신하고, 로딩된 제2데이터베이스의 정보와 음성 인식된 발화어의 정보에 기초하여 음성 인식을 수행하고, 음성 인식된 발화어의 정보에 대응하는 주소 정보를 출력부에 전송한다.The second thread c2 of the
아울러 인식부(152c)의 제2스레드(c2)는 제1스레드(c1)에서 음성 인식을 수행하는 동안 제2데이터베이스(154b)의 정보를 로딩하고, 제2데이터베이스(154b)의 정보가 모두 로딩되면 발화어의 정보에 대응하는 주소 정보를 인식하는 것도 가능하다.The second thread c2 of the recognizing
아울러 인식부(152c)의 제1스레드(c1)와 제2스레드(c2)는 소리 신호의 주파수 특성을 프레임 별로 계산하여 소리의 신호에 포함된 특징 벡터를 추출하고 추출된 특징 벡터의 벡터열을 음향모델부의 음향 모델과 비교하여 소리 신호 내 음소를 확인하며 확인된 음소를 문맥으로 변환시켜 발화어를 각각 인식하는 것도 가능하다.The first thread (c1) and the second thread (c2) of the
출력부(152d)는 음성 인식된 발화어의 정보를 다용도 입출력포트(gpio)를 통해 복수의 부하에 직접 전송하여 복수의 부하를 직접적으로 제어하는 것도 가능하고, 음성 인식된 발화어의 정보를 제어부(160)에 전송하는 것도 가능하다.The
제어부(160)는 입력 모드 시 입력부(131)에 입력된 정보에 기초하여 부하부(190)의 복수 부하의 동작을 제어한다.The
제어부(160)는 음성 인식 모드 시 소리 검출부(140)를 활성화시키고, 음성 인식 모듈(150)과 통신을 수행하여 음성 인식된 발화어의 정보를 수신하고 수신된 발화어의 정보에 기초하여 부하부의 동작을 제어한다.The
여기서 음성 인식된 발화어는, 제어 명령어, 기능 명칭어를 포함하고, 주소, 전화번호, 곡명, 목적지의 단축어 등의 검색어를 포함할 수 있다.Here, the speech recognizing speech includes a control command word, a function name word, and may include a search word such as an address, a telephone number, a name of a song, and a shortened word of a destination.
제어 명령어는 확인, 삭제, 취소, 종료, 수정, 이전 화면 이동, 이후 화면 이동 명령어, 검색 명령어를 포함할 수 있고, 기능 명칭어는 수행 가능한 기능의 명칭을 포함할 수 있다.The control command may include confirmation, deletion, cancellation, termination, modification, previous screen movement, subsequent screen movement command, and search command, and the function name may include the name of the function that can be performed.
제어부(160)는 제어 명령어 및 기능 명칭어의 정보가 수신되면 수신된 제어 명령어 및 기능 명칭어의 정보에 기초하여 부하부(190)의 복수 부하의 동작을 각각 제어한다.The
예를 들어, 제어부(160)는 내비게이션 기능 수행 중 종료의 제어 명령어가 인식되면 내비게이션 기능의 종료를 제어하고, 내비게이션 기능 수행 중 라디오 기능의 기능 명칭어가 인식되면 라디오 기능이 수행되도록 라디오 장치를 제어한다.For example, the
제어부(160)는 내비게이션 기능이 선택되면 인식된 음성에 대응하는 주소 정보가 표시되도록 제어하고, 확인(OK)의 명령어가 수신되면 주소 정보에 기초하여 현재의 위치부터 목적지까지의 경로를 탐색하고 탐색된 경로를 지도에 맵 매칭한 후 맵 매칭된 지도가 표시되도록 제어하고 탐색된 경로에 기초하여 길 안내를 제어한다.When the navigation function is selected, the
제어부(160)는 내비게이션 기능 수행 중 목적지가 입력되지 않은 경우 일반 안내 모드로 현재 위치를 중심으로 현재 위치한 도로 및 도로의 주변 환경의 안내를 제어하고 또한 주행 정보 등의 안내를 제어한다.If the destination is not inputted during the navigation function, the
제어부(160)는 헤드 유닛(126)의 제어부일 수 있다.The
아울러 제어부(160)는 차량에 마련된 전자 제어 유닛(ECU)일 수 있다.In addition, the
제어부(160)의 내부에는 음성 인식 모듈(150)이 마련될 수 있다.The
저장부(170)는 제어 명령어에 대응하는 동작 명령을 저장하고, 기능 명칭어에 대응하는 기능 정보를 저장한다.The
통신부(180)는 외부 기기와의 통신을 수행하는 유무선 통신을 포함한다.The
통신부(180)는 현재의 위치를 수신하는 GPS 수신부를 포함할 수 있다.The
또한 GPS 수신부는 다수의 GPS(Global Positioning System) 위성들로부터 위성 신호를 수신하여 자신의 위치를 계산하고 계산된 자신(즉, 차량)의 현재 위치를 제어부(160)에 전송한다.Also, the GPS receiver receives satellite signals from a plurality of Global Positioning System (GPS) satellites, calculates its own position, and transmits the current position of the calculated itself (i.e., the vehicle) to the
통신부(180)는 서버(미도시)와 통신을 수행하는 것도 가능하다.The
여기서 유무선 통신망은 DMB 등의 TPEG, SXM, RDS와 같은 브로드캐스팅 망 등을 포함한다.The wired / wireless communication network includes a broadcasting network such as DMB, TPEG, SXM, and RDS.
부하부(190)는 복수의 기능을 각각 수행하는 복수의 부하를 포함하고 각 부하는 제어부(160)의 명령을 수신하고 수신된 명령에 기초하여 기능을 온오프시키거나, 수행 중인 기능의 동작을 제어한다.The
여기서 복수의 부하는 라디오 기능을 수행하는 라디오 장치, 음악 등의 오디오 재생 기능을 수행하는 오디오 장치, 공기 조화 기능을 수행하는 공기 조화 장치, 길 안내 기능을 수행하는 내비게이션 장치, 전화 통화 기능을 수행하는 전화 통신 장치, 디엠비 방송 재생 기능을 수행하는 방송 장치, 사운드를 출력하는 사운드 출력 장치를 포함할 수 있다.Here, the plurality of loads may include a radio device performing a radio function, an audio device performing an audio playback function such as music, an air conditioner performing an air conditioning function, a navigation device performing a navigation function, A telephone communication device, a broadcasting device that performs a DMB broadcasting reproduction function, and a sound output device that outputs sound.
도 6은 실시 예에 따른 음성 인식 모듈의 프로세서의 음성 인식 순서도로, 일 예의 순서도이다. 6 is a flowchart of speech recognition of a processor of a speech recognition module according to an embodiment, and is an example of a flowchart.
도 6의 (a)는 종래 기술에 따른 음성 인식 순서도이고, 도 6의 (b)는 종래 기술에 따른 음성 인식 순서도이다. 이를 도 7 내지 도 9를 참조하여 설명한다.FIG. 6A is a flowchart of speech recognition according to the prior art, and FIG. 6B is a flowchart of speech recognition according to the prior art. This will be described with reference to Figs. 7 to 9. Fig.
아울러 차량에 마련된 음성 인식 모듈의 음성 인식 순서에 대해 설명한다.The voice recognition procedure of the voice recognition module provided in the vehicle will be described.
차량은 내비게이션 기능이 선택되고 음성 인식 모드의 동작 명령이 입력되면 음성 인식 모듈(150) 및 소리 검출부(140)의 동작을 활성화시키고, 통신부(180)의GPS수신부와의 통신을 수행하고, GPS로부터 현재 위치를 수신한다.When the navigation function is selected and an operation command of the voice recognition mode is inputted, the vehicle activates the operations of the
현재 위치가 서울이라고 가정한다.Suppose your current location is Seoul.
도 6의 (a)에 도시된 바와 같이, 종래의 음성 인식 모듈은 음성 인식 모드의 동작 명령이 입력되면 제1정보를 로딩하고, 안내음(예, 명령어를 말씀하세요)을 출력하고, 사용자에 의해 발화된 주소 검색의 음성이 수신되면 수신된 음성의 신호에 기초하여 음성 인식을 수행한다. 6A, when a voice recognition mode operation command is inputted, the conventional voice recognition module loads the first information, outputs a guidance sound (e.g., tell a command word) And performs voice recognition based on the received voice signal when the voice of the address search is received.
그리고 음성 인식 모듈은 음성 인식 결과 및 현재의 위치 정보에 기초하여 제2정보인 서울시 주소 정보를 로딩하고 서울시 주소 정보의 로딩이 완료되면 다시 안내음(시설명을 말씀하세요)을 출력하고, 사용자에 의해 발화된 시설명(마트)의 음성이 수신되면 수신된 음성의 신호에 기초하여 음성인식을 수행하며, 음성 인식된 주소 정보를 출력한다.Then, the voice recognition module loads the address information of Seoul, which is the second information, based on the voice recognition result and the current position information, and outputs the announcement sound (say the facility name) when the loading of the address information of Seoul is completed, When the voice of the facility name (mart) uttered by the user is received, voice recognition is performed based on the received voice signal, and the voice recognition address information is output.
이와 같이 음성 인식 모듈은 시간 n11에서 시간 n18까지 8개의 동작으로 음성 인식을 수행한다.Thus, the speech recognition module performs speech recognition in eight operations from time n11 to time n18.
하지만 도 6의 (b)에 도시된 바와 같이, 본 실시 예의 음성 인식 모듈(150)은 음성 인식 모드의 동작 명령이 입력되면 제1스레드(c1)와 제2스레드(c2)를 생성하고, 생성된 제1스레드를 이용하여 제1데이터베이스의 제1정보를 로딩하고, 안내음(예, 명령어를 말씀하세요)을 출력한다. 6 (b), the
이때 제1데이터베이스에 저장된 정보는 용량이 작기 때문에 빠른 시간 내에 로딩될 수 있다.At this time, the information stored in the first database can be loaded in a short time because the capacity is small.
음성 인식 모듈은 제1스레드에 사용자에 의해 발화된 주소 검색의 음성이 수신되면 수신된 음성의 신호에 기초하여 음성 인식을 수행하면서 다시 안내음(시설명을 말씀하세요)을 출력하고 제2스레드에 제2데이터베이스의 정보 로딩을 지시한다.When the voice of the address search uttered by the user is received in the first thread, the voice recognition module outputs the guidance sound (tell the facility name) again while performing voice recognition based on the received voice signal, And instructs information loading of the second database.
음성 인식 모듈의 제2스레드는 주소 검색의 검색 명령어가 인식되면 제2데이터베이스의 제2정보를 로딩하되, 인식된 검색 명령어에 대응하는 정보인 주소 정보를 로딩한다. 즉 제2스레드는 현재의 위치 정보에 기초하여 주소 정보를 로딩한다.이때 제2데이터베이스의 주소 정보는 시도구동별 상호 연결된 하위 정보를 갖고 있기 때문에 제1데이터베이스의 제1정보의 용량보다 크다. 이 때문에 제2데이터베이스의 주소 정보의 로딩 시간은 제1데이터베이스의 정보 로딩 시간 보다 더 길다. The second thread of the voice recognition module loads the second information of the second database when the search command of the address search is recognized, and loads the address information which is information corresponding to the recognized search command. That is, the second thread loads the address information based on the current location information. At this time, the address information of the second database is larger than the capacity of the first information of the first database because it has mutually connected lower information for each trial drive. Therefore, the loading time of the address information of the second database is longer than the information loading time of the first database.
아울러 제2스레드는 인식된 검색 명령어가 음악 재생이면 제2데이터베이스에 저장된 음악 정보를 로딩한다. The second thread loads the music information stored in the second database if the recognized search command is music reproduction.
음성 인식 모듈은 사용자에 의해 발화된 시설명(마트)의 음성이 제1스레드에 수신되면 제1스레드를 이용하여 수신된 음성의 음성 인식을 수행하고 이때 음성 인식된 발화어의 정보가 제1데이터베이스의 제1정보와 매칭되는지 판단한다.The voice recognition module performs voice recognition of the voice received using the first thread when a voice of the facility name (mart) uttered by the user is received in the first thread, and at this time, Is matched with the first information of " 1 "
즉 음성 인식 모듈의 제1스레드는 음성 인식된 발화어가 제1데이터베이스에 저장된 명령어 또는 기능 명칭어인지 확인하고 음성 인식된 발화어가 제1데이터베이스에 저장된 명령어 또는 기능 명칭어라고 판단되면 판단 결과에 기초하여 기능의 동작을 제어한다.That is, the first thread of the speech recognition module checks whether the speech recognized speech is a command word or a function name stored in the first database, and if it is determined that the speech recognized speech is a command word or a function name stored in the first database, And controls the operation of the function.
여기서 명령어, 기능 명칭어는 미리 설정된 개수보다 적은 개수를 갖는 단어를 갖는다.Here, the command and the function name have words having a smaller number than the preset number.
이와 같이 음성 인식 모듈은 제2스레드에 제2정보를 로딩하는 동안 제1스레드에서 음성 인식을 수행할 수 있고, 이를 통해 주소를 입력받기 전에 다른 명령어나 기능 명칭어를 입력 받을 수 있다. 이를 통해 정보의 로딩과 무관하게 기능을 이전의 기능으로 되돌릴 수 있다. As described above, the voice recognition module can perform voice recognition in the first thread while loading the second information in the second thread, and can receive another command or function name before receiving the address. This allows the function to be reverted to its previous function regardless of the loading of the information.
아울러 음성 인식 모듈의 제1스레드는 음성 인식된 발화어가 제1데이터베이스에 저장된 명령어 또는 기능 명칭어가 아니라고 판단되면 제2스레드에 음성 인식을 지시한다.The first thread of the speech recognition module instructs the second thread to recognize speech if it is determined that the speech recognition speech is not a command word or a function name stored in the first database.
음성 인식 모듈의 제2스레드는 음성 인식의 명령이 수신되면 제2데이터베이스의 제2정보의 로딩이 완료되었는지 판단하고 제2데이터베이스의 제2정보의 로딩이 완료되었다고 판단되면 로딩된 제2데이터베이스의 정보와 음성 인식된 발화어의 정보에 기초하여 사용자에 의해 발화된 주소 정보를 인식한다.The second thread of the voice recognition module determines whether the loading of the second information of the second database is completed when the voice recognition command is received and the information of the loaded second database when the loading of the second information of the second database is completed And the address information uttered by the user based on the information of the speech recognition speech.
이와 같이 음성 인식 모듈은 제1스레드를 이용하여 사용자에 의해 발화된 시설명의 음성 신호를 수신하고 시설명의 음성을 인식할 때까지 제2스레드를 이용하여 주소 정보를 로딩하기 때문에 주소 정보 로딩에 소요되는 시간을 줄일 수 있다.Since the voice recognition module loads the address information using the second thread until the voice recognition module receives the voice signal of the facility name uttered by the user using the first thread and recognizes the voice of the facility name, Time can be reduced.
또한 음성 인식 모듈은 제2스레드를 이용하여 로딩된 주소 정보 중 음성 인식된 발화어의 정보에 대응하는 주소 정보를 검색하기 때문에 시설명의 주소를 인식하는 시간을 줄일 수 있다.In addition, since the voice recognition module searches for the address information corresponding to the information of the voice recognition speech among the loaded address information using the second thread, the time for recognizing the address of the facility name can be reduced.
이와 같이 음성 인식 모듈은 제1스레드에서 시간 n11에서 시간 n17의 이전 시간까지 7개의 동작으로 음성 인식을 수행하고, 동시에 제2스레드에서 2개의 동작으로 음성 인식을 수행하기 때문에 총 음성 인식 시간을 줄일 수 있다.As described above, the speech recognition module performs voice recognition in seven operations from time n11 to time n17 in the first thread and performs voice recognition in two operations in the second thread at the same time, thereby reducing the total voice recognition time .
만약, 음성 인식 모듈의 제1스레드는 마트가 아닌 취소의 음성이 인식되면 제2정보의 로딩을 정지시키고, 또한 주소 검색 동작을 정지시키며, 주소 검색 동작의 이전 동작을 수행하도록 하거나, 시설명을 말씀하세요의 안내음을 다시 출력하는 것도 가능하다.If the first thread of the voice recognition module recognizes the voice of canceling, not the mart, it stops the loading of the second information, stops the address search operation, performs the previous operation of the address search operation, It is also possible to output the guidance sound again.
아울러 음성 인식 모듈은 음성 인식된 발화어가 마트가 아닌 음악 재생이면 제2데이터베이스의 음악 정보를 로딩하고, 또한 음악 정보의 로딩이 완료되면 음악 재생을 수행하는 것도 가능하다.In addition, the speech recognition module may load the music information of the second database if the voice recognition speech is not music, but may also perform the music reproduction when the music information is loaded.
도 7에 도시된 바와 같이 음성 인식 모드의 표시부(132)는, 주소 검색의 음성이 인식된 후 제어 명령어나 기능의 명칭어가 입력되지 않으면 제2데이터베이스의 정보에 기초하여 주소 검색 결과를 표시한다. As shown in FIG. 7, the
표시부(132)는 주소 검색 시 현재의 음성 인식 모드를 이모티콘(m1)으로 표시하고, 음성 인식된 발화어를 음성 인식 창(m2)에 표시하며, 음성 인식에 대응하는 주소 검색 결과를 주소 검색 창(m3)에 표시하고, 검색된 주소의 단축번호를 단축번호 창(m4)에 표시한다.The
그리고 표시부(132)는 사용자에 의해 선택 가능한 버튼으로 종료 버튼(s1), 수동 입력 버튼(s2), 도움말 버튼(s3), 이전 화면으로의 이동 버튼(s4) 등을 표시한다.The
도 8에 도시된 바와 같이, 표시부(132)는 주소 검색의 음성이 인식된 후 사용자에 의해 시설명이 아닌 제어 명령어인 고백(go back)이 발화되면 주소 검색 화면의 이전 화면으로 변경하여 표시한다.As shown in FIG. 8, after the voice of the address search is recognized by the user, the
도 9에 도시된 바와 같이, 표시부(132)는 주소 검색의 음성이 인식된 후 사용자에 의해 시설명이 아닌 기능의 명칭어인 음악이 발화되면 내비게이션 기능에 대한 영상을 오디오 기능에 대한 영상으로 변경하여 표시한다.9, after the voice of the address search is recognized by the user, the
도 10은 실시 예에 따른 음성 인식 모듈의 프로세서의 음성 인식 순서도로, 다른 예의 순서도이다.FIG. 10 is a flowchart of speech recognition of the processor of the speech recognition module according to the embodiment, and is a flowchart of another example.
도 10의 (a)는 종래 기술에 따른 음성 인식 순서도이고, 도 10의 (b)는 종래 기술에 따른 음성 인식 순서도이다.10 (a) is a flowchart of speech recognition according to the prior art, and FIG. 10 (b) is a flowchart of speech recognition according to the prior art.
차량은 내비게이션 기능이 선택되고 음성 인식 모드의 동작 명령이 입력되면 음성 인식 모듈(150) 및 소리 검출부(140)의 동작을 활성화시키고, 통신부(180)의GPS수신부와의 통신을 수행하고, GPS로부터 현재 위치를 수신한다.When the navigation function is selected and an operation command of the voice recognition mode is inputted, the vehicle activates the operations of the
현재 위치가 서울이라고 가정한다.Suppose your current location is Seoul.
도 10의 (a)에 도시된 바와 같이, 종래의 음성 인식 모듈은 음성 인식 모드의 동작 명령이 입력되면 제1정보를 로딩하고 제1정보의 로딩이 완료되면 안내음(예, 명령어를 말씀하세요)을 출력하고, 사용자에 의해 발화된 주소 검색의 음성이 수신되면 수신된 음성의 신호에 기초하여 음성 인식을 수행한다.As shown in FIG. 10 (a), the conventional speech recognition module loads the first information when the operation command of the voice recognition mode is input, and when the loading of the first information is completed, When the voice of the address search uttered by the user is received, voice recognition is performed based on the received voice signal.
그리고 음성 인식 모듈은 음성 인식 결과가 주소 검색이면 현재 위치 정보에 기초하여 서울시 주소 정보를 로딩하고 서울시 주소 정보의 로딩이 완료되면 다시 안내음(시설명을 말씀하세요)을 출력하고, 사용자에 의해 발화된 시설명(경기도)의 음성이 수신되면 수신된 음성의 신호에 기초하여 음성인식을 수행한다.If the speech recognition result is an address search, the speech recognition module loads the address information of Seoul based on the current position information and outputs a guidance sound (tell the name of the facility) when the loading of the address information of Seoul is completed, (Gyeonggi Province) is received, voice recognition is performed based on the received voice signal.
음성 인식 모듈은 서울 내의 시설명이 아닌 다른 지역의 명칭이 인식되었다고 판단되면, 인식된 지역 명칭에 대응하는 경기도의 주소 정보를 로딩하고, 경기도의 주소 정보의 로딩이 완료되면 다시 안내음(시설명을 말씀하세요)을 출력하고, 사용자에 의해 발화된 시설명(마트)의 음성이 수신되면 수신된 음성의 신호에 기초하여 음성인식을 수행하며 음성 인식된 주소 정보를 출력한다.If it is determined that the name of the area other than the facility name in Seoul is recognized, the voice recognition module loads the address information of the Gyeonggi-do corresponding to the recognized area name, and when the loading of the address information of Gyeonggi-do is completed, When the voice of the facility name (mart) uttered by the user is received, voice recognition is performed based on the received voice signal and the voice recognition address information is outputted.
이와 같이 종래의 음성 인식 모듈은 시간 n21에서 시간 n32까지 12개의 동작으로 음성 인식을 수행한다.Thus, the conventional speech recognition module performs speech recognition with 12 operations from time n21 to time n32.
하지만 도 10의 (b)에 도시된 바와 같이, 본 실시 예의 음성 인식 모듈(150)은 음성 인식 모드의 동작 명령이 입력되면 제1스레드(c1)와 제2스레드(c2)를 생성하고, 생성된 제1스레드를 이용하여 안내음(예, 명령어를 말씀하세요)을 출력하며 제1데이터베이스의 제1 정보를 로딩한다. 10 (b), the
이때 제1데이터베이스에 저장된 정보의 용량이 작기 때문에 제1데이터베이스의 정보는 빠른 시간 내에 로딩될 수 있다.At this time, since the capacity of the information stored in the first database is small, the information of the first database can be loaded in a short time.
음성 인식 모듈은 제1스레드에 사용자에 의해 발화된 주소 검색의 음성이 수신되면 수신된 음성의 신호에 기초하여 음성 인식을 수행하면서 다시 안내음(시설명을 말씀하세요)을 출력하고 제2스레드에 제2데이터베이스의 정보 로딩을 지시한다.When the voice of the address search uttered by the user is received in the first thread, the voice recognition module outputs the guidance sound (tell the facility name) again while performing voice recognition based on the received voice signal, And instructs information loading of the second database.
즉 음성 인식 모듈의 제2스레드는 주소 검색의 검색 명령어가 인식되면 제2데이터베이스의 제2정보를 로딩하되 현재 위치 정보에 기초하여 서울의 주소 정보를 로딩한다.That is, the second thread of the voice recognition module loads the second information of the second database and loads the address information of Seoul based on the current location information when the search instruction of the address search is recognized.
이때 제2데이터베이스의 주소 정보는 제1데이터베이스의 정보의 용량보다 크다. 이 때문에 제2데이터베이스의 주소 정보의 로딩 시간은 제1데이터베이스의 정보 로딩 시간 보다 더 많이 소요된다. At this time, the address information of the second database is larger than the capacity of the information of the first database. Therefore, the loading time of the address information of the second database is larger than the information loading time of the first database.
음성 인식 모듈은 서울의 주소 정보의 로딩이 완료되면 사용자에 의해 발화된 시설명(경기도)의 음성이 제1스레드에 수신되면 제1스레드를 이용하여 수신된 음성의 음성 인식을 수행하고 이때 음성 인식된 발화어의 정보가 제1데이터베이스의 정보와 매칭되는지 판단한다.The voice recognition module performs voice recognition of the voice received using the first thread when the voice of the facility name (Gyeonggi Province) uttered by the user is received in the first thread when the loading of the address information of Seoul is completed, And judges whether or not the information of the uttered word matches the information of the first database.
즉 음성 인식 모듈의 제1스레드는 음성 인식된 발화어가 제1데이터베이스에 저장된 명령어 또는 기능 명칭어인지 확인하고 음성 인식된 발화어가 제1데이터베이스에 저장된 명령어 또는 기능 명칭어라고 판단되면 판단 결과에 기초하여 기능의 동작을 제어한다.That is, the first thread of the speech recognition module checks whether the speech recognized speech is a command word or a function name stored in the first database, and if it is determined that the speech recognized speech is a command word or a function name stored in the first database, And controls the operation of the function.
아울러 음성 인식 모듈의 제1스레드는 음성 인식된 발화어가 제1데이터베이스에 저장된 명령어 또는 기능 명칭어가 아니라고 판단되면 지방자치단체의 지역명인지 판단하고, 발화어가 지역 명칭어라고 판단되면 판단된 지역의 주소 정보의 로딩을 제2스레드에 지시한다.The first thread of the speech recognition module determines whether the speech recognition speech is a local name of the local government or not if it is determined that the speech recognition word is not a command word or a function name stored in the first database, To the second thread.
즉 음성 인식 모듈의 제2스레드는 경기도의 주소 정보의 로딩 명령이 수신되면 제2데이터베이스의 주소 정보 중 경기도의 주소 정보를 로딩한다.That is, the second thread of the voice recognition module loads the address information of the Gyeonggi-do in the address information of the second database when the loading instruction of the address information of the Gyeonggi-do is received.
음성 인식 모듈은 경기도의 주소 정보의 로딩이 완료되면 다시 안내음(시설명을 말씀하세요)을 출력하고 사용자에 의해 발화된 시설명(마트)의 음성이 제1스레드에 수신되면 제1스레드를 이용하여 수신된 음성의 음성 인식을 수행하고 이때 음성 인식된 발화어의 정보가 제1데이터베이스의 정보와 매칭되는지 판단한다.The voice recognition module outputs a guidance sound (say a facility name) once the loading of the address information of the Kyonggi-do is completed, and when the voice of the facility name (mart) uttered by the user is received in the first thread, And performs the speech recognition of the received speech. At this time, it is determined whether the information of the speech recognition speech matches the information of the first database.
즉 음성 인식 모듈의 제1스레드는 음성 인식된 발화어가 제1데이터베이스에 저장된 명령어 또는 기능 명칭어인지 확인하고 음성 인식된 발화어가 제1데이터베이스에 저장된 명령어 또는 기능 명칭어라고 판단되면 판단 결과에 기초하여 기능의 동작을 제어한다.That is, the first thread of the speech recognition module checks whether the speech recognized speech is a command word or a function name stored in the first database, and if it is determined that the speech recognized speech is a command word or a function name stored in the first database, And controls the operation of the function.
음성 인식 모듈의 제1스레드는 음성 인식된 발화어가 제1데이터베이스에 저장된 명령어 또는 기능 명칭어가 아니라고 판단되면 제2스레드에 음성 인식을 지시한다.The first thread of the speech recognition module instructs the second thread to recognize speech if it is determined that the speech recognized speech is not a command word or a function name stored in the first database.
음성 인식 모듈의 제2스레드는 음성 인식의 명령이 수신되면 제2데이터베이스의 경기도의 주소 정보의 로딩이 완료되었는지 판단하고 제2데이터베이스의 주소 정보의 로딩이 완료되었다고 판단되면 로딩된 제2데이터베이스의 주소 정보와 음성 인식된 발화어의 정보에 기초하여 사용자에 의해 발화된 주소 정보를 인식한다.The second thread of the voice recognition module determines whether the loading of the address information of the second database in the second database is completed when the voice recognition command is received and if the loading of the address information of the second database is completed, And recognizes the address information uttered by the user based on the information and the information of the speech recognition speech.
예를 들어 음성 인식 모듈의 제1스레드는 마트가 아닌 취소의 음성이 인식되면 제2스레드의 제2정보의 로딩을 정지시키고, 또한 주소 검색 동작을 정지시키며, 주소 검색 동작의 이전 동작을 수행하도록 하거나, '시설명을 말씀하세요'의 안내음을 다시 출력하는 것도 가능하다.For example, the first thread of the voice recognition module may stop loading of the second information of the second thread, stop the address search operation, and perform the previous operation of the address search operation Alternatively, it is possible to output the guidance sound of "Tell the facility name" again.
음성 인식 모듈의 제1스레드는 발화어가 제1정보가 아니라고 판단되면 음성 인식을 정지한다. 이때 제2스레드는 제2정보를 이용하여 음성인식을 수행한다.The first thread of the speech recognition module stops speech recognition if it is determined that the speech information is not the first information. At this time, the second thread performs speech recognition using the second information.
아울러, 음성 인식 모듈은 음성인식 명령이 입력되면 제1스레드를 이용하여 제1데이터베이스의 제1정보를 로딩하고 동시에 제2스레드를 이용하여 제2데이터베이스의 제2정보를 로딩하는 것도 가능하다.In addition, if the voice recognition command is input, the voice recognition module may load the first information of the first database using the first thread and simultaneously load the second information of the second database using the second thread.
이와 같이 음성 인식 모듈은 제1스레드를 이용하여 사용자에 의해 발화된 시설명의 음성 신호를 수신하고 시설명의 음성을 인식할 때까지 제2스레드를 이용하여 주소 정보를 로딩하기 때문에 주소 정보 로딩에 소요되는 시간을 줄일 수 있다.Since the voice recognition module loads the address information using the second thread until the voice recognition module receives the voice signal of the facility name uttered by the user using the first thread and recognizes the voice of the facility name, Time can be reduced.
또한 음성 인식 모듈은 제2스레드를 이용하여 로딩된 주소 정보 중 음성 인식된 발화어의 정보에 대응하는 주소 정보를 검색하기 때문에 시설명의 주소를 인식하는 시간을 줄일 수 있다.In addition, since the voice recognition module searches for the address information corresponding to the information of the voice recognition speech among the loaded address information using the second thread, the time for recognizing the address of the facility name can be reduced.
이와 같이 음성 인식 모듈은 제1스레드에서 시간 n21에서 시간 n29까지 10개의 동작으로 음성 인식을 수행하고, 동시에 제2스레드에서 3개의 동작으로 음성 인식을 수행하기 때문에 총 음성 인식 시간을 줄일 수 있다.As described above, the speech recognition module performs speech recognition in 10 operations from time n21 to time n29 in the first thread and performs speech recognition in 3 operations in the second thread at the same time, thereby reducing the total speech recognition time.
도 11은 실시 예에 따른 음성 인식 모듈이 마련된 단말기 제어 구성도이다.FIG. 11 is a configuration diagram of a terminal having a voice recognition module according to an embodiment of the present invention.
단말기(130)는 입력부(131), 표시부(132), 제어부(133), 저장부(134), 통신부(135), 사운드 출력부(136), 소리 검출부(140), 음성 인식 모듈(150)를 포함한다. The terminal 130 includes an
여기서 소리 검출부와 음성 인식 모듈은 도 3의 실시 예의 소리 검출부 및 음성 인식 모듈과 동일하여 도 3과 동일한 도면 번호로 기재한다.Here, the sound detection unit and the speech recognition module are the same as the sound detection unit and the speech recognition module in the embodiment of FIG. 3, and are denoted by the same reference numerals as those in FIG.
단말기(130)는 사용자와의 인터페이스를 위한 기기로, 사용자로부터 적어도 하나의 기능의 동작 명령을 입력받고, 입력된 동작 명령에 기초하여 적어도 하나의 기능을 수행하며, 수행 중인 기능의 동작 정보를 표시한다.The terminal 130 is an apparatus for interfacing with a user. The terminal 130 receives at least one operation command from the user, performs at least one function based on the input operation command, and displays operation information of the function being performed do.
이러한 단말기는 내비게이션 기능이 있는 이동 통신 단말기, 태블릿, 노트북 중 어느 하나일 수 있고, 차량에 마련된 내비게이션 장치일 수도 있다.Such a terminal may be any one of a mobile communication terminal having a navigation function, a tablet, and a notebook, or may be a navigation device provided in a vehicle.
입력부(131)는 복수의 기능의 동작 명령을 각각 입력받을 수 있고, 음성 인식 모드의 동작/정지 명령을 입력받을 수 있다.The
여기서 음성 인식 모드는 복수의 기능 중 적어도 하나의 기능 수행 시 음성으로 동작 명령을 입력받는 모드이다.Here, the voice recognition mode is a mode in which an operation command is input by voice when at least one of a plurality of functions is performed.
입력부(131)는 내비게이션 기능 수행 시 수동으로 목적지 정보 및 경로 안내 명령을 입력받고, 입력된 목적지 정보를 제어부(160)에 전송한다. The
여기서 사용자에 의해 수동으로 입력된 목적지 정보는, 문자로, 주소, 전화 번호 및 시설명 정보 중 적어도 하나를 포함하고, 목적지에 대응하는 단축어(예를 들어, 집, 회사 등)를 더 포함할 수 있다. Here, the destination information manually input by the user includes at least one of characters, an address, a telephone number, and facility name information, and may further include a shortcut (e.g., house, company, etc.) corresponding to the destination have.
아울러 내비게이션 기능의 주소 입력은 음성 인식 모드와 수동 입력 모드를 통해 입력받을 수 있다.In addition, the address input of the navigation function can be input through voice recognition mode and manual input mode.
단말기(130)의 표시부(132)는 수행 중인 기능의 동작 정보를 표시한다.The
예를 들어, 단말기(130)의 표시부(132)는 내비게이션 기능의 수행 시 길 안내를 위한 지도, 도로 환경 정보 및 입력 가능한 입력 정보를 표시할 수 있다.For example, the
즉 표시부(132)는 차량의 현재 위치가 매칭된 지도, 동작 상태 및 그 외 부가정보들을 표시한다.That is, the
표시부(132)는 전화 통화와 관련된 정보를 표시하거나, 음악 재생과 관련된 정보를 표시하거나, 라디오 방송과 관련된 정보를 표시하는 것도 가능하고, 외부의 방송 신호를 영상으로 표시하는 것도 가능하다.The
또한 단말기의 표시부(132)는 음성 인식 모드의 동작/정지 정보를 표시한다.The
표시부(132)는 음성 인식에 의해 주소가 입력된 경우, 음성 인식된 주소 정보를 표시하는 것도 가능하다.When the address is inputted by voice recognition, the
또한 표시부(132)는 라디오 기능이나, 전화 기능, 오디오 기능 시 음성 인식된 채널, 전화번호, 음악의 곡명의 정보 등을 표시하는 것도 가능하다.The
표시부(132)는 음성 인식된 제어 명령어 및 기능 명칭어를 표시하는 것도 가능하다. The
소리 검출부(140)는 소리를 검출하고 검출된 소리의 신호를 음성 인식 모듈(150)에 전달한다. 여기서 소리는 사용자가 발화한 사용자의 음성을 포함한다. The
음성 인식 모듈(150)은 수신된 소리의 신호를 분석하여 음성을 인식한다.The
여기서 음성을 인식하는 것은, 사용자에 의해 발화된 발화어를 인식하는 것을 포함한다.Recognizing the speech here includes recognizing the speech uttered by the user.
이러한 음성 인식 모듈(150)는 외부의 소리 검출부로부터 소리의 신호를 수신하는 것도 가능하고, 내부에 소리 검출부를 구비하는 것도 가능하다.The
음성 인식 모듈(150)은 소리 검출부에서 검출된 소리의 신호가 수신되면 수신된 소리의 신호를 신호 처리하고 신호 처리된 소리의 신호와 데이터베이스부에 저장된 정보에 기초하여 음성을 인식하고, 인식된 음성의 정보를 제어부(133)에 전송한다.The
음성 인식 모듈은 음성 인식 모드 시 복수 개의 스레드를 생성하고, 복수의 스레드를 이용하여 음성을 각각 인식하되, 신호 처리된 소리의 신호와 데이터베이스부에 저장된 정보, 음향 모델부의 음향 모델에 기초하여 음성을 각각 인식하고, 인식된 음성의 정보를 제어부(133)에 전송한다.The voice recognition module generates a plurality of threads in a voice recognition mode, and recognizes a voice using a plurality of threads, respectively. The voice recognition module recognizes a voice based on a signal of the signal processed voice, information stored in the database, And transmits information of the recognized voice to the
이러한 음성 인식 모듈은 도 4 및 도 5의 음성 인식 모듈과 동일하여 설명을 생략한다.The speech recognition module is the same as the speech recognition module of FIGS. 4 and 5, and thus description thereof is omitted.
제어부(133)는 입력 모드 시 입력부(131)에 입력된 정보에 기초하여 표시부와 사운드 출력부의 동작을 제어한다.The
제어부(133)는 음성 인식 모드 시 소리 검출부(140)를 활성화시키고, 음성 인식 모듈(150)과 통신을 수행하여 음성 인식된 발화어의 정보를 수신하고 수신된 발화어의 정보에 기초하여 부하부의 동작을 제어한다.The
여기서 음성 인식된 발화어는, 제어 명령어, 기능 명칭어를 포함하고, 주소, 전화번호, 곡명, 목적지의 단축어 등의 검색어를 포함할 수 있다.Here, the speech recognizing speech includes a control command word, a function name word, and may include a search word such as an address, a telephone number, a name of a song, and a shortened word of a destination.
제어 명령어는 확인, 삭제, 취소, 종료, 수정, 이전 화면 이동, 이후 화면 이동 명령어, 검색 명령어를 포함할 수 있고, 기능 명칭어는 수행 가능한 기능의 명칭을 포함할 수 있다.The control command may include confirmation, deletion, cancellation, termination, modification, previous screen movement, subsequent screen movement command, and search command, and the function name may include the name of the function that can be performed.
제어부(160)는 제어 명령어 및 기능 명칭어의 정보가 수신되면 수신된 제어 명령어 및 기능 명칭어의 정보에 기초하여 복수 기능의 동작을 각각 제어한다.When the control command word and the function name word are received, the
예를 들어, 제어부(133)는 내비게이션 기능 수행 중 종료의 제어 명령어가 인식되면 내비게이션 기능의 종료를 제어하고, 내비게이션 기능 수행 중 라디오 기능의 기능 명칭어가 인식되면 라디오 기능이 수행되도록 제어한다.For example, the
제어부(133)는 내비게이션 기능이 선택되면 인식된 음성에 대응하는 주소 정보가 표시되도록 제어하고, 확인(OK)의 명령어가 수신되면 주소 정보에 기초하여 현재의 위치부터 목적지까지의 경로를 탐색하고 탐색된 경로를 지도에 맵 매칭한 후 맵 매칭된 지도가 표시되도록 제어하고 탐색된 경로에 기초하여 길 안내를 제어한다.When the navigation function is selected, the
제어부(133)는 내비게이션 기능 수행 중 목적지가 입력되지 않은 경우 일반 안내 모드로 현재 위치를 중심으로 현재 위치한 도로 및 도로의 주변 환경의 안내를 제어하고 또한 주행 정보 등의 안내를 제어한다.When the destination is not inputted during the navigation function, the
제어부(133)의 내부에는 음성 인식 모듈(150)이 마련될 수 있다.A
저장부(134)는 제어 명령어에 대응하는 동작 명령을 저장하고, 기능 명칭어에 대응하는 기능 정보를 저장한다.The
통신부(135)는 외부 기기와의 통신을 수행하는 유무선 통신을 포함한다.The
통신부(135)는 현재의 위치를 수신하는 GPS 수신부를 포함할 수 있다.The
또한 GPS 수신부는 다수의 GPS(Global Positioning System) 위성들로부터 위성 신호를 수신하여 자신의 위치를 계산하고 계산된 자신(즉, 차량)의 현재 위치를 제어부(160)에 전송한다.Also, the GPS receiver receives satellite signals from a plurality of Global Positioning System (GPS) satellites, calculates its own position, and transmits the current position of the calculated itself (i.e., the vehicle) to the
통신부(135)는 서버(미도시)와 통신을 수행하는 것도 가능하다.The
사운드 출력부(136)는 음성 검색 모드 시 검색 결과를 사운드로 출력한다.The sound output unit 136 outputs the search result as a sound in the voice search mode.
사운드 출력부(136)는 내비게이션 기능 시 경로 및 주행 정보를 사운드로 출력하고, 사용자에 의해 선택된 음악, 영상의 사운드 등을 출력하는 것도 가능하다.In the navigation function, the sound output unit 136 outputs the path and running information as a sound, and outputs the music, image sound, and the like selected by the user.
1: 차량 130: 단말기
140: 소리 검출부 150: 음성인식 모듈
1: vehicle 130: terminal
140: sound detection unit 150: voice recognition module
Claims (25)
음성 인식 모드이면 제1 스레드를 이용하여 상기 제1데이터베이스의 제1정보를 로딩하고, 상기 제1스레드에 로딩된 제1정보를 이용하여 음성 인식을 수행하고, 상기 제1스레드를 이용하여 음성 인식 중 제2스레드를 이용하여 상기 제2데이터베이스의 제2정보를 로딩하고 상기 제2스레드에 로딩된 제2정보를 이용하여 음성 인식을 수행하고 상기 음성 인식에 대응하는 발화어를 인식하는 프로세서;
상기 음성 인식된 발화어를 표시하는 음성 인식 창과, 사용자에 의해 선택 가능하고 상기 음성 인식된 발화어에 대응하는 적어도 하나의 검색 결과 정보를 표시하는 검색 창을 갖는 표시부를 포함하고,
상기 프로세서는, 상기 제2스레드에 상기 제2정보의 로딩이 완료되기 전에 상기 제1 스레드에서 음성이 인식되면 상기 제2스레드의 제2정보의 로딩을 정지시키고 상기 제1스레드에서 음성이 미인식되면 상기 제2스레드의 제2정보의 로딩을 유지시키고, 상기 제2정보의 로딩이 완료되면 상기 제1스레드와 제2스레드를 이용하여 음성 인식을 수행하는 것을 포함하고,
상기 제1정보는, 미리 설정된 개수보다 적은 개수로 이루어진 제1단어를 포함하고,
상기 제2정보는, 상기 미리 설정된 개수 이상의 개수로 이루어진 제2단어를 포함하는 음성 인식 모듈.A database including a first database for storing first information and a second database for storing second information having a larger capacity than the first information;
The method comprising: loading first information of the first database using a first thread, performing voice recognition using first information loaded on the first thread, and performing voice recognition using the first thread, A processor for loading second information of the second database using a second thread and performing speech recognition using second information loaded on the second thread and recognizing a speech word corresponding to the speech recognition;
And a display unit having a speech recognition window for displaying the speech recognition speech word and a search window for displaying at least one search result information corresponding to the speech recognition word selectable by the user,
The processor stops loading of the second information of the second thread if the voice is recognized in the first thread before loading the second information into the second thread, Wherein the loading of the second information of the second thread is maintained while performing the voice recognition using the first thread and the second thread when the loading of the second information is completed,
Wherein the first information includes a first word made up of a number smaller than a predetermined number,
And the second information includes a second word made up of the predetermined number or more.
상기 제1정보는, 목적지의 단축어, 제어 명령어 및 복수의 기능에 각각 대응하는 기능 명칭어의 정보를 포함하고,
상기 제2정보는, 상기 복수의 기능을 각각 수행하기 위해 필요한 자료 정보를 포함하는 음성 인식 모듈.The method according to claim 1,
Wherein the first information includes information of a short name of a destination, a control command word, and a function name corresponding to each of a plurality of functions,
And the second information includes data information necessary for performing each of the plurality of functions.
소리를 수집하고 수집된 소리에 대응하는 신호를 상기 프로세서에 전송하는 소리 수집부를 더 포함하는 음성 인식 모듈.The method according to claim 1,
And a sound collecting unit for collecting sound and transmitting a signal corresponding to the collected sound to the processor.
외부에서 전송된 소리의 신호를 상기 프로세서에 전송하는 수신부를 더 포함하는 음성 인식 모듈.The method according to claim 1,
And a receiver for transmitting a signal of an externally transmitted sound to the processor.
소리의 신호를 저장하는 메모리부를 더 포함하는 음성 인식 모듈.The method according to claim 1,
And a memory unit for storing a signal of a sound.
음성 인식 모드의 동작 명령이 수신되면 제1 스레드 및 제 2 스레드를 생성하는 것을 더 포함하는 음성 인식 모듈.2. The apparatus of claim 1,
And generating a first thread and a second thread when an operation command of a voice recognition mode is received.
상기 음성 인식 모드의 동작 명령이 수신되면 상기 제1스레드를 이용하여 음성 인식을 위한 안내음의 출력을 수행하는 것을 포함하는 음성 인식 모듈. 8. The apparatus of claim 7,
And outputting a guidance sound for voice recognition using the first thread when an operation command of the voice recognition mode is received.
상기 소리의 신호에 기초하여 음성 인식을 수행하고 상기 음성 인식에 대응하는 발화어를 인식하는 음성 인식 모듈;
복수의 기능 중 어느 하나의 기능이 선택되면 상기 음성 인식의 정보에 기초하여 상기 어느 하나의 기능을 제어하는 제어부;
상기 음성 인식된 발화어를 표시하는 음성 인식 창과, 사용자에 의해 선택 가능하고 상기 음성 인식된 발화어에 대응하는 적어도 하나의 검색 결과 정보를 표시하는 검색 창을 갖는 표시부; 및
상기 어느 하나의 기능을 수행하는 부하부를 포함하고,
상기 음성 인식 모듈은,
상기 복수의 기능에 각각 대응하는 기능 명칭어, 각 기능의 복수의 제어 명령어, 지방자치 단체의 지역 명칭어 및 목적지의 단축어 중 적어도 하나의 정보를 저장하는 제1데이터베이스와, 시도구동별 주소의 하위 정보, 전화번호 정보, 음악 정보 및 영상 정보 중 적어도 하나의 정보를 저장하는 제2데이터베이스를 갖는 데이터베이스부와, 음성 인식 모드이면 제1 스레드를 이용하여 상기 제1데이터베이스의 정보를 로딩하고 상기 제1스레드에 로딩된 정보를 이용하여 음성 인식을 수행하고, 상기 제1스레드를 이용하여 음성 인식 중 제2스레드를 이용하여 제2데이터베이스의 정보를 로딩하고 상기 제2스레드에 로딩된 정보를 이용하여 음성 인식을 수행하는 프로세서를 포함하고,
상기 프로세서는, 상기 제2스레드에 정보의 로딩이 완료되기 전에 상기 제1 스레드에서 음성이 인식되면 상기 제2스레드의 로딩을 정지시키고, 상기 제1스레드에서 음성이 미인식되면 상기 제2스레드의 정보를 유지시키고, 상기 제2스레드의 정보 로딩이 완료되면 상기 제1스레드와 상기 제2스레드를 이용하여 음성 인식을 수행하는 것을 포함하는 단말기.A sound detection unit for detecting a sound and outputting a signal of the detected sound;
A speech recognition module that performs speech recognition based on the sound signal and recognizes a speech word corresponding to the speech recognition;
A control unit for controlling any one of the plurality of functions based on the information of the speech recognition when any one of the functions is selected;
A display unit having a speech recognition window for displaying the speech recognition speech words and a search window for displaying at least one search result information corresponding to the speech recognition word selected by the user; And
And a load unit that performs any one of the above functions,
Wherein the speech recognition module comprises:
A first database for storing at least one of a function name corresponding to each of the plurality of functions, a plurality of control commands for each function, a local name of the local government, and a shortcut of the destination, A first database for storing information of at least one of information, telephone number information, music information, and image information; and a second database for storing information of the first database using a first thread if the first mode is a voice recognition mode, The method of claim 1, further comprising: performing a voice recognition using information loaded on a thread; loading information of a second database using a second thread during speech recognition using the first thread; A processor for performing recognition,
The processor stops loading of the second thread if a voice is recognized in the first thread before loading of information into the second thread is completed and if the voice is not recognized in the first thread, And performing voice recognition using the first thread and the second thread when the information loading of the second thread is completed.
음성 인식 모드를 입력받는 입력부를 더 포함하는 단말기.10. The method of claim 9,
And an input unit for receiving the voice recognition mode.
적어도 하나의 단어를 포함하고,
상기 적어도 하나의 단어는 미리 설정된 개수보다 적은 개수로 이루어진 단어인 단말기.10. The method of claim 9, wherein the at least one information stored in the first database comprises:
Comprising at least one word,
Wherein the at least one word is a word of less than a predetermined number.
현재의 위치 정보를 수신하는 통신부를 더 포함하고,
상기 제어부는, 상기 어느 하나의 기능이 내비게이션 기능이면 상기 제2스레드에서 인식된 음성 인식의 정보에 대응하는 목적지를 확인하고, 상기 현재의 위치 정보에 기초하여 확인된 목적지까지의 경로를 탐색하는 것을 포함하는 단말기.10. The method of claim 9,
Further comprising a communication unit for receiving current position information,
Wherein the control unit checks a destination corresponding to the voice recognition information recognized by the second thread when any one of the functions is a navigation function and searches for a route to the confirmed destination based on the current location information Lt; / RTI >
음소별로 특징 벡터의 벡터열을 저장하는 음향 모델부를 더 포함하고,
상기 프로세서는, 상시 소리의 신호의 주파수 특성을 프레임 별로 계산하여 상기 소리의 신호에 포함된 특징 벡터를 추출하는 것을 더 포함하는 단말기.10. The method of claim 9,
And an acoustic model unit for storing vector strings of feature vectors for each phoneme,
Wherein the processor further calculates a frequency characteristic of a signal of a normal sound frame by frame and extracts a feature vector included in the sound signal.
상기 소리의 신호를 저장하는 메모리부를 더 포함하는 단말기.14. The speech recognition apparatus of claim 13,
And a memory unit for storing the sound signal.
상기 제1스레드는, 상기 음향 모델부 및 제1데이터베이스의 정보에 기초하여 음성 인식을 수행하고,
상기 제2스레드는, 상기 메모리부, 음향 모델부 및 제2데이터베이스의 정보에 기초하여 음성 인식을 수행하는 단말기.15. The method of claim 14,
Wherein the first thread performs speech recognition based on the information of the acoustic model part and the first database,
And the second thread performs speech recognition based on information of the memory unit, the acoustic model unit, and the second database.
음성 인식 모드의 동작 명령이 수신되면 제1 스레드 및 제 2 스레드를 생성하는 것을 더 포함하는 단말기.10. The apparatus of claim 9,
And generating a first thread and a second thread when an operation command of a voice recognition mode is received.
상기 음성 인식 모드의 동작 명령이 수신되면 상기 제1스레드를 이용하여 음성 인식을 위한 안내음의 출력을 수행하는 것을 포함하는 단말기. 17. The system of claim 16,
And outputting a guidance sound for voice recognition using the first thread when an operation command of the voice recognition mode is received.
상기 음성 인식 모듈은, 상기 제1 스레드에서 인식된 음성이 제어 명령어이면 상기 제어 명령어의 정보를 상기 제어부에 출력하고, 상기 제1 스레드에서 인식된 음성이 기능 명칭어이면 상기 기능 명칭어의 정보를 상기 제어부에 출력하고,
상기 제어부는, 상기 제어 명령어의 정보가 수신되면 상기 수신된 제어 명령어의 정보에 기초하여 어느 하나의 기능을 수행하는 부하부의 동작을 제어하고, 상기 기능 명칭어의 정보가 수신되면 상기 어느 하나의 기능을 수행하는 부하부의 동작을 정지시키고, 상기 수신된 기능 명칭어의 정보에 대응하는 부하부의 동작을 제어하는 것을 포함하는 단말기.10. The method of claim 9,
Wherein the voice recognition module outputs the control command information to the control unit if the voice recognized in the first thread is a control command word and outputs the information of the function name word if the voice recognized in the first thread is a function name word To the control unit,
Wherein the control unit controls an operation of a load unit that performs a function based on the information of the control command word when the information of the control command word is received and, when receiving the information of the function name word, And controlling the operation of the load unit corresponding to the information of the received function name word.
소리를 검출하고 검출된 소리의 신호를 출력하는 소리 검출부;
상기 소리의 신호에 기초하여 음성 인식을 수행하고 상기 음성 인식에 대응하는 발화어를 인식하는 음성 인식 모듈;
복수의 기능 중 내비게이션 기능이 선택되면 상기 위치 정보 및 상기 음성 인식의 정보에 기초하여 길 안내를 제어하는 제어부; 및
상기 음성 인식된 발화어를 표시하는 음성 인식 창과, 사용자에 의해 선택 가능하고 상기 음성 인식된 발화에 대응하는 적어도 하나의 검색 결과 정보를 표시하는 검색 창을 갖고, 상기 내비게이션 기능을 표시하는 표시부를 포함하고,
상기 음성 인식 모듈은,
상기 복수의 기능에 각각 대응하는 기능 명칭어, 각 기능의 복수의 제어 명령어, 지방자치 단체의 지역 명칭어 및 목적지의 단축어 중 적어도 하나의 정보를 저장하는 제1데이터베이스와, 시도구동별 주소의 하위 정보를 저장하는 제2데이터베이스를 갖는 데이터베이스부와,
음성 인식 모드이면 제1 스레드를 이용하여 상기 제1데이터베이스의 정보를 로딩하고 상기 제1스레드에 로딩된 정보를 이용하여 음성 인식을 수행하고, 상기 제1스레드를 이용하여 음성 인식 중 제2스레드를 이용하여 제2데이터베이스의 정보를 로딩하고, 상기 제2스레드 로딩된 정보를 이용하여 음성 인식을 수행하고, 인식된 음성의 정보를 상기 제어부에 출력하는 프로세서를 포함하고,
상기 프로세서는, 상기 제2스레드에서 정보의 로딩이 완료되기 전에 상기 제1스레드에서 음성이 인식되면 상기 제2스레드의 로딩을 정지시키고, 상기 제1스레드에서 음성이 미인식되면 상기 제2스레드의 정보 로딩을 유지시키고, 상기 제2스레드의 정보 로딩이 완료되면 상기 제1스레드와 상기 제2스레드를 이용하여 음성 인식을 수행하는 것을 포함하는 차량.A communication unit for receiving location information;
A sound detection unit for detecting a sound and outputting a signal of the detected sound;
A speech recognition module that performs speech recognition based on the sound signal and recognizes a speech word corresponding to the speech recognition;
A controller for controlling the guidance based on the position information and the voice recognition information when the navigation function is selected among the plurality of functions; And
And a display section for displaying the navigation function, the display section displaying a navigation function, the navigation section having a search window for displaying at least one search result information corresponding to the utterance recognized by the user, and,
Wherein the speech recognition module comprises:
A first database for storing at least one of a function name corresponding to each of the plurality of functions, a plurality of control commands for each function, a local name of the local government, and a shortcut of the destination, A database unit having a second database for storing information,
If the mode is the voice recognition mode, information of the first database is loaded using the first thread, voice recognition is performed using the information loaded in the first thread, and the second thread A processor for loading information of a second database using the second thread loaded information, performing speech recognition using the second thread loaded information, and outputting the recognized speech information to the controller,
The processor stops loading of the second thread if voice is recognized in the first thread before loading of information in the second thread is completed and if the voice is not recognized in the first thread, Maintaining information loading and performing speech recognition using the first thread and the second thread when the loading of information of the second thread is completed.
적어도 하나의 단어를 포함하고,
상기 적어도 하나의 단어는 미리 설정된 개수보다 적은 개수로 이루어진 단어인 차량.20. The method of claim 19, wherein the at least one information stored in the first database comprises:
Comprising at least one word,
Wherein the at least one word is less than a predetermined number.
위치 정보에 대응하는 주소의 정보를 로딩하는 차량.20. The system of claim 19, wherein the second thread of the processor comprises:
And loading information of the address corresponding to the position information.
상기 제2스레드에서 인식된 음성 인식의 정보에 대응하는 목적지를 확인하고, 상기 위치정보에 기초하여 확인된 목적지까지의 경로를 탐색하는 것을 포함하는 차량.20. The apparatus of claim 19,
Identifying a destination corresponding to the information of the speech recognition recognized in the second thread, and searching for a route to the identified destination based on the location information.
상기 음성 인식 모듈은, 음소별로 특징 벡터의 벡터열을 저장하는 음향 모델부와, 상기 소리의 신호를 저장하는 메모리부를 더 포함하고,
상기 프로세서는, 상시 소리의 신호의 주파수 특성을 프레임 별로 계산하여 상기 소리의 신호에 포함된 특징 벡터를 추출하는 것을 포함하는 차량.20. The method of claim 19,
The speech recognition module may further include an acoustic model unit for storing a vector sequence of feature vectors for each phoneme, and a memory unit for storing the sound signal,
Wherein the processor comprises: calculating frequency characteristics of a signal of a normal sound frame by frame and extracting a feature vector included in the sound signal.
상기 제1스레드는, 상기 음향 모델부 및 제1데이터베이스의 정보에 기초하여 음성 인식을 수행하고,
상기 제2스레드는, 상기 메모리부, 음향 모델부 및 제2데이터베이스의 정보에 기초하여 음성 인식을 수행하는 차량.24. The method of claim 23,
Wherein the first thread performs speech recognition based on the information of the acoustic model part and the first database,
And the second thread performs speech recognition based on information of the memory unit, the acoustic model unit, and the second database.
상기 복수의 기능을 수행하는 부하부를 더 포함하고,
상기 제어부는, 상기 제어 명령어의 정보가 수신되면 상기 수신된 제어 명령어의 정보에 기초하여 상기 내비게이션 기능의 동작을 제어하고, 상기 기능 명칭어의 정보가 수신되면 상기 내비게이션 기능을 정지 제어하고, 상기 수신된 기능 명칭어의 정보에 대응하는 부하부의 동작을 제어하는 것을 포함하는 차량.
20. The method of claim 19,
Further comprising a load unit that performs the plurality of functions,
Wherein the control unit controls the operation of the navigation function based on the information of the control command word when the information of the control command word is received and stops the navigation function when the information of the function name word is received, And controlling the operation of the load section corresponding to the information of the function name.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020150162539A KR101755308B1 (en) | 2015-11-19 | 2015-11-19 | Sound recognition module, Navigation apparatus having the same and vehicle having the same |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020150162539A KR101755308B1 (en) | 2015-11-19 | 2015-11-19 | Sound recognition module, Navigation apparatus having the same and vehicle having the same |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20170058664A KR20170058664A (en) | 2017-05-29 |
| KR101755308B1 true KR101755308B1 (en) | 2017-07-07 |
Family
ID=59053291
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020150162539A Active KR101755308B1 (en) | 2015-11-19 | 2015-11-19 | Sound recognition module, Navigation apparatus having the same and vehicle having the same |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR101755308B1 (en) |
Families Citing this family (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102531869B1 (en) * | 2017-11-22 | 2023-05-16 | 현대자동차주식회사 | Data processing device, vehicle having the data processing device, and method for controlling the vehicle |
| WO2020122274A1 (en) * | 2018-12-11 | 2020-06-18 | 엘지전자 주식회사 | Display device |
| KR102850632B1 (en) * | 2021-01-28 | 2025-08-27 | 삼성전자주식회사 | Electronic device, and method for performing shortcut command in electronic device |
| US11769489B2 (en) | 2021-01-28 | 2023-09-26 | Samsung Electronics Co., Ltd. | Electronic device and method for performing shortcut command in electronic device |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2015129672A (en) * | 2014-01-07 | 2015-07-16 | アルパイン株式会社 | Facility retrieval apparatus and method |
-
2015
- 2015-11-19 KR KR1020150162539A patent/KR101755308B1/en active Active
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2015129672A (en) * | 2014-01-07 | 2015-07-16 | アルパイン株式会社 | Facility retrieval apparatus and method |
Also Published As
| Publication number | Publication date |
|---|---|
| KR20170058664A (en) | 2017-05-29 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR101643560B1 (en) | Sound recognition apparatus, vehicle having the same and method thereof | |
| US10170111B2 (en) | Adaptive infotainment system based on vehicle surrounding and driver mood and/or behavior | |
| JP2907079B2 (en) | Navigation device, navigation method and automobile | |
| EP2045140A1 (en) | Adjustment of vehicular elements by speech control | |
| JP6604151B2 (en) | Speech recognition control system | |
| JPH09114489A (en) | Speech recognition device, speech recognition method, navigation device, navigation method and automobile | |
| JP2017090613A (en) | Voice recognition control system | |
| US20190228767A1 (en) | Speech recognition apparatus and method of controlling the same | |
| KR101755308B1 (en) | Sound recognition module, Navigation apparatus having the same and vehicle having the same | |
| JP2009251388A (en) | Native language utterance device | |
| JP2019100130A (en) | Vehicle control device and computer program | |
| KR101675312B1 (en) | Sound recognition apparatus, vehicle having the same and method thereof | |
| JP2018087871A (en) | Audio output device | |
| JP2947143B2 (en) | Voice recognition device and navigation device | |
| JP3677833B2 (en) | Navigation device, navigation method, and automobile | |
| KR101597528B1 (en) | Navigation apparatus and method thereof | |
| JP5037041B2 (en) | On-vehicle voice recognition device and voice command registration method | |
| KR101736105B1 (en) | Audio apparatus, vehicle having the same and method thereof | |
| JPH09114488A (en) | Speech recognition device, speech recognition method, navigation device, navigation method and automobile | |
| US12412576B2 (en) | Vehicle and control method thereof | |
| KR101614727B1 (en) | Navigation apparatus and method thereof | |
| JP2018087870A (en) | Voice output device | |
| JP4190735B2 (en) | Voice recognition method and apparatus, and navigation apparatus | |
| JP2009086132A (en) | Speech recognition device, navigation device provided with speech recognition device, electronic equipment provided with speech recognition device, speech recognition method, speech recognition program and recording medium | |
| US20230206918A1 (en) | Speech Recognition System and Method for Providing Speech Recognition Service |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A201 | Request for examination | ||
| PA0109 | Patent application |
Patent event code: PA01091R01D Comment text: Patent Application Patent event date: 20151119 |
|
| PA0201 | Request for examination | ||
| E902 | Notification of reason for refusal | ||
| PE0902 | Notice of grounds for rejection |
Comment text: Notification of reason for refusal Patent event date: 20161017 Patent event code: PE09021S01D |
|
| AMND | Amendment | ||
| E601 | Decision to refuse application | ||
| PE0601 | Decision on rejection of patent |
Patent event date: 20170421 Comment text: Decision to Refuse Application Patent event code: PE06012S01D Patent event date: 20161017 Comment text: Notification of reason for refusal Patent event code: PE06011S01I |
|
| AMND | Amendment | ||
| PX0901 | Re-examination |
Patent event code: PX09011S01I Patent event date: 20170421 Comment text: Decision to Refuse Application Patent event code: PX09012R01I Patent event date: 20161219 Comment text: Amendment to Specification, etc. |
|
| PG1501 | Laying open of application | ||
| PX0701 | Decision of registration after re-examination |
Patent event date: 20170622 Comment text: Decision to Grant Registration Patent event code: PX07013S01D Patent event date: 20170518 Comment text: Amendment to Specification, etc. Patent event code: PX07012R01I Patent event date: 20170421 Comment text: Decision to Refuse Application Patent event code: PX07011S01I Patent event date: 20161219 Comment text: Amendment to Specification, etc. Patent event code: PX07012R01I |
|
| X701 | Decision to grant (after re-examination) | ||
| GRNT | Written decision to grant | ||
| PR0701 | Registration of establishment |
Comment text: Registration of Establishment Patent event date: 20170703 Patent event code: PR07011E01D |
|
| PR1002 | Payment of registration fee |
Payment date: 20170704 End annual number: 3 Start annual number: 1 |
|
| PG1601 | Publication of registration | ||
| PR1001 | Payment of annual fee |
Payment date: 20200629 Start annual number: 4 End annual number: 4 |
|
| PR1001 | Payment of annual fee |
Payment date: 20210628 Start annual number: 5 End annual number: 5 |
|
| PR1001 | Payment of annual fee |
Payment date: 20220627 Start annual number: 6 End annual number: 6 |
|
| PR1001 | Payment of annual fee |
Payment date: 20230626 Start annual number: 7 End annual number: 7 |
|
| PR1001 | Payment of annual fee |
Payment date: 20240625 Start annual number: 8 End annual number: 8 |
|
| PR1001 | Payment of annual fee |
Payment date: 20250625 Start annual number: 9 End annual number: 9 |