KR102610871B1 - 청각장애인 음성언어훈련 시스템 - Google Patents

Abstract

개시되는 청각장애인 음성언어훈련 시스템은, 학습대상의 학습문자와 학습발음기관형상과 학습파형 및 학습주파수를 포함하는 학습대상정보가 저장되는 저장부; 상기 학습대상에 따른 상기 학습자의 언어 연습으로부터 상기 학습대상정보와 비교 가능한 연습정보를 생성하는 인식부; 상기 학습대상정보와 상기 연습정보 사이의 차이를 최소화하기 위한 교정정보를 생성하는 교정부; 및 상기 학습대상정보 및 상기 교정정보를 표시하는 표시부;를 포함한다.

Description

청각장애인 음성언어훈련 시스템{Speech Training System For Hearing Impaired Person}

본 발명(Disclosure)은, 청각장애인 음성언어훈련 시스템에 관한 것으로서, 구체적으로 언어 훈련에 임하는 청각장애인의 음성을 음파(sound wave)형태로 분석하고 또한 자모로 구성된 언어형태로 분석함으로써, 청각장애인의 학습 또는 훈련 효율을 극대화할 수 있는 청각장애인 음성언어훈련 시스템에 관한 것이다.

여기서는, 본 발명에 관한 배경기술이 제공되며, 이들이 반드시 공지기술을 의미하는 것은 아니다(This section provides background information related to the present disclosure which is not necessarily prior art).

청각장애인들이 일반인들과 의사소통하는 방법으로는, 독순술(lip reading) 또는 독화술(speech reading), 및 수어 또는 수화등이 이용된다.

그러나 이들 대부분은, 청각장애인의 입장에서 일반인들에게 의사를 전달하거나 일반인들의 의사전달 내용을 습득하기 위한 것이다.

즉, 일반인들이 청각장애인의 의사 전달 내용을 이해하는데는 한계가 있다.

이에 따라, 일반인들이 청각장애인과 의사소통하는데 어려움을 격을 뿐만 아니라, 긴밀한 대인관계를 가지기 어려운 문제점도 나타날 수 있다.

청각장애인은 기본적으로 청각기능이 일반인에 비해 현저히 떨어지거나 없는 신체적 핸디캡을 가진다.

그러나 많은 청각장애인은, 성대를 포함하는 발성기관이나, 혀를 포함하는 발음기관의 기능은 정상적인 경우가 많다.

발성 및 발음 기관의 기능이 정상인 청각장애인들은, 자신의 의사를 표현할 때 수화나 수어를 사용하면도 동시에, 부 정확하나마 스스로 음성 언어를 구사하는 경우가 많다.

그러나, 자신의 목소리로 발생되는 음성을 듣지 못하기 때문에, 음성의 높낮이는 물론이고, 발음되는 언어의 정확성을 판단할 수 없다.

따라서 발성과 발음을 스스로 교정하지 못하므로 일반인들에게는 부정확한 단어 또는 음절의 연속으로 들릴 수 있다.

또한 이러한 이유로, 머리로 생각한 정확한 발음을 위해 발성기관 이나 발음기관을 능숙하게 이용하는 방법을 쉽게 익히기도 힘든 경우가 많다.

이와 같이, 발성기관이나 발음기관을 이용하여 음성 언어 구사가 가능한 청각장애인들이 정확한 언어 구사 방법을 익히고 연습할 수 있는 방법에 대해, 많은 기술들이 소개되어왔다.

그러나, 이들 종래 기술들은 청각장애인들의 언어를 분석하는 방법에 대한 많은 연구를 바탕으로하고 있을 뿐, 실질적인 연습이나 학습 효율을 높일 수 있는 방법에 대한 고찰은 결여되어 있다.

1. 한국공개특허공보 제10-2011-0065276호

본 발명(Disclosure)은, 청각장애인의 언어훈련 및 연습 효율을 극대화 할 수 있는 청각장애인 음성언어훈련 시스템의 제공을 일 목적으로 한다.

여기서는, 본 발명의 전체적인 요약(Summary)이 제공되며, 이것이 본 발명의 외연을 제한하는 것으로 이해되어서는 아니 된다(This section provides a general summary of the disclosure and is not a comprehensive disclosure of its full scope or all of its features).

상기한 과제의 해결을 위해, 본 발명을 기술하는 여러 관점들 중 어느 일 관점(aspect)에 따른 청각장애인 음성언어훈련 시스템은, 학습대상의 학습문자와 학습발음기관형상과 학습파형 및 학습주파수를 포함하는 학습대상정보가 저장되는 저장부; 상기 학습대상에 따른 상기 학습자의 언어 연습으로부터 상기 학습대상정보와 비교 가능한 연습정보를 생성하는 인식부; 상기 학습대상정보와 상기 연습정보 사이의 차이를 최소화하기 위한 교정정보를 생성하는 교정부; 및 상기 학습대상정보 및 상기 교정정보를 표시하는 표시부;를 포함한다.

본 발명의 일 관점(aspect)에 따른 청각장애인 음성언어훈련 시스템에서, 상기 교정부는, 상기 학습자의 음성으로부터 연습파형과 연습주파수를 도출하고 상기 학습파형 및 상기 학습주파수와 각각 비교하여 상호간의 음성 매칭 적합도를 정량적 정보로 산출하는 음성분석유닛;을 포함하고, 상기 교정정보는, 상기 음성 매칭 적합도를 포함할 수 있다.

본 발명의 일 관점(aspect)에 따른 청각장애인 음성언어훈련 시스템에서 상기 교정정보는, 상기 학습파형 및 상기 학습주파수와 상기 연습파형 및 상기 연습주파수를 각각 비교하는 비교그래프;를 더 포함할 수 있다.

본 발명의 일 관점(aspect)에 따른 청각장애인 음성언어훈련 시스템에서 상기 교정부는, 반복되는 상기 학습자의 언어 연습으로부터 생성된 복수의 상기 음성 매칭 적합도를 분석하여 상기 음성 매칭 적합도가 상승하거나 하락함에 따라 상기 학습자의 언어 연습이 개선되는지 또는 악화되는지를 표시하는 음성매칭 추세정보를 생성하는 교정평가유닛;을 더 포함할 수 있다.

본 발명의 일 관점(aspect)에 따른 청각장애인 음성언어훈련 시스템 상기 교정부는, 상기 학습자의 음성으로부터 연습자모를 도출하고 상기 학습자모와 비교하여, 자모 매칭 적합도를 산출하는 자모분석유닛;을 더 포함하고, 상기 교정정보는, 상기 자모 매칭 적합도를 포함할 수 있다.

본 발명의 일 관점(aspect)에 따른 청각장애인 음성언어훈련 시스템에서 상기 교정부는, 상기 학습자가 상기 학습자모를 발음하는 입모양을 포함하는 연습발음기관형상을 생성하고, 상기 교정정보는, 상기 학습발음기관형상 및 상기 연습발음기관형상을 비교하는 비교영상을 포함할 수 있다.

본 발명의 일 관점(aspect)에 따른 청각장애인 음성언어훈련 시스템 상기 교정부는, 반복되는 상기 학습자의 언어 연습으로부터 생성된 복수의 상기 자모 매칭 적합도를 분석하여 상기 자모 매칭 적합도가 상승하거나 하락함에 따라 상기 학습자의 언어 연습이 개선되는지 또는 악화되는지를 표시하는 자모매칭 추세정보를 생성하는 교정평가유닛;을 더 포함할 수 있다.

본 발명에 따르면, 청각장애인들의 정확한 발음과 발성을 연습할수 있도록, 발성 및 발음을 포함하는 언어 구사 능력에 있어서 다양한 형태의 교정정보를 제공함으로써, 언어 구사 연습 및 학습의 효율을 극대화 할 수 있다.

도 1은 본 발명에 따른 청각장애인 음성언어훈련 시스템의 제1 실시형태를 보인도면.
도 2는 본 발명에 따른 청각장애인 음성언어훈련 시스템의 제2 실시형태를 보인 도면.
도 3은 본 발명에 따른 청각장애인 음성언어훈련 시스템의 제3 실시형태를 보인 도면.

이하, 본 발명에 따른 청각장애인 음성언어훈련 시스템을 구현한 실시형태를 도면을 참조하여 자세히 설명한다.

다만, 본 발명의 본질적인(intrinsic) 기술적 사상은 이하에서 설명되는 실시형태에 의해 그 실시 가능 형태가 제한된다고 할 수는 없고, 본 발명의 본질적인(intrinsic) 기술적 사상에 기초하여 통상의 기술자에 의해 이하에서 설명되는 실시형태를 치환 또는 변경의 방법으로 용이하게 제안될 수 있는 범위를 포섭함을 밝힌다.

또한, 이하에서 사용되는 용어는 설명의 편의를 위하여 선택한 것이므로, 본 발명의 본질적인(intrinsic) 기술적 사상을 파악하는 데 있어서, 사전적 의미에 제한되지 않고 본 발명의 기술적 사상에 부합되는 의미로 적절히 해석되어야 할 것이다.

도 1은 본 발명에 따른 청각장애인 음성언어훈련 시스템의 제1 실시형태를 보인도면이다.

도 1을 참조하면, 본 실시형태에 따른 청각장애인 음성언어훈련 시스템은, 저장부(100), 표시부(200), 인식부(300) 및 교정부(400)를 포함한다.

저장부(100)는, 학습대상의 학습문자와 학습발음기관형상과 학습파형 및 학습주파수를 포함하는 학습대상정보가 저장된다.

학습대상은, 청각장애인인 학습자(1)가 음성으로 소리내어 언어를 훈련하는 대상이다.

학습대상은, '학교', '선생님, '하늘'등 특정한 사물이나 호칭으로 구성되는 단어일 수도 있고, '아', '야', '어', '여', '가', '가', '거', '겨'와 같은 하나의 음절일 수도 있다. 또한, 음절 및 단어가 연속되는 문장일 수도 있다.

학습문자는 학습대상을 한글로 표기한 것으로서, 학습자(1)는 학습문자를 읽고 학습대상을 인지할 수 있다.

학습발음기관형상은, 상술한 학습문자를 음성으로 소리낼때, 발음기관의 형상을 도시한 이미지이다. 혀의 형상과 위치, 입술이나 입모양, 구강 내부의 모양 등이 포함될 수 있다.

학습자(1)는 학습발음기관형상을 통하여 이미지로 표현되는 발음기관의 형상을 따라하며 발성함으로써, 학습문자를 정상적으로 소리내기 위해 필요로 하는 발음기관의 사용방법을 익힐 수 있다.

이에 더하여 학습발음기관형상은, 발성기관에 대한 이미지 정보를 더 포함할 수 있다.

언어는 자음과 모음이 결합하여 구성되며 자음과 모음 각각은 발성기관과 발음기관의 유기적인 작동을 통하여 공기의 진동을 통해 음성으로 전파된다.

따라서, 정확한 언어학습을 위해서는 발음기관 뿐만 아니라 발성기관의 사용방법에 대해서도 연습하여, 학습자(1) 스스로 자신의 신체 움직임 방법을 체득하여야 한다.

학습파형은, 상술한 학습문자를 소리내어 읽을 때, 공기중으로 전파되는 음성의 진동파형이다. 이는 시간축에 따라 달라지는 진폭을 가진다.

학습주파수는 상술한 학습파형의 주파수 성분을 추출한 것으로서, 일반적으로 푸리에 변환을 통하여 얻을 수 있다.

학습발음기관형상, 학습파형, 학습주파수는 청각 및 언어 구사 능력이 정상적인 정상인이 학습문자를 소리내어 읽을 때 확보될 수 있다.

청각 및 언어 구사 능력이 정상적인 정상인은, 언어의 발성이나 발음관련 교육 이수자 또는, 관련 업계 종사자가 바람직하다.

예를 들어 아나운서와 성우와 같이, 한국어 읽기 능력이 우수하며 표준어를 구사할 수 있는 전문가가 적합하다.

인식부(300)는 학습대상에 따른 학습자의 언어 연습할 때 생성되는 시청각적표현(301)으로부터 학습대상정보와 비교 가능한 연습정보를 생성한다.

인식부(300)는 학습자가 학습문자를 소리내어 읽을 때, 학습자(1)의 음성이나 학습자의 입술모양으로부터 연습정보를 생성한다.

따라서 인식부(300)는, 학습자(1)의 음성을 녹음할 수 있는 음성녹음장치 및 학습자(1)의 얼굴모양이나 입술모양을 촬영하는 영상녹화장치를 포함하는 입력수단(320)을 가질수 있다.

교정부(400)는 학습대상정보와 연습정보 사이의 차이를 최소화하기 위한 교정정보를 생성하고, 표시부(200)를 통하여 표기한다.

표시부(200)는, 학습자(1)에게 학습대상정보 및 교정정보를 표시한다(201).

이때, 표시부(200)는 학습문자를 이용하여 학습대상을 가리킴으로써, 학습대상을 명확하게 학습자에게 인지시키는 것이 바람직하다.

이에 따라 학습자(1)는, 자신이 학습문자를 음성으로 소리내어 읽은 소리가, 학습대상정보, 즉 정상인이 학습문자를 소리내어 읽은 소리와 유사한지 정량적 정성적 정보로 전달받을 수 있다.

이는 학습자로 하여금 반복 연습을 통하여, 하나의 학습대상, 즉 하나의 학습문자를 정상인이 소리내어 말하는 것에 접근할 수 있으며, 연습 효과를 극대화 할 수 있다.

도 2는 본 발명에 따른 청각장애인 음성언어훈련 시스템의 제2 실시형태를 보인 도면이다.

도 2를 참조하면, 본 실시형태에 다른 청각장애인 음성언어훈련 시스템에서 교정부(400)는, 학습자의 음성으로부터 연습파형과 연습주파수를 도출하고 학습파형 및 학습주파수와 각각 비교하여 상호간의 음성 매칭 적합도를 정량적 정보로 산출하는 음성분석유닛(410)을 포함하고, 교정정보는 음성 매칭 적합도를 포함한다.

이때 교정정보는, 학습파형 및 학습주파수와 연습파형 및 연습주파수를 각각 비교하는 비교그래프를 더 포함할 수 있다.

학습파형과 연습파형을 비교하면, 학습자(1)는 자신이 소리내는 전체 시간동안에 어느 시점이 잘못되었는지 확인할 수 있다.

학습주파수와 연습주파수를 비교하면, 학습자(1)는 주파수의 높낮이, 즉 고음과 저음중 어느 부분이 잘못되었는지 알 수 있다.

특히 고음과 저음은, 한글 자음과 모음으로는 표시되지 않는다.

하지만 정상인이 청각장애인과 음성 언어로 의사소통할 때 고음과 저음의 조절이 안되면, 자음과 모음의 발음이 불확실한 경우보다 더욱 더 부자연스러움을 극명하게 느낄 수 있다.

무엇보다도, 음성 매칭 적합도를 학습자에게 알려줌으로써, 학습자(1)는 자신이 반복하는 연습과정에서 점진적으로 개선되는 상황인지, 아니면 더 악화되는 상황인인지를 정량적 정보로 확인할 수 있다.

음성 매칭 적합도는, 음성 및 기본 단어에 대한 통계적 음성 적합도(Stastical Voice Matching Ratio, SVMR)로서, 학습파형과 연습파형 각각의 포락선(envelope)이나, 학습주파수와 연습주파수의 주파수별 크기를 비교하여 산출할 수도 있다.

또는 학습발음기관형상과 학습자(1)의 입술모양으로부터 추출된 연습발음기관형상의 움직임을 비교함으로써, 일술모양 변화의 일치도를 이용하여 음성 매칭 적합도를 산출할 수도 있다.

도 2를 참조하면, 본 실시형태에 따른 청각장애인 음성언어훈련 시스템에서, 교정부(400)는, 학습자의 음성으로부터 연습자모를 도출하고 학습자모와 비교하여, 자모 매칭 적합도를 산출하는 자모분석유닛(420)을 더 포함하고, 이때, 교정정보는, 자모 매칭 적합도를 포함한다.

상술한 음성 매칭 적합도는, 정량적 정보로서, 정보의 높고 낮음이 명확하다. 학습자(1)는 자신이 소리내는 음성이 학습파형이나 학습주파수 또는 학습발음기관형상에 근접하는지 아닌지를 명확히 알 수 있다.

그러나, 상술한 음성 매칭 적합도는, 언어로서의 분석이 아니라 음성 즉, 음파로서의 분석 방법이고 결과물이다.

따라서, 학습자(1)는 자신이 언어 훈련함에도, 자신이 소리내는 음성을 음파로만 분석한 자료를 받음으로써, 실제 의사 소통에 필요한 발음의 정확도를 정확히 판단하기 어렵다.

즉, 학습대상이 "아"라고 한다면, 학습자(1)는 자신이 소리낸 음성이 "아"인지 "어" 인지 "와"인지 구분하기 어렵다.

이것을 단순한 음파분석을 통하여 산출된 음성 매칭 적합도로 산출하면, 다양한 정량적 정보를 제공할 수는 있으나, 학습자(1)가 소리낸 음성이 타인에게 어떤 소리 즉, 어떤 자모로 들리는지 명확히 알 수 없는 문제점이 있다.

본 실시형태에 따른 청각장애인 음성언어훈련 시스템에서는, 학습자(1)가, 자신이 소리낸 음성을 음파 자체로 분석한 음성 매칭 적합도 및, 자신이 소리낸 음성을 언어로 인식하여 정확한 언어, 즉 자모로 발음하였는지를 알려주는 자모 매칭 적합도를 동시에 피드백 받을 수 있다.

이때 교정부(400)는, 학습자(1)가 학습자모를 발음하는 입모양을 포함하는 연습발음기관형상을 생성하고, 교정정보는 학습발음기관형상 및 연습발음기관형상을 비교하는 비교영상을 포함한다.

즉 학습자(1)에게, 발음기관의 형상과 위치를 자음과 모음으로 구분하여, 본인의 발음기관의 움직임과 정상인의 발음기관의 움직임을 비교하여 제공함으로써, 언어훈련의 효과를 극대화 할 수 있다.

도 3은 본 발명에 따른 청각장애인 음성언어훈련 시스템의 제3 실시형태를 보인 도면이다.

본 실시형태에 따른 청각장애인 음성언어훈련 시스템에서 교정부(400)는, 음성매칭 추세정보 또는 자모매칭 추세정보중 적어도 어느 하나를 생성하는 교정평가유닛을 더 가질 수 있다.

음성매칭 추세정보는, 학습자의 언어 연습이 반복됨에 따라 생성된 복수의 음성 매칭 적합도를 분석하여 음성 매칭 적합도가 상승하거나 하락함에 따라 학습자의 언어 연습이 개선되는지 또는 악화되는지를 정량적 또는 정성적 정보로 표시한다.

자모매칭 추세정보는, 학습자의 언어 연습이 반복됨에 따라 생성된 복수의 자모 매칭 적합도를 분석하여 자모 매칭 적합도가 상승하거나 하락함에 따라 학습자의 언어 연습이 개선되는지 또는 악화되는지를 정량적 또는 정성적 정보로 표시한다.

이에 따라 장애인_은 스스로 정확한 발음, 발성 방법을 찾아가도록 자신의 발성, 발음기관의 제어방법을 체득할 수 있다.

Claims (7)

1. 학습대상의 학습문자와 학습발음기관형상과 학습파형 및 학습주파수를 포함하는 학습대상정보가 저장되는 저장부;
   상기 학습대상에 따른 학습자의 언어 연습으로부터 상기 학습대상정보와 비교 가능한 연습정보를 생성하는 인식부;
   상기 학습대상정보와 상기 연습정보 사이의 차이를 최소화하기 위한 교정정보를 생성하는 교정부; 및
   상기 학습대상정보 및 상기 교정정보를 표시하는 표시부;를 포함하고,
   상기 교정부는,
   상기 학습자의 음성으로부터 연습파형과 연습주파수를 도출하고 상기 학습파형 및 상기 학습주파수와 각각 비교하여 상호간의 음성 매칭 적합도를 정량적 정보로 산출하는 음성분석유닛;을 포함하고,
   상기 교정정보는,
   상기 음성 매칭 적합도와, 상기 학습파형 및 상기 학습주파수와 상기 연습파형 및 상기 연습주파수를 각각 비교하는 비교그래프;를 더 포함하고,
   상기 교정부는,
   반복되는 상기 학습자의 언어 연습으로부터 생성된 복수의 상기 음성 매칭 적합도를 분석하여 상기 음성 매칭 적합도가 상승하거나 하락함에 따라 상기 학습자의 언어 연습이 개선되는지 또는 악화되는지를 표시하는 음성매칭 추세정보를 생성하고, 반복되는 상기 학습자의 언어 연습으로부터 생성된 복수의 자모 매칭 적합도를 분석하여 상기 자모 매칭 적합도가 상승하거나 하락함에 따라 상기 학습자의 언어 연습이 개선되는지 또는 악화되는지를 표시하는 자모매칭 추세정보를 생성하는 교정평가유닛; 및
   상기 학습자의 음성으로부터 연습자모를 도출하고 학습문자와 비교하여, 자모 매칭 적합도를 산출하는 자모분석유닛;을 더 포함하고,
   상기 학습자가 상기 학습문자를 발음하는 입모양을 포함하는 연습발음기관형상을 생성하고,
   상기 교정정보는,
   상기 자모 매칭 적합도와, 상기 학습발음기관형상 및 상기 연습발음기관형상을 비교하는 비교영상을 포함하는 청각장애인 음성언어훈련 시스템.
2. 삭제
3. 삭제
4. 삭제
5. 삭제
6. 삭제
7. 삭제

Images