[go: up one dir, main page]

KR102405822B1 - 장애인과 비장애인의 의사소통을 위한 서비스 제공 방법 및 장치 - Google Patents

장애인과 비장애인의 의사소통을 위한 서비스 제공 방법 및 장치 Download PDF

Info

Publication number
KR102405822B1
KR102405822B1 KR1020210177619A KR20210177619A KR102405822B1 KR 102405822 B1 KR102405822 B1 KR 102405822B1 KR 1020210177619 A KR1020210177619 A KR 1020210177619A KR 20210177619 A KR20210177619 A KR 20210177619A KR 102405822 B1 KR102405822 B1 KR 102405822B1
Authority
KR
South Korea
Prior art keywords
input
sentence
category
server
disabled
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
KR1020210177619A
Other languages
English (en)
Inventor
이승안
Original Assignee
이승안
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 이승안 filed Critical 이승안
Priority to KR1020210177619A priority Critical patent/KR102405822B1/ko
Priority to KR1020220066881A priority patent/KR102456526B1/ko
Application granted granted Critical
Publication of KR102405822B1 publication Critical patent/KR102405822B1/ko
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G06Q50/22—Social work or social welfare, e.g. community support activities or counselling services
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/02—Feature extraction for speech recognition; Selection of recognition unit

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Business, Economics & Management (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Tourism & Hospitality (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • General Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Computational Linguistics (AREA)
  • Primary Health Care (AREA)
  • Human Resources & Organizations (AREA)
  • Marketing (AREA)
  • Economics (AREA)
  • Strategic Management (AREA)
  • Multimedia (AREA)
  • Acoustics & Sound (AREA)
  • General Business, Economics & Management (AREA)
  • General Engineering & Computer Science (AREA)
  • Child & Adolescent Psychology (AREA)
  • Educational Technology (AREA)
  • Educational Administration (AREA)
  • Information Transfer Between Computers (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

장애인과 비장애인의 의사소통을 위한 서비스 제공 서버는 사용자 단말로부터, 사용자의 음성 입력을 획득 및 저장할 수 있다. 서버는 상기 사용자 단말로부터, 상기 음성 입력에 매칭될 제1 문장 및 제2 문장에 대한 선택 입력을 획득하되, 상기 제1 문장은 제1 카테고리에 관련되고, 상기 제2 문장은 제2 카테고리에 관련될 수 있다. 서버는 상기 사용자 단말로부터, 상기 제1 카테고리를 선택하는 입력 및 상기 음성 입력을 획득할 수 있다. 서버는 상기 사용자 단말에게, 상기 제1 카테고리를 선택하는 입력 및 상기 음성 입력을 기초로 상기 제1 문장에 해당하는 음성 파일을 제공할 수 있다.

Description

장애인과 비장애인의 의사소통을 위한 서비스 제공 방법 및 장치{METHOD AND APPARATUS FOR PROVIDING SERVICE FOR COMMUNICATION BETWEEN DISABLED AND NON-DISABLED PEOPLE}
본 발명의 실시예들은 장애인과 비장애인의 의사소통을 위한 서비스 제공 서버 및 그 동작 방법에 대한 것이다.
기존 의사소통 보조기기에는 텍스트를 음성으로 표현하는 기술이 존재한다. 기존 소프트웨어는 텍스트의 음성화, 음성의 텍스트화를 지원하나 대부분 번역을 위한 것이라 내국인과의 사용시 사용이 불편하다.
기본적인 의사소통이 힘든 장애인들이 사람들과 상호작용하는 방법은 여러가지가 있다. 다만, 비장애인이 이를 인식하는 데 어려움이 있어 대체적인 의사소통 방식이 필요한 장애인, 언어를 구사하고 습득하는 능력이 부족한 사람 등은 동행하는 도우미의 도움을 받거나, 휴대폰 메모장을 이용해 문장을 전달하는 등의 방법을 사용하고 있다. 이 경우, 장애인들은 외출 시 반드시 보호자와 동행을 해야 하므로 독립적인 생활에 지장이 있고, 의사소통 시간이 지연되는 등 어려가지 문제점이 있다. 하지만, 아직 언어 장애나 지적장애 등을 가지고 있는 사람들을 위한 독립적인 언어 체계는 없는 상태이다.
이러한 한계점을 보완하기 위해 나온 것이 AAC(augmentative and alternative communication), 즉 보완/대체 의사소통이다. 따로 언어 체계가 있다거나, 형태가 있는 것은 아니지만, 말 운동장애나 뇌성마비, 지적장애 등을 가지고 있는 사람들이 자신의 의사를 상대방에게 전달하기 위해 말 대신 사용할 수 있는 다양한 방식의 의사소통을 의미한다.
AAC를 지원하는 스마트폰 애플리케이션들이 현재 존재한다. 대부분의 애플리케이션에서는 제공하는 기능은 식당, 병원 등에서 자주 쓰이는 단어나 서술어 위에 그림이 그려져 있고, 그 그림들을 조합시켜 문장으로 만들 수 있는 기능이다. 또한 문장을 입력하면 기계가 음성으로 변환을 해 주기도 한다. 다만, 이러한 기능들은 매우 한정적이고, 원하는 문장을 말할 때 그림을 선택하려면 시간이 오래 걸릴 뿐만 아니라, 원하는 바를 정확히 전달하기도 어렵게 된다. 따라서, 보다 향상되고 편리한 방법의 AAC 방법이 필요하다.
본 발명의 실시예들은, 장애인과 비장애인의 의사소통을 위한 서비스 제공 서버 및 그 동작 방법을 제공할 수 있다.
실시예들에서 이루고자 하는 기술적 과제들은 이상에서 언급한 사항들로 제한되지 않으며, 언급하지 않은 또 다른 기술적 과제들은 이하 설명할 다양한 실시예들로부터 당해 기술분야에서 통상의 지식을 가진 자에 의해 고려될 수 있다.
실시예들에 따르면, 적어도 하나의 서버에 의해 수행되는 장애인과 비장애인의 의사소통을 위한 서비스 제공 방법에 있어서, 사용자 단말로부터, 사용자의 음성 입력을 획득 및 저장하는 단계; 상기 사용자 단말로부터, 상기 음성 입력에 매칭될 제1 문장 및 제2 문장에 대한 선택 입력을 획득하되, 상기 제1 문장은 제1 카테고리에 관련되고, 상기 제2 문장은 제2 카테고리에 관련되는, 단계; 상기 사용자 단말로부터, 상기 제1 카테고리를 선택하는 입력 및 상기 음성 입력을 획득하는 단계; 및 상기 사용자 단말에게, 상기 제1 카테고리를 선택하는 입력 및 상기 음성 입력을 기초로 상기 제1 문장에 해당하는 음성 파일을 제공하는 단계를 포함할 수 있다.
여기서, 상기 서버가, 상기 사용자 단말로부터, 상기 제1 문장에 매칭될 제스처에 대한 영상 입력을 획득 및 저장하는 단계; 및 상기 사용자 단말로부터, 상기 영상 입력을 획득하는 단계를 더 포함하고, 상기 제1 문장에 해당하는 음성 파일을 제공하는 단계는, 상기 서버가, 상기 사용자 단말에게, 상기 제1 카테고리를 선택하는 입력, 상기 음성 입력, 및 상기 영상 입력을 기초로 상기 제1 문장에 해당하는 음성 파일을 제공하는 단계를 포함할 수 있다.
여기서, 상기 서버가, 상기 사용자 단말로부터, 상기 제2 카테고리를 선택하는 입력 및 상기 음성 입력과 상이한 입력을 획득하는 단계; 상기 사용자 단말로부터, 상기 제2 카테고리에 관련된 복수의 문장들 중에서 하나의 문장을 선택하는 입력을 획득하는 단계; 및 상기 사용자 단말에게, 상기 제2 카테고리에 관련된 복수의 문장들 중에서 선택된 상기 하나의 문장에 해당하는 음성 파일을 제공하는 단계를 더 포함할 수 있다.
여기서, 상기 제1 문장과 상기 제2 문장은 의미가 상이한 문장일 수 있다.
여기서, 상기 서버가, 소비자 단말에게, 상기 음성 입력, 상기 영상 입력, 상기 제1 문장, 상기 제2 문장, 상기 제1 카테고리, 및 상기 제2 카테고리의 매칭 관계에 관련된 제1 커스텀 언어 세트 정보를 제공하는 단계를 더 포함할 수 있다.
본 발명의 일 실시예는 장애인과 비장애인의 의사소통을 위한 서비스를 제공하는 서버에 있어서, 프로세서(processor); 송수신기(transceiver); 및 메모리(memory); 를 포함하고, 상기 프로세서는: 사용자 단말로부터, 사용자의 음성 입력을 획득 및 저장하고; 상기 사용자 단말로부터, 상기 음성 입력에 매칭될 제1 문장 및 제2 문장에 대한 선택 입력을 획득하되, 상기 제1 문장은 제1 카테고리에 관련되고, 상기 제2 문장은 제2 카테고리에 관련되고; 상기 사용자 단말로부터, 상기 제1 카테고리를 선택하는 입력 및 상기 음성 입력을 획득하고; 그리고 상기 사용자 단말에게, 상기 제1 카테고리를 선택하는 입력 및 상기 음성 입력을 기초로 상기 제1 문장에 해당하는 음성 파일을 제공하도록 설정될 수 있다.
여기서, 상기 프로세서는, 상기 사용자 단말로부터, 상기 제1 문장에 매칭될 제스처에 대한 영상 입력을 획득 및 저장하고; 그리고 상기 사용자 단말로부터, 상기 영상 입력을 획득하는 단계를 더 포함하고, 상기 서버가, 상기 사용자 단말에게, 상기 제1 카테고리를 선택하는 입력, 상기 음성 입력, 및 상기 영상 입력을 기초로 상기 제1 문장에 해당하는 음성 파일을 제공하도록 설정될 수 있다.
여기서, 상기 프로세서는, 상기 사용자 단말로부터, 상기 제2 카테고리를 선택하는 입력 및 상기 음성 입력과 상이한 입력을 획득하고; 상기 사용자 단말로부터, 상기 제2 카테고리에 관련된 복수의 문장들 중에서 하나의 문장을 선택하는 입력을 획득하고; 그리고 상기 사용자 단말에게, 상기 제2 카테고리에 관련된 복수의 문장들 중에서 선택된 상기 하나의 문장에 해당하는 음성 파일을 제공하도록 더 설정될 수 있다.
여기서, 상기 제1 문장과 상기 제2 문장은 의미가 상이한 문장일 수 있다.
여기서, 상기 프로세서는, 소비자 단말에게, 상기 음성 입력, 상기 영상 입력, 상기 제1 문장, 상기 제2 문장, 상기 제1 카테고리, 및 상기 제2 카테고리의 매칭 관계에 관련된 제1 커스텀 언어 세트 정보를 제공하도록 더 설정될 수 있다.
실시예들에 따르면, 사용자는 실제로 구사할 수 있는 단어나 문장이 많지 않더라도, 자신이 원하는 내용을 비장애인들에게 명확히 전달할 수 있다. 또한, 자신이 자신의 언어 체계를 직접 만들어 나갈 수 있기 때문에, 언어 체계를 습득하기가 용이하다. 거의 음성을 내기 어려운 사람들도, 하나의 음성만으로도 여러 의미를 전달할 수 있기 때문에 효과적인 의사소통이 가능하게 된다.
실시예들로부터 얻을 수 있는 효과들은 이상에서 언급된 효과들로 제한되지 않으며, 언급되지 않은 또 다른 효과들은 이하의 상세한 설명을 기반으로 당해 기술분야에서 통상의 지식을 가진 자에게 명확하게 도출되고 이해될 수 있다.
실시예들에 대한 이해를 돕기 위해 상세한 설명의 일부로 포함된, 첨부 도면은 다양한 실시예들을 제공하고, 상세한 설명과 함께 다양한 실시예들의 기술적 특징을 설명한다.
도 1은 본 발명의 일 실시예에 따른 장애인과 비장애인의 의사소통을 위한 서비스 제공 서버를 포함하는 시스템도이다.
도 2는 본 발명의 일 실시예에 따른 장애인과 비장애인의 의사소통을 위한 서비스를 제공하는 서버의 구성을 나타내는 블록도이다.
도 3은 장애인과 비장애인의 의사소통을 위한 서비스 제공 서버 동작 방법의 일 실시예를 도시한 도면이다.
도 4는 장애인과 비장애인의 의사소통을 위한 서비스 방법의 일 실시예에 따른 제1 커스텀 언어 세트를 도시한 도면이다.
도 5는 장애인과 비장애인의 의사소통을 위한 서비스 방법의 일 실시예에 따른 제2 커스텀 언어 세트를 도시한 도면이다.
이하의 실시예들은 실시예들의 구성요소들과 특징들을 소정 형태로 결합한 것들이다. 각 구성요소 또는 특징은 별도의 명시적 언급이 없는 한 선택적인 것으로 고려될 수 있다. 각 구성요소 또는 특징은 다른 구성요소나 특징과 결합되지 않은 형태로 실시될 수 있다. 또한, 일부 구성요소들 및/또는 특징들을 결합하여 다양한 실시예들을 구성할 수도 있다. 다양한 실시예들에서 설명되는 동작들의 순서는 변경될 수 있다. 어느 실시예의 일부 구성이나 특징은 다른 실시예에 포함될 수 있고, 또는 다른 실시예의 대응하는 구성 또는 특징과 교체될 수 있다.
도면에 대한 설명에서, 다양한 실시예들의 요지를 흐릴 수 있는 절차 또는 단계 등은 기술하지 않았으며, 당해 기술분야에서 통상의 지식을 가진 자의 수준에서 이해할 수 있을 정도의 절차 또는 단계는 또한 기술하지 아니하였다.
명세서 전체에서, 어떤 부분이 어떤 구성요소를 "포함(comprising 또는 including)"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다. 또한, 명세서에 기재된 "...부", "...기", "모듈" 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어나 소프트웨어 또는 하드웨어 및 소프트웨어의 결합으로 구현될 수 있다. 또한, "일(a 또는 an)", "하나(one)", "그(the)" 및 유사 관련어는 다양한 실시예들을 기술하는 문맥에 있어서(특히, 이하의 청구항의 문맥에서) 본 명세서에 달리 지시되거나 문맥에 의해 분명하게 반박되지 않는 한, 단수 및 복수 모두를 포함하는 의미로 사용될 수 있다.
이하, 다양한 실시예들에 따른 실시 형태를 첨부된 도면을 참조하여 상세하게 설명한다. 첨부된 도면과 함께 이하에 개시될 상세한 설명은 다양한 실시예들의 예시적인 실시형태를 설명하고자 하는 것이며, 유일한 실시형태를 나타내고자 하는 것이 아니다.
또한, 다양한 실시예들에서 사용되는 특정(特定) 용어들은 다양한 실시예들의 이해를 돕기 위해서 제공된 것이며, 이러한 특정 용어의 사용은 다양한 실시예들의 기술적 사상을 벗어나지 않는 범위에서 다른 형태로 변경될 수 있다.
도 1을 참조하면, 본 발명의 실시예에 따른　장애인과 비장애인의 의사소통을 위한 서비스 제공 방법은 PC(Personal Computer) 등과 같이 저장공간을 구비하고 인터넷에　연결될 수 있으며 휴대가 용이하지 않는 컴퓨팅 장치에서 수행되거나 스마트폰 등과 같이 휴대용 단말기에서 수행될 수 있다. 이때 상기　장애인과 비장애인의 의사소통을 위한 서비스 제공　방법은 상기 장애인과 비장애인의 의사소통을 위한 서비스 제공　방법이 구현된 어플리케이션(application)이 앱스토어(App store)등에서 다운되어 상기 휴대용 단말기에 설치된 후 실행될 수 있다.
그리고 상기 장애인과 비장애인의 의사소통을 위한 서비스 제공　방법은 CD(Compact Disc) 또는 USB(Universal Serial Bus) 메모리 등과 같은 기록매체에 기록된 상태에서 PC 등과 같은 컴퓨팅 장치에 삽입되어 상기 컴퓨팅 장치의 액세스 동작을 통해서 수행되거나 상기 기록매체로부터 컴퓨팅 장치의 저장공간에 저장된 후 컴퓨팅 장치의 액세스 동작을 통해서 수행될 수도 있다.
한편 상기 컴퓨팅 장치 또는 휴대용 단말기가 인터넷에　연결된 서버에 접속가능한 경우, 상기　장애인과 비장애인의 의사소통을 위한 서비스 제공　방법은 상기 컴퓨팅 장치 또는 휴대용 단말기의 요청에 따라 서버에서도 실행될 수 있다.
이하에서 상기　장애인과 비장애인의 의사소통을 위한 서비스 제공　방법이 실행되는 컴퓨팅 장치, 휴대용 단말기 또는 서버 등을 통칭하여 장애인과 비장애인의 의사소통을 위한 서비스 제공 장치라고 칭할 수 있다.
상기　장애인과 비장애인의 의사소통을 위한 서비스 제공 장치는 도 2에 예시된　장애인과 비장애인의 의사소통을 위한 서비스 제공　장치와 동일한 구성을 가질 수 있으며, 상기　장애인과 비장애인의 의사소통을 위한 서비스 제공　장치는 도 1에 도시된　장애인과 비장애인의 의사소통을 위한 서비스 제공　장치에 국한되지 않을 수 있다.
일 실시예에 따른 시스템은 사용자 단말(100, 110), 소비자 단말(120, 130), 및 장애인과 비장애인의 의사소통을 위한 서비스 제공 서버(200)(이하, 서버(200))를 포함할 수 있다. 네트워크는 인터넷 포털 사이트 서버, SNS 서버, 블로그를 운영하는 서버 등을 포함할 수 있다.
사용자 단말(100, 110), 소비자 단말(120, 130)은, 스마트폰, 태블릿 PC, PC, 스마트 TV, 휴대폰, PDA(personal digital assistant), 랩톱, 미디어 플레이어, 마이크로 서버, GPS(global positioning system) 장치, 전자책 단말기, 디지털방송용 단말기, 네비게이션, 키오스크, MP3 플레이어, 디지털 카메라, 가전기기, 카메라가 탑재된 디바이스 및 기타 모바일 또는 비모바일 컴퓨팅 장치일 수 있으나, 이에 제한되지 않는다. 또한, 사용자 단말(100, 110), 소비자 단말(120, 130)은 통신 기능 및 데이터 프로세싱 기능을 구비한 웨어러블 디바이스일 수 있다. 그러나, 이에 제한되지 않는다.
서버(200)는 사용자 단말(100, 110), 소비자 단말(120, 130)과, 네트워크를 통해 통신하여 명령, 코드, 파일, 컨텐츠, 서비스 등을 제공하는 컴퓨터 장치 또는 복수의 컴퓨터 장치들로 구현될 수 있다.
일례로, 서버(200)는 네트워크를 통해 접속한 사용자 단말(100, 110), 소비자 단말(120, 130)로 어플리케이션의 설치를 위한 파일을 제공할 수 있다. 이 경우 사용자 단말(100, 110), 소비자 단말(120, 130)은 서버(200)로부터 제공된 파일을 이용하여 어플리케이션을 설치할 수 있다.
또한, 사용자 단말(100, 110), 소비자 단말(120, 130)은 운영체제(Operating System, OS) 및 적어도 하나의 프로그램(일례로 브라우저나 설치된 어플리케이션)의 제어에 따라 서버(200)에 접속하여, 서버(200)가 제공하는 서비스나 컨텐츠를 제공받을 수 있다.
다른 예로, 서버(200)는 데이터 송수신을 위한 통신 세션을 설정하고, 설정된 통신 세션을 통해 사용자 단말(100, 110), 소비자 단말(120, 130) 간의 데이터 송수신을 라우팅할 수도 있다.
사용자 단말(100, 110), 소비자 단말(120, 130) 및 장애인과 비장애인의 의사소통을 위한 서비스 제공 서버(200)는 네트워크를 이용하여 통신을 수행할 수 있다. 예를 들어, 네트워크는 근거리 통신망(Local Area Network; LAN), 광역 통신망(Wide Area Network; WAN), 부가가치 통신망(Value Added Network; VAN), 이동 통신망(mobile radio communication network), 위성 통신망 및 이들의 상호 조합을 포함하며, 도 1에 도시된 각 네트워크 구성 주체가 서로 원활하게 통신을 할 수 있도록 하는 포괄적인 의미의 데이터 통신망이며, 유선 인터넷, 무선 인터넷 및 모바일 무선 통신망을 포함할 수 있다. 또한, 무선 통신은 예를 들어, 무선 랜(Wi-Fi), 블루투스, 블루투스 저 에너지(Bluetooth low energy), 지그비, WFD(Wi-Fi Direct), UWB(ultra wideband), 적외선 통신(IrDA, infrared Data Association), NFC(Near Field Communication) 등이 있을 수 있으나, 이에 한정되는 것은 아니다.
도 2는 본 발명의 일 실시예에 따른 장애인과 비장애인의 의사소통을 위한 서비스를 제공하는 서버의 구성을 나타내는 블록도이다.
도 2를 참조하면, 장애인과 비장애인의 의사소통을 위한 서비스를 제공하는 서버(200)(이하, 서버(200))는 통신부(210), 프로세서(220) 및 DB(230)를 포함할 수 있다. 도 2의 서버(200)에는 실시예와 관련된 구성요소들만이 도시되어 있다. 따라서, 도 2에 도시된 구성요소들 외에 다른 범용적인 구성요소들이 더 포함될 수 있음을 당해 기술분야의 통상의 기술자라면 이해할 수 있다.
통신부(210)는 단말들 간 유선/무선 통신을 하게 하는 하나 이상의 구성 요소를 포함할 수 있다. 예를 들어, 통신부(210)는, 근거리 통신부(미도시), 이동 통신부(미도시) 및 방송 수신부(미도시) 중 적어도 하나를 포함할 수 있다.
일례로, DB(230)와 같은 기록 장치에 저장된 프로그램 코드에 따라 생성한 요청이 통신부(210)의 제어에 따라 네트워크를 통해 단말로 전달될 수 있다. 역으로, 단말의 프로세서의 제어에 따라 제공되는 제어 신호나 명령, 컨텐츠, 파일 등이 네트워크를 거쳐 통신부(210)을 통해 서버(200)로 수신될 수 있다. 예를 들어, 통신부(210)를 통해 수신된 서버(200)의 제어 신호나 명령, 컨텐츠 및 파일 등은 프로세서(220)로 전달되거나 DB(230)로 전달되어 저장될 수 있다.
DB(230)는 서버(200) 내에서 처리되는 각종 데이터들을 저장하는 하드웨어로서, 프로세서(220)의 처리 및 제어를 위한 프로그램을 저장할 수 있다.
DB(230)는 DRAM(dynamic random access memory), SRAM(static random access memory) 등과 같은 RAM(random access memory), ROM(read-only memory), EEPROM(electrically erasable programmable read-only memory), CD-ROM, 블루레이 또는 다른 광학 디스크 스토리지, HDD(hard disk drive), SSD(solid state drive), 또는 플래시 메모리를 포함할 수 있다. DB(230)는 메모리라고 나타낼 수도 있다.
프로세서(220)는 서버(200)의 전반적인 동작을 제어한다. 예를 들어, 프로세서(220)는 DB(230)에 저장된 프로그램들을 실행함으로써, 입력부(미도시), 디스플레이(미도시), 통신부(210), DB(230) 등을 전반적으로 제어할 수 있다. 프로세서(220)는, DB(230)에 저장된 프로그램들을 실행함으로써, 외부 서버(200)의 동작을 제어할 수 있다.
통신부(210)는, 서버(200)가 다른 장치(미도시) 및 서버(미도시)와 통신을 하게 하는 하나 이상의 구성요소를 포함할 수 있다. 다른 장치(미도시)는 서버(200)와 같은 컴퓨팅 장치이거나, 센싱 장치일 수 있으나, 이에 제한되지 않는다. 통신부(210)는 네트워크를 통해, 다른 전자 장치로부터의 사용자 입력을 수신하거나, 외부 장치로부터 외부 장치에 저장된 데이터를 수신할 수 있다.
DB(230)는, 프로세서(220)의 처리 및 제어를 위한 프로그램을 저장할 수 있다. 예를 들어, DB(230)는 서비스 제공을 위한 인스트럭션(instruction)을 저장할 수 있다. 또한 DB(230)는 프로세서(220)에서 생성된 데이터를 저장할 수 있다. 예를 들어, DB(230)는 프로세서(220)가 제공하는 장애인과 비장애인의 의사소통을 위한 서비스와 관련된 정보를 저장할 수 있다. DB(230)는 서버(200)로 입력되거나 서버(200)로부터 출력되는 정보를 저장할 수도 있다.
프로세서(220)는 ASICs (application specific integrated circuits), DSPs(digital signal processors), DSPDs(digital signal processing devices), PLDs(programmable logic devices), FPGAs(field programmable gate arrays), 제어기(controllers), 마이크로 컨트롤러(micro-controllers), 마이크로 프로세서(microprocessors), 기타 기능 수행을 위한 전기적 유닛 중 적어도 하나를 이용하여 구현될 수 있다.
DB(230)는 프로세서(220)를 통해 실행되는 적어도 하나의 명령을 저장하고 있을 수 있다. 적어도 하나의 명령은 사용자 단말로부터, 사용자의 음성 입력을 획득 및 저장하고; 상기 사용자 단말로부터, 상기 음성 입력에 매칭될 제1 문장 및 제2 문장에 대한 선택 입력을 획득하되, 상기 제1 문장은 제1 카테고리에 관련되고, 상기 제2 문장은 제2 카테고리에 관련되고; 상기 사용자 단말로부터, 상기 제1 카테고리를 선택하는 입력 및 상기 음성 입력을 획득하고; 그리고 상기 사용자 단말에게, 상기 제1 카테고리를 선택하는 입력 및 상기 음성 입력을 기초로 상기 제1 문장에 해당하는 음성 파일을 제공하도록 설정될 수 있다.
여기서, 상기 적어도 하나의 명령은, 상기 사용자 단말로부터, 상기 제1 문장에 매칭될 제스처에 대한 영상 입력을 획득 및 저장하고; 그리고 상기 사용자 단말로부터, 상기 영상 입력을 획득하는 단계를 더 포함하고, 상기 서버가, 상기 사용자 단말에게, 상기 제1 카테고리를 선택하는 입력, 상기 음성 입력, 및 상기 영상 입력을 기초로 상기 제1 문장에 해당하는 음성 파일을 제공하도록 설정될 수 있다.
여기서, 상기 적어도 하나의 명령은, 상기 사용자 단말로부터, 상기 제2 카테고리를 선택하는 입력 및 상기 음성 입력과 상이한 입력을 획득하고; 상기 사용자 단말로부터, 상기 제2 카테고리에 관련된 복수의 문장들 중에서 하나의 문장을 선택하는 입력을 획득하고; 그리고 상기 사용자 단말에게, 상기 제2 카테고리에 관련된 복수의 문장들 중에서 선택된 상기 하나의 문장에 해당하는 음성 파일을 제공하도록 더 설정될 수 있다.
여기서, 상기 제1 문장과 상기 제2 문장은 의미가 상이한 문장일 수 있다.
여기서, 상기 적어도 하나의 명령은, 소비자 단말에게, 상기 음성 입력, 상기 영상 입력, 상기 제1 문장, 상기 제2 문장, 상기 제1 카테고리, 및 상기 제2 카테고리의 매칭 관계에 관련된 제1 커스텀 언어 세트 정보를 제공하도록 더 설정될 수 있다.
도 3은 장애인과 비장애인의 의사소통을 위한 서비스 제공 서버 동작 방법의 일 실시예를 도시한 도면이다.
도 3을 참조하면, 장애인과 비장애인의 의사소통을 위한 서비스 제공 서버(이하, 서버)는 사용자 음성 입력을 획득 및 저장할 수 있다(S300). 예를 들어, 서버는 사용자 단말로부터, 사용자의 음성 입력을 획득 및 저장할 수 있다.
서버는 장애인과 비장애인의 의사소통을 위한 서비스 제공의 트리거가 될 사용자의 음성 입력을 사용자 단말로부터 획득할 수 있다. 예를 들어, 서버는 사용자 단말로부터 특정 음성 입력을 반복적으로 획득할 수 있다. 서버는 사용자 단말로부터 음성 입력을 반복적으로 획득함으로써 상기 음성 입력에 대한 인식을 더 잘 수행할 수 있다. 예를 들어, 서버는 딥러닝 기술을 통해 음성 입력의 인식률을 향상시킬 수 있다. 서버는 사용자 단말로부터 획득한 음성 입력을 저장해 둘 수 있고, 저장해 둔 음성 입력과 동일 또는 유사하다고 인식할 수 있는 음성 입력을 구분할 수 있다.
서버는 음성 입력과 매칭될 문장 정보를 획득할 수 있다(S310). 예를 들어, 서버는 상기 사용자 단말로부터, 상기 음성 입력에 매칭될 제1 문장 및 제2 문장에 대한 선택 입력을 획득할 수 있다. 상기 제1 문장은 제1 카테고리에 관련되고, 상기 제2 문장은 제2 카테고리에 관련될 수 있다.
즉, 음성 입력에는 2개 이상의 문장이 매칭될 수 있다. 음성 입력에 2개 이상의 문장이 매칭되는 경우, 각 문장은 서로 다른 카테고리에 관련될 수 있다. 상기 제1 문장과 상기 제2 문장은 의미가 상이한 문장일 수 있다.
제1 문장은 제1 카테고리(예를 들어, 식당에서 쓰이는 문장)에 관련된 문장일 수 있다. 예를 들어, 제1 문장은 식당에서 쓰이는 문장으로, "이거 매운가요?", "물 좀 주세요", "1인분 추가할게요" 등의 문장일 수 있다.
제2 문장은 제2 카테고리(예를 들어, 옷가게에서 쓰이는 문장)에 관련된 문장일 수 있다. 예를 들어, 제2 문장은 옷가게에서 쓰이는 문장으로, "입어봐도 되나요?", "계산은 어디서 하나요?", "다른 사이즈 있나요?" 등의 문장일 수 있다.
서버는 문장과 매칭될 영상 입력을 획득할 수 있다(S320). 예를 들어, 서버는 상기 사용자 단말로부터, 상기 제1 문장에 매칭될 제스처에 대한 영상 입력을 획득 및 저장할 수 있다.
즉, 서버는 음성 입력과 함께 장애인과 비장애인의 의사소통을 위한 서비스 제공의 트리거가 될 영상 입력(즉, 제스처)을 사용자 단말로부터 획득할 수 있다. 예를 들어, 서버는 사용자 단말로부터 특정 영상 입력을 반복적으로 획득할 수 있다. 서버는 사용자 단말로부터 영상 입력을 반복적으로 획득함으로써 상기 영상 입력에 대한 인식을 더 잘 수행할 수 있다. 예를 들어, 서버는 딥러닝 기술을 통해 영상 입력의 인식률을 향상시킬 수 있다. 서버는 사용자 단말로부터 획득한 영상 입력을 저장해 둘 수 있고, 저장해 둔 영상 입력과 동일 또는 유사하다고 인식할 수 있는 영상 입력을 구분할 수 있다.
서버는 문장에 해당하는 음성 파일을 제공할 수 있다(S330). 예를 들어, 서버는 상기 사용자 단말로부터, 상기 제1 카테고리를 선택하는 입력 및 상기 음성 입력을 획득할 수 있다. 또한, 서버는 상기 사용자 단말로부터, 상기 영상 입력도 획득할 수 있다.
즉, 문장은 음성 입력에만 매칭될 수도 있고, 음성 입력 및 영상 입력과 같이 매칭될 수도 있다.
예를 들어, 문장이 음성 입력에만 매칭되는 경우, 서버는 사용자 단말로부터 카테고리를 선택하는 입력 및 음성 입력을 획득하면 사용자 단말에 문장에 해당하는 음성 파일을 제공할 수 있다.
예를 들어, 문장이 음성 입력 및 영상 입력에 매칭되는 경우, 서버는 사용자 단말로부터 카테고리를 선택하는 입력, 음성 입력 및 영상 입력을 획득하면 사용자 단말에 문장에 해당하는 음성 파일을 제공할 수 있다. 즉, 상기 서버가, 상기 사용자 단말에게, 상기 제1 카테고리를 선택하는 입력, 상기 음성 입력, 및 상기 영상 입력을 기초로 상기 제1 문장에 해당하는 음성 파일을 제공할 수 있다.
서버는 카테고리에 관련된 복수의 문장에 대한 선택지를 제공할 수 있다(S340). 예를 들어, 서버는 상기 사용자 단말로부터, 상기 제2 카테고리를 선택하는 입력 및 상기 음성 입력과 상이한 입력을 획득할 수 있다.
즉, 서버가 상기 사용자 단말로부터 카테고리를 선택하는 입력은 획득하였지만, 음성 입력 획득에 실패할 수 있다. 이 경우, 서버는 사용자 단말에 카테고리에 관련된 복수의 문장에 대한 선택지를 제공할 수 있다. 서버는 상기 사용자 단말로부터, 상기 제2 카테고리에 관련된 복수의 문장들 중에서 하나의 문장을 선택하는 입력을 획득할 수 있다.
서버는 선택 문장에 해당하는 음성 파일을 제공할 수 있다(S350). 예를 들어, 서버는 상기 사용자 단말에게, 상기 제2 카테고리에 관련된 복수의 문장들 중에서 선택된 상기 하나의 문장에 해당하는 음성 파일을 제공할 수 있다.
즉, 음성 입력의 획득에 실패한 서버는, 제2 카테고리에서 자주 쓰이는 문장들에 대한 선택지를 사용자 단말에 제공할 수 있고, 사용자 단말로부터 사용자가 처한 상황에 가장 적절한 문장에 대한 입력을 획득하면, 해당 문장에 대한 음성 파일을 사용자 단말에 제공할 수 있다.
서버는 커스텀 언어 세트 정보를 다른 사용자에게 제공할 수 있다(S360). 예를 들어, 서버는 소비자 단말에게, 상기 음성 입력, 상기 영상 입력, 상기 제1 문장, 상기 제2 문장, 상기 제1 카테고리, 및 상기 제2 카테고리의 매칭 관계에 관련된 제1 커스텀 언어 세트 정보를 제공할 수 있다.
예를 들어, 사용자는 자신이 생성한 커스텀 언어 세트 정보를 서버에 등록할 수 있고, 서버를 통해 자신이 등록한 커스텀 언어 세트 정보를 다른 사용자에게 판매할 수 있다. 즉, 장애인과 비장애인의 의사소통을 위한 서비스를 이용하는 사용자는 다른 사용자가 만들어 놓은 커스텀 언어 세트 정보를 구매하여 사용할 수 있다.
여기서, 소비자 단말은 장애인과 비장애인의 의사소통을 위한 서비스를 이용하는 사용자 중에서 다른 사용자가 만들어 놓은 커스텀 언어 세트 정보를 구매하여 사용하는 사용자의 단말을 지칭할 수 있다.
즉, 커스텀 언어 세트 정보는 음성 입력, 영상 입력, 문장들, 카테고리들에 대한 매칭관계를 포함하는 정보일 수 있다. 아래에서, 커스텀 언어 세트 정보에 대해 설명한다.
도 4는 장애인과 비장애인의 의사소통을 위한 서비스 방법의 일 실시예에 따른 제1 커스텀 언어 세트를 도시한 도면이다.
도 4를 참조하면, 제1 커스텀 언어 세트는 제1 음성, 제2 음성, 제3 음성을 포함할 수 있다.
예를 들어, 제1 음성에는 제1 카테고리의 제1 문장과 제2 카테고리의 제2 문장이 매칭될 수 있다. 서버는 제1 카테고리 선택 입력과 제1 음성을 획득하면, 제1 문장에 해당하는 음성 파일을 제공할 수 있다. 서버는 제2 카테고리 선택 입력과 제1 음성을 획득하면, 제2 문자에 해당하는 음성 파일을 제공할 수 있다.
예를 들어, 제2 음성에는 제2 카테고리의 제3, 제4, 제5 문장이 매칭될 수 있다. 여기서, 제3 문장에는 제1 제스처(즉, 제1 영상)가 매칭될 수 있고, 제4 문장에는 제2 제스처가 매칭될 수 있고, 제5 문장에는 제3 제스처가 매칭될 수 있다. 서버는 제2 카테고리 선택 입력과 제2 음성 및 제1 제스처를 획득하면, 제3 문장에 해당하는 음성 파일을 제공할 수 있다. 이 경우, 제2 카테고리 선택 입력과 제2 음성만을 획득하면, 서버는 제3 문장에 해당하는 음성 파일을 제공하지 않는다. 서버는 제2 카테고리 선택 입력과 제2 음성 및 제2 제스처를 획득하면, 제4 문장에 해당하는 음성 파일을 제공할 수 있다. 서버는 제2 카테고리 선택 입력과 제2 음성 및 제3 제스처를 획득하면 제5 문장에 해당하는 음성 파일을 제공할 수 있다.
예를 들어, 제3 음성에는 제1 카테고리의 제6 문장이 매칭될 수 있다. 즉, 하나의 음성에 하나의 문장만 매칭되는 것도 가능하다. 서버는 제1 카테고리 선택 입력과 제3 음성을 획득하면, 제6 문장에 해당하는 음성 파일을 제공할 수 있다.
다시 도 3을 참조하면, 서버는 대체 음성, 대체 영상 입력을 획득할 수 있다(S370). 예를 들어, 서버는 상기 소비자 단말로부터, 상기 커스텀 언어 세트 정보에서 상기 음성 입력을 대체할 대체 음성 입력을 획득 및 저장할 수 있다.
서버는 상기 소비자 단말로부터, 상기 커스텀 언어 세트 정보에서 상기 영상 입력을 대체할 대체 영상 입력을 획득 및 저장할 수 있다.
서버는 새로운 커스텀 언어 세트를 생성할 수 있다(S380). 예를 들어, 서버는 상기 대체 음성 입력 및 상기 대체 영상 입력을 기초로 제2 커스텀 언어 세트 정보를 생성할 수 있다. 아래에서, 대체 음성 및 대체 영상(즉, 대체 제스처)을 통해 새로운 커스텀 언어 세트 정보를 생성하는 방법에 대해 설명한다.
도 5는 장애인과 비장애인의 의사소통을 위한 서비스 방법의 일 실시예에 따른 제2 커스텀 언어 세트를 도시한 도면이다.
도 5를 참조하면, 제1 음성 내지 제3 음성이 제1 대체 음성 내지 제3 대체 음성으로 대체될 수 있다. 음성의 경우, 다른 사람의 음성이 등록되어 있으면 음색, 음량, 음의 높낮이 등이 다를 수 있기 때문에 자신의 음성을 사용하는 것이 바람직하다. 따라서, 커스텀 언어 세트를 구매한 사용자는 해당 커스텀 언어 세트에서 음성 부분을 자신의 음성으로 대체할 수 있다.
예를 들어, 사용자는 대체 음성 정보를 서버에 전송할 수 있고, 서버는 사용자 단말로부터 대체 음성 정보를 획득하면, 기존 커스텀 언어 세트의 음성을 대체 음성으로 대체할 수 있다.
또한, 제스처의 경우에도, 장애 때문에 동일한 제스처를 수행하기 어려운 케이스가 발생할 수 있기 때문에, 기존 제스처가 대체 제스처로 대체될 수 있다.
예를 들어, 사용자는 대체 영상 정보를 서버에 전송할 수 있고, 서버는 사용자 단말로부터 대체 영상 정보를 획득하면, 기존 커스텀 언어 세트의 영상(즉, 제스처)을 대체 영상으로 대체할 수 있다.
서버는 제1 카테고리 선택 입력과 제1 대체 음성을 획득하면, 제1 문장에 해당하는 음성 파일을 제공할 수 있다. 서버는 제2 카테고리 선택 입력과 제1 대체 음성을 획득하면, 제2 문자에 해당하는 음성 파일을 제공할 수 있다.
서버는 제2 카테고리 선택 입력과 제2 대체 음성 및 제1 대체 제스처를 획득하면, 제3 문장에 해당하는 음성 파일을 제공할 수 있다. 서버는 제2 카테고리 선택 입력과 제2 대체 음성 및 제2 대체 제스처를 획득하면, 제4 문장에 해당하는 음성 파일을 제공할 수 있다. 서버는 제2 카테고리 선택 입력과 제2 대체 음성 및 제3 대체 제스처를 획득하면 제5 문장에 해당하는 음성 파일을 제공할 수 있다.
서버는 제1 카테고리 선택 입력과 제3 대체 음성을 획득하면, 제6 문장에 해당하는 음성 파일을 제공할 수 있다.
도 3의 일례에 표시된 세부 단계 중 일부는 필수 단계가 아닐 수 있고, 생략될 수 있다. 도 3에 도시된 단계 외에 다른 단계가 추가될 수 있고, 상기 단계들의 순서는 달라질 수 있다. 상기 단계들 중 일부 단계가 독자적 기술적 의미를 가질 수 있다.
적어도 하나의 서버에 의해 수행되는 장애인과 비장애인의 의사소통을 위한 서비스를 제공하는 방법에 있어서, 사용자 단말로부터, 사용자의 음성 입력을 획득 및 저장하는 단계; 상기 사용자 단말로부터, 상기 음성 입력에 매칭될 제1 문장 및 제2 문장에 대한 선택 입력을 획득하되, 상기 제1 문장은 제1 카테고리에 관련되고, 상기 제2 문장은 제2 카테고리에 관련되는, 단계; 상기 사용자 단말로부터, 상기 제1 카테고리를 선택하는 입력 및 상기 음성 입력을 획득하는 단계; 및 상기 사용자 단말에게, 상기 제1 카테고리를 선택하는 입력 및 상기 음성 입력을 기초로 상기 제1 문장에 해당하는 음성 파일을 제공하는 단계를 포함할 수 있다.
여기서, 상기 서버가, 상기 사용자 단말로부터, 상기 제1 문장에 매칭될 제스처에 대한 영상 입력을 획득 및 저장하는 단계; 및 상기 사용자 단말로부터, 상기 영상 입력을 획득하는 단계를 더 포함하고, 상기 제1 문장에 해당하는 음성 파일을 제공하는 단계는, 상기 서버가, 상기 사용자 단말에게, 상기 제1 카테고리를 선택하는 입력, 상기 음성 입력, 및 상기 영상 입력을 기초로 상기 제1 문장에 해당하는 음성 파일을 제공할 수 있다.
여기서, 상기 서버가, 상기 사용자 단말로부터, 상기 제2 카테고리를 선택하는 입력 및 상기 음성 입력과 상이한 입력을 획득하는 단계; 상기 사용자 단말로부터, 상기 제2 카테고리에 관련된 복수의 문장들 중에서 하나의 문장을 선택하는 입력을 획득하는 단계; 및 상기 사용자 단말에게, 상기 제2 카테고리에 관련된 복수의 문장들 중에서 선택된 상기 하나의 문장에 해당하는 음성 파일을 제공하는 단계를 더 포함할 수 있다.
여기서, 상기 제1 문장과 상기 제2 문장은 의미가 상이한 문장일 수 있다.
여기서, 상기 서버가, 소비자 단말에게, 상기 음성 입력, 상기 영상 입력, 상기 제1 문장, 상기 제2 문장, 상기 제1 카테고리, 및 상기 제2 카테고리의 매칭 관계에 관련된 제1 커스텀 언어 세트 정보를 제공하는 단계를 더 포함할 수 있다.
여기서, 상기 서버가, 상기 소비자 단말로부터, 상기 커스텀 언어 세트 정보에서 상기 음성 입력을 대체할 대체 음성 입력을 획득 및 저장하는 단계; 상기 소비자 단말로부터, 상기 커스텀 언어 세트 정보에서 상기 영상 입력을 대체할 대체 영상 입력을 획득 및 저장하는 단계; 및 상기 대체 음성 입력 및 상기 대체 영상 입력을 기초로 제2 커스텀 언어 세트 정보를 생성하는 단계를 더 포함할 수 있다.
본 명세서의 실시예에 따른 동작은 컴퓨터로 읽을 수 있는 기록매체에 컴퓨터가 읽을 수 있는 프로그램 또는 코드로서 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록매체는 컴퓨터 시스템에 의해 읽힐 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다. 또한 컴퓨터가 읽을 수 있는 기록매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어 분산 방식으로 컴퓨터로 읽을 수 있는 프로그램 또는 코드가 저장되고 실행될 수 있다.
실시예가 소프트웨어로 구현될 때, 상술한 기법은 상술한 기능을 수행하는 모듈(과정, 기능 등)로 구현될 수 있다. 모듈은 메모리에 저장되고, 프로세서에 의해 실행될 수 있다. 메모리는 프로세서 내부 또는 외부에 있을 수 있고, 잘 알려진 다양한 수단으로 프로세서와 연결될 수 있다.
또한, 컴퓨터가 읽을 수 있는 기록매체는 롬(rom), 램(ram), 플래시 메모리(flash memory) 등과 같이 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치를 포함할 수 있다. 프로그램 명령은 컴파일러(compiler)에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터(interpreter) 등을 사용해서 컴퓨터에 의해 실행될 수 있는 고급 언어 코드를 포함할 수 있다.
본 발명의 일부 측면들은 장치의 문맥에서 설명되었으나, 그것은 상응하는 방법에 따른 설명 또한 나타낼 수 있고, 여기서 블록 또는 장치는 방법 단계 또는 방법 단계의 특징에 상응한다. 유사하게, 방법의 문맥에서 설명된 측면들은 또한 상응하는 블록 또는 아이템 또는 상응하는 장치의 특징으로 나타낼 수 있다. 방법 단계들의 몇몇 또는 전부는 예를 들어, 마이크로프로세서, 프로그램 가능한 컴퓨터 또는 전자 회로와 같은 하드웨어 장치에 의해(또는 이용하여) 수행될 수 있다. 몇몇의 실시예에서, 가장 중요한 방법 단계들의 하나 이상은 이와 같은 장치에 의해 수행될 수 있다.
실시예들에서, 프로그램 가능한 로직 장치(예를 들어, 필드 프로그래머블 게이트 어레이)가 여기서 설명된 방법들의 기능의 일부 또는 전부를 수행하기 위해 사용될 수 있다. 실시예들에서, 필드 프로그래머블 게이트 어레이는 여기서 설명된 방법들 중 하나를 수행하기 위한 마이크로프로세서와 함께 작동할 수 있다. 일반적으로, 방법들은 어떤 하드웨어 장치에 의해 수행되는 것이 바람직하다.
상술한 다양한 실시예들은 그 기술적 아이디어 및 필수적 특징을 벗어나지 않는 범위에서 다른 특정한 형태로 구체화될 수 있다. 따라서, 상기의 상세한 설명은 모든 면에서 제한적으로 해석되어서는 아니되고 예시적인 것으로 고려되어야 한다. 다양한 실시예들의 범위는 첨부된 청구항의 합리적 해석에 의해 결정되어야 하고, 다양한 실시예들의 등가적 범위 내에서의 모든 변경은 다양한 실시예들의 범위에 포함된다. 또한, 특허청구범위에서 명시적인 인용 관계가 있지 않은 청구항들을 결합하여 실시예를 구성하거나 출원 후의 보정에 의해 새로운 청구항으로 포함할 수 있다.

Claims (5)

  1. 적어도 하나의 서버에 의해 수행되는 장애인과 비장애인의 의사소통을 위한 서비스를 제공하는 방법에 있어서,
    사용자 단말로부터, 사용자의 음성 입력을 획득 및 저장하는 단계;
    상기 사용자 단말로부터, 상기 음성 입력에 매칭될 제1 문장 및 제2 문장에 대한 선택 입력을 획득하되, 상기 제1 문장은 제1 카테고리에 관련되고, 상기 제2 문장은 제2 카테고리에 관련되는, 단계;
    상기 사용자 단말로부터, 상기 제1 문장에 매칭될 제스처에 대한 영상 입력을 획득 및 저장하는 단계;
    상기 사용자 단말로부터, 상기 제1 카테고리를 선택하는 입력, 상기 영상 입력 및 상기 음성 입력을 획득하는 단계; 및
    상기 사용자 단말에게, 상기 제1 카테고리를 선택하는 입력, 상기 음성 입력, 및 상기 영상 입력을 기초로 상기 제1 문장에 해당하는 음성 파일을 제공하는 단계;
    상기 사용자 단말로부터, 상기 제2 카테고리를 선택하는 입력 및 상기 음성 입력과 상이한 입력을 획득하는 단계;
    상기 사용자 단말로부터, 상기 제2 카테고리에 관련된 복수의 문장들 중에서 하나의 문장을 선택하는 입력을 획득하는 단계;
    상기 사용자 단말에게, 상기 제2 카테고리에 관련된 복수의 문장들 중에서 선택된 상기 하나의 문장에 해당하는 음성 파일을 제공하는 단계;
    소비자 단말에게, 상기 음성 입력, 상기 영상 입력, 상기 제1 문장, 상기 제2 문장, 상기 제1 카테고리, 및 상기 제2 카테고리의 매칭 관계에 관련된 제1 커스텀 언어 세트 정보를 제공하는 단계;
    상기 소비자 단말로부터, 상기 제1 커스텀 언어 세트 정보에서 상기 음성 입력을 대체할 대체 음성 입력을 획득 및 저장하는 단계;
    상기 소비자 단말로부터, 상기 커스텀 언어 세트 정보에서 상기 영상 입력을 대체할 대체 영상 입력을 획득 및 저장하는 단계; 및
    상기 대체 음성 입력 및 상기 대체 영상 입력을 기초로 제2 커스텀 언어 세트 정보를 생성하는 단계를 포함하는,
    장애인과 비장애인의 의사소통을 위한 서비스 제공 방법.
  2. 삭제
  3. 삭제
  4. 청구항 1에 있어서,
    상기 제1 문장과 상기 제2 문장은 의미가 상이한 문장인,
    장애인과 비장애인의 의사소통을 위한 서비스 제공 방법.
  5. 삭제
KR1020210177619A 2021-12-13 2021-12-13 장애인과 비장애인의 의사소통을 위한 서비스 제공 방법 및 장치 Active KR102405822B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020210177619A KR102405822B1 (ko) 2021-12-13 2021-12-13 장애인과 비장애인의 의사소통을 위한 서비스 제공 방법 및 장치
KR1020220066881A KR102456526B1 (ko) 2021-12-13 2022-05-31 장애인을 위한 의사소통 보조 서비스 제공 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020210177619A KR102405822B1 (ko) 2021-12-13 2021-12-13 장애인과 비장애인의 의사소통을 위한 서비스 제공 방법 및 장치

Related Child Applications (1)

Application Number Title Priority Date Filing Date
KR1020220066881A Division KR102456526B1 (ko) 2021-12-13 2022-05-31 장애인을 위한 의사소통 보조 서비스 제공 방법

Publications (1)

Publication Number Publication Date
KR102405822B1 true KR102405822B1 (ko) 2022-06-07

Family

ID=81986951

Family Applications (2)

Application Number Title Priority Date Filing Date
KR1020210177619A Active KR102405822B1 (ko) 2021-12-13 2021-12-13 장애인과 비장애인의 의사소통을 위한 서비스 제공 방법 및 장치
KR1020220066881A Active KR102456526B1 (ko) 2021-12-13 2022-05-31 장애인을 위한 의사소통 보조 서비스 제공 방법

Family Applications After (1)

Application Number Title Priority Date Filing Date
KR1020220066881A Active KR102456526B1 (ko) 2021-12-13 2022-05-31 장애인을 위한 의사소통 보조 서비스 제공 방법

Country Status (1)

Country Link
KR (2) KR102405822B1 (ko)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20090065715A (ko) * 2007-12-18 2009-06-23 (주)트루시스템 언어 장애인용 대화 보조 장치
KR20150060348A (ko) * 2013-11-26 2015-06-03 한국전자통신연구원 장애인 사이의 의사소통 장치 및 방법
KR102036612B1 (ko) * 2019-06-20 2019-10-25 코액터스 주식회사 청각장애인 택시 운전기사와 승객 간의 의사소통을 돕는 시스템.

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20090065715A (ko) * 2007-12-18 2009-06-23 (주)트루시스템 언어 장애인용 대화 보조 장치
KR20150060348A (ko) * 2013-11-26 2015-06-03 한국전자통신연구원 장애인 사이의 의사소통 장치 및 방법
KR102036612B1 (ko) * 2019-06-20 2019-10-25 코액터스 주식회사 청각장애인 택시 운전기사와 승객 간의 의사소통을 돕는 시스템.

Also Published As

Publication number Publication date
KR102456526B1 (ko) 2022-10-19

Similar Documents

Publication Publication Date Title
US12099674B2 (en) Systems and methods for identifying a set of characters in a media file
US11900017B2 (en) Optimizing display engagement in action automation
EP3389044B1 (en) Management layer for multiple intelligent personal assistant services
US10827067B2 (en) Text-to-speech apparatus and method, browser, and user terminal
JP6744314B2 (ja) クラウドソーシングに基づいてデジタルパーソナルアシスタントのための言語理解分類子モデルを更新すること
CN110018735B (zh) 智能个人助理接口系统
JP6588637B2 (ja) 個別化されたエンティティ発音の学習
CA3158979C (en) Headless task completion within digital personal assistants
Gosnell et al. Using a clinical approach to answer “What communication apps should we use?”
US8768687B1 (en) Machine translation of indirect speech
JP2016519805A (ja) 複数のデバイス上でコンテンツを提供すること
US10249296B1 (en) Application discovery and selection in language-based systems
Higginbotham et al. The future of the android operating system for augmentative and alternative communication
US20190042185A1 (en) Flexible voice-based information retrieval system for virtual assistant
US12093707B2 (en) Action recipes for a crowdsourced digital assistant system
US11908467B1 (en) Dynamic voice search transitioning
US11056103B2 (en) Real-time utterance verification system and method thereof
Lojka et al. Multi-thread parallel speech recognition for mobile applications
KR102405822B1 (ko) 장애인과 비장애인의 의사소통을 위한 서비스 제공 방법 및 장치
JP2018511873A (ja) 検索サービス提供装置、方法及びコンピュータプログラム
KR102584324B1 (ko) 음성 인식 서비스 제공 방법 및 이를 위한 장치
US12010386B2 (en) System and method for providing digital graphics and associated audiobooks
US20210264910A1 (en) User-driven content generation for virtual assistant
TWI604435B (zh) Method and mobile device for customizing speech recognition results, computer-readable recording media
KR20150107066A (ko) 메신저 서비스 시스템, 그 시스템에서의 상용구를 이용한 메신저 서비스 방법 및 장치

Legal Events

Date Code Title Description
PA0109 Patent application

Patent event code: PA01091R01D

Comment text: Patent Application

Patent event date: 20211213

PA0201 Request for examination
PA0302 Request for accelerated examination

Patent event date: 20211214

Patent event code: PA03022R01D

Comment text: Request for Accelerated Examination

Patent event date: 20211213

Patent event code: PA03021R01I

Comment text: Patent Application

PE0902 Notice of grounds for rejection

Comment text: Notification of reason for refusal

Patent event date: 20220112

Patent event code: PE09021S01D

E701 Decision to grant or registration of patent right
PE0701 Decision of registration

Patent event code: PE07011S01D

Comment text: Decision to Grant Registration

Patent event date: 20220513

A107 Divisional application of patent
GRNT Written decision to grant
PA0107 Divisional application

Comment text: Divisional Application of Patent

Patent event date: 20220531

Patent event code: PA01071R01D

PR0701 Registration of establishment

Comment text: Registration of Establishment

Patent event date: 20220531

Patent event code: PR07011E01D

PR1002 Payment of registration fee

Payment date: 20220602

End annual number: 3

Start annual number: 1

PG1601 Publication of registration