[go: up one dir, main page]

KR101753064B1 - 스마트폰 기반의 보청기 - Google Patents

스마트폰 기반의 보청기 Download PDF

Info

Publication number
KR101753064B1
KR101753064B1 KR1020160153925A KR20160153925A KR101753064B1 KR 101753064 B1 KR101753064 B1 KR 101753064B1 KR 1020160153925 A KR1020160153925 A KR 1020160153925A KR 20160153925 A KR20160153925 A KR 20160153925A KR 101753064 B1 KR101753064 B1 KR 101753064B1
Authority
KR
South Korea
Prior art keywords
analog
smartphone
signal
data
interface unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
KR1020160153925A
Other languages
English (en)
Inventor
박홍준
조성은
성기환
이원철
노현규
목임수
Original Assignee
포항공과대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 포항공과대학교 산학협력단 filed Critical 포항공과대학교 산학협력단
Priority to KR1020160153925A priority Critical patent/KR101753064B1/ko
Application granted granted Critical
Publication of KR101753064B1 publication Critical patent/KR101753064B1/ko
Priority to PCT/KR2017/009320 priority patent/WO2018093019A1/ko
Priority to US16/462,145 priority patent/US10993046B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R25/00—Deaf-aid sets, i.e. electro-acoustic or electro-mechanical hearing aids; Electric tinnitus maskers providing an auditory perception
    • H04R25/55—Deaf-aid sets, i.e. electro-acoustic or electro-mechanical hearing aids; Electric tinnitus maskers providing an auditory perception using an external connection, either wireless or wired
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R25/00—Deaf-aid sets, i.e. electro-acoustic or electro-mechanical hearing aids; Electric tinnitus maskers providing an auditory perception
    • H04R25/40—Arrangements for obtaining a desired directivity characteristic
    • H04R25/405—Arrangements for obtaining a desired directivity characteristic by combining a plurality of transducers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R1/00—Details of transducers, loudspeakers or microphones
    • H04R1/20—Arrangements for obtaining desired frequency or directional characteristics
    • H04R1/32—Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only
    • H04R1/40—Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only by combining a number of identical transducers
    • H04R1/406—Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only by combining a number of identical transducers microphones
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/02—Constructional features of telephone sets
    • H04M1/0202—Portable telephone sets, e.g. cordless phones, mobile phones or bar type handsets
    • H04M1/026—Details of the structure or mounting of specific components
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/60—Substation equipment, e.g. for use by subscribers including speech amplifiers
    • H04M1/6033—Substation equipment, e.g. for use by subscribers including speech amplifiers for providing handsfree use or a loudspeaker mode in telephone sets
    • H04M1/6041—Portable telephones adapted for handsfree use
    • H04M1/6058—Portable telephones adapted for handsfree use involving the use of a headset accessory device connected to the portable telephone
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/72—Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724—User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72403—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality
    • H04M1/72409—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality by interfacing with external accessories
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/72—Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/725—Cordless telephones
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R25/00—Deaf-aid sets, i.e. electro-acoustic or electro-mechanical hearing aids; Electric tinnitus maskers providing an auditory perception
    • H04R25/04—Deaf-aid sets, i.e. electro-acoustic or electro-mechanical hearing aids; Electric tinnitus maskers providing an auditory perception comprising pocket amplifiers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R25/00—Deaf-aid sets, i.e. electro-acoustic or electro-mechanical hearing aids; Electric tinnitus maskers providing an auditory perception
    • H04R25/40—Arrangements for obtaining a desired directivity characteristic
    • H04R25/407—Circuits for combining signals of a plurality of transducers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R25/00—Deaf-aid sets, i.e. electro-acoustic or electro-mechanical hearing aids; Electric tinnitus maskers providing an auditory perception
    • H04R25/50—Customised settings for obtaining desired overall acoustical characteristics
    • H04R25/505—Customised settings for obtaining desired overall acoustical characteristics using digital signal processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R25/00—Deaf-aid sets, i.e. electro-acoustic or electro-mechanical hearing aids; Electric tinnitus maskers providing an auditory perception
    • H04R25/55—Deaf-aid sets, i.e. electro-acoustic or electro-mechanical hearing aids; Electric tinnitus maskers providing an auditory perception using an external connection, either wireless or wired
    • H04R25/558—Remote control, e.g. of amplification, frequency
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R3/00—Circuits for transducers, loudspeakers or microphones
    • H04R3/005—Circuits for transducers, loudspeakers or microphones for combining the signals of two or more microphones
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F13/00—Interconnection of, or transfer of information or other signals between, memories, input/output devices or central processing units
    • G06F13/10—Program control for peripheral devices
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F13/00—Interconnection of, or transfer of information or other signals between, memories, input/output devices or central processing units
    • G06F13/38—Information transfer, e.g. on bus
    • G06F13/382—Information transfer, e.g. on bus using universal interface adapter
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F5/00—Methods or arrangements for data conversion without changing the order or content of the data handled
    • G06F5/06—Methods or arrangements for data conversion without changing the order or content of the data handled for changing the speed of data flow, i.e. speed regularising or timing, e.g. delay lines, FIFO buffers; over- or underrun control therefor
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2225/00—Details of deaf aids covered by H04R25/00, not provided for in any of its subgroups
    • H04R2225/55—Communication between hearing aids and external devices via a network for data exchange
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2499/00—Aspects covered by H04R or H04S not otherwise provided for in their subgroups
    • H04R2499/10—General applications
    • H04R2499/11—Transducers incorporated or for use in hand-held devices, e.g. mobile phones, PDA's, camera's

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • Otolaryngology (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • General Health & Medical Sciences (AREA)
  • Neurosurgery (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Human Computer Interaction (AREA)
  • Circuit For Audible Band Transducer (AREA)

Abstract

본 발명은 별도의 전원장치나 디지털 신호처리 장치를 사용하지 아니하고 한 개의 집적회로 칩으로 구성된 아날로그 인터페이스 부를 복수 개의 마이크로폰과 스마트폰 사이에 연결함으로써 크기를 소형화 할 수 있고 비용을 절감시키면서도 오디오 성능을 향상시킬 수 있는 스마트폰 기반의 보청기에 관한 것이다.
본 발명에 따른 스마트폰 기반의 보청기는, 기존의 보청기 또는 개인음향증폭기에 필수적으로 사용되는 디지털 신호처리 칩을 사용하지 않는 대신 스마트폰에 내장된 응용프로세서(AP), 램(RAM), 디지털-아날로그 변환기, 스피커 및 디스플레이 등의 구성요소를 활용함으로써 가격이 저렴한 장점이 있다. 특히, 스마트폰의 응용프로세서에 내장된 CPU와 GPU를 활용하면 소프트웨어 만을 사용하여 보청기 동작에 필요한 디지털 신호처리를 밀리세컨드(ms) 단위의 빠른 시간 안에 처리할 수 있다.

Description

스마트폰 기반의 보청기 {Smartphone-based hearing aids}
본 발명은 보청기에 관한 것으로, 더욱 상세하게는 별도의 전원장치나 디지털 신호처리 장치를 사용하지 아니하고 한 개의 집적회로 칩으로 구성된 아날로그 인터페이스 부를 복수 개의 마이크로폰과 스마트폰 사이에 연결함으로써 크기를 소형화 할 수 있고 비용을 절감시키면서도 오디오 성능을 향상시킬 수 있는 스마트폰 기반의 보청기에 관한 것이다.
최근 많이 사용되는 디지털 보청기(digital hearing aids)는 보통 두 개의 마이크로폰과, 아날로그 증폭기와 아날로그-디지털 변환기와 디지털 신호처리기(DSP: digital signal processor)가 한 개의 칩에 내장된 한 개의 신호처리 칩과, 배터리 및 스피커로 구성된다.
보청기 사용자는 보통 자신이 보청기를 사용하는 사실을 다른 사람이 잘 알아채지 못하게 하는 것을 선호하므로, 최근 보청기는 사용자의 귀 속 깊숙이 위치하고 그 크기가 자꾸 줄어드는 추세에 있다. 보청기 안에는 배터리가 내장되는데, 보청기 크기가 줄어듦에 따라 보청기에 내장되는 배터리 크기와 용량도 작아지므로 보청기 신호처리 칩의 전력소모도 작아져야 한다. 따라서 보청기 크기가 줄어들수록 보청기에서 고성능 신호처리를 실행하기가 점차 어렵게 된다.
또한, 최근 보청기는 한 개의 평균단가가 US$2,300을 넘어서고 양쪽 귀에 사용할 경우는 그 두 배가 된다. 이처럼 보청기 가격이 비싸기 때문에 나이가 들어 귀가 잘 안 들려도 보청기를 사용하지 못하는 사람이 많다. 2014년도부터 비교적 간단한 보청기 기능을 하면서 가격이 기존 보청기의 10분의 1 정도인 개인음향증폭기(PSAPs: personal sound amplification products) 제품이 많이 출시되었으나, 청력이 정상인 사람에게만 판매해야 한다는 미국 FDA(food and drug administration) 규제에 묶여서 활발하게 판매되지 못하였다.
최근 미국에서 베이비 부머 세대들이 60대에 진입하여 비교적 값싼 보청기에 대한 수요가 크게 증대함에 따라, 2015년 10월에 대통령과학기술자문위원회(PCAST: President's council of advisors on science and technology)에서 성능 좋은 보청기를 사용자가 값싸고 쉽게 구입할 수 있도록 하기 위해, 청각사(audiologist)를 통해서만 구입할 수 있는 현재의 값비싼 보청기외에 온라인이나 일반 가게에서 쉽게 구입할 수 있는 청각보조기 제품군을 만들 것과 청력이 정상인 사람에게만 개인음향증폭기 제품을 판매해야 하는 FDA 규제를 철회할 것을 권고하였다. 이에 따라, 미국의 기존 보청기 회사인 스타키(Starkey)에서 개인음향증폭기 사업을 시작하였고, 개인음향증폭기에 관한 관심이 크게 증가하고 있다. 개인음향증폭기와 보청기는 거의 동일한 기술을 사용하므로, 본 발명에서는 보청기와 개인음향증폭기를 통칭하여 보청기라 부른다.
스마트폰은 마이크로폰, 스피커, 오디오 입출력 신호처리 기능을 모두 갖춘 오디오 코덱(codec: coder decoder) 칩, 중앙처리장치(CPU: central processing unit)와 그래픽처리장치(GPU: graphic processing unit)를 내장하는 응용프로세서(application processor:이하 'AP'라 한다.) 칩을 포함하여, 보청기 동작에 필요한 모든 구성소자를 내장하고 있다. 따라서, 상기 AP가 보청기 동작에 필요한 디지털 신호처리를 수행하게 하면 스마트폰을 보청기 대체품으로 사용할 수 있다. 특히, 상기 AP에서 CPU는 비교적 복잡한 결정을 하는 알고리즘을 담당하고 GPU는 비교적 단순하지만 반복 계산이 많은 병렬처리를 담당하게 함으로써 계산 속도를 크게 향상시킬 수 있다.
즉, GPU를 CPU의 보조프로세서(co-processor)로 활용함으로써 본 발명에 따른 보청기의 동작에 필요한 디지털 신호처리에 걸리는 시간을 크게 감소시킬 수 있다. 상기 보청기 동작에 필요한 디지털 신호처리는 빔포밍(beam forming), 필터뱅크 분리(filter bank separation), 출력진폭압축(wide dynamic range compression), 주파수 이퀄라이제이션(frequency equalization)을 포함한다.
그런데 스마트폰은, 내장하는 마이크로폰 개수가 보통 2개 또는 3개 정도로 제약되어 빔포밍 등의 고성능 신호처리를 적용하여도 출력되는 음향신호의 품질이 제한되고, 상기 마이크로폰에 수신된 음향신호가 스마트폰을 거쳐 스마트폰에 내장된 스피커까지 도달하기까지의 지연시간이 긴 단점 때문에, 직접 보청기 대체품으로 사용하기가 어렵다.
마이크로폰으로부터 스마트폰을 통하여 스피커까지 도달하는 지연시간이 길면, 스마트폰을 통하지 않고 직접 사용자의 귀로 전달되는 음향신호와 상기 스마트폰을 통하여 귀로 전달되는 음향신호의 지연시간 차이로 인한 간섭현상 때문에 음향신호의 품질이 나빠지고 상기 스마트폰을 통하여 귀로 전달되는 소리와 상대방의 입술 모양 변화가 시간적으로 서로 일치하지 않아 사용자가 불편함을 느끼게 된다. 최근 디지털 보청기에서는, 보청기에 부착된 마이크로폰에 음향신호가 입력된 시각으로부터 보청기 회로를 거쳐 보청기의 스피커로 출력되는 시각까지의 지연시간을 보통 최대 10ms 이내로 유지한다. 여기서 ms는 밀리 초(milli sec)를 나타내는 단위로 1천분의 1초에 해당한다.
최신 안드로이드 스마트폰에서 상기 지연시간이 200ms 이상인 경우가 많은데, 그 이유는 다음과 같다. 스마트폰은, 오디오 데이터를 입력 또는 출력하면서 응용프로세서의 동작을 방해하는 것을 최소화하기 위해, 오디오 데이터를 일정 단위만큼 모은 후에 응용프로세서나 오디오 코덱이 한 번씩 처리한다. 스마트폰의 오디오 데이터 처리단위는 스마트폰에서 응용프로세서나 오디오 코덱이 한 번에 처리하는 오디오 신호의 샘플 개수로 64, 128, 256, 512, 1024, 240, 480, 960, 1920 등 매우 다양하다. 스마트폰에서 사용하는 오디오 신호의 샘플속도는 44.1kS/sec 또는 48.0kS/sec 인데, 샘플속도가 48.0kS/sec이고 오디오 데이터 처리단위가 240개의 샘플이면 스마트폰이 5ms 동안 오디오 데이터를 모았다가 5ms마다 한 번씩 응용프로세서가 상기 오디오 데이터를 스마트폰에 내장된 오디오 코덱에 보내어 처리한다.
상기 오디오 데이터 처리단위의 값이 클수록 마이크로폰에 수신된 시각부터 스피커에 출력되기까지의 지연시간(latency)이 증가하는데 이는 입출력 데이터 버퍼에서의 대기시간 때문이다. 상기 48.0kS/sec의 샘플속도와 오디오 데이터 처리단위가 240개의 샘플인 경우에, 입출력 데이터 버퍼에서의 대기시간은 최대 10ms인데, 상기 대기시간은 다음과 같이 계산된다. 오디오 신호가 마이크로폰에 입력되어 오디오 코덱 칩에서 증폭되고 디지털 신호로 변환된 후에 오디오 코덱의 입력데이터 버퍼에 240개의 샘플이 다 차도록 최대 5ms 동안 기다려야 하고, 오디오 신호가 스마트폰에서 신호처리되어 스마트폰의 RAM(random access memory)에 저장된 후에 스피커로 출력하기 위해 240개의 샘플에 해당하는 데이터를 한 번에 오디오 코덱의 출력데이터 버퍼에 보내어 저장하기 위해 최대 5ms 동안 더 기다려야 한다.
따라서, 샘플속도가 48kS/sec이고 오디오 데이터 처리단위가 240개의 샘플인 경우에, 마이크로폰으로부터 스마트폰을 통하여 스피커로 출력되기까지의 최대 지연시간은 상기 입출력 데이터 버퍼 대기시간인 10ms에 신호처리에 소요되는 시간을 합하면 10ms 이상이 된다. 샘플속도가 48kS/sec이고 오디오 데이터 처리단위가 1920 샘플인 경우에는, 상기 입출력 데이터버퍼 대기시간이 80ms가 된다. 상기 입출력 데이터버퍼의 대기시간에 스마트폰에서 신호처리하고 데이터를 이동하는데 소요되는 시간을 합하면, 안드로이드 스마트폰에서 마이크로폰에 입력된 음향신호가 스마트폰을 거쳐서 스피커에 출력되기까지의 지연시간이 200ms 이상이 되는 경우가 많다. 이러한 경우에는, 상기 스마트폰을 통해 들리는 음향신호와 직접 귀로 전달되는 음향신호가 서로 다른 음향신호로 인식되어 같은 소리가 두 번 들리게 되어 불편하다.
본 발명이 해결하고자 하는 기술적 과제는, 별도의 전원장치나 디지털 신호처리 장치를 사용하지 아니하고 한 개의 집적회로 칩으로 구성된 아날로그 인터페이스 부를 복수 개의 마이크로폰과 스마트폰 사이에 연결함으로써 크기를 소형화 할 수 있고 비용을 절감시키면서도 오디오 성능을 향상시킬 수 있는 스마트폰 기반의 보청기를 제공하는데 있다.
본 발명에 따른 스마트폰 기반의 보청기는, 수신된 음향신호를 전기신호로 변환하여 출력하는 복수 개의 마이크로폰으로 구성된 마이크로폰 배열; 상기 마이크로폰 배열에서 출력되는 복수 개의 아날로그 신호를 입력으로 받아 증폭하고 각각 디지털 신호로 변환한 후에 변환된 디지털 신호를 스마트폰으로 출력하는 기능을 포함하고 스마트폰으로부터 입력된 디지털 신호를 아날로그 신호로 변환하여 스피커로 출력하는 기능을 선택적으로 포함하는 아날로그 인터페이스 부; 상기 아날로그 인터페이스 부로부터 입력된 디지털 신호에 대해 보청기 동작에 필요한 신호처리를 수행하고 상기 신호처리된 디지털 신호를 상기 아날로그 인터페이스 부로 출력하거나 또는 아날로그 신호로 변환하여 스피커로 출력하는 스마트폰; 상기 아날로그 인터페이스 부 또는 상기 스마트폰으로부터 입력된 상기 아날로그 신호를 음향신호로 변환하는 스피커; 상기 아날로그 인터페이스 부와 상기 스마트폰을 연결하는 제1 연결장치; 상기 스피커를 상기 스마트폰 또는 상기 아날로그 인터페이스 부에 연결하는 제2 연결장치; 및 상기 마이크로폰 배열과 상기 아날로그 인터페이스 부를 연결하는 제3 연결장치;를 포함하는 것을 특징으로 한다.
본 발명에 따른 스마트폰 기반의 보청기는, 기존의 보청기 또는 개인음향증폭기에 필수적으로 사용되는 디지털 신호처리 칩을 사용하지 않는 대신 스마트폰에 내장된 응용프로세서(AP), 램(RAM), 디지털-아날로그 변환기, 스피커 및 디스플레이 등의 구성요소를 활용함으로써 가격이 저렴한 장점이 있다. 특히, 스마트폰의 응용프로세서에 내장된 CPU와 GPU를 활용하면 소프트웨어 만을 사용하여 보청기 동작에 필요한 디지털 신호처리를 밀리세컨드(ms) 단위의 빠른 시간 안에 처리할 수 있다.
또한, 복수 개의 마이크로폰과 스마트폰 사이에 한 개의 집적회로 칩을 연결하여 스마트폰의 부족한 오디오 신호처리 능력을 보강함으로써, 크기가 작고 추가 배터리가 필요하지 않으며 가격이 저렴하고 오디오 성능이 우수한 보청기를 구현할 수 있는 효과가 있다.
도 1은 본 발명에 따른 스마트폰 기반의 보청기의 구성을 나타내는 도면이다.
도 2는 본 발명의 실시 예에 따른 스마트폰 기반의 보청기에 포함되는 아날로그 인터페이스 부의 상세 구성을 나타내는 도면이다.
도 3은 본 발명의 실시 예에 따른 스마트폰 기반의 보청기에 사용되는 스마트폰의 구성 부품의 상세 구성을 나타내는 도면이다.
도 4는 본 발명의 실시예에 따른 스마트폰 기반의 보청기의 아날로그 인터페이스 부를 스마트폰의 뒷면에 고정시키는 경우의 상세 구성을 나타내는 도면이다.
도 5는 본 발명의 실시예에 따른 스마트폰 기반의 보청기의 아날로그 인터페이스 부를 동글(dongle) 형태로 제작하여 스마트폰의 데이터 포트에 연결하는 경우의 상세 구성을 나타내는 도면이다.
도 6은 본 발명의 실시예에 따른 제3 연결장치의 상세 구성을 나타내는 도면이다.
도 7은 본 발명의 실시예에 따른 제2 연결장치와 스피커 및 제3 연결장치의 배치와 상세 구성을 나타내는 도면이다.
도 8은 본 발명의 실시 예에 따른 스마트폰 기반의 보청기에 포함되는 스마트폰 내에 구비된 스마트폰 앱 프로그램의 순서도이다.
도 9는 도 8에 포함된 구동 프로그램 수행단계의 상세 순서도이다.
도 10은 도 8에 포함된 증폭이득 결정 프로그램 수행단계의 순서도이다.
도 11은 도 8에 포함된 디지털 신호처리 프로그램 수행단계의 상세 순서도이다.
도 12는 도 11의 디지털 신호처리 프로그램에 포함된 빔포밍, 필터뱅크 분리, 출력진폭범위압축 및 이퀄라이제이션 동작에 대한 상세도이다.
이하, 첨부된 도면을 참고하여 본 발명을 상세히 설명하기로 한다.
도 1은 본 발명의 실시 예에 따른 스마트폰 기반의 보청기의 구성을 나타내는 도면이다.
도 1에 도시된 바와 같이 본 발명의 실시 예에 따른 스마트폰 기반의 보청기는 마이크로폰 배열(300), 아날로그 인터페이스 부(100), 스마트폰(200), 스피커(600), 제1 연결장치(400), 제2 연결장치(500) 및 제3 연결장치(700)를 포함하여 구성된다.
상기 마이크로폰 배열(300)은 외부로부터 수신된 음향신호를 전기신호로 변환하여 복수 개의 아날로그 신호를 출력하는 복수 개의 마이크로폰으로 구성된다. 본 발명의 실시 예에서는, 상기 마이크로폰 배열(300)에 포함되는 마이크로폰의 개수를 8개로 하였고 각각의 마이크로폰은 MEMS (micro electro mechanical system) 마이크로폰 또는 일렉트릿(electret) 마이크로폰을 사용할 수 있다.
아날로그 인터페이스 부(100)는, 상기 제3 연결장치(700)를 통하여 상기 마이크로폰 배열에서 출력되는 복수 개의 아날로그 신호를 입력받아 증폭하고 각각 디지털 신호로 변환한 후에 변환된 디지털 신호를 상기 제1 연결장치로 출력하는 기능을 포함한다. 한편 아날로그 인터페이스 부(100)는 상기 제1 연결장치(400)로부터 디지털 신호를 입력받아 아날로그 신호로 변환하여 제1 오디오 잭(190)을 통해 상기 스피커(600)로 출력하는 기능을 선택적으로 포함할 수 있다. 이때 제1 오디오 잭(190)은 3.5mm female 오디오 잭인 것이 바람직하다.
스마트폰(200)은, 상기 제1 연결장치(400)를 통하여 상기 아날로그 인터페이스 부(100)로부터 전달받은 디지털 신호에 대해 보청기 동작에 필요한 신호처리를 수행하는 기능을 포함하고, 상기 신호처리된 디지털 신호를 아날로그 신호로 변환하여 제2 오디오 잭(280)으로 출력하는 기능과 상기 신호처리된 디지털 신호를 상기 제1 연결장치(400)를 통하여 상기 아날로그 인터페이스 부(100)로 출력하는 기능을 선택적으로 포함한다. 이때 제2 오디오 잭(280)은 3.5mm female 오디오 잭인 것이 바람직하다.
상기 제2 연결장치(500)는, 상기 스피커(600)를 상기 아날로그 인터페이스 부(100)의 상기 제1 오디오 잭(190) 또는 상기 스마트폰(200)의 상기 제2 오디오 잭(280)에 선택적으로 연결하여, 상기 제1 오디오 잭(190) 또는 상기 제2 오디오 잭(280)에 출력되는 아날로그 신호가 선택적으로 상기 스피커에서 음향신호로 변환되어 출력되게 한다.
상기 스피커(600)는 보청기 사용자의 왼쪽 및 오른쪽 귀에 위치하는 두 개의 이어폰으로 구성된다.
도 2는 본 발명의 실시 예에 따른 스마트폰 기반의 보청기에 포함되는 아날로그 인터페이스 부의 상세 구성을 나타내는 도면이다.
도 2를 참고하면 아날로그 인터페이스 부(100)는, 아날로그 증폭기(110), 아날로그-디지털 변환기(120), Read FIFO 메모리(130), 디바이스 직렬데이터 송수신기(140), 클락생성기(150), 공급전압변환기(160), Write FIFO 메모리(170) 및 스피커 구동회로(180)를 포함하여 구성된다.
아날로그 증폭기(110)는 상기 마이크로폰 배열(300)로 부터 상기 제3 연결장치(700)를 통하여 입력된 복수 개의 아날로그 신호(A1, A2, A3, ..., Am)를 디바이스 직렬데이터 송수신기(140)로부터 전달받은 증폭이득 제어(amp gain control)신호에 따라 정해지는 증폭이득만큼 각각 증폭하여 다른 아날로그 신호로 출력한다.
아날로그-디지털 변환기(120)는 상기 복수 개의 아날로그 증폭기(110)의 아날로그 출력신호를 입력으로 받아 각각 디지털 신호로 변환하여 출력한다.
Read FIFO 메모리(130)는 상기 아날로그-디지털 변환기(120)의 디지털 출력신호를 입력으로 받아 디바이스 직렬데이터 송수신기(140)로 한 개의 8비트 또는 16비트 병렬 디지털 신호를 출력한다.
디바이스 직렬데이터 송수신기(140)는 상기 Read FIFO 메모리(130)의 디지털 출력신호를 입력으로 받아 제1 연결장치(400)를 통하여 스마트폰(200)에 전달하는 역할과, 아날로그 증폭기(110)의 증폭이득(amp gain)을 제어하는 증폭이득 제어(amp gain control)신호를 제1 연결장치(400)를 통하여 스마트폰(200)으로부터 수신하고 상기 수신된 증폭이득 제어신호를 상기 아날로그 증폭기(110)에 전달하는 역할 및 스마트폰(200)에서 보청기 동작에 필요한 신호처리가 완료된 디지털 오디오 신호를 제1 연결장치(400)를 통하여 스마트폰(200)으로부터 수신하고 상기 수신된 디지털 오디오 신호를 Write FIFO 메모리(170)로 출력하는 역할을 수행한다.
Write FIFO 메모리(170)는 디바이스 직렬데이터 송수신기(140)로부터 입력된 상기 디지털 오디오 신호를 스피커 구동회로(180)로 출력한다.
스피커 구동회로(180)는 Write FIFO 메모리(170)로부터 입력된 디지털 오디오 신호를 아날로그 신호로 변환하여 제1 오디오 잭(190)으로 출력한다. 상기 스피커 구동회로(180)는 인터폴레이션(interpolation) 필터와 델타-시그마 모듈레이터와 클래스 D 증폭기 및 LC 저역통과 필터로 구성된다.
제1 오디오 잭(190)은 스피커 구동회로(180)에서 출력된 아날로그 신호를 입력으로 받아 제2 연결장치(500)를 거쳐 스피커(600)로 전달한다.
클락생성기(150)는 아날로그-디지털 변환기(120)에 인가되는 제1클락신호(CK1), 상기 Read FIFO 메모리(130)에 인가되는 제2 클락신호(CK2), 상기 디바이스 직렬데이터 송수신기(140)에 인가되는 제3 클락신호(CK3), 상기 Write FIFO 메모리(170)에 인가되는 제4 클락신호(CK4) 및 상기 스피커 구동회로(180)에 인가되는 제5 클락신호(CK5)를 생성한다.
공급전압변환기(160)는 제1 연결장치(400)의 VCC와 GND 도선을 통하여 상기 스마트폰(200)으로부터 직류전압(VCC)을 공급받아 상기 아날로그 증폭기(110), 상기 아날로그-디지털 변환기(120), 상기 Read FIFO 메모리(130), 상기 디바이스 직렬데이터 송수신기(140), 상기 Write FIFO 메모리(170), 상기 스피커 구동회로(180), 상기 클락생성기(150)와 상기 제3 연결장치(700)에 각각 인가되는 공급전압을 생성한다.
이때 상기 아날로그 인터페이스 부(100)를 구성하는 회로는 공급전압변환기(160)에 연결되는 인덕터(유도자)와, 상기 클락생성기에 연결되는 발진자(크리스탈)와 수동소자인 축전기, 상기 스피커 구동회로의 상기 LC 저역통과 필터에 포함되는 인덕터와 축전기, 공급전압 안정화를 위해 사용되는 몇 개의 축전기 및 몇 개의 저항을 제외하고는 모두 한 개의 집적회로 칩(integrated circuit chip)에 구현하는 것이 바람직하다.
본 발명의 실시 예에서는 상기 아날로그 증폭기(110)에 포함되는 증폭기의 개수와 상기 아날로그-디지털 변환기(120)에 포함되는 아날로그-디지털 변환기의 개수를 상기 마이크로폰 배열(300)의 마이크로폰 개수와 동일하게 각각 8개로 하였다.
또한, 본 발명의 실시예에서는, 스마트폰(200)으로 안드로이드 스마트폰을 사용하였고 디바이스 직렬데이터 송수신기(140)로 안드로이드 폰에 사용되는 USB(unversal serial bus) 1.1 송수신기를 사용하였다. 스마트폰(200)과 디바이스 직렬데이터 송수신기(140)와 관련하여 본 발명의 실시예에서 사용한 USB OTG 데이터 포트 대신에 라이트닝 포트(Lightning port)를 사용하는 애플 아이폰과 USB type-C 포트를 사용하는 스마트폰에도 본 발명이 적용될 수 있다.
상기 아날로그 증폭기(110)의 증폭이득은 상기 아날로그 증폭기의 8개 출력신호의 최대범위가 상기 아날로그-디지털 변환기의 변환가능한 입력전압범위를 넘어가지 않도록 결정한다. 이를 위해 상기 아날로그-디지털 변환기의 출력신호가 상기 Read FIFO 메모리, 상기 디바이스 직렬데이터 송수신기와 상기 제1 연결장치를 통하여 스마트폰에 전달되면, 스마트폰의 응용프로세서(AP)에서 8개의 상기 아날로그 증폭기의 출력신호가 상기 아날로그-디지털 변환기의 변환가능한 입력전압 범위의 10%와 90% 범위 안에 위치하도록 상기 증폭이득 제어신호를 결정하는 것이 바람직하다.
상기 증폭이득 제어신호는 한 가지 값으로 8개의 상기 아날로그 증폭기에 모두 적용되므로, 8개의 상기 아날로그 증폭기의 전압이득은 모두 동일하게 결정된다. 본 발명의 실시 예에서 상기 아날로그-디지털 변환기(120)는 델타-시그마 모듈레이터와 데시메이션 필터를 포함하여 구성함으로써 일반적인 디지털 데이터인 PCM(pulse code modulation) 코드를 출력한다.
상기 공급전압변환기(160)는 상기 제1 연결장치(400)를 통하여 상기 스마트폰(200)으로부터 직류(DC) 5V 전압을 공급받아 상기 아날로그 인터페이스 부(100)의 모든 회로와 상기 마이크로폰 배열(300)의 동작에 필요한 공급전압을 생성한다. 이로써, 본 발명의 실시 예에 따른 보청기는 스마트폰의 배터리로부터 필요한 모든 직류전압을 공급받아서 추가 배터리를 필요로 하지 않는다. 이로써 본 발명의 실시 예에 따른 보청기의 전체 크기와 가격을 줄일 수 있다.
본 발명의 실시 예에 따른 제1 연결장치(400)는 USB OTG(on the go) 커넥터(410)와 USB OTG 케이블(420)로 구성하여, 스마트폰의 데이터 포트(port)와 상기 아날로그 인터페이스 부를 연결한다. USB OTG 커넥터(410)와 USB OTG 케이블(420)은 각각 DP, DM, VCC, GND, ID의 다섯 개 도선을 포함하는데, DP와 DM 도선을 통해 양방향 USB 데이터 통신을 수행하고 VCC와 GND 도선을 통해 스마트폰으로부터 상기 아날로그 인터페이스 부로 직류전압을 공급받는다.
USB OTG 케이블에서 ID 도선은 GND 도선과 단락(shorted)되어 스마트폰이 USB 통신의 호스트로 동작한다. ID 도선이 아무 도선과 연결되지 않고 개방(open)되어 있으면 스마트폰은 USB 통신의 디바이스(device)로 동작하는데, 이 경우는 스마트폰을 USB OTG 케이블을 통하여 개인용 컴퓨터(PC)에 연결할 때 적용된다.
상기 공급전압변환기(160)는, 상기 제1 연결장치(400)를 통하여 상기 스마트폰(200)으로부터 공급받은 5V 직류전압을 상기 아날로그 증폭기(110), 상기 아날로그-디지털 변환기(120), 상기 Read FIFO 메모리(130), 상기 디바이스 직렬데이터 송수신기(140), 상기 Write FIFO 메모리(170), 상기 스피커 구동회로(180), 상기 클락생성기(150)와 상기 제3 연결장치(700)에 필요한 3.3V와 1.8V의 직류 공급전압을 효율적으로 생성하기 위해 DC-DC 변환기를 포함한다.
상기 DC-DC 변환기는 인덕터(유도자)를 필요로 한다. 상기 클락생성기(150)는 상기 아날로그-디지털 변환기, 상기 Read FIFO 메모리, 상기 디바이스 직렬데이터 송수신기, 상기 Write FIFO 메모리(170)와 상기 스피커 구동회로(180)의 동작에 필요한 정확한 클락신호를 생성하기 위해 발진자(크리스탈)를 사용한다. 본 발명의 실시 예에서는 60MHz 발진자를 사용하여, 상기 아날로그-디지털 변환기에 필요한 제1클락신호(CK1), 상기 Read FIFO 메모리에 필요한 제2클락신호(CK2), 상기 디바이스 직렬데이터 송수신기에 필요한 제3클락신호(CK3), 상기 Write FIFO 메모리(170)에 필요한 제4클락신호(CK4)와 상기 스피커 구동회로(180)에 필요한 제5클락신호(CK5)를 생성한다.
도 3은 본 발명의 실시 예에 따른 스마트폰 기반의 보청기에 포함되는 스마트폰의 구성 부품의 상세 구성을 나타내는 도면이다.
본 발명의 실시 예에 따른 스마트폰 기반의 보청기에 포함되는 스마트폰(200)은, 중앙처리장치(CPU)와 그래픽처리장치(GPU)를 포함하는 응용프로세서(Application Processor : AP, 210), 스마트폰의 데이터 포트를 통하여 상기 응용프로세서(210)와 상기 제1 연결장치(400)를 연결하는 호스트 직렬데이터 송수신기(220), 상기 응용프로세서(210)와 연결된 램(RAM, 230), 상기 응용프로세서(210)와 연결된 디스플레이 및 터치센서 모듈(260), 상기 응용프로세서(210)와 제2 오디오 잭(280)을 연결하는 디지털-아날로그 변환기(250), 직류공급전압을 생성하여 상기 제1 연결장치(400)로 공급하는 공급전압발생기(240) 및 플래시 메모리(270)를 포함한다.
상기 제2 오디오 잭(280)은 상기 디지털-아날로그 변환기(250)의 출력신호를 제2 연결장치(500)를 통하여 스피커(600)로 출력한다.
상기 스마트폰의 데이터 포트는, 스마트폰을 충전하기 위해 충전용 케이블을 연결하거나, 스마트폰과 PC, USB 메모리 스틱 또는 USB 동글(dongle)과의 데이터 통신을 하기 위해 데이터 통신 케이블을 연결하기 위해 주로 사용한다. 본 발명의 실시 예에서는 상기 스마트폰의 데이터 포트를 두 가지 용도에 사용하는데, 하나는 스마트폰(200)과 상기 아날로그 인터페이스 부(100) 사이의 데이터 통신을 수행하는 용도이고 다른 하나는 스마트폰으로부터 상기 아날로그 인터페이스 부(100)로 전력을 공급받는 용도이다.
상기 스마트폰 데이터 포트를 통하여, 스마트폰으로부터 상기 아날로그 인터페이스 부(100)와 상기 마이크로폰 배열(300)에 필요한 직류전력(DC power)을 공급받는다. 최근 안드로이드 스마트폰은 5핀 마이크로 USB OTG(on the go) 데이터 포트를 사용하고 애플 스마트폰은 8핀 라이트닝(Lightning) 데이터 포트를 사용하는데, 두 종류의 스마트폰 모두 데이터 포트를 통해 직류전압을 스마트폰에서 외부장치로 공급한다. 최근에 스마트폰의 데이터 포트로 사용되기 시작하는 USB type C 커넥터는 상하 대칭의 구조로 24핀을 사용하는데 직류전압 5V에 외부장치로 1000mA 이상의 전류를 공급하도록 사양(specification)에 규정되어 있다.
상기 마이크로 USB OTG 데이터 포트는 DP, DM, VCC, GND, ID의 5개 핀으로 구성되는데, 상기 VCC와 GND 핀을 통하여 직류전압 5V에 100mA까지의 전류를 상기 스마트폰으로부터 외부장치로 공급받을 수 있다.
상기 호스트 직렬데이터 송수신기(220)는 상기 스마트폰 데이터 포트와 상기 제1 연결장치(400)를 통하여 스마트폰(200)과 아날로그 인터페이스 부(100) 사이의 양방향 데이터 통신을 주관하여 담당한다.
상기 공급전압발생기(240)는 상기 데이터 포트와 상기 제1 연결장치(400)를 통하여 상기 아날로그 인터페이스 부(100)와 마이크로폰 배열(300)에 공급할 직류전압을 생성하는데, 상기 공급전압발생기(240)에서 공급 가능한 최대전류는 100mA 또는 그 이상이어야 한다.
상기 디스플레이 및 터치센서 모듈(260)은 상기 응용프로세서(210)와 연결되어 그래픽 사용자 인터페이스(GUI: graphic user interface)를 담당한다.
상기 램(230)은, 상기 응용프로세서(210)에서 실행되는 앱 프로그램을 저장하는 앱 프로그램 저장부(231)와, 상기 아날로그 인터페이스 부(100)로부터 상기 제1 연결장치(400)를 통하여 상기 스마트폰(200)에 전달된 데이터를 저장하는 입력데이터 버퍼(232) 및 상기 아날로그 인터페이스 부(100)의 Write FIFO 메모리(170) 또는 상기 디지털-아날로그 변환기(250)로 출력할 데이터를 저장하는 출력데이터 버퍼(233)를 포함한다.
상기 앱 프로그램 저장부(231)는 본 발명에 따른 보청기를 작동시키기 위해 상기 응용프로세서(210)에서 실행되는 프로그램인 앱 프로그램(스마트폰 응용 프로그램)을 저장하는 램(230)의 구역(block)이다.
상기 앱 프로그램은, 상기 호스트 직렬데이터 송수신기(220)와, 상기 디스플레이 및 터치센서 모듈(260) 및 상기 디지털-아날로그 변환기(250)를 구동하는 구동 프로그램과, 상기 아날로그 증폭기(110)의 증폭이득값을 계산하는 증폭이득결정 프로그램 및 상기 입력데이터 버퍼(232)에서 읽은 데이터에 대해 보청기 동작에 필요한 디지털 신호처리를 수행하고 그 결과 데이터를 상기 출력데이터 버퍼(233)에 저장하는 디지털 신호처리 프로그램을 포함한다.
상기 입력데이터 버퍼(232)는 아날로그 인터페이스 부(100)로부터 제1 연결장치(400)를 통하여 스마트폰(200)에 전달된 데이터를 저장하는 램(230)의 구역이다. 상기 출력데이터 버퍼(233)는 응용프로세서(210)가 아날로그 인터페이스 부(100) 또는 디지털-아날로그 변환기(250)로 출력시킬 데이터를 저장하는 램(230)의 구역이다.
상기 출력 데이터 버퍼에서 상기 아날로그 인터페이스 부로 데이터를 출력하는 경우에는 호스트 직렬데이터 송수신기(220), 제1 연결장치(400), 디바이스 직렬데이터 송수신기(140), Write FIFO 메모리(170), 스피커 구동회로(180), 제1 오디오 잭(190), 제2 연결장치(500)를 차례로 거쳐 상기 스피커로 출력한다.
상기 출력 데이터 버퍼에서 상기 디지털-아날로그 변환기(250)로 데이터를 출력하는 경우에는 디지털-아날로그 변환기(DAC: 250)와, 제2 오디오 잭(280) 및 제2 연결장치(500)를 차례로 거쳐 스피커(600)로 출력한다.
상기 플래쉬 메모리(270)는 대용량 메모리로서 상기 디지털 신호처리 프로그램에 필요한 계수(coefficient)값과 룩업테이블(look up table:LUT)을 저장한다.
상기 디지털-아날로그 변환기(250)는 보통 스마트폰에 포함된 오디오 코덱(codec) 칩에 내장된 DAC로서, 상기 출력 데이터 버퍼에서 상기 디지털-아날로그 변환기로 데이터를 출력하는 경우에. 상기 응용프로세서(AP)가 상기 램(RAM)의 출력데이터 버퍼(233)에서 디지털 데이터를 읽어서 상기 디지털-아날로그 변환기로 상기 디지털 데이터를 출력하면, 상기 디지털-아날로그 변환기는 입력된 상기 디지털 데이터를 아날로그 신호로 변환하여 상기 제2 연결장치(500)를 통하여 상기 스피커(600)로 출력한다.
본 발명의 실시 예에서는, 상기 제2 연결장치(500)는 한 개의 제3 오디오 잭(520)과 오디오 케이블(510)로 구성된다. 이때 제3 오디오 잭(520)은 3.5mm male 오디오 잭인 것이 바람직하다.
상기 제3 오디오 잭(520)은 스마트폰(200)의 제2 오디오 잭(280) 또는 아날로그 인터페이스 부(100)의 제1 오디오 잭(190)에 선택적으로 연결되고 상기 오디오 케이블의 다른 한 쪽은 사용자의 양쪽 귀에 위치하는 두 개의 이어폰에 연결된다.
이때, 상기 스피커(600)는 상기 이어폰으로 구성될 수 있다.
상기 제2 연결장치(500)를 블루투스 무선연결로 구성할 수 있는데, 이 경우는 상기 블루투스 무선연결에 따른 지연시간이 길어져서 상기 마이크로폰 배열(300)에 수신된 신호가 상기 제3 연결장치(700), 상기 아날로그 인터페이스 부(100), 상기 제1 연결장치(400), 상기 스마트폰(200) 및 상기 제2 연결장치(500)를 순차적으로 통과하여 상기 스피커(600)에 도달하는 지연시간(latency)이 본 발명에서 목표하는 20ms(0.02초) 보다 커질 수 있다.
본 발명에 따른 스마트폰 기반의 보청기는 상기 지연시간(latency)이 0.02초(sec) 이하인 것이 바람직하다. 본 발명의 실시예에서, 상기 제2 연결장치(200)를 구성하는 제3 오디오 잭(520)을 스마트폰(200)의 제2 오디오 잭(280)에 연결하는 경우에 상기 지연시간을 0.02초 이내에 유지하고, 상기 제3 오디오 잭(520)을 아날로그 인터페이스 부(100)의 제1 오디오 잭(190)에 연결하는 경우에는 상기 지연시간을 0.014초 이내로 유지한다.
도 4는 본 발명의 실시예에 따른 스마트폰 기반의 보청기의 아날로그 인터페이스 부를 스마트폰의 뒷 면에 고정시키는 경우의 상세 구성을 나타내는 도면이다.
도 4를 참고하면, 한 개의 인쇄기판(printed circuit board) 위에 한 개의 집적회로 칩; 한 개의 제1 오디오 잭(190); 한 개의 제2 마이크로폰 커넥터(790); 한 개의 USB OTG 케이블(420); 및 몇 개의 수동소자(저항, 축전기, 인덕터, 발진용 크리스탈)가 부착되어 있다.
상기 한 개의 집적회로 칩(integrated circuit chip)은 도 2의 아날로그 인터페이스 부(100)를 구성하는 회로 중에서 몇 개의 수동소자를 제외한 모든 회로를 포함한다. 즉, 아날로그 증폭기(110), 아날로그-디지털 변환기(120), Read FIFO 메모리(130), 디바이스 직렬데이터 송수신기(140), Write FIFO 메모리(170), 스피커 구동회로(180), 공급전압변환기(160)와 클락생성기(150) 중에서 공급전압변환기(160)에 사용되는 인덕터와 저항, 클락생성기(150)에 사용되는 한 개의 발진용 크리스탈, 스피커 구동회로(180)에 사용되는 인덕터와 축전기를 포함한 수동소자들을 제외한 모든 회로를 상기 한 개의 집적회로 칩 안에 구현한다.
상기 인쇄기판에 부착된 제1 오디오 잭(190)은 제2 연결장치(500)와 선택적으로 연결되어, 상기 집적회로 칩에서 생성된 아날로그 신호를 상기 제2 연결장치를 통하여 스피커(600)로 전달한다.
상기 인쇄기판에 부착된 USB OTG 케이블(420)은 제1 연결장치(400)를 구성하는 USB OTG 커넥터(410)와 함께 상기 스마트폰의 데이터 포트를 통하여 상기 집적회로 칩을 스마트폰(200)과 연결하여, 마이크로폰 배열(300)에서 생성된 아날로그 신호를 상기 집적회로 칩에서 수신하고 디지털로 변환한 신호를 상기 집적회로 칩으로부터 상기 스마트폰으로 전달하는 역할을 수행한다.
또한, 상기 제1 연결장치는 상기 집적회로 칩으로부터 전달받은 디지털 신호에 대해 상기 스마트폰에서 보청기 동작에 필요한 신호처리를 소프트웨어로 완료하고 그 결과 디지털 신호를 상기 스마트폰으로부터 상기 집적회로 칩으로 전달하는 역할과, 상기 집적회로 칩에 포함된 아날로그 증폭기(110)의 출력전압 범위를 상기 집적회로 칩에 포함된 아날로그-디지털 변환기(120)의 압력전압 범위에 맞추기 위해 필요한 증폭이득 값을 상기 스마트폰에서 계산하고 상기 계산된 증폭이득 값을 상기 스마트폰으로부터 상기 집적회로칩으로 전달하는 역할 및 상기 스마트폰에서 생성한 직류공급전압을 상기 집적회로 칩으로 전달하는 역할을 수행한다.
상기 집적회로 칩에 부착된 제2 마이크로폰 커넥터(790)는 제3 연결장치(700)의 일부로서, 마이크로폰 배열(300)에서 생성되는 복수 개의 아날로그 신호를 상기 마이크로폰 배열로부터 상기 집적회로 칩으로 전달하는 역할을 담당한다.
도 4에 도시된, 한 개의 집적회로 칩과, 한 개의 제1 오디오 잭 (190)과, 한 개의 제2 마이크로폰 커넥터(790)와, 한 개의 USB OTG 케이블(420) 및 몇 개의 수동소자(저항, 축전기, 인덕터, 발진용 크리스탈)가 부착된 한 개의 인쇄기판을 한 개의 케이스 안에 장착시킬 경우, 상기 집적회로 칩과 오디오 잭과 커넥터의 크기를 고려하면 상기 케이스의 크기는 가로 65mm, 세로 65mm, 높이 10mm를 넘지 않을 것으로 예상된다.
상기 인쇄기판이 내부에 장착된 상기 케이스를 스마트폰(200)의 화면쪽과 반대인 스마트폰의 뒷면에 위치시키고 상기 케이스를 스마트폰 뒷면에 직접 또는 스마트폰 뒷면에 위치하는 스마트폰 케이스의 외부에 물리적으로 고정시켜서, 사용자가 상기 케이스로 인해 스마트폰을 사용하는데 발생하는 불편함을 최소화시킬 수 있다.
도 5는 본 발명의 실시예에 따른 스마트폰 기반의 보청기의 아날로그 인터페이스 부를 동글(dongle) 형태로 제작하여 스마트폰의 데이터 포트에 연결하는 경우의 상세 구성을 나타내는 도면이다.
도 5를 참고하면, 도 4와 비교할 때 제1 연결장치(400)를 구성하는 USB OTG 케이블(420)이 없어져서 도 4에 따른 케이스에 비해 크기가 작은 장점이 있는 반면에 스마트폰과 동글을 합친 길이가 길어지는 단점이 있다.
도 6은 본 발명의 실시예에 따른 제3 연결장치(700)의 상세 구성을 나타내는 도면이다.
도 6을 참고하면, 제3 연결장치(700)는 복수 개의 인쇄기판(710, 720, 730, 740, 750, 760); 복수 개의 도선; 제1 마이크로폰 커넥터(770); 한 개의 지지대(780); 및 도 6에는 표시하지 않은 제2 마이크로폰 커넥터(790)로 구성되어, 마이크로폰 배열(300)에서 생성된 아날로그 신호(A1, A2,A3, A4, A5, A6, A7, A8)를 아날로그 인터페이스 부(100)로 전달한다. 상기 제2 마이크로폰 커넥터(790)는, 아날로그 인터페이스 부(100)를 구현한 집적회로 칩과 함께 도 4의 인쇄기판 위에 위치하는데, 상기 제1 마이크로폰 커넥터(770)와 암수(female-male) 커넥터 관계로 서로 연결된다. 상기 제3 연결장치를 구성하는 상기 복수 개의 인쇄기판은 각각 그 표면에 한 개 또는 복수 개의 마이크로폰을 부착하고, 각각의 인쇄기판은 복수 개의 도선을 통하여 제1 마이크로폰 커넥터(770)와 전기적으로 연결되는데, 상기 인쇄기판 위에 부착된 각각의 마이크로폰은 VDD, VSS, Am의 세 개 도선을 통하여 제1 마이크로폰 커넥터(770)와 연결된다. 상기 Am은 마이크로폰의 아날로그 출력신호 단자이다. 상기 한 개의 지지대(780)는 속이 빈 관(管: 파이프) 모양의 막대기로 잘 휘어지는 재질로 제작하여, 상기 마이크로폰이 부착된 복수 개의 인쇄기판과 복수 개의 도선을 상기 지지대의 안 쪽 빈 공간에 위치시켜 상기 복수 개의 마이크로폰, 상기 복수 개의 인쇄기판과 상기 복수 개의 도선을 기계적으로 지지하고 보호하는 역할을 수행한다.
도 7은 본 발명의 실시예에 따른 제2 연결장치(500), 스피커(600)와 제3 연결장치(700)의 배치와 상세 구성을 나타내는 도면이다.
도 7을 참고하면, 복수 개의 마이크로폰과 결합된 제3 연결장치(700)는 제2 연결장치(500)와 상당 부분이 물리적으로 서로 결합되어 있다. 보다 구체적으로는, 제3 연결장치(700)를 구성하는 지지대(780)와 제2 연결장치(500)를 구성하는 오디오 케이블(510)을 서로 평행하게 근접하여 배치하고 복수 개의 위치에서 서로 물리적으로 결합한다. 상기 물리적 결합으로 인해, 사용자가 본 발명에 따른 보청기를 사용할 때 제2 연결장치(500)를 구성하는 제3 오디오 잭(520)을 아날로그 인터페이스 부(100) 또는 스마트폰(200)에 위치한 제1 오디오 잭(190) 또는 제2 오디오 잭(280)에 연결하고 상기 제2 연결장치(500)에 부착된 두 개의 이어폰으로 구성된 스피커(600)를 사용자의 귀에 위치하면, 상기 제3 연결장치(700)를 구성하는 지지대(780)가 거의 직선 형태를 유지하여 상기 제3 연결장치에 결합된 복수 개의 마이크로폰들이 도 6에 x 값으로 도시된 정해진 간격에 가깝게 서로 격리되어 배치된다. 상기 복수 개의 마이크로폰이 위치하는 상기 지지대(780)의 각각의 지점에 공기 구멍을 뚫어서 입력되는 음향신호가 상기 복수 개의 마이크로폰에 잘 전달되게 한다.
도 8은 본 발명의 실시 예에 따른 스마트폰 기반의 보청기에 포함되는 스마트폰 내에 구비된 스마트폰 앱 프로그램의 순서도이다.
상기 스마트폰 앱 프로그램은, 구동(driver) 프로그램 수행단계(S500), 증폭이득 결정 프로그램 수행단계(S600) 및 보청기 동작에 필요한 디지털 신호처리 프로그램 수행단계(S700)의 순서로 진행되고 이 순서대로 계속하여 반복된다.
도 9는 도 8에 포함된 구동 프로그램 수행단계의 상세 순서도이다.
상기 구동 프로그램 수행단계(S500)에서는, 상기 호스트 직렬데이터 송수신기(220)와, 상기 디지털-아날로그 변환기(250)와, 상기 디스플레이 및 터치센서모듈(260)을 구동하는 기능을 수행한다.
도 9에 도시된 바와 같이, 상기 구동 프로그램 수행단계(S500)는 상기 디지털-아날로그 변환기(250)의 동작을 제어하는 디지털-아날로그 변환기 데이터 출력 프로그램 수행단계(S510), 상기 호스트 직렬데이터 송수신기(220)의 동작을 제어하는 호스트 직렬데이터 송수신기 구동 프로그램 수행단계(S520), 터치센서 구동 프로그램 수행단계(S530) 및 디스플레이 구동 프로그램 수행단계(S540)의 순서로 수행된다.
상기 호스트 직렬데이터 송수신기 구동 프로그램 수행단계(S520)의 세부사항은 다음과 같다.
본 발명의 실시 예에서는, 상기 호스트 직렬데이터 송수신 및 디바이스 직렬데이터 송수신을 위해 USB(universal serial bus) 1.1 데이터 송수신 표준을 사용하는데, 본 발명에 제시된 모든 사상은 다른 방식의 직렬 데이터 송수신을 사용하는 경우에도 적용 가능하다. USB 1.1 표준을 사용하는 전송방식은 USB 2.0 표준을 사용하는 전송방식에 비해 최대 데이터 전송속도는 느리지만 전력소모가 크게 작은 장점이 있다. 실시간(real time) 보청기 및 개인음향증폭기 동작을 실현하기 위하여, USB 데이터 전송방식 중에서 이소크로너스 전송(isochronous transfer) 방식을 채택하였다.
이로써, USB 인터페이스 표준에서 정한 매 프레임(frame) 시간마다 정해진 양의 데이터를 반드시 전송하게 함으로써 실시간 동작이 가능하다. 한 프레임 시간은, USB 1.1 표준에서 1msec이다. 본 발명의 실시 예에서는 1ms의 한 프레임 시간 동안, 아날로그 인터페이스 부(100)로부터 스마트폰(200)으로 768 바이트의 데이터를 전송하고 상기 스마트폰으로부터 상기 아날로그 인터페이스 부로 192 바이트의 데이터를 전송한다. 따라서, 본 발명의 실시예에서 실시간 동작이 가능하려면 상기 USB 1.1 인터페이스 방식에 따라 1ms의 한 프레임 시간 동안 양방향 합쳐서 960 바이트의 데이터를 전송할 수 있어야 한다.
실시간 동작을 위해서 매 1밀리세컨드(ms) 마다 768 바이트 데이터를 아날로그 인터페이스 부(100)로부터 스마트폰(200)으로 전송해야 하는 이유는, 8개의 마이크로폰에서 출력되는 아날로그 신호를 각각 매 초 48,000번 샘플하고(48kS/sec) 샘플된 아날로그 신호를 각각 16 비트(2 Byte) 디지털로 변환된 데이터를 정해진 시간에 모두 전송해야 하기 때문이다.
또한, 매 1ms 시간마다 192 바이트의 데이터를 스마트폰(200)으로부터 아날로그 인터페이스 부(100)로 전송해야 하는 이유는, 상기 스마트폰에서 보청기 동작을 위해 필요한 신호처리를 완료한 48kS/sec의 스테레오 데이터를 상기 아날로그 인터페이스 부로 전송해야 하기 때문이다.
상기의 양방향으로 전송하는 768 바이트와 192 바이트의 데이터는 1ms의 한 프레임 시간 동안 한 개의 USB 통신 채널을 통해 전송을 완료해야 하므로, 본 발명의 실시예에서 상기 USB 통신 채널을 통해 1ms의 한 프레임 시간 동안 전송해야 하는 데이터 양은 아래의 수학식 1로 계산된다.
Figure 112016112679186-pat00001
USB 1.1 표준에서 이소크로너스 전송방식을 채택하고 한 개의 데이터 패킷(packet)으로 전송하는 데이터 양(payload)을 32 바이트로 정할 경우에, 1ms의 한 프레임 시간 동안 36개의 데이터 패킷까지 전송할 수 있다. 이 경우에, 본 발명의 실시 예에서는 1ms의 한 프레임 시간 동안 30개의 32 바이트 데이터 패킷을 전송하면 상기 960 바이트가 모두 전송되므로 실시간 동작이 가능하다.
상기 양방향 데이터 전송 중에서 아날로그 인터페이스 부(100)로부터 스마트폰(200)으로 데이터를 전송하는 경우는, Read FIFO 메모리(130)에 저장된 8 개의 아날로그-디지털 변환기 출력 데이터가 디바이스 직렬데이터 송수신기(140), 제1 연결장치(400), 호스트 직렬데이터 송수신기(220)와 응용프로세서(210)를 차례로 거쳐서 RAM(230)의 입력데이터 버퍼(232)에 저장된다.
상기 양방향 데이터 전송 중에서 상기 스마트폰에서 상기 아날로그 인터페이스 부로 데이터를 전송하는 경우는, RAM(230)의 출력데이터 버퍼(233)에 저장된 데이터가 응용프로세서(210), 호스트 직렬데이터 송수신기(220), 제1 연결장치(400)와 디바이스 직렬데이터 송수신기(140)를 차례로 거쳐서 Write FIFO 메모리(170)에 저장된다.
본 발명의 실시 예에서 제2 연결장치(500)의 제3 오디오 잭(520)을 스마트폰(200)의 제2 오디오 잭(280)에 연결한 경우는, 다음과 같이 동작한다.
스마트폰에서는 오디오 데이터를 일정 단위 만큼 메모리 버퍼에 모은 후에 응용프로세서(AP)나 오디오 코덱이 한 번씩 처리한다. 본 발명의 실시예에서 오디오 신호의 샘플 속도가 48kS/sec이고 스마트폰이 한 번에 처리하는 오디오 데이터의 처리단위가 240개의 샘플이므로, 스마트폰에 내장된 오디오 코덱 칩의 디지털-아날로그 변환기(DAC)를 사용하여 스피커로 오디오 신호를 출력할 때도 5ms에 한 번씩 240개의 샘플 데이터를 출력한다.
이러한 경우에는 스마트폰(200)에 내장된 상기 오디오 코덱 칩의 디지털-아날로그 변환기(DAC)를 이용하여 음향신호를 출력하므로, 도 3의 응용프로세서(210)가 램(230)의 입력데이터 버퍼(232)와 출력데이터 버퍼(233)에 데이터를 전송할 때 한 번에 240개의 샘플(480바이트)씩 전송하고, 데이터 처리도 240개의 샘플 단위로 나누어 수행한다.
이러한 경우에 도 9에서 DAC 데이터 출력 프로그램은 매 5ms 시각마다 한 번씩 오디오 데이터를 출력하므로, 상기 오디오 데이터 출력시각이 되면 상기 오디오 코덱의 디지털-아날로그 변환기(250)로 240개의 샘플 데이터를 출력하고(S510), 오디오 데이터 출력시각이 아니면 다음 단계로 넘어가서, 제1 연결장치(400)를 통하여 송수신해야 할 패킷 단위의 데이터가 생겨나면 호스트 직렬데이터 송수신기 구동 프로그램을 수행하고(S520), 그렇지 않으면 GUI(graphic user interface)에 따라 터치센서 입력신호가 감지되면 터치센서 구동 프로그램을 수행하고(S530), 터치센서 입력신호가 없으면 새로 디스플레이 할 내용이 있는지를 확인하여 새로 디스플레이할 내용이 있으면 디스플레이 구동 프로그램을 수행한다.(S540)
본 발명의 실시 예에서 제2 연결장치(500)의 제3 오디오 잭(520)을 아날로그 인터페이스 부(100)의 제1 오디오 잭(190)에 연결한 경우는, 도 9에서 S510 단계는 건너뛰어 S520 단계부터 시작한다.
이 경우에는 S520 단계에서, 스마트폰(200)에서 보청기 동작에 필요한 신호처리를 완료하여 RAM(230)의 출력데이터 버퍼(233)에 저장한 데이터를 응용프로세서(210), 호스트 직렬데이터 송수신기(220), 제1 연결장치(400), 디바이스 직렬데이터 송수신기(140), Write FIFO 메모리(170), 스피커 구동회로(180), 제1 오디오 잭(190)과 제2 연결장치(550)를 차례로 통과하여 스피커(600)로 출력한다.
이와 같이 제3 오디오 잭(520)을 제1 오디오 잭(190)에 연결한 경우에는 제3 오디오 잭(520)을 제2 오디오 잭(280)에 연결한 경우와 달리 오디오 데이터의 처리단위(240 샘플) 만큼 모일 때까지 기다리는 시간(5 ms)이 없어지기 때문에 마이크로폰 배열(300)에서 수신되어 본 발명의 보청기를 거쳐서 스피커(600)로 출력될 때까지의 지연시간(latency)이 크게 감소한다.
도 10은 도 8에 포함된 증폭이득 결정 프로그램 수행단계의 상세 순서도이다.
상기 증폭이득 결정 프로그램 수행단계(S600)에서는 도 2에 보인 아날로그 증폭기(110)의 증폭이득값을 결정한다. 도 1의 복수 개의 마이크로폰으로 구성된 마이크로폰 배열(300)에서 출력되는 복수 개의 아날로그 입력신호들(A1, A2, A3, A4, A%, A6, A7, A8)은, 각각 도 2의 아날로그 증폭기(110), 아날로그-디지털 변환기(120), Read FIFO 메모리(130), 디바이스 직렬데이터 송수신기(140)와 도 3의 제1 연결장치(400), 호스트 직렬데이터 송수신기(220)와 응용프로세서(210)를 차례로 통과하여 램(230)의 입력데이터 버퍼(232)에 마이크로폰 별로 따로 저장된다.
먼저, 상기 램(230)의 입력데이터 버퍼(232)에 저장된 데이터를 읽어들이고(S610), 각 마이크로폰의 출력에 대응하는 디지털 신호의 최소값과 최대값이 상기 아날로그-디지털 변환기 입력범위의 좁은 영역이 아니고 상당히 넓은 영역에 분포하도록 상기 아날로그 증폭기의 이득값을 결정한다.(S620)
아날로그-디지털 변환기의 해상도가 16비트인 경우에, 모든 마이크로폰에 대해서 상기 입력데이터 버퍼에 저장된 값의 최소값과 최대값이 각각 16진수 x2000(십진수 8,192)과 16진수 xE000(십진수 57,344)에 최대한 가까워지도록 상기 아날로그 증폭기의 증폭이득을 조정한다. 이 경우, 상기 복수 개의 아날로그 증폭기의 증폭 이득값은 모두 동일한 값이 되게 한다. 상기 결정된 아날로그 증폭기의 증폭 이득값은 도 3의 응용프로세서(210), 호스트 직렬데이터 송수신기(220), 제1 연결장치(400)와 도 2의 디바이스 직렬데이터 송수신기(140)를 거쳐 아날로그 증폭기(110)에 증폭이득제어(amp gain control) 신호로 인가된다.(S630)
도 11은 도 8에 포함된 보청기 동작에 필요한 디지털 신호처리 프로그램 수행단계(S700)의 상세 순서도이다.
먼저, 입력데이터 버퍼(232)에 각 마이크로폰 별로 저장된 데이터를 읽어들이고(S710), 각 마이크로폰 별로 민감도 차이를 조정한다.(S720)
이를 위해, 복수 개의 마이크로폰에 대해 각 마이크로폰 별로 일정 시간 동안의 출력신호의 전력값이 모두 동일하게 되도록 입력데이터 버퍼에 저장된 값을 보정(calibration)한다.(S720)
이어서, 복수개의 마이크로폰 신호에 대해 보정된 입력데이터 값으로부터 빔포밍(beamforming) 동작을 수행하여 한 개의 데이터 신호를 생성한다.(S730)
빔포밍 동작은 특정 방향에서 전파되어 오는 음향신호만 잘 들리게 한다. 예를 들어, 빔포밍 동작에 의해 사용자의 정면에서 발생하는 음향신호는 잘 들리고 사용자의 측면이나 후면에서 발생하는 음향신호는 잘 들리지 않게 한다. 그 다음에, 상기 빔포밍 동작에 의해 생성된 한 개의 데이터 신호를 필터뱅크(filter bank) 분리 동작을 수행하여 서로 인접한 주파수 대역을 가지는 복수 개의 좁은 주파수대역의 필터뱅크 신호(narrow band channel signal)로 분리한다.(S740)
본 발명의 실시 예에서는 11 개의 필터뱅크 신호를 생성하는데, 각 필터뱅크 신호의 대역폭은 147~212.5Hz, 212.5~289Hz, 289~418Hz, 418~605Hz, 605~875Hz, 875~1265Hz, 1265~1829Hz, 1829~2645Hz, 2645~3825Hz, 3825~5532Hz 및 5532~8000Hz로 이루어진다.
필터뱅크 신호들로 분리한 후에, 각 필터뱅크 신호에 대해 보청기 및 개인음향증폭기 동작에 필요한 출력진폭범위압축(WDRC: wide dynamic range compression) 동작과 이퀄라이제이션(equalization) 동작을 수행하고(S750), 상기 11개의 필터뱅크 신호에 대한 결과 데이터를 합하여 한 개의 신호를 생성하고 이를 램(230)의 출력데이터 버퍼(233)에 저장한다.(S760)
상기 필터뱅크 분리와 빔포밍 동작을 위한 계수(coefficient), 상기 광범위압축(WDRC) 동작을 위한 룩업테이블(LUT: look up table) 및 상기 이퀄라이제이션 동작을 위한 계수들은 도 3의 플래쉬 메모리(270)에 저장한다.
도 12는 도 11의 디지털 신호처리 프로그램에 포함된 빔포밍(S730), 필터뱅크 분리(S740), 출력진폭범위압축(WDRC) 및 이퀄라이제이션 동작(S750)에 대한 상세도이다.
도 12에서, D1, D2, D3, D4, D5, D6, D7과 D8은 도 6에 보인 마이크로폰 배열(300)을 구성하는 m1, m2, m3, m4, m5, m6, m7과 m8에서 각각 출력된 아날로그 신호가 아날로그-디지털 변환기(120)에서 디지털 신호로 변환되어 스마트폰 RAM(230)의 입력데이터 버퍼에 각 마이크로폰 별로 저장된 데이터를 나타낸다.
빔포밍 동작(S730)은 한 개의 올패스(all-pass) 필터와 7 개의 저역통과필터(LPF:low pass filter)를 통과한 8개의 신호를 모두 합산하여 한 개의 신호를 만들고, 상기 한 개의 신호에 전달함수 크기가 신호주파수에 비례하는 미분필터를 적용하여 출력한다.
도 12의 저역통과필터(LPF)와 함께 제시된 주파수는 저역통과필터(LPF)의 대역폭(bandwidth)을 나타낸다. 필터뱅크 분리 동작(S740)은 통과대역폭이 서로 인접한 복수 개의 밴드통과필터(BPF)로 구성되어 상기 빔포밍 동작(S730)의 출력신호를 복수 개의 밴드통과 신호들로 분리한다. 출력진폭범위압축(WDRC) 및 이퀄라이제이션 동작(S750)은 상기 복수 개의 밴드통과 신호들에 대해 각각 서로 다른 출력진폭범위압축 및 주파수 이퀄라이제이션 동작을 수행한 후에 그 결과값들을 모두 합산하여 한 개의 출력신호(Dout)을 생성하고 상기 출력신호(Dout)를 스마트폰 RAM(230)의 출력데이터 버퍼(233)에 저장한다.
도 12에 도시된 대로 각 마이크로폰의 출력신호를 각각 필터를 통과시킨 후에 지연시간을 같게 하여 모두 합하면 빔포밍 동작에 의해 도 7에 도시된 마이크로폰들이 배열된 방향으로 전파되는 음향만 잘 들리게 되는데, 도 12의 D1, D2, D3, D4, D5, D6, D7, D8에 지연시간을 서로 다르게 하고 각각 서로 다른 상수 값을 곱한 후에 그 결과값들을 모두 합하면 지연시간과 곱하는 상수값의 조합에 따라 빔포밍 동작에 의해 잘 들리는 방향을 바꿀 수 있다.
보청기에서 음향신호가 마이크로폰에 입력된 후 신호처리되어 스피커로 출력될 때까지의 지연시간(latency)이 가능한 짧은 것이 좋다. 상기 지연시간이 대략 35ms(0.035초) 이상이 되면, 사용자는 보청기를 통하여 귀에 전달되는 소리와 상기 보청기를 통하지 않고 직접 귀에 전달되는 소리를 각각 별도로 인식하게 되어 하나의 음향신호가 두 번 귀에 들리는 불편함이 있다.
최근 고사양(high spec.) 및 고가의(high priced) 보청기에서는 보청기의 지연시간을 보통 10ms(0.01초) 이하로 한다. 본 발명의 실시 예에서는 상기 지연시간을 20ms(0.02초) 이내로 하는 것을 목표로 한다.
본 발명의 실시 예에서 도 1의 제2 경로를 선택하고 스마트폰의 오디오 데이터 처리단위가 240개의 샘플이고 입력 아날로그 신호의 샘플속도가 48kS/sec일 경우에, 5ms(0.005초)마다 한 번씩 오디오 데이터를 스피커로 출력한다. 따라서, 도 11의 보청기 동작을 위한 디지털 신호처리 프로그램에서도 240개의 샘플 단위로 데이터를 처리한다. 본 발명의 실시 예에서 상기 도 1의 제2 경로 선택 2 를 채택한 경우에, 마이크로폰 배열(300)에 음성신호가 입력된 시각으로부터 본 발명에 따른 보청기를 통과하여 스피커(600)에서 출력될 때까지의 지연시간(latency)은 수학식 2로 계산된다.
Figure 112016112679186-pat00002
본 발명의 실시 예에서, 아날로그-디지털 변환기(ADC, 120)는 델타-시그마 모듈레이터와 데시메이션(decimation) 필터로 구성되는데 상기 아날로그-디지털 변환 동작을 1ms(0.001초) 이내에 완료하고, USB 인터페이스를 통하여 상기 아날로그-디지털 변환기(120)의 출력신호가 Read FIFO 메모리(130)에 입력된 시각부터 스마트폰 내의 램(230)의 입력데이터 버퍼(232)까지 전달되는 시각까지 USB1.1 표준의 두 프레임 시간인 2ms(0.002초) 정도 걸린다.
오디오 신호처리 단위인 240개의 샘플 데이터를 응용프로세서(210)가 상기 램(230) 입력데이터 버퍼(232)에서 읽어오고 앱 프로그램 저장소(231)에 저장된 소프트웨어 신호처리 프로그램을 호출하여 수행하고 그 결과 데이터를 램(230)의 출력데이터 버퍼(233)에 저장하는 동작까지를 5ms(0.005초) 이내에 완료한다.
이어서, 상기 출력데이터 버퍼(233)에 저장된 240개의 샘플 데이터를 읽어들여 오디오 코덱(codec)의 디지털-아날로그 변환기(DAC, 250)까지 전달하는 동작을 3ms(0.003초) 이내에 완료하고, 디지털-아날로그 변환기(250)의 버퍼에서 240개의 샘플 데이터를 출력하는데 최대 5ms(0.005초)까지의 대기시간이 소요되고, 델타-시그마 방식의 DAC를 사용하면 1 ms의 처리시간이 필요하므로, 수학식 2에 보인 지연시간은 17 ms(0.017초)로 계산된다.
상기 17 ms의 지연시간에 아직 고려되지 못한 지연시간을 3ms라고 가정하면, 본 발명에 따른 보청기에서는 음향신호가 마이크로폰 배열(300)에 입력된 시각부터 본 발명에 따른 보청기를 거쳐서 스마트폰의 스피커(600)로 출력될 때까지의 지연시간(latency)을 20ms(0.02초) 이내로 하는 것이 바람직하다.
이때 스마트폰의 GPU(212)를 CPU(211)의 보조프로세서(co-processor)로 활용함으로써, 수학식 2에 보인대로 상기 신호처리 소요시간이 5ms 이내가 된다.
본 발명의 실시 예에서 도 1의 제1 경로를 선택한 경우는, 수학식 2에서 RAM-to-CODEC DAC 전달시간(3 ms)과 DAC 대기시간(5 ms)이 소요되지 않아 상기 지연시간을 크게 단축할 수 있다. 그런데, 스마트폰 RAM의 출력데이터 버퍼(233)에서 아날로그 인터페이스 부의 write FIFO 메모리(180)까지 데이터를 전송하는데 USB 1.1 프레임 시간(1ms)의 두 배가 추가로 소요된다. 따라서, 상기 도 1의 제1 경로를 채택한 경우의 상기 마이크로폰(300)으로부터 스피커(600)까지의 지연시간은 수학식 3에 의해 11 ms로 계산된다.
Figure 112016112679186-pat00003
수학식 3에서 스피커 구동회로(180)의 지연시간은 상기 스피커 구동회로가 델타-시그마 방식의 디지털-아날로그 변환기를 포함한다고 가정하여 계산하였다. 아직 고려하지 못한 지연시간을 3 ms라고 가정하여 상기 수학식 3에서 계산된 값에 더하면 상기 지연시간이 14 ms가 된다.
이상에서 살펴본 바와 같이 본 발명에 따른 스마트폰 기반의 보청기 는 마이크로폰과 스마트폰을 연결하는 아날로그 인터페이스 부를 한 개의 집적회로 칩으로 구현하고, 스마트폰의 응용프로세서(AP)에 내장된 CPU와 GPU를 함께 사용하여 상기 스마트폰에서 소프트웨어로 수행하는 디지털 신호처리 시간을 최소화함으로써, 상기 마이크로폰에 수신된 신호가 상기 마이크로폰으로부터 상기 스마트폰을 거쳐 스피커로 출력될 때까지의 지연시간을 최소화하고 이를 통해 가격이 저렴하면서도 성능이 우수한 보청기를 구현하는 것을 특징으로 하고 있다.
본 발명에서 보청기와 관련하여 제시된 사상은 모두 개인음향증폭기(PSAPs)에도 적용 가능하다.
본 발명은 도면들에 도시된 실시 예들을 참고로 설명되었으나 이는 예시적인 것에 불과하며, 본 기술 분야의 통상의 지식을 가진 자라면 이들로부터 다양한 변형 및 균등한 다른 실시 예가 가능하다는 점을 이해할 것이다. 따라서, 본 발명의 진정한 기술적 보호 범위는 첨부된 특허청구범위의 기술적 사상에 의하여 정해져야 할 것이다.

Claims (29)

  1. 수신된 음향신호를 전기신호로 변환하여 출력하는 복수 개의 마이크로폰으로 구성된 마이크로폰 배열;
    상기 마이크로폰 배열에서 출력되는 복수 개의 아날로그 신호를 입력으로 받아 증폭하고 각각 디지털 신호로 변환한 후에 변환된 디지털 신호를 스마트폰으로 출력하는 기능을 포함하고 스마트폰으로부터 입력된 디지털 신호를 아날로그 신호로 변환하여 스피커로 출력하는 기능을 선택적으로 포함하는 아날로그 인터페이스 부;
    상기 아날로그 인터페이스 부로부터 입력된 디지털 신호에 대해 보청기 동작에 필요한 신호처리를 수행하고 상기 신호처리된 디지털 신호를 상기 아날로그 인터페이스 부로 출력하거나 또는 아날로그 신호로 변환하여 스피커로 출력하는 스마트폰;
    상기 아날로그 인터페이스 부 또는 상기 스마트폰으로부터 입력된 상기 아날로그 신호를 음향신호로 변환하는 스피커;
    상기 아날로그 인터페이스 부와 상기 스마트폰을 연결하는 제1 연결장치;
    상기 스피커를 상기 스마트폰 또는 상기 아날로그 인터페이스 부에 연결하는 제3 오디오 잭 및 상기 제3 오디오 잭에 연결되는 오디오 케이블로 구성된 제2 연결장치; 및
    상기 마이크로폰 배열과 상기 아날로그 인터페이스 부를 연결하는 제3 연결장치;를 포함하며,
    상기 마이크로폰 배열과 연결된 상기 제3 연결장치가 상기 오디오 케이블과 물리적으로 결합되어 있는 것을 특징으로 하는 스마트폰 기반의 보청기.
  2. 삭제
  3. 제1항에 있어서, 상기 아날로그 인터페이스 부는,
    상기 제3 연결장치를 통하여 상기 마이크로폰 배열로부터 전달받은 상기 복수 개의 아날로그 신호를 각각 증폭하는 복수 개의 아날로그 증폭기;
    상기 아날로그 증폭기의 출력신호를 입력으로 받아 각각 디지털 신호로 변환하는 아날로그-디지털 변환기;
    상기 아날로그-디지털 변환기의 출력신호를 입력으로 받아 직렬 데이터 송수신부로 데이터를 출력하는 Read FIFO 메모리;
    상기 Read FIFO 메모리 출력신호를 입력으로 받아 상기 제1 연결장치를 통하여 상기 스마트폰에 전달하는 역할과 상기 아날로그 증폭기의 증폭이득(amp gain)을 제어하는 증폭이득 제어(amp gain control)신호를 상기 스마트폰으로부터 수신하는 역할과 상기 수신된 증폭이득 제어신호를 상기 아날로그 증폭기에 전달하는 역할을 수행하는 디바이스 직렬데이터 송수신기;
    상기 아날로그-디지털 변환기에 인가되는 제1클락신호, 상기 Read FIFO 메모리에 인가되는 제2클락신호 및 상기 디바이스 직렬데이터 송수신기에 인가되는 제3클락신호를 생성하는 클락생성기; 및
    상기 제1 연결장치를 통하여 상기 스마트폰으로부터 직류전압(VCC)을 공급받아 상기 아날로그 증폭기, 상기 아날로그-디지털 변환기, 상기 Read FIFO 메모리, 상기 디바이스 직렬데이터 송수신기, 상기 클락생성기 및 상기 제3 연결장치에 각각 인가되는 공급전압을 생성하는 공급전압변환기;를 포함하는 것을 특징으로 하는 스마트폰 기반의 보청기.
  4. 제3항에 있어서, 상기 아날로그 인터페이스 부는,
    상기 디바이스 직렬데이터 송수신기를 통하여 상기 스마트폰으로부터 데이터를 입력받는 Write FIFO 메모리;
    상기 Write FIFO 메모리로부터 데이터를 입력받아 상기 스피커를 구성하는 이어폰을 구동하는 두 개의 아날로그 신호를 출력하되, 델타-시그마 모듈레이터를 포함하는 스피커 구동회로; 및
    상기 스피커 구동회로로부터 입력받은 상기 두 개의 아날로그 신호를 상기 제2 연결장치로 전달하는 제1 오디오 잭을 더 포함하는 것을 특징으로 하는 스마트폰 기반의 보청기.
  5. 제3항 또는 제4항에 있어서,
    상기 아날로그 인터페이스 부를 구성하는 회로를 한 개의 집적회로 칩(integrated circuit chip)에 구현하는 것을 특징으로 하는 스마트폰 기반의 보청기.
  6. 제3항 또는 제 4항에 있어서, 상기 스마트폰은,
    중앙처리장치와 그래픽처리장치를 포함하는 응용프로세서;
    데이터 포트를 통하여 상기 응용프로세서와 상기 제1 연결장치를 연결하는 호스트 직렬데이터 송수신기;
    상기 응용프로세서와 연결된 램;
    상기 응용프로세서와 연결된 디스플레이 및 터치센서 모듈;
    직류공급전압을 생성하여 상기 데이터 포트를 통하여 상기 제1 연결장치로 공급하는 공급전압발생기; 및
    플래시 메모리;를 포함하는 것을 특징으로 하는 스마트폰 기반의 보청기.
  7. 제 6항에 있어서, 상기 스마트폰은,
    상기 제2 연결장치와 상기 스마트폰을 연결하는 제2 오디오 잭; 및
    상기 제2 오디오 잭과 상기 응용프로세서를 연결하는 디지털-아날로그 변환기를 더 포함하는 것을 특징으로 하는 스마트폰 기반의 보청기.
  8. 제 1항에 있어서, 상기 아날로그 인터페이스 부는,
    보청기의 동작에 필요한 필터뱅크 분리, 출력진폭범위압축(wide dynamic range compression) 및 주파수 이퀄라이제이션 기능을 포함하지 않는 것을 특징으로 하는 스마트폰 기반의 보청기.
  9. 제 1항에 있어서, 상기 스마트폰은,
    빔포밍(beamforming), 필터뱅크 분리, 출력진폭범위압축, 또는 주파수 이퀄라이제이션 기능을 소프트웨어를 이용하여 수행하는 것을 특징으로 하는 스마트폰 기반의 보청기.
  10. 제 6항에 있어서, 상기 스마트폰은,
    상기 응용프로세서에 포함된 상기 그래픽처리장치를 활용함으로써 빔포밍(beamforming), 출력전압범위압축, 필터 뱅크 분리 또는 주파수 이퀄라이제이션 기능을 수행하여 상기 기능을 수행하는데 소요되는 시간을 감소시키는 것을 특징으로 하는 스마트폰 기반의 보청기.
  11. 제 7항에 있어서, 상기 램은,
    상기 아날로그 인터페이스 부로부터 상기 제1 연결장치를 통하여 상기 스마트폰에 전달된 데이터를 저장하는 입력데이터 버퍼;
    상기 응용프로세서에서 실행되는 앱 프로그램을 저장하는 앱 프로그램 저장부; 및
    상기 스피커로 출력할 데이터를 저장하는 출력데이터 버퍼;를 포함하는 것을 특징으로 하는 스마트폰 기반의 보청기.
  12. 제 11항에 있어서, 상기 앱 프로그램은,
    상기 입력데이터 버퍼로부터 읽은 데이터에 대해 상기 보청기의 동작에 필요한 디지털 신호처리를 수행하고 그 결과 데이터를 상기 출력데이터 버퍼에 저장하는 디지털 신호처리 프로그램;
    상기 호스트 직렬데이터 송수신기, 상기 디스플레이 및 터치센서 모듈, 상기 디지털-아날로그 변환기를 구동하는 구동 프로그램; 및
    상기 아날로그 증폭기의 증폭이득값을 계산하는 증폭이득결정 프로그램;을 포함하는 것을 특징으로 하는 스마트폰 기반의 보청기.
  13. 제 12항에 있어서, 상기 디지털 신호처리 프로그램은,
    상기 램의 상기 입력데이터 버퍼로부터 데이터를 읽어들이고,
    상기 읽어들인 데이터를 기반으로 상기 복수개의 마이크로폰과 상기 복수 개의 아날로그 증폭기의 직렬연결장치의 감도(sensitivity) 특성이 각각 모두 동일하게 되도록 상기 읽어들인 데이터 값들을 각 마이크로폰 별로 조정(calibration)하고,
    상기 조정된 데이터 값들에 대해 빔포밍(beamforming) 동작을 수행하여 하나의 신호를 생성하고,
    상기 하나의 신호에 대해 필터뱅크(filter bank) 분리 동작을 수행하여 주파수 대역(frequency band)이 서로 다른 복수개의 신호를 생성하고,
    상기 복수개의 신호에 대해 각각 출력진폭범위압축(wide dynamic range compression) 동작과 이퀄라이제이션(equalization) 동작을 수행하고,
    그 결과 데이터를 합하여 하나의 최종신호로 만든 후, 상기 최종신호를 상기 램의 상기 출력데이터 버퍼에 저장하는 기능을 수행하는 것을 특징으로 하는 스마트폰 기반의 보청기.
  14. 제 1항에 있어서,
    상기 제2 연결장치가 스피커를 스마트폰에 연결한 경우에,
    상기 마이크로폰에 수신된 음향신호가 상기 제3 연결장치, 상기 아날로그 인터페이스 부, 상기 제1 연결장치, 상기 스마트폰, 상기 제2 연결장치를 순차적으로 통과하여 상기 스피커에서 음향신호로 출력되기까지의 지연시간(latency)이 0.02초(sec) 이하인 것을 특징으로 하는 스마트폰 기반의 보청기.
  15. 제 1항에 있어서,
    상기 제2 연결장치가 스피커를 아날로그 인터페이스 부에 연결한경우에,
    상기 마이크로폰에 수신된 음향신호가 상기 제3 연결장치, 상기 아날로그 인터페이스 부, 상기 제1 연결장치, 상기 스마트폰, 상기 제1 연결장치, 상기 아날로그 인터페이스 부, 상기 제2 연결장치를 순차적으로 통과하여 상기 스피커에서 음향신호로 출력되기까지의 지연시간(latency)이 0.014초(sec) 이하인 것을 특징으로 하는 스마트폰 기반의 보청기.
  16. 제 1항에 있어서, 상기 아날로그 인터페이스 부는
    별도의 전원공급장치 대신 상기 제1 연결장치를 통하여 상기 스마트폰으로부터 직류전원을 공급받는 것을 특징으로 하는 스마트폰 기반의 보청기.
  17. 제 1항에 있어서,
    별도의 디지털 신호처리 칩 대신 상기 스마트폰의 응용프로세서를 이용하여 보청기 동작에 필요한 디지털 신호처리를 수행하는 것을 특징으로 하는 스마트폰 기반의 보청기.
  18. 제 1항에 있어서, 상기 제1 연결장치는
    일단이 상기 스마트폰의 데이터 포트와 연결되며, 직류전압을 공급하는 도선과 데이터를 전송하는 도선을 포함하는 것을 특징으로 하는 스마트폰 기반의 보청기.
  19. 제 6항에 있어서, 상기 그래픽처리장치를
    상기 중앙처리장치의 보조프로세서(co-processor)로 사용하는 것을 특징으로 하는 스마트폰 기반의 보청기.
  20. 제7항에 있어서,
    상기 오디오 케이블은 일단이 상기 제3 오디오 잭에 연결되고 다른 일단은 사용자의 양쪽 귀에 위치하고 스피커를 구성하는 두 개의 이어폰에 연결되며,
    상기 제3 오디오 잭은 상기 아날로그 인터페이스 부의 제1 오디오 잭 또는 스마트폰의 제2 오디오 잭에 선택적으로 연결되는 것을 특징으로 하는 스마트폰 기반의 보청기.
  21. 제 20항에 있어서, 상기 제3 연결장치는
    직류전압을 공급하는 도선과 아날로그 신호를 전송하는 도선을 포함하는 복수개의 도선;
    복수개의 인쇄기판;
    한 개의 커넥터; 및
    한 개의 막대기 모양의 지지대(supporting rod)로 구성되고,
    상기 복수 개의 인쇄기판은 각각 상기 지지대를 따라 직렬형태로 배치되고, 상기 복수 개의 인쇄기판의 표면에 각각 한 개 또는 복수 개의 마이크로폰을 부착하고, 상기 복수 개의 마이크로폰은 각각 복수 개의 도선을 통하여 상기 커넥터에 전기적으로 연결되고, 상기 커넥터는 상기 아날로그 인터페이스 부에 연결되어 상기 복수 개의 마이크로폰을 각각 상기 아날로그 인터페이스 부에 전기적으로 연결하고, 상기 지지대는 잘 휘어지고 속이 빈 관 형태의 막대기로 상기 복수 개의 인쇄기판과 상기 복수 개의 도선을 상기 지지대의 안쪽 빈 공간에 위치시켜 상기 복수 개의 인쇄기판, 상기 복수 개의 인쇄기판의 표면에 부착된 상기 복수 개의 마이크로폰과 상기 복수 개의 도선을 기계적으로 지지하고 보호하는 역할을 수행하는 것을 특징으로 하는 스마트폰 기반의 보청기.
  22. 제 21항에 있어서,
    상기 제3 연결장치를 구성하는 상기 지지대와 상기 제2 연결장치를 구성하는 상기 오디오 케이블이 길이 방향으로 서로 평행하게 근접하여 배치되고 물리적으로 결합된 것을 특징으로 하는 스마트폰 기반의 보청기.
  23. 제 21항에 있어서,
    상기 마이크로폰 배열을 구성하는 상기 복수 개의 마이크로폰을 상기 제3 연결장치를 구성하는 상기 지지대를 따라 직렬 형태로 배치하고 인접한 두 마이크로폰 사이의 간격을 불균일하게 배치하는 것을 특징으로 하는 스마트폰 기반의 보청기.
  24. 제 21항에 있어서,
    상기 마이크로폰 배열을 구성하는 상기 복수 개의 마이크로폰을 상기 제3 연결장치를 구성하는 상기 지지대를 따라 상기 아날로그 인터페이스 부에 가까운 위치부터 시작하여 상기 아날로그 인터페이스 부로부터 멀어지는 방향으로 차례대로 직렬형태로 배치할 때, 첫 번째 배치한 마이크로폰(M1)과 두 번째 배치한 마이크로폰(M2) 사이의 간격을 고려하는 최고주파수 입력음향신호의 음파 파장의 절반 크기로 정하고, 세 번째 배치하는 마이크로폰부터는 다음에 배치할 마이크로폰(MN+1)과 상기 첫 번째 배치한 마이크로폰(M1) 사이의 간격을 직전에 배치한 마이크로폰(MN)과 상기 첫 번째 배치한 마이크로폰(M1) 사이의 간격에 일정한 상수값을 곱한 값으로 정하는 것을 특징으로 하는 스마트폰 기반의 보청기.
  25. 제 24항에 있어서,
    상기 첫 번째 배치한 마이크로폰(M1)으로부터 수신된 신호는 올패스(all-pass) 필터를 통과시키고, 두 번째 배치한 마이크로폰(M2)으로부터 수신된 신호는 대역폭(bandwidth)이 상기 최고주파수 입력음향신호의 최고주파수와 동일한 저역통과필터를 통과시키고, 세 번째 배치한 마이크로폰(M3)으로부터 수신된 신호에 대해서는 직전에 배치한 마이크로폰으로부터 수신된 신호에 적용한 대역폭을 상기 일정한 상수값으로 나눈 값을 대역폭으로 가지는 저역통과 필터를 통과시키고, 상기 복수 개의 마이크로폰으로부터 수신된 신호를 각각 상기 필터를 통과시킨 결과 신호값들을 모두 더하여 합신호를 생성하고, 상기 합신호를 미분필터를 통과시켜 빔포밍된 신호를 생성하는 것을 특징으로 하는 스마트폰 기반의 보청기.
  26. 제 25항에 있어서,
    상기 복수 개의 마이크로폰으로부터 수신된 신호를 각각 상기 필터를 통과시킨 결과 신호값들에 대해 각각 서로 다른 지연시간을 거치게 하고 각각 서로 다른 상수를 곱한 후에 그 결과 신호값들을 모두 더하여 합신호를 생성하고, 상기 합신호를 미분필터를 통과시켜 빔포밍된 신호를 생성하는 것을 특징으로 하는 스마트폰 기반의 보청기.
  27. 제 1항에 있어서, 상기 아날로그 인터페이스 부가 상기 스마트폰의 뒷면에 위치하도록 상기 아날로그 인터페이스 부를 구성하는 장치를 상기 스마트폰에 부착된 스마트폰 케이스 또는 상기 스마트폰과 직접 물리적으로 결합하여 고정시키는 것을 특징으로 하는 스마트폰 기반의 보청기.
  28. 제 1항에 있어서, 상기 아날로그 인터페이스 부를 동글(dongle) 형태로 제작하여 상기 스마트폰의 데이터 포트를 통하여 상기 아날로그 인터페이스 부를 상기 스마트폰에 결합하는 것을 특징으로 하는 스마트폰 기반의 보청기.
  29. 제 3항에 있어서, 디바이스 직렬데이터 송수신기는 상기 제1 연결장치를 통하여 USB 1.1 표준에 따라 데이터를 전송하는 것을 특징으로 하는 스마트폰 기반의 보청기.
KR1020160153925A 2016-11-18 2016-11-18 스마트폰 기반의 보청기 Active KR101753064B1 (ko)

Priority Applications (3)

Application Number Priority Date Filing Date Title
KR1020160153925A KR101753064B1 (ko) 2016-11-18 2016-11-18 스마트폰 기반의 보청기
PCT/KR2017/009320 WO2018093019A1 (ko) 2016-11-18 2017-08-25 스마트폰 기반의 보청기
US16/462,145 US10993046B2 (en) 2016-11-18 2017-08-25 Smartphone-based hearing aid

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020160153925A KR101753064B1 (ko) 2016-11-18 2016-11-18 스마트폰 기반의 보청기

Publications (1)

Publication Number Publication Date
KR101753064B1 true KR101753064B1 (ko) 2017-07-03

Family

ID=59357471

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020160153925A Active KR101753064B1 (ko) 2016-11-18 2016-11-18 스마트폰 기반의 보청기

Country Status (3)

Country Link
US (1) US10993046B2 (ko)
KR (1) KR101753064B1 (ko)
WO (1) WO2018093019A1 (ko)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110175141A (zh) * 2018-02-20 2019-08-27 思睿逻辑国际半导体有限公司 与通过usb连接器的数据传送相关的方法和装置
KR20210045374A (ko) 2021-04-06 2021-04-26 조성재 모바일 플러그인 보청기
KR20220016552A (ko) * 2020-08-03 2022-02-10 삼성전자주식회사 음성 데이터 처리 방법 및 이를 지원하는 전자 장치
WO2022165072A1 (en) * 2021-01-29 2022-08-04 Iyo Inc. Ear-mountable listening device having a microphone array disposed around a circuit board

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11317221B2 (en) * 2018-05-15 2022-04-26 Sonova Ag Method and apparatus for in-ear acoustic readout of data from a hearing instrument

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101175723B1 (ko) * 2010-08-12 2012-08-22 주식회사 바이오사운드랩 보청장치 및 제어방법
KR101354902B1 (ko) * 2012-04-03 2014-01-23 주식회사 바이오사운드랩 모바일 폰과 기능 연계성을 가진 보청기 구조
KR101648840B1 (ko) * 2015-02-16 2016-08-30 포항공과대학교 산학협력단 휴대용 전자장치에 결합된 보청기

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101149062B1 (ko) * 2010-03-10 2012-05-24 (주)건융아이비씨 보청 기능을 구비한 단말기와 결합되는 보청용 이어 마이크 장치
US9736600B2 (en) * 2010-05-17 2017-08-15 Iii Holdings 4, Llc Devices and methods for collecting acoustic data
US9479876B2 (en) * 2012-04-06 2016-10-25 Iii Holdings 4, Llc Processor-readable medium, apparatus and method for updating a hearing aid
US9210520B2 (en) * 2012-12-17 2015-12-08 Starkey Laboratories, Inc. Ear to ear communication using wireless low energy transport
US9119009B1 (en) * 2013-02-14 2015-08-25 Google Inc. Transmitting audio control data to a hearing aid
US20150271607A1 (en) * 2014-03-19 2015-09-24 Bose Corporation Crowd sourced recommendations for hearing assistance devices
KR101585793B1 (ko) * 2014-09-30 2016-01-15 정금필 스마트 보청기

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101175723B1 (ko) * 2010-08-12 2012-08-22 주식회사 바이오사운드랩 보청장치 및 제어방법
KR101354902B1 (ko) * 2012-04-03 2014-01-23 주식회사 바이오사운드랩 모바일 폰과 기능 연계성을 가진 보청기 구조
KR101648840B1 (ko) * 2015-02-16 2016-08-30 포항공과대학교 산학협력단 휴대용 전자장치에 결합된 보청기

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110175141A (zh) * 2018-02-20 2019-08-27 思睿逻辑国际半导体有限公司 与通过usb连接器的数据传送相关的方法和装置
KR20220016552A (ko) * 2020-08-03 2022-02-10 삼성전자주식회사 음성 데이터 처리 방법 및 이를 지원하는 전자 장치
WO2022030750A1 (ko) * 2020-08-03 2022-02-10 삼성전자 주식회사 음성 데이터 처리 방법 및 이를 지원하는 전자 장치
KR102765595B1 (ko) * 2020-08-03 2025-02-12 삼성전자주식회사 음성 데이터 처리 방법 및 이를 지원하는 전자 장치
WO2022165072A1 (en) * 2021-01-29 2022-08-04 Iyo Inc. Ear-mountable listening device having a microphone array disposed around a circuit board
US11636842B2 (en) 2021-01-29 2023-04-25 Iyo Inc. Ear-mountable listening device having a microphone array disposed around a circuit board
KR20210045374A (ko) 2021-04-06 2021-04-26 조성재 모바일 플러그인 보청기

Also Published As

Publication number Publication date
WO2018093019A1 (ko) 2018-05-24
US20200021921A1 (en) 2020-01-16
US10993046B2 (en) 2021-04-27

Similar Documents

Publication Publication Date Title
KR101753064B1 (ko) 스마트폰 기반의 보청기
KR101648840B1 (ko) 휴대용 전자장치에 결합된 보청기
US9538283B2 (en) Ear microphone
CN101681617B (zh) 具有环境降噪的通信装置
KR20160018488A (ko) 입력 디바이스 및 송신 방법, 호스트 디바이스 및 수신 방법, 그리고 신호 처리 시스템 및 송수신 방법
US9532125B2 (en) Noise cancellation microphones with shared back volume
US10748522B2 (en) In-ear microphone with active noise control
CN115412788A (zh) 耳挂式麦克风
JP2022531363A (ja) 骨伝導センサを備える聴覚機器
KR101175723B1 (ko) 보청장치 및 제어방법
CN105323682B (zh) 一种数模混合麦克风及耳机
CN1936829A (zh) 声音输出系统及方法
CN104581467A (zh) 耳机麦克风、应用其的语音撷取方法与通讯方法
WO2023070916A1 (zh) 一种耳机闭塞效应消除方法及耳机
KR101648042B1 (ko) ANC(Active Noise Cancellation) 기능을 가지는 휴대폰용 이어폰 시스템
US20200319843A1 (en) Reconfigurable microphone assembly
CN114945119B (zh) 定向带式麦克风组件
CN109889939A (zh) 耳机和回声消除方法
CN215499484U (zh) 一种无线降噪耳机
CN213547789U (zh) 一种语音穿戴装置及其系统
KR20220130446A (ko) 외부 소리를 듣기 위한 전자 장치 및 전자 장치의 동작 방법
KR101529253B1 (ko) ANC(Active Noise Cancellation) 기능과 디지털 인터페이스를 가지는 휴대폰용 이어폰
KR102327235B1 (ko) 모바일 플러그인 보청기
US9901736B2 (en) Cochlea hearing aid fixed on eardrum
CN215268694U (zh) 有源多路数字分频耳机系统

Legal Events

Date Code Title Description
PA0109 Patent application

Patent event code: PA01091R01D

Comment text: Patent Application

Patent event date: 20161118

PA0201 Request for examination
PA0302 Request for accelerated examination

Patent event date: 20161118

Patent event code: PA03022R01D

Comment text: Request for Accelerated Examination

PE0902 Notice of grounds for rejection

Comment text: Notification of reason for refusal

Patent event date: 20170217

Patent event code: PE09021S01D

E701 Decision to grant or registration of patent right
PE0701 Decision of registration

Patent event code: PE07011S01D

Comment text: Decision to Grant Registration

Patent event date: 20170622

GRNT Written decision to grant
PR0701 Registration of establishment

Comment text: Registration of Establishment

Patent event date: 20170627

Patent event code: PR07011E01D

PR1002 Payment of registration fee

Payment date: 20170627

End annual number: 3

Start annual number: 1

PG1601 Publication of registration
PR1001 Payment of annual fee

Payment date: 20200326

Start annual number: 4

End annual number: 4

PR1001 Payment of annual fee

Payment date: 20210315

Start annual number: 5

End annual number: 5

PR1001 Payment of annual fee

Payment date: 20230320

Start annual number: 7

End annual number: 7