[go: up one dir, main page]

KR100256718B1 - 음피치 변환 장치 - Google Patents

음피치 변환 장치 Download PDF

Info

Publication number
KR100256718B1
KR100256718B1 KR1019960082425A KR19960082425A KR100256718B1 KR 100256718 B1 KR100256718 B1 KR 100256718B1 KR 1019960082425 A KR1019960082425 A KR 1019960082425A KR 19960082425 A KR19960082425 A KR 19960082425A KR 100256718 B1 KR100256718 B1 KR 100256718B1
Authority
KR
South Korea
Prior art keywords
pitch
frequency
frame
sound
signal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
KR1019960082425A
Other languages
English (en)
Other versions
KR970050862A (ko
Inventor
히사코 신바라
미츠오 마츠모토
다쿠마 스즈키
Original Assignee
슈즈이 다케오
닛폰 비구타 가부시키가이샤
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 슈즈이 다케오, 닛폰 비구타 가부시키가이샤 filed Critical 슈즈이 다케오
Publication of KR970050862A publication Critical patent/KR970050862A/ko
Application granted granted Critical
Publication of KR100256718B1 publication Critical patent/KR100256718B1/ko
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B20/00—Signal processing not specific to the method of recording or reproducing; Circuits therefor
    • G11B20/10—Digital recording or reproducing
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/04—Time compression or expansion
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H1/00—Details of electrophonic musical instruments
    • G10H1/18—Selecting circuits
    • G10H1/20—Selecting circuits for transposition
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H1/00—Details of electrophonic musical instruments
    • G10H1/36—Accompaniment arrangements
    • G10H1/361—Recording/reproducing of accompaniment for use with an external source, e.g. karaoke systems
    • G10H1/366—Recording/reproducing of accompaniment for use with an external source, e.g. karaoke systems with means for modifying or correcting the external signal, e.g. pitch correction, reverberation, changing a singer's voice
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2210/00—Aspects or methods of musical processing having intrinsic musical character, i.e. involving musical theory or musical parameters or relying on musical knowledge, as applied in electrophonic musical tools or instruments
    • G10H2210/031—Musical analysis, i.e. isolation, extraction or identification of musical elements or musical parameters from a raw acoustic signal or from an encoded audio signal
    • G10H2210/066—Musical analysis, i.e. isolation, extraction or identification of musical elements or musical parameters from a raw acoustic signal or from an encoded audio signal for pitch analysis as part of wider processing for musical purposes, e.g. transcription, musical performance evaluation; Pitch recognition, e.g. in polyphonic sounds; Estimation or use of missing fundamental
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2250/00—Aspects of algorithms or signal processing methods without intrinsic musical character, yet specifically adapted for or used in electrophonic musical processing
    • G10H2250/131—Mathematical functions for musical analysis, processing, synthesis or composition
    • G10H2250/215—Transforms, i.e. mathematical transforms into domains appropriate for musical signal processing, coding or compression
    • G10H2250/235—Fourier transform; Discrete Fourier Transform [DFT]; Fast Fourier Transform [FFT]
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2250/00—Aspects of algorithms or signal processing methods without intrinsic musical character, yet specifically adapted for or used in electrophonic musical processing
    • G10H2250/131—Mathematical functions for musical analysis, processing, synthesis or composition
    • G10H2250/261—Window, i.e. apodization function or tapering function amounting to the selection and appropriate weighting of a group of samples in a digital signal within some chosen time interval, outside of which it is zero valued

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Acoustics & Sound (AREA)
  • Signal Processing (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Health & Medical Sciences (AREA)
  • Quality & Reliability (AREA)
  • Computational Linguistics (AREA)
  • Electrophonic Musical Instruments (AREA)
  • Reverberation, Karaoke And Other Acoustics (AREA)
  • Measurement Of Mechanical Vibrations Or Ultrasonic Waves (AREA)
  • Auxiliary Devices For Music (AREA)

Abstract

음 신호의 피치(pitch)를 시프트시키는 음 피치 변환 장치는 상기 음 신호를 일련의 다수 프레임으로 분할하여 프레임의 인벨롭을 셰이핑하는 제1윈도우잉 장치, 각 프레임내에서 피치 주파수를 검파하는 피치 주파수 검파장치, 각 프레임 신호를 주파수 도메인으로 변환하는 퓨리에 변환 장치, 퓨리에 변환된 프레임 신호에서의 모든 주파수 성분을 원하는 정도로 보다 높거나 낮게 시프트시키는 주파수 시프트 장치, 검파된 피치 주파수에 응답하는 주파수 시프트된 프레임 신호에 포함되는 고조파 레벨을 제어하는 고조파 레벨 제어 장치, 고조파 레벨 제어된 프레임 신호를 시간 도메인으로 변환시키는 역 퓨리에 변환 장치 및 상기 역 퓨리에 변환 장치로 부터 출력되는 프레임 신호의 인벨롭을 셰이핑하여 상기 각 프레임을 피치 변경된 음 신호와 결합시키는 제2 윈도우잉 장치를 활용한다.

Description

음 피치 변환 장치
본 발명은 음 피치 또는 음의 원래 주파수를 시프트시키는 가라오케(멜로디에 따라서 노래하는 기계)플레이어 및 음, 영상 편집기와 같은 음 피치 변환 장치에 관한 것으로서, 특히 음 열화를 초래함이 없이 원음 특성을 유지시키는 음 피치를 손쉽게 시프트시키는 장치에 관한 것이다.
종래 가라오케 플레이어와 같은 종래 음 피치 변환 장치는 음을 수반하는 피치를 시프트시켜 이 피치를 반주기(singing player)의 레지스터에 맞추는 키 제어라 칭하는 기능을 갖는다. 이 키 제어는 아날로그 신호의 수반되는 음의 재생 속도를 변경하므로써 음 피치를 시프트시킨다.
최근에, 통신 가라오케 시스템이 개발되었는데, 음악 제공자는 이 통신 가라오케 시스템에 매우 다양한 노래를 저장하여 터미널 사용자의 요청에 응답하여 노래를 다수의 터미널 사용자에게 전달한다.
이와 같이 전달된 노래의 디지탈 데이타는 수반하는 음악과 동기적으로 캐릭터의 색을 표시하여 변경시키는 캐릭터 데이타와, 터미널 합성기를 구동시켜 수반 음악을 재생하는 MIDI(Musical Instrument Digital Interface) 신호 및 남, 녀 합창의 자연음을 재생하는 압축된 음 신호로 이루어져 있다.
원래 박자를 변경시킴이 없이 합성기의 설비를 원래 피치보다 높거나 낮게 주파수 조절하므로써, 가라오케 시스템의 MIDI 신호는 자신의음 피치내에서 변경될 수 있다.
그러나, 원음의 박자 및 특성을 변경시킴이 없이 그리고 음질을 열화시킴이 없이 남, 녀 합창의 자연음의 음 피치를 변경시키는 것은 어려운데, 그 이유는 남, 녀 합창의 자연음은 MIDI 신호가 아니라 피치 제어 정보를 갖지 않는 아날로그 신호이기 때문이다.
최근에, 오디오/비디오 편집 장치는 디지탈 음신호를 편집하도록 개발되었지만, 이 편집 장치는 원음의 질을 열화시키지 않고는 음 피치를 변경시킬 수 없었다.
음 피치를 변경시키지만 원래 박자를 유지시키는 크게 두가지 종래 방법이 존재한다.
이들 방법중 한가지 방법은 시간 도메인에서 음신호를 샘플링하여 처리하는 것이다. 음 피치가 예를 들어 원음보다 2배 높게 하고자 하는 경우, 음신호는 소정 세그먼트로 분할되고 이들 분할된 음 신호의 데이타는 2배의 피치 신호를 얻기 위하여 원래 판독출력 속도보다 2배로 판독출력된다. 또는, 분할된 음 신호 세그먼트 각각의 피치 주파수(최하위 주파수는 분할된 세그먼트가 자체 주파수 스펙트럼에서 분석될때 나타나는데, 이 "피치 주파수"를 또한 "기본 주파수"라고 칭한다.)는 검파되어 2배의 피치 신호를 얻기위하여 2배화 된다. 이들중 어느 한가지 경우에서, 소정 세그먼트에 대응하는 분할된 시간 주기는 2배화된 피치 신호를 반복적으로 이용하므로써 채워진다. 따라서, 피치주파수는 음의 원래 박자를 변경시킴이 없이 2배화된다. 이 방법의 문제점은 2배화된 피치 신호 세그먼트와 유연하게 접속하는 것이다. 실제로, 재생된 음은 불완전한 접속으로 인해 열화되고 원음의 특성이 왜곡된다.
또다른 방법은 음 신호를 주파수 도메인에서 처리하는 퓨리에 변환을 이용하는 것이다. 음 신호는 복수의 소정 세그먼트로 분할된다. 주파수 도멘인에서 분할된 신호 세그먼트의 진폭 및 위상 성분은 퓨리에 변환에 의해 추출되어 소망양만큼 각각 시프트된다. 그리고나서, 시프트된 진폭 및 위상 성분은 역 퓨리에 변환으로 인해 시간 도메인으로 다시 변환된다. 그후에, 피치 변경된 음 신호 세그먼트들은 상호 접속된다. 그러나, 본 발명가의 평가에 의하면, 이 방법은 재생된 음이 부자연스러워서 수용할 수 없었다.
본 출원인에 의해 출원된 일본 공개 공보 제59-204096/1984호에는 퓨리에 변환을 이용하는 또다른 방법이 서술되어 있다. 음 신호는 복수의 소정 세그먼트로 분할되며, 그리고나서 이 분할된 세그먼트는 퓨리에 변환에 의해 변환된다. 변환된 음 신호의 피치 주파수는 검파된다. 이 검파된 피치 주파수의 성분들만이 소정값만큼 시프트된다.
일본 공개 공보 제59-204096/1984호에 서술된 상기 방법은 시프트없이 남아있는 고조파음이 청취자로 하여금 자신의 원래 피치를 일깨워준다. 이로 인해, 청취자는 원음 및 시프트된 피치 음 둘다를 듣게된다.
가라오케 플레이어와는 다른 테이프 레코더 또는 VCRS과 같은 다른 시스템에서도 유사한 피치 변경 장치가 존재하는데, 이들 테이프 레코더 또는 VCRS에서, 이와같은 장치가 표준 속도보다 빠른 속도로 플레이될때 원음 피치를 유지시키는 것이 바람직하다.
본 발명의 목적은 상술된 문제점을 해소하는 것이다.
본 발명의 다른 목적은 간단한 회로 구성, 짧은 처리 시간을 갖고 음열화시킴이 없이 원음 보다 높거나 낮게 음 피치를 변환시키고 원음의 자연적인 음 특성을 유지시키는 음 피치 변환 장치의 수행성능을 개선시키고자 하는 것이다.
본 발명의 또다른 목적은 음 신호의 피치를 소정율만큼 시프트시키는 개선된 음 피치 변환 장치를 제공하는 것인데, 상기 변환 장치는 디지탈 포맷의 입력된 음 신호를 일련의 다수의 프레임으로 분할하여 상기 분할된 프레임 각각을 정형화하는 제1 윈도우잉 장치(windowing device) 각 프레임내에서 피치 주파수를 검파하는 피치 주파수 검파 장치, 퓨리에 변환 장치의 출력에서의 모든 주파수 성분을 소망하는 정도만큼 시프트시키는 주파수 시프트 장치, 피치 주파수 검파 장치에 의해 검파된 피치 주파수에 응답하여 상기 주파수 시프트 장치의 출력에 포함된 고조파 레벨을 제어하는 고조파 레벨제어장치, 상기 고조파 레벨 제어 장치의 출력을 시간 도메인 신호로 변환시키는 역 퓨리에 변환 장치 및 상기 역 퓨리에 변환 장치로 부터 출력되는 음신호의 프레임 각각의 인벨롭을 정형화하여 상기 각 프레임을 피치 변경된 음신호에 결합시키는 제2 윈도우잉 장치를 구비한다.
제1도는 본 발명의 음 피치 변환 장치의 일실시예를 도시한 블럭도.
제2도는 본 발명의 음 피치 변환 장치의 실시예에 의해 실행되는 신호처리 흐름도.
제3a도 내지 제3c도는 윈도우 기능을 활용하므로써 본 발명의 실시예에서 수행디는 두개의 인접한 신호 세그먼트의 결합 처리를 도시한 도면.
* 도면의 주요부분에 대한 부호의 설명
1 : 제1 윈도우잉 장치 2 : 피치 주파수 검파기
3 : FFT 회로 4 : 주파수 시프트 장치
5 : 고조파 레벨 제어기 6 : IFFT 회로
7 : 제2윈도우잉 장치 8 : 가산기
9 : 메모리 10 : D/A 변환기
32 : 제어기
본 발명이 지금부터 첨부한 도면을 참조하여 설명될 것이다.
도 1은 본 발명의 음 피치 변환 장치의 일실시예를 도시한 블럭도이다.
도 2는 본 발명의 음 피치 변환 장치의 실시예에 의해 실행되는 신호처리 흐름도이다.
도 3a 내지 도 3c는 윈도우 기능을 활용하므로써 본 발명의 실시예에서 실행되는 두개의 인접한 신호 세그먼트의 결합 처리를 도시한 도면이다.
44.1KHz의 샘플링 주파수 fs를 갖는 음 신호의 피치를 3개의 반음(반음계의 크기)로 변경시키는 전형적인 장치를 설명한 것이다.
우선적으로, 신호 처리 장치는 프레임 번호 "i"를 초기값으로 설정한다(단계 11). 피치 변경되는 디지탈 음 신호는 제1 윈도우잉 장치(1)에 입력된다. 디지탈 음 신호(이하부터 달리 기술하지 않으면, "음 신호"라 칭한다)의 길이가 프레임보다 긴경우(단계 12→예), 음 신호는 제1 윈도우잉 장치(1)에 의해 예를 들어 4096개의 샘플(샘플 "0" 내지 샘플 "4095")과 같은 소정수의 샘플을 각각 갖는 복수의 프레임으로 분할되고 이들 4096개의 샘플은 프레임의 헤드부분인 0번째 내지 999번째 샘플이 제1 윈도우잉 장치(1)의 윈도우 기능에 의해 사인파가 되도록 (샘플의 아날로그 인벨롭의)진폭 제어되어 출력되도록 하는 바와 같이 판독 출력된다(단계 13). 프레임의 테일 부분인 3096번째 내지 4095번재 샘플은 코사인파가 되도록 진폭 제어되어 출력된다. 이사이의 다른 샘플(1000 내지 3095)는 도 3a에 도시된 바와 같이 레벨 "1"이 되도록 판독 출력된다. 이들 세가지 처리는 (단계 14)에서 수행된다. 각 프레임의 헤드 및 테일 부분에 사인 및 코사인파를 가하도록 상기 진폭 제어를 수행하면은 프레임의 각 끝에 페이드-인 및 페이드-아웃(fade-in and fade out)효과를 제공하므로써 인접한 프레임을 유연하게 결합시킨다(도 3에 도시됨).
헤드 및 테일 부분에서의 최적의 샘플수, 즉 프레임의 사인 및 코사인 주기는 실험을 통해서 200 및 2000샘플간의 수를 변경시키므로써 결정된다. 결과적으로, 500 내지 1500 샘플이 대부분의 음원을 최적화 하는데 적합하다는 것이 검사되는데, 이 샘플은 음원의 10 내지 35msec의 시간 경간에 대응한다. 따라서, 이 실시예에서 헤드 또는 테일 부분을 위한 시간 윈도우의 폭은 1000샘플로 결정되는데, 이것은 약 23msec의 시간 경간에 대응한다. 헤드 또는 테일 부분을 위한 시간 윈도우의 폭은 1/2 프레임 길이 보다 작은 범위내에서 변경될 수 있다.
제1 윈도우잉 장치(1)에 의해 복수의 프레임으로 분할되는 음 신호의 일련의 프레임은 피치 주파수 검파기(2)에 공급되는데, 이 검파기에서 자동상관 기능 또는 셉스트럴(cepstral)기술을 활용하므로써 각 프레임의 음 신호 주파수 스펙트럼에서 최하위 주파수를 추출한다. 음 신호의 일련의 프레임은 또한 퓨리에 변환(FFT)에 공급되어 시간 도메인 신호에서 주파수 도메인 신호(단계 16)로 변환되는데, 이때, 최초에 시간 도메인에 있는 각 샘플은 주파수 도메인으로 변환되는데 이에 따라서 시간 도메인에서의 "샘플수"는 "주파수"가 된다. 샘플링 주파수 fs를 갖는 음 신호가 N(양수) 샘플을 각각 갖는 복수의 프레임으로 분할될대, 주파수 p Hz로 표시되는 FFT 장치(3)로 부터 출력되는 신호의 샘플 수는 (p×N/fs)번째가 된다. 이 실시예에서, fs는 44.1kHz이고 N은 4096이다. 이때, 주파수 p Hz의 샘플수는 (p×4096/44100)번째가 되는데, 여기서 나머지는 버린다.
주파수 시프트 장치(4)는 퓨리에 변환된 음 신호 주파수의 실수부 및 허수부를 3개의 반음만큼, 본 실시예에선 피치 시프트양 만큼 시프트시킨다. 음 피치를 옥타브(octave)만큼, 즉 12개의 반음 이상만큼 시프트시킨다는 것은 원음 주파수가 2배로 되었다는 것을 의미한다. 그러므로, 음신호를 "h"(양수)반음만큼 시프트시키면은 음 신호 주파수를 2h/12배로 만든다. 이 실시예에서, "h"는 3이된다. 이때, 시프트의 양은 23/12가 되는데, 이것은 약 1.19가 된다. 결과적으로, (n)번째 샘플은 (1.19×n)번째로 시프트도된다. 피치 주파수 p1Hz인 경우, 시프트된 주파수의 샘플수는 p1×2h/12×N/fs가 된다.
보컬리스트의 음성은 자신의 피치가 높게되는 만큼 포함된 고조파의 레벨이 낮게 되고 피치가 낮게되는 만큼 레벨이 크게된다는 것을 보여주기 위하여 검사된다. 이들 고조파의 레벨은 재생된 음질에 좌우된다. 따라서, 음질은 음 신호 주파수 모두를 높거나 낮게 시프트시킨후에 고조파의 레벨을 조정하므로써 개선된다.
피치 주파수 검파기(2)의 출력된 피치 주파수가 제로(출력 없음)인 경우(단계 18→예), 고조파 레벨 제어기(5)는 어떤 동작을 행함이 없이 피치 주파수를 역 퓨리에 변환 장치(6)에 출력한다(단계 22).
피치 주파수 검파기(2)에서 출력되는 피치 주파수가 양수인 경우(단계 18→아니오), 고조파 레벨 제어기(5)는 피치 주파수의 고조파 레벨을 제어한다. 프레임에서 모든 주파수 성분이 높게 시프트된 경우, 즉 시프트 정도 2h/12가 1이상인 경우(단계19→예), 시프트된 음 신호의 고조파 레벨은 감소된다(단계 20). 다른 한편으로, 모든 주파수 성분이 낮게 시프트된 경우(단계 10→아니오), 시프트된 음 신호의 고조파 레벨은 증가된다(단계 21). 단계 19는 시프트 정도가 1이하인 것에 대응한다. 실험을 통해서, 검출된 피치 주파수의 고조파 레벨 증감분이 약 10dB이면은 시프트된 음 신호에서 원래의 음질을 최적으로 유지시킬 수 있다는 것을 알게되었다. 따라서, 이 실시예에서, 이 레벨은 10dB로 선택된다. 특히, 검출된 피치 주파수가 200Hz이고 3개의 반음만큼 시프트된 경우, 시프트된 피치 주파수는 200×1.19Hz가 된다. 따라서, 시프트후의 고조파는 200×1.19×m가 된다. 여기서, "m"은 1이상의 정수이다. 이들 주파수의 퓨리에 변환된 데이타의 실수 및 허수부는 10-0.5와 승산되는데, 이것은 이들 데이타가 -10dB만큼 증가된다는 것을 의미한다. 일반적인 경우에, 피치 주파수 P1의 "h"반음 시프트된 "m" 번째 고조파의 샘플수는 (m×p1×2h/12×N/fs)번째가 되고, 이때, 이 샘플수의 퓨리에 변환된 데이타의 실수부 및 허수부는 10-0.5또는 100.5와 승산되는데, 이것은 데이타가 -10dB 또는 10dB로 변경되었다는 것을 의미한다.
그후에, 변환된 각 데이타는 역 퓨리에 변환(IFFT) 장치(6)에 공급되고 주파수 도메인 신호에서 시간 도메인 신호로 변환된다(단계 22).
IFFT 장치(6)에 의해 시간 도메인 신호로 다시 반전된 음 신호의 첫번째 프레임은 제2 윈도우잉 장치(7)에 공급된다. 첫번째 프레임의 헤드 부분인 상기 첫번째 프레임의 제로 내지 999번째 샘플은 제2 윈도우잉 장치(7)에 의해 사인파로 정형화된다. 상기 제1프레임의 테일 부분인 3096번째 내지 4095번째 샘플은 제2 윈도우잉 장치(7)에 의해 코사인파로 정형화되어 출력된다. 헤드 및 테일 부분간의 나머지 샘플은 일정 레벨 "1"를 갖도록 회복되어 출력된다. 이들 세가지 윈도우잉 처리는 (단계 23)에서 수행된다.
샘플의 3096번째 내지 4095번째는 후술되는 가산기(8)를 통해서 메모리(9)에 기억된다. 제로 내지 3095번째 샘플은 D/A(디지탈 대 아날로그) 변환기(10)에 출력된다.
음 신호의 다음 제2 프레임은 제1 윈도우잉 장치(1)가 도 3b에 도시된 바와 같이 샘플 3096에서 샘플 7191까지 입력된 음 신호를 판독 출력하므로써,3096번째 내지 4095번째의 샘플은 용장적으로 판독 출력된다. 그렇치 않으면, 제2 프레임의 3096에서 7191까지의 샘플은 상기 프레임에 대해 수행되는 것과 동일한 신호 처리를 겪고 메모리(9)에서 기억 처리까지 겪는다.
가산기(8)에 의해, 메모리(9)에 기억된 제1 프레임의 테일부의 3096 내지 4095 샘플은 제2 프레임의 헤드부로서 새롭게 판독 출력되어 처리되는 샘플 3096 내지 4095에 가산된다. 코사인 테일부 및 사인 헤드부가 모두 이 가산 처리에서 가산되기 때문에, 그 결과는 도 3c에 도시된 바와 같이 레벨 "1"을 갖는 2개의 프레임을 유연하게 결합시킨다. 샘플 6192 내지 7191, 즉 제2 프레임의 테일부는 메모리(9)에 기억된다(단계 25).
따라서, 레벨 "1"을 갖도록 정형화된 가산된 샘플 3096 내지 4095 및 샘플 4096 내지 6191은 제2 윈도우잉 장치(7)에서 D/A 변환기(10)로 출력된다(단계 26). 이들 처리는 프레임수 "i"로서의 일련의 음신호의 끝이 매 사이클동안 증가될때까지 제어기(MPU)(32)에 의해 반복된다(단계 27). 디지탈 신호에서 아날로그 신호로 변환되는 음 신호는 D/A 변환기(10)로 부터 출력된다.
제1 및 제2 윈도우잉 장치(1 및 7), 피치 주파수 검파기(20, FFT(3), 주파수 시프트 장치(4), 고조파 레벨 제어기(5), IFFT(6) 및 가산기(8)은 하나의 DSP(31)로 실현된다는 것을 알수있다. 그리고, DSP(31), 메모리(9) 및 D/A 변환기(10)는 제어기(MPU)(32)에 의해 제어되어 도 2에 도시된 바와 같은 처리를 수행한다.
이 실시예에서, 각 프레임의 전체 샘플수는 4096이지만 샘플양은 서로 다르게 될 수 있다. 실험 결과에 따라서, 프레임당 최적의 샘플수는 양질의 음에 대한 샘플당 10 내지 25Hz와 동일하게 된다. 프레임의 샘플수는 FFT를 포함하는 디지탈 신호 처리를 고려시 2n(n은 양수)가 되는 것이 바람직하다. 따라서, 이 실시예에서, 샘플링 주파수가 44.1KHz인 경우에, 프레임의 샘플수는 2048 또는 4096으로 되는 것이 바람직하다. 프레임당 2048 샘플 및 프레임당 4096 샘플은 21.5Hz/샘플 및 10.8Hz/샘플 각각과 동일하게 된다. 샘플링 주파수가 MPEG 오디오의 음 데이타와 같이 22.05KHz인 경우, 프레임의 샘플수는 1024 또는 2048개가 되는 것이 바람직하다. 프레임당 1024개의 샘플 및 프레임당 2048개의 샘플 각각은 21.5Hz/샘플 및 10.8Hz/샘플과 동일하게 된다.
44.1kHz의 샘플링 주파수를 갖는 음 데이타와 관계하여, 512, 1024, 2048, 4096 및 8192의 프레임당 샘플수를 갖는 경우에 대해 실험이 수행되었다. 512 샘플의 경우에, 음 피치 시프트는 부정확하게 된다. 1024 샘플의 경우에, 음질은 수용될 수 없다. 8192 샘플의 경우에, 소망 피치 시프트가 얻어지고 일종의 반향 효과가 검출된다. 2048 및 4096 샘플의 경우에, 최적의 음질이 얻어진다.
상술된 바와 같이, 본 발명의 장점은 간단한 회로 구성, 짧은 처리시간을 갖고 음 열화시킴이 없이 원음보다 높거나 낮게 음 피치를 변환시키는 고 수행성능의 음 피치 변환 장치를 제공하고, 원래 음성의 특성은 음 신호를 분할하여 정형화하는 제1 윈도우잉 장치, 상기 음 신호의 피치 주파수를 검출하는 피치 주파수 검출 장치, 상기 음 신호를 시간 도메인으로 변환시키는 퓨리에 변환 장치, 퓨리에 변환된 디지탈 음 신호를 소정값만큼 시프트시키는 주파수 시프트 장치, 피크 주파수의 고조파 레벨을 조정하는 고조파 레벨 제어기, 피치 시프트되고 고조파 레벨 제어된 음 신호를 시간 도메인 신호로 변환시키는 역 퓨리에 변환 장치, 상기 역 퓨리에 변환된 음 신호를 재정형화하는 제2 윈도우잉 장치 및 분할된 음 신호 프레임을 결합시키는 가산기에 의해 유지된다.

Claims (4)

  1. 음 신호의 피치를 소정율만큼 시프트시키는 음 피치 변환 장치에 있어서, 디지탈 포맷의 입력된 음 신호를 일련의 다수의 프레임으로 분할하여 상기 분할된 다수의 프레임 각각의 인벨롭을 정형화하는 제1 윈도우잉 장치와, 상기 각 프레임내에서 피치 주파수를 검출하는 피치 주파수 검출 수단과, 상기 음 신호의 각 프레임을 주파수 도메인 신호로 변환시키는 퓨리에 변환 수단과, 상기 퓨리에 변환 수단의 출력의 모든 주파수 성분을 소망 정도만큼 시프트시키는 주파수 시프트 수단과, 상기 피치 검출 수단에 의해 검출된 피치 주파수에 응답하여 상기 주파수 시프트 수단의 출력에 포함된 고조파 레벨을 제어하는 고조파 레벨 제어 수단과, 상기 고조파 레벨 제어 수단의 출력을 시간 도메인 신호로 변환시키는 역 퓨리에 변환 수단과, 상기 역 퓨리에 변환 수단으로 부터 출력되는 음 신호의 각 프레임의 인벨롭을 정형화하여 상기 각 프레임을 피치 변경된 음 신호와 결합시키는 제2윈도우잉 수단을 구비하는 것을 특징으로 하는 음 피치 변환 장치.
  2. 제1항에 있어서, 상기 제1 및 제2윈도우잉 수단은 각 프레임의 헤드부가 1/2π 주기의 사인파로 정형화되도록 하고 각 프레임의 테일부는 1/2π 주기의 코사인파로 정형화되도록 하는 바와 같이 각 프레임의 인벨롭을 정형화하는 것을 특징응로 하는 음 피치 변환 장치.
  3. 제2항에 있어서, 각 프레임의 상기 헤드부 및 상기 테일부 각각의 길이는 10 내지 35msec의 시간 경간인 것을 특징으로 하는 음 피치 변환 장치.
  4. 제1항에 있어서, 상기고조파 레벨 제어 수단은 상기 모든 주파수 성분이 원래 보다 높게 시프트될때 고조파 레벨을 감소시키고 상기 모든 주파수 성분이 원래보다 낮게 시프트될때 고조파 레벨을 증가시키는 것을 특징으로 하는 음 피치 변환 장치.
KR1019960082425A 1995-12-28 1996-12-28 음피치 변환 장치 Expired - Fee Related KR100256718B1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP35350895A JP3265962B2 (ja) 1995-12-28 1995-12-28 音程変換装置
JP95-353508 1995-12-28

Publications (2)

Publication Number Publication Date
KR970050862A KR970050862A (ko) 1997-07-29
KR100256718B1 true KR100256718B1 (ko) 2000-05-15

Family

ID=18431324

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1019960082425A Expired - Fee Related KR100256718B1 (ko) 1995-12-28 1996-12-28 음피치 변환 장치

Country Status (5)

Country Link
US (1) US5862232A (ko)
JP (1) JP3265962B2 (ko)
KR (1) KR100256718B1 (ko)
CN (1) CN1135531C (ko)
TW (1) TW418384B (ko)

Families Citing this family (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3502247B2 (ja) 1997-10-28 2004-03-02 ヤマハ株式会社 音声変換装置
ID29029A (id) * 1998-10-29 2001-07-26 Smith Paul Reed Guitars Ltd Metode untuk menemukan fundamental dengan cepat
IL140082A0 (en) * 2000-12-04 2002-02-10 Sisbit Trade And Dev Ltd Improved speech transformation system and apparatus
ES2319433T3 (es) * 2001-04-24 2009-05-07 Nokia Corporation Procedimientos para cambiar el tamaño de una memoria de almacenamiento temporal de fluctuacion y para el alineamiento temporal, sistema de comunicaciones, fin de la recepcion y transcodificador.
JP4649888B2 (ja) * 2004-06-24 2011-03-16 ヤマハ株式会社 音声効果付与装置及び音声効果付与プログラム
CN1763844B (zh) * 2004-10-18 2010-05-05 中国科学院声学研究所 基于滑动窗口的端点检测方法、装置和语音识别系统
JP4734961B2 (ja) * 2005-02-28 2011-07-27 カシオ計算機株式会社 音響効果付与装置、及びプログラム
JP5083884B2 (ja) * 2007-11-15 2012-11-28 独立行政法人産業技術総合研究所 周波数変換装置
US9159325B2 (en) * 2007-12-31 2015-10-13 Adobe Systems Incorporated Pitch shifting frequencies
JP5251381B2 (ja) * 2008-09-12 2013-07-31 ヤマハ株式会社 音処理装置およびプログラム
CN104205213B (zh) * 2012-03-23 2018-01-05 西门子公司 语音信号处理方法及装置以及使用其的助听器
KR101333162B1 (ko) * 2012-10-04 2013-11-27 부산대학교 산학협력단 Ｉｍｄｃｔ 입력신호를 이용한 오디오 신호의 음정 및 속도 가변 장치 및 방법
CN105448289A (zh) * 2015-11-16 2016-03-30 努比亚技术有限公司 一种语音合成、删除方法、装置及语音删除合成方法
CN105812902B (zh) * 2016-03-17 2018-09-04 联发科技（新加坡）私人有限公司 数据播放的方法、设备及系统
CN108269579B (zh) * 2018-01-18 2020-11-10 厦门美图之家科技有限公司 语音数据处理方法、装置、电子设备及可读存储介质
CN108281130B (zh) * 2018-01-19 2021-02-09 北京小唱科技有限公司 音频修正方法及装置
CN111383646B (zh) 2018-12-28 2020-12-08 广州市百果园信息技术有限公司 一种语音信号变换方法、装置、设备和存储介质
JP7475988B2 (ja) * 2020-06-26 2024-04-30 ローランド株式会社 効果装置および効果処理プログラム

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS59204096A (ja) * 1983-05-04 1984-11-19 日本ビクター株式会社 楽音ピツチ可変装置
JPS60129797A (ja) * 1983-12-16 1985-07-11 ソニー株式会社 ピツチコントロ−ル装置
JP2612869B2 (ja) * 1987-10-06 1997-05-21 日本放送協会 声質変換方法
US5103431A (en) * 1990-12-31 1992-04-07 Gte Government Systems Corporation Apparatus for detecting sonar signals embedded in noise
DE4212339A1 (de) * 1991-08-12 1993-02-18 Standard Elektrik Lorenz Ag Codierverfahren fuer audiosignale mit 32 kbit/s
US5285498A (en) * 1992-03-02 1994-02-08 At&T Bell Laboratories Method and apparatus for coding audio signals based on perceptual model
WO1993018505A1 (en) * 1992-03-02 1993-09-16 The Walt Disney Company Voice transformation system
US5248845A (en) * 1992-03-20 1993-09-28 E-Mu Systems, Inc. Digital sampling instrument
JP3270869B2 (ja) * 1993-04-30 2002-04-02 ソニー株式会社 音程変換装置

Also Published As

Publication number Publication date
CN1164084A (zh) 1997-11-05
TW418384B (en) 2001-01-11
CN1135531C (zh) 2004-01-21
US5862232A (en) 1999-01-19
JP3265962B2 (ja) 2002-03-18
JPH09185392A (ja) 1997-07-15
KR970050862A (ko) 1997-07-29

Similar Documents

Publication Publication Date Title
KR100256718B1 (ko) 음피치 변환 장치
Verfaille et al. Adaptive digital audio effects (A-DAFx): A new class of sound transformations
US6816833B1 (en) Audio signal processor with pitch and effect control
US6191349B1 (en) Musical instrument digital interface with speech capability
JP3365354B2 (ja) 音声信号または楽音信号の処理装置
US5703311A (en) Electronic musical apparatus for synthesizing vocal sounds using format sound synthesis techniques
KR0129829B1 (ko) 음향 변속 재생장치
US5739452A (en) Karaoke apparatus imparting different effects to vocal and chorus sounds
US6687674B2 (en) Waveform forming device and method
KR20080053251A (ko) 노래학습 기능을 갖는 노래방 시스템 및 노래 학습 방법
EP1039442B1 (en) Method and apparatus for compressing and generating waveform
US20060212298A1 (en) Sound processing apparatus and method, and program therefor
US6629067B1 (en) Range control system
US5969282A (en) Method and apparatus for adjusting the pitch and timbre of an input signal in a controlled manner
JP3176273B2 (ja) 音声信号処理装置
JPH0486796A (ja) 楽音発生装置
JP3613859B2 (ja) カラオケ装置
CN100533551C (zh) 在嵌入式器件中产生敲打声
JP3334165B2 (ja) 楽音合成装置
JPH11133996A (ja) 音程変換装置
JP3520931B2 (ja) 電子楽器
JP3538908B2 (ja) 電子楽器
JP3788096B2 (ja) 波形圧縮方法及び波形生成方法
JPH09258758A (ja) カラオケ装置
JP3977654B2 (ja) 波形生成装置

Legal Events

Date Code Title Description
A201 Request for examination
PA0109 Patent application

Patent event code: PA01091R01D

Comment text: Patent Application

Patent event date: 19961228

PA0201 Request for examination
PG1501 Laying open of application
E701 Decision to grant or registration of patent right
PE0701 Decision of registration

Patent event code: PE07011S01D

Comment text: Decision to Grant Registration

Patent event date: 19991130

GRNT Written decision to grant
PR0701 Registration of establishment

Comment text: Registration of Establishment

Patent event date: 20000224

Patent event code: PR07011E01D

PR1002 Payment of registration fee

Payment date: 20000225

End annual number: 3

Start annual number: 1

PG1601 Publication of registration
PR1001 Payment of annual fee

Payment date: 20030110

Start annual number: 4

End annual number: 4

PR1001 Payment of annual fee

Payment date: 20031229

Start annual number: 5

End annual number: 5

PR1001 Payment of annual fee

Payment date: 20041213

Start annual number: 6

End annual number: 6

PR1001 Payment of annual fee

Payment date: 20051219

Start annual number: 7

End annual number: 7

PR1001 Payment of annual fee

Payment date: 20061229

Start annual number: 8

End annual number: 8

PR1001 Payment of annual fee

Payment date: 20080115

Start annual number: 9

End annual number: 9

PR1001 Payment of annual fee

Payment date: 20081219

Start annual number: 10

End annual number: 10

PR1001 Payment of annual fee

Payment date: 20091214

Start annual number: 11

End annual number: 11

PR1001 Payment of annual fee

Payment date: 20101220

Start annual number: 12

End annual number: 12

FPAY Annual fee payment

Payment date: 20120104

Year of fee payment: 13

PR1001 Payment of annual fee

Payment date: 20120104

Start annual number: 13

End annual number: 13

FPAY Annual fee payment

Payment date: 20130104

Year of fee payment: 14

PR1001 Payment of annual fee

Payment date: 20130104

Start annual number: 14

End annual number: 14

LAPS Lapse due to unpaid annual fee
PC1903 Unpaid annual fee

Termination category: Default of registration fee

Termination date: 20150109