JP5141033B2 - Time axis companding device, time axis companding method and program - Google Patents
Time axis companding device, time axis companding method and program Download PDFInfo
- Publication number
- JP5141033B2 JP5141033B2 JP2007036244A JP2007036244A JP5141033B2 JP 5141033 B2 JP5141033 B2 JP 5141033B2 JP 2007036244 A JP2007036244 A JP 2007036244A JP 2007036244 A JP2007036244 A JP 2007036244A JP 5141033 B2 JP5141033 B2 JP 5141033B2
- Authority
- JP
- Japan
- Prior art keywords
- section
- output
- index value
- speed
- section length
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Signal Processing For Digital Recording And Reproducing (AREA)
Description
本発明は、音声が再生される速度を変化させる技術に関する。 The present invention relates to a technique for changing a speed at which sound is reproduced.
入力音声のピッチやホルマントを維持しながら再生速度を変更する時間軸圧伸の技術が従来から提案されている(例えば非特許文献1)。図7は、出力音声の再生速度を入力音声のs倍に変更する手順を説明するための概念図である。第1に、図7の部分(a)に示すように、基本周期LWを区間長とする区間A(A1,A2,……)および区間B(B1,B2,……)が入力音声のサンプル列PINから検出される。基本周期LWは、区間Aと区間Bとで波形の類似性が最大となる区間長(サンプル数)である。第2に、圧伸区間SAと複製区間SBとから構成される出力区間SOUT内の各サンプルが出力音声のサンプル列POUTとして順次に出力される。 A technique of time-axis companding that changes the playback speed while maintaining the pitch and formant of the input voice has been proposed (for example, Non-Patent Document 1). FIG. 7 is a conceptual diagram for explaining a procedure for changing the reproduction speed of the output sound to s times the input sound. First, as shown in part (a) of FIG. 7, a section A (A1, A2,...) And a section B (B1, B2,. Detected from column PIN. The basic period LW is a section length (number of samples) in which the similarity between waveforms in the section A and the section B is maximum. Secondly, each sample in the output section SOUT composed of the companding section SA and the duplication section SB is sequentially output as the output audio sample string POUT.
再生速度sが「1」を下回る場合(すなわち出力音声を入力音声よりも低速で再生する場合)、図7の部分(b)に示すように、区間Aの波形と区間Bの波形とを合成した区間長LWの波形を区間Aと区間Bとの間隙に挿入することで圧伸区間SAが生成される。一方、再生速度sが「1」を上回る場合(すなわち出力音声を入力音声よりも高速で再生する場合)、図7の部分(c)に示すように、区間Aおよび区間Bを、区間Aの波形と区間Bの波形とを合成した区間Xの波形に置換することで圧伸区間SAが生成される。複製区間SBは、入力音声の各サンプルが複製される区間である。出力区間SOUTの区間長Lは、基本周期LWと再生速度sとに応じて設定される。以上の手順で出力区間SOUTを生成する処理を入力音声の区間SINごとに反復することで入力音声のs倍の再生速度の出力音声が生成される。
以上の技術においては、図7に示すように、出力区間SOUT内のサンプルを出力している途中の時点Tで再生速度sが変更されても、出力区間SOUTの終了まではサンプルの出力が継続される。すなわち、再生速度sの変更が出力音声に反映されるのは、再生速度sの変更前に設定された出力区間SOUTについてサンプルの出力が完了した後である。したがって、出力音声の再生速度の変更が出力区間SOUTの区間長Lに応じて遅延するという問題がある。再生速度sが「1」に近いほど出力区間SOUTの区間長Lは長くなるから、再生速度の変更が遅延するという問題は特に顕著となる。以上の事情を背景として、本発明は、音声の再生速度を迅速に変更するという課題の解決をひとつの目的としている。 In the above technique, as shown in FIG. 7, even if the playback speed s is changed at the time T during the output of the sample in the output section SOUT, the sample output continues until the end of the output section SOUT. Is done. That is, the change in the reproduction speed s is reflected in the output sound after the sample output is completed for the output section SOUT set before the reproduction speed s is changed. Therefore, there is a problem that the change in the playback speed of the output sound is delayed according to the section length L of the output section SOUT. Since the section length L of the output section SOUT becomes longer as the playback speed s is closer to “1”, the problem that the change in the playback speed is delayed becomes particularly significant. Against the background of the above circumstances, one object of the present invention is to solve the problem of quickly changing the audio playback speed.
以上の課題を解決するために、本発明に係る時間軸圧伸装置は、音声の波形を示すサンプル列を記憶する記憶手段と、音声の再生速度を定める速度指標値(再生速度sや圧伸率a)を設定する設定手段と、音声の基本周期と設定手段が設定した速度指標値とに基づいて圧伸後の出力区間の区間長(例えば図3や図4の区間長L)を決定する区間長決定手段と、出力区間内の各サンプルを順次に出力する出力手段と、出力区間内の各サンプルを出力手段が出力する期間内に設定手段が速度指標値を変更すると、出力区間のうち速度指標値が変更された時点でサンプルの出力が完了していない残余区間の区間長(例えば図3や図4の区間長r1)を、変更前の速度指標値と変更後の速度指標値とに応じた区間長(例えば図3や図4の区間長r2)に更新する区間長更新手段とを具備する。 In order to solve the above-described problems, a time-axis companding device according to the present invention includes a storage unit that stores a sample string indicating an audio waveform, and a speed index value (reproduction speed s and companding) that determines an audio reproduction speed. Based on the setting means for setting the rate a), the basic period of the voice, and the speed index value set by the setting means, the section length of the output section after companding (for example, the section length L in FIGS. 3 and 4) is determined. If the setting means changes the speed index value within the period in which the output means outputs each sample in the output section, the output means for sequentially outputting each sample in the output section, Of these, the remaining section length (for example, section length r1 in FIGS. 3 and 4) for which sample output has not been completed when the speed index value is changed, is the speed index value before the change and the speed index value after the change. According to the section length (for example, section length r2 in FIGS. 3 and 4) ; And a new to interval length updating means.
以上の構成によれば、出力区間内のサンプルの出力中に速度指標値が変更されると、出力区間のうち速度指標値の変更後の残余区間の区間長が、変更前の速度指標値と変更後の速度指標値とに応じた区間長に更新される。したがって、速度指標値の変更前に設定された出力区間についてサンプルの出力が完了してから速度指標値の変更が反映される構成と比較して、速度指標値の変更を出力音声に対して迅速に反映させることが可能である。 According to the above configuration, when the speed index value is changed during the output of the sample in the output section, the section length of the remaining section after the change of the speed index value in the output section becomes the speed index value before the change. The section length is updated according to the changed speed index value. Therefore, compared to the configuration in which the change of the speed index value is reflected after the output of the sample is completed for the output section set before the change of the speed index value, the speed index value can be quickly changed with respect to the output sound. Can be reflected.
本発明の好適な態様において、区間長決定手段は、音声の基本周期を単位として当該音声のサンプル列を圧伸した圧伸区間とサンプル列の各サンプルを配列した複製区間とで構成される出力区間の区間長を、音声の基本周期と設定手段が設定した速度指標値とに基づいて決定し、区間長更新手段は、複製区間内の各サンプルを出力手段が出力する期間内に設定手段が速度指標値を変更すると、複製区間のうち速度指標値の変更後の残余区間の区間長を、変更前の速度指標値と変更後の速度指標値とに応じた区間長に更新する。以上の態様によれば、複製区間内の各サンプルの出力中に速度指標値が変更されると、複製区間のうち速度指標値が変更された時点でサンプルの出力が完了していない残余区間の区間長が、変更前の速度指標値と変更後の速度指標値とに応じた区間長に更新される。したがって、複製区間が速度指標値に応じて長期間にわたる場合であっても、複製区間内における速度指標値の変更を出力音声に対して迅速に反映させることができる。 In a preferred aspect of the present invention, the section length determining means includes an output composed of a companding section in which a sample sequence of the voice is companded and a sample section in which the samples of the sample array are arranged in units of the basic period of the speech. The section length of the section is determined based on the basic period of the voice and the speed index value set by the setting means, and the section length update means is configured so that the setting means within the period in which the output means outputs each sample in the duplicate section. When the speed index value is changed, the section length of the remaining section after the change of the speed index value in the duplicate section is updated to the section length corresponding to the speed index value before the change and the speed index value after the change. According to the above aspect, when the speed index value is changed during the output of each sample in the duplication section, the remaining section of the duplication section in which the output of the sample is not completed when the speed index value is changed . The section length is updated to the section length according to the speed index value before the change and the speed index value after the change. Therefore, even if the duplication section extends for a long period according to the speed index value, the change of the speed index value in the duplication section can be quickly reflected on the output voice.
本発明の好適な態様において、区間長更新手段は、変更後の速度指標値に対応した再生速度(例えば再生速度s2)に対する変更前の速度指標値に対応した再生速度(例えば再生速度s1)が低いほど残余区間の区間長が短くなるように区間長を更新する。さらに具体的な態様において、区間長更新手段は、残余区間を、変更後の速度指標値に対応した再生速度に対する変更前の速度指標値に対応した再生速度の比と、当該更新前の残余区間の区間長との乗算値に応じた区間長に更新する。以上の態様によれば、再生速度の変更の方向に拘わらず共通の方法で更新後の区間長を特定することが可能である。 In a preferred aspect of the present invention, the section length update means has a playback speed (for example, playback speed s1) corresponding to the speed index value before the change with respect to the playback speed (for example, playback speed s2) corresponding to the speed index value after the change. The section length is updated so that the lower the section length is, the lower the section length is. In a more specific aspect, the section length updating means determines the remaining section, the ratio of the playback speed corresponding to the speed index value before the change to the playback speed corresponding to the speed index value after the change, and the remaining section before the update. The section length is updated according to the multiplication value with the section length. According to the above aspect, it is possible to specify the updated section length by a common method regardless of the direction in which the playback speed is changed.
本発明に係る時間軸圧伸装置は、特定の信号処理に専用されるDSP(Digital Signal Processor)などのハードウェア(電子回路)によって実現されるほか、CPU(Central Processing Unit)などの汎用の演算処理装置とプログラムとの協働によっても実現される。本発明に係るプログラムは、記憶手段が記憶するサンプル列が示す波形の音声の再生速度を定める速度指標値を設定する設定処理と、音声の基本周期と設定処理で設定した速度指標値とに基づいて圧伸後の出力区間の区間長を決定する区間長決定処理と、出力区間内の各サンプルを記憶手段から取得して順次に出力する出力処理と、出力区間内の各サンプルを出力処理にて出力する期間内に速度指標値が変更されると、当該出力区間のうち速度指標値が変更された時点でサンプルの出力が完了していない残余区間の区間長を、変更前の速度指標値と変更後の速度指標値とに応じた区間長に更新する区間長更新処理とをコンピュータに実行させる内容である。以上のプログラムによっても本発明の時間軸圧伸装置と同様の作用および効果が奏される。なお、本発明のプログラムは、CD−ROMなど可搬型の記録媒体に格納された形態で利用者に提供されてコンピュータにインストールされるほか、ネットワークを介した配信の形態でサーバ装置から提供されてコンピュータにインストールされる。 The time axis companding device according to the present invention is realized by hardware (electronic circuit) such as a DSP (Digital Signal Processor) dedicated to specific signal processing, or a general-purpose operation such as a CPU (Central Processing Unit). This is also realized by cooperation between the processing device and the program. The program according to the present invention is based on a setting process for setting a speed index value for determining the playback speed of the sound of the waveform indicated by the sample sequence stored in the storage means , and a speed index value set in the basic period of the sound and the setting process. Section length determination processing for determining the section length of the output section after companding, output processing for acquiring each sample in the output section from the storage means and outputting it sequentially, and processing each sample in the output section for output processing If the speed index value is changed during the output period, the length of the remaining section of the output section where the sample output has not been completed when the speed index value is changed is indicated as the speed index value before the change. And a section length update process for updating the section length to a section length corresponding to the changed speed index value. By the above program, the same operation and effect as the time-axis companding device of the present invention are exhibited. The program of the present invention is provided to a user in a form stored in a portable recording medium such as a CD-ROM and installed in a computer, or provided from a server device in a form of distribution via a network. Installed on the computer.
また、本発明は、音声の時間軸の方向に圧伸する方法としても特定される。本発明に係る時間軸圧伸方法は、記憶手段が記憶するサンプル列が示す波形の音声の再生速度を定める速度指標値を設定し、音声の基本周期と設定した速度指標値とに基づいて圧伸後の出力区間の区間長を決定し、出力区間内の各サンプルを記憶手段から取得して順次に出力する一方、出力区間内の各サンプルを出力する期間内に速度指標値が変更されると、出力区間のうち速度指標値が変更された時点でサンプルの出力が完了していない残余区間の区間長を、変更前の速度指標値と変更後の速度指標値とに応じた区間長に更新する。以上の時間軸圧伸方法によっても本発明の時間軸圧伸装置と同様の作用および効果が奏される。 The present invention is also specified as a method of companding in the direction of the audio time axis. The time-axis companding method according to the present invention sets a speed index value that determines the playback speed of the sound of the waveform indicated by the sample sequence stored in the storage means , and sets the compression based on the basic period of the sound and the set speed index value. The section length of the output section after extension is determined, each sample in the output section is acquired from the storage means and sequentially output, while the speed index value is changed within the period in which each sample in the output section is output And the length of the remaining section of the output section where the output of the sample is not completed when the speed index value is changed to the section length according to the speed index value before the change and the speed index value after the change. Update. Also by the above time axis companding method, the same operation and effect as the time axis companding device of the present invention are exhibited.
<A:時間軸圧伸装置>
図1は、本発明のひとつの形態に係る時間軸圧伸装置の構成を示すブロック図である。時間軸圧伸装置100は、入力音声(音声信号)の波形を時間軸の方向に伸長または圧縮することで出力音声を生成する装置である。図1に示すように、時間軸圧伸装置100は、記憶回路10と制御回路20と出力回路40と設定部50とを具備する。
<A: Time axis companding device>
FIG. 1 is a block diagram showing a configuration of a time axis companding device according to one embodiment of the present invention. The time axis companding
記憶回路10にはサンプル列PINが外部から順次に供給される。サンプル列PINは、入力音声から抽出された多数のサンプルを時系列に配列したデータ列である。記憶回路10は、各サンプルを順次に記憶する入力バッファ回路として機能する。
A sample string PIN is sequentially supplied to the
制御回路20は、プログラムを実行することで入力音声のサンプル列PINから出力音声のサンプル列POUTを生成する演算処理装置(CPU)である。さらに詳述すると、制御回路20は、図2に示すように、入力音声のサンプル列PINを区分した各区間(以下「入力区間」という)SINのサンプルに基づいて、出力音声のサンプル列POUTの特定の区間(以下「出力区間」という)SOUTのサンプルを生成する。
The
出力回路40は、制御回路20が生成したサンプル列POUTの各サンプルを蓄積するとともに各サンプルを所定の周期で順次に出力する出力バッファ回路である。出力回路40から出力されたサンプル列POUTがアナログ信号に変換されたうえでスピーカやヘッドホンなどの出力機器に供給されることで出力音声が再生される。
The
設定部50は、出力音声の再生速度sを設定する手段である。本形態の設定部50は、上位装置から付与される指令に基づいて再生速度sを制御する。再生速度sは、出力音声の出力区間SOUT内のサンプル数s_outに対する入力音声の入力区間SIN内のサンプル数s_inの比(s=s_in/s_out)を定める数値として定義される(0.5≦s≦2,s≠1)。すなわち、入力区間SIN内のサンプル数s_inに対する出力区間SOUT内のサンプル数s_outは、再生速度sが増加するほど減少する。したがって、再生速度sが「1」を上回る場合には出力音声が入力音声と比較して高速に再生(以下「高速変換」という)され、再生速度sが「1」を下回る場合には出力音声が入力音声と比較して低速に再生(以下「低速変換」という)される。なお、入力装置(図示略)に対する利用者からの操作に応じて設定部50が再生速度sを設定する構成も採用される。
The setting
図1に示すように、制御回路20は、プログラムを実行することで複数の機能体(基本周期特定部32,区間長決定部34,出力部36,区間長更新部38)として動作する。なお、制御回路20の各部の機能はDSPなどのハードウェア回路によって実現されてもよい。
As shown in FIG. 1, the
図3および図4は、制御回路20の各部の動作を説明するための概念図である。図3は低速変換時(s<1)の動作を示し、図4は高速変換時(s>1)の動作を示す。図3の部分(a)や図4の部分(a)に示すように、基本周期特定部32は、入力音声のうち相類似する波形が反復する区間の時間長である基本周期LWを特定する。例えば、基本周期特定部32は、入力音声のうち同じ区間長で相隣接する区間Aと区間Bとについて波形の類似度を算定する処理を、区間Aおよび区間Bの区間長を変化させながら複数回にわたって反復し、類似度が最大となる区間長を基本周期LWとして特定する。
3 and 4 are conceptual diagrams for explaining the operation of each part of the
区間長決定部34は、基本周期特定部32が特定した基本周期LWと設定部50が設定した再生速度sとに基づいて出力区間SOUTの区間長L(出力区間SOUTに属するサンプルの総数)を算定する手段である。再生速度sが「1」を下回る低速変換の場合(0.5≦s<1)、区間長決定部34は以下の式(1)に基づいて区間長Lを決定する。
L=LW/(1−s) ……(1)
また、再生速度sが「1」を上回る高速変換の場合(1<s≦2)、区間長決定部34は以下の式(2)に基づいて区間長Lを決定する。
L=LW/(s−1) ……(2)
すなわち、再生速度sが「1」に近いほど出力区間SOUTの区間長Lは長くなる。
The section
L = LW / (1-s) (1)
In the case of high-speed conversion in which the reproduction speed s exceeds “1” (1 <s ≦ 2), the section
L = LW / (s-1) (2)
That is, the section length L of the output section SOUT becomes longer as the reproduction speed s is closer to “1”.
出力部36は、記憶回路10に格納されたサンプル列PINの各サンプルからサンプル列POUTの出力区間SOUTを生成して各サンプルを順次に出力する。図3の部分(b)および図4の部分(b)に示すように、各出力区間SOUTは、圧伸区間SAと複製区間SBとで構成される。
The
圧伸区間SAは、入力音声の基本周期LWを単位としてサンプル列PINを圧伸した区間である。図1に示すように、出力部36は、圧伸区間SAを生成するための圧伸処理部361を含む。再生速度sが「1」を下回る数値に維持される場合、圧伸処理部361は、図3の部分(b)に示すように、区間A(A1,A2,……)の波形と区間B(B1,B2,……)の波形とを合成した区間長LWの区間X(X1,X2,……)を区間Aと区間Bとの間隙に介挿することで圧伸区間SAを生成する。したがって、低速変換時の圧伸区間SAの区間長は「3×Lw」である。一方、再生速度sが「1」を上回る数値に維持される場合、圧伸処理部361は、図4の部分(b)に示すように、区間A(A1,A2,……)および区間B(B1,B2,……)を、区間Aの波形と区間Bの波形とを合成した区間X(X1,X2,……)に置換することで圧伸区間SAを生成する。したがって、高速変換時の圧伸区間SAの区間長は「Lw」である。区間Xの波形は、例えば、区間Aの波形と区間Bの波形とをクロスフェードすることで生成される。
The companding section SA is a section in which the sample string PIN is companded using the basic period LW of the input voice as a unit. As shown in FIG. 1, the
出力部36は、記憶回路10から取得した区間Aや区間Bの各サンプルや両区間のサンプルから合成した区間Xのサンプルとを圧伸区間SA内の各サンプルとして出力回路40に順次に出力する。さらに、出力部36は、サンプル列PINのうち区間Bに後続する各サンプルを複製区間SB内の各サンプルとして記憶回路10から取得して出力回路40に順次に出力する。複製区間SB内の各サンプルとして記憶回路10から取得されるサンプルの個数は、出力区間SOUTが区間長Lとなるように調整される。例えば、低速変換時における圧伸区間SAの区間長は「3×LW」であるから、出力部36は、図3の部分(b)に示すように、サンプル列PINのうち区間Bの直後から区間長「L−3×LW」にわたるサンプルを複製区間SBとして順次に出力する。また、高速変換時における圧伸区間SAの区間長は「LW」であるから、出力部36は、図4の部分(b)に示すように、サンプル列PINのうち区間Bの直後から区間長「L−LW」にわたるサンプルを複製区間SBとして順次に出力する。
The
以上においては再生速度sが変更されない場合を想定したが、出力区間SOUT内の各サンプルを出力部36が出力している期間内に、設定部50の設定する再生速度sが変更される場合がある。図1の区間長更新部38は、設定部50が再生速度sを変更した場合に、出力区間SOUTの区間長Lを変更後の再生速度sに基づいて新たな区間長Laに更新する手段である。図3の部分(c)および図4の部分(c)は、複製区間SB内の各サンプルを出力部36が出力している途中の時点Tにて再生速度s1が再生速度s2に変更された場合が例示されている。
In the above, it is assumed that the playback speed s is not changed. However, the playback speed s set by the setting
図3の部分(c)および図4の部分(c)に示すように、区間長更新部38は、複製区間SBのうち再生速度sの変更が指示された時点Tにてサンプルの出力が完了していない区間(すなわち再生速度sが変更された時点Tから出力区間SOUTの終点までの区間である。以下「残余区間」という)SRの区間長r1を、変更前の再生速度s1と変更後の再生速度s2とに応じた区間長r2に更新する。さらに詳述すると、第1に、変更後の再生速度s2に対する変更前の再生速度s1が低いほど更新後の残余区間SRの区間長r2が短くなるように、区間長更新部38は区間長r2を算定する。第2に、再生速度sの変更前における残余区間SRの区間長r1が長いほど区間長r2が長くなるように、区間長更新部38は区間長r2を算定する。例えば、以下の式(3)に示すように、変更後の再生速度s2に対する変更前の再生速度s1の比(s1/s2)と再生速度sの変更前の残余区間SRの区間長r1との乗算値が区間長r2として算定される。
r2=r1×(s1/s2) ……(3)
出力部36は、サンプル列PINのうち再生速度sが変更された時点Tにて未出力であった先頭のサンプルから区間長r2にわたる各サンプルを残余区間SRとして記憶回路10から順次に取得して出力回路40に出力する。
As shown in the part (c) of FIG. 3 and the part (c) of FIG. 4, the section
r2 = r1 x (s1 / s2) (3)
The
次に、図5を参照して制御回路20の各部による処理の流れを説明する。まず、基本周期特定部32は、入力音声の基本周期LWを特定する(ステップS1)。次いで、区間長決定部34は、ステップS1で特定された基本周期LWと設定部50が設定した再生速度sとから式(1)または式(2)に基づいて出力区間SOUTの区間長Lを決定する(ステップS2)。そして、出力部36は、圧伸処理部361が特定した圧伸区間SA内の各サンプルを順次に出力回路40に出力する(ステップS3)。
Next, the flow of processing performed by each unit of the
圧伸区間SA内の全部のサンプルの出力が完了すると、出力部36は、複製区間SB内のひとつのサンプルを出力回路40に出力し(ステップS4)、出力区間SOUT内(複製区間SB内)の全部のサンプルの出力が完了したか否かを判定する(ステップS5)。ステップS5の結果が肯定である場合、基本周期特定部32は、サンプル列PINのうち直前のステップS4にて出力したサンプルの直後のサンプルを入力区間SINの始点として新たな基本周期LWを特定する(ステップS1)。以上のようにステップS1からステップS4の処理が複数回にわたって反復されることで、入力音声のs倍の再生速度で再生される出力音声のサンプル列POUTが順次に出力回路40に蓄積される。
When the output of all the samples in the companding section SA is completed, the
一方、ステップS5の結果が否定である場合、区間長更新部38は、設定部50が再生速度sを変更したか否かを判定する(ステップS6)。ステップS6の結果が否定である場合、ステップS4に処理が移行して複製区間SB内のサンプルの出力が継続される。これに対してステップS6の結果が肯定である場合(すなわち再生速度sが変更された場合)、区間長更新部38は、現段階における残余区間SRの区間長r1を、変更前の再生速度s1と変更後の再生速度s2との相対比に応じた区間長r2に更新したうえで(ステップS7)、更新後の残余区間SRに属する各サンプルの出力をステップS4にて実行する。ステップS7の処理後には、区間長r2内の全部のサンプルの出力が完了した段階でステップS5の結果が肯定される。すなわち、更新後の残余区間SR(区間長r2)の直後のサンプルを入力区間SINの始点として新たな基本周期LWの特定(ステップS1)と出力区間SOUT内の各サンプルの出力(ステップS2からステップS4)とが実行される。
On the other hand, if the result of step S5 is negative, the section
次に、更新後の残余区間SRの区間長r2と変更の前後の再生速度sとの関係の具体例を列挙する。まず、残余区間SRの区間長r1が「90」の時点で再生速度sを「0.8(s1)」から「0.9(s2)」に変更した場合(すなわち低速変換の範囲内で再生速度sを上昇させる場合)、更新後の残余区間SRの区間長r2は「80」となる。また、区間長r1が「400」の時点で再生速度sを「0.9(s1)」から「0.8(s2)」に変更した場合(低速変換の範囲内で再生速度sを低下させる場合)、区間長r2は「450」となる。 Next, specific examples of the relationship between the section length r2 of the remaining section SR after the update and the playback speed s before and after the change will be listed. First, when the playback speed s is changed from “0.8 (s1)” to “0.9 (s2)” when the section length r1 of the remaining section SR is “90” (that is, the playback speed s is increased within the low speed conversion range). ), The section length r2 of the remaining section SR after the update is “80”. Also, when the playback speed s is changed from “0.9 (s1)” to “0.8 (s2)” when the section length r1 is “400” (when the playback speed s is reduced within the range of the low speed conversion), the section The length r2 is “450”.
区間長r1が「80」の時点で再生速度sを「1.2(s1)」から「1.6(s2)」に変更した場合(すなわち高速変換の範囲内で再生速度sを上昇させる場合)、区間長r2は「60」となる。また、区間長r1が「100」の時点で再生速度sを「1.5(s1)」から「1.2(s2)」に変更した場合(すなわち高速変換の範囲内で再生速度sを低下させる場合)、区間長r2は「125」となる。 When the playback speed s is changed from “1.2 (s1)” to “1.6 (s2)” when the section length r1 is “80” (that is, when the playback speed s is increased within the range of high-speed conversion), the section length r2 is "60". Also, when the playback speed s is changed from “1.5 (s1)” to “1.2 (s2)” when the section length r1 is “100” (that is, when the playback speed s is reduced within the range of high-speed conversion), The section length r2 is “125”.
さらに、区間長r1が「240」の時点で再生速度sを「0.8(s1)」から「1.2(s2)」に変更した場合(すなわち低速変換から高速変換に変更した場合)、区間長r2は「160」となる。また、区間長r1が「200」の時点で再生速度sを「1.2(s1)」から「0.8(s2)」に変更した場合(すなわち高速変換から低速変換に変更した場合)、区間長r2は「300」となる。 Further, when the playback speed s is changed from “0.8 (s1)” to “1.2 (s2)” when the section length r1 is “240” (that is, when the low speed conversion is changed to the high speed conversion), the section length r2 is “160”. Further, when the playback speed s is changed from “1.2 (s1)” to “0.8 (s2)” when the section length r1 is “200” (that is, when the high speed conversion is changed to the low speed conversion), the section length r2 is “300”.
以上に例示したように、再生速度sの変更の方向や「1」を跨ぐ変更の有無に拘わらず、式(3)を共通に利用することで、再生速度s2に対する再生速度s1が低いほど短くなるように、さらには区間長r1が長いほど長くなるように、区間長r2が算定される。 As illustrated above, regardless of the direction of change of the playback speed s and whether or not there is a change across “1”, the expression (3) is used in common, and the playback speed s1 is shorter as the playback speed s2 is lower. Further, the section length r2 is calculated such that the longer the section length r1, the longer the section length r1.
以上に説明したように、再生速度sが増加すると複製区間SB(出力区間SOUT)は短縮される。すなわち、更新前の出力区間SOUTに属する全部のサンプルの出力を待たずに、変更後の再生速度sに応じたサンプルの出力(基本周期LWおよび区間長Lの算定)が開始される。したがって、当初の出力区間SOUTの完了後に再生速度sの変更が反映される従来の構成(以下「対比例1」という)と比較して、再生速度sの変更を出力音声に対して迅速に反映させることが可能となる。式(1)や式(2)から理解されるように、変更前の再生速度sが「1」に近い場合には複製区間SBの時間長が長くなるから、対比例1においては再生速度sの変更の遅延が顕著となる。以上の事情に照らすと、残余区間SRの更新によって再生速度sの変更が迅速に反映される本形態は、再生速度sを「1」に近い数値から増加させる場合に特に有効である。 As described above, when the reproduction speed s increases, the duplication section SB (output section SOUT) is shortened. That is, without waiting for the output of all the samples belonging to the output section SOUT before the update, the output of samples (calculation of the basic period LW and the section length L) according to the reproduction speed s after the change is started. Therefore, the change in the reproduction speed s is reflected in the output sound more quickly than the conventional configuration in which the change in the reproduction speed s is reflected after the completion of the initial output section SOUT (hereinafter referred to as “proportional 1”). It becomes possible to make it. As understood from the equations (1) and (2), when the reproduction speed s before the change is close to “1”, the time length of the duplication section SB becomes long. The change delay becomes noticeable. In light of the above circumstances, the present embodiment in which the change in the reproduction speed s is quickly reflected by the update of the remaining section SR is particularly effective when the reproduction speed s is increased from a value close to “1”.
また、再生速度sが増加すると残余区間SRが短縮され(r2<r1)、再生速度sが減少すると残余区間SRが延長される(r2>r1)。すなわち、残余区間SRの長短と再生速度sの変更の方向との関係は、再生速度sが高いほど出力区間SOUTの区間長Lが短くなるという関係に合致する。したがって、別の観点からすれば、残余区間SRが区間長r2に更新された時点で、出力音声には再生速度sの変更が反映されていると捉えることができる。以上の観点からしても、再生速度sの変更を迅速に反映するという本形態の所期の効果は確かに奏される。 Further, when the playback speed s increases, the remaining section SR is shortened (r2 <r1), and when the playback speed s decreases, the remaining section SR is extended (r2> r1). That is, the relationship between the length of the remaining section SR and the change direction of the playback speed s matches the relationship that the section length L of the output section SOUT becomes shorter as the playback speed s is higher. Therefore, from another point of view, it can be understood that the change in the reproduction speed s is reflected in the output sound when the remaining section SR is updated to the section length r2. Even from the above viewpoint, the expected effect of the present embodiment that the change of the reproduction speed s is reflected promptly is certainly achieved.
なお、従来の技術のもとで再生速度sの変更が遅延するという問題は、再生速度sが「1」付近に設定されることで出力区間SOUTの区間長Lが長期間に設定された場合に特に深刻となる。換言すると、再生速度sが「1」付近に設定されない構成(例えば再生速度sの変更幅を増加させた構成である。以下「対比例2」という)を採用すれば、再生速度sの変更の遅延を形式的には抑制することが可能である。しかし、対比例2においては、再生速度sの分解能が著しく低下することで利便性が損なわれるという問題がある。これに対して本形態においては、再生速度sが「1」付近に設定される場合(すなわち再生速度sの変化幅を充分に縮小した場合)であっても再生速度sの変更が迅速に反映されるという利点がある。
It should be noted that the problem that the change in the playback speed s is delayed under the conventional technique is that the playback speed s is set near “1” and the section length L of the output section SOUT is set to a long period. To be particularly serious. In other words, if a configuration in which the playback speed s is not set near “1” (for example, a configuration in which the change rate of the playback speed s is increased, hereinafter referred to as “comparative 2”), the playback speed s is changed. It is possible to suppress the delay formally. However, in
ところで、再生速度sの変更を迅速に反映するという観点のみからすれば、再生速度sの変更が指示された直後から、変更後の再生速度sに応じた出力区間SOUTを新たに開始するという構成(以下「対比例3」という)も採用され得る。すなわち、対比例3においては、図6に示すように、複製区間SBの途中の時点Tにて再生速度sの変更が指示されると、サンプル列PINのうち時点Tの直後のサンプルを入力区間SINの先頭として新たな出力区間SOUTが設定される(すなわち基本周期LWおよび区間長Lの特定や各サンプルの出力が開始される)。
By the way, from the viewpoint of reflecting the change in the reproduction speed s promptly, the output section SOUT corresponding to the changed reproduction speed s is newly started immediately after the change in the reproduction speed s is instructed. (Hereinafter referred to as “
しかし、対比例3においては、再生速度sの変更のたびに出力区間SOUTが短縮されるから、例えば短時間に再生速度sが頻繁に変更された場合に、出力音声の実質的な再生速度が実際の再生速度sから乖離する可能性がある。すなわち、出力区間SOUTが短縮されることで入力区間SINのサンプル数に対する出力区間SOUTのサンプル数(すなわち再生速度s)が減少するから、出力音声は、設定部50の設定した再生速度sと比較して実質的に低い再生速度となる。再生速度sが「1」付近である場合には、式(1)や式(2)から理解されるように出力区間SOUTの区間長Lが長いから、出力区間SOUTのうち再生速度sの変更に伴なって短縮される区間長(時点T以後の区間)も必然的に長くなる。したがって、出力音声の実質的な再生速度と設定部50が設定する再生速度sとの乖離は特に顕著となる。
However, in
これに対して本形態においては、再生速度sの変更後に区間長r2にわたるサンプルの出力が完了してから次の出力区間SOUTが開始される。しかも、区間長r2は変更の前後の再生速度に応じて増減する。したがって、短時間に再生速度sが頻繁に変更された場合であっても、出力区間SOUTが新規に開始される頻度は対比例3よりも減少する。すなわち、本形態によれば、出力音声の実質的な再生速度と設定部50が設定する再生速度sとの乖離(誤差)を対比例3と比較して抑制する(出力音声の再生速度を高い精度で制御する)ことが可能である。
On the other hand, in this embodiment, after the reproduction speed s is changed, the output of the sample over the section length r2 is completed, and then the next output section SOUT is started. Moreover, the section length r2 increases or decreases according to the playback speed before and after the change. Therefore, even when the reproduction speed s is frequently changed in a short time, the frequency at which the output section SOUT is newly started is reduced from the comparative example 3. That is, according to the present embodiment, the deviation (error) between the substantial reproduction speed of the output sound and the reproduction speed s set by the setting
<B:変形例>
以上の各形態には様々な変形を加えることができる。具体的な変形の態様を例示すれば以下の通りである。なお、以下の各態様を適宜に組み合わせてもよい。
<B: Modification>
Various modifications can be made to each of the above embodiments. An example of a specific modification is as follows. In addition, you may combine each following aspect suitably.
(1)変形例1
以上の形態においては、出力音声の再生速度sを設定部50が設定する形態を例示したが、設定部50による設定の対象は再生速度sに限定されない。例えば、入力区間SIN内のサンプル数s_inに対する出力区間SOUT内のサンプル数s_outの比である圧伸率a(a=s_out/s_in)が設定部50によって設定される構成も採用される。圧伸率aが設定される構成においては、以上の各形態における再生速度sを圧伸率aの逆数に置換すればよい。以上のように、設定部50が設定する数値は、音声の再生速度を定める指標値(速度指標値)であれば足り、再生速度sや圧伸率aは速度指標値の例示に過ぎない。
(1)
In the above embodiment, the setting
(2)変形例2
出力区間SOUTの区間長Lや残余区間SRの区間長r2を算定する方法(式(1)から式(3))は適宜に変更される。また、以上の形態においては式(1)から式(3)の数式に基づく演算で区間長Lや区間長r2が算定される構成を例示したが、予め作成されたテーブルに基づいて区間長Lや区間長r2が特定される構成も採用される。例えば、再生速度sと基本周期LWとの各組合せに対して区間長Lが対応づけられたテーブルを作成しておき、設定部50が設定した再生速度sと基本周期特定部32が特定した基本周期LWとに対応する区間長Lを区間長決定部34が検索する構成も採用される。同様に、変更前の再生速度s1と変更後の再生速度s2と残余区間SRの区間長r1との各組合せに対して区間長r2が対応付けられたテーブルを作成しておき、設定部50による変更前の再生速度s1と変更後の再生速度s2と区間長r1とに対応する区間長r2を区間長更新部38が検索する構成も採用される。
(2)
The method of calculating the section length L of the output section SOUT and the section length r2 of the remaining section SR (formula (1) to formula (3)) is appropriately changed. Further, in the above embodiment, the configuration in which the section length L and the section length r2 are calculated by the calculation based on the formulas (1) to (3) is illustrated, but the section length L based on a table created in advance. A configuration in which the section length r2 is specified is also adopted. For example, a table in which the section length L is associated with each combination of the reproduction speed s and the basic period LW is created, and the reproduction speed s set by the setting
(3)変形例3
以上の形態においては、複製区間SB内のサンプルの出力中に再生速度sが変更された場合に当該複製区間SBの残余区間SRの区間長r1を更新する構成を例示したが、圧伸区間SA内のサンプルの出力中に再生速度sが変更された場合に残余区間SRの区間長r1を更新する構成も採用される。例えば、図3の部分(b)に示す区間B1内(圧伸区間SA内)のサンプルを出力部36が出力している期間内に再生速度sが変更されると、区間長更新部38は、区間B1のうち再生速度sの変更後の区間と直後の複製区間SBとを加算した残余区間SRの区間長r1を、変更の前後の再生速度sに基づいて区間長r2に更新する。以上のように、本発明のひとつの形態においては、出力区間SOUTのうち再生速度sの変更後の残余区間SRの区間長r1が変更の前後の再生速度sに応じて更新される構成であれば足り、圧伸区間SAと複製区間SBとを残余区間SRの更新に関して区別する必要は必ずしもない。
(3)
In the above embodiment, the configuration in which the section length r1 of the remaining section SR of the duplication section SB is updated when the reproduction speed s is changed during the output of the sample in the duplication section SB is exemplified. A configuration is also adopted in which the section length r1 of the remaining section SR is updated when the playback speed s is changed during the output of the samples. For example, when the playback speed s is changed during the period in which the
(4)変形例4
以上の形態においては、区間Aの波形と区間Bの波形とを合成した波形(区間X)を区間Aと区間Bとの間隙に挿入することで低速変換を実現したが、低速変換の具体的な方法は適宜に変更される。例えば、区間Aと区間Bとの間隙に区間Aの波形が重複的に挿入される構成も採用される。また、以上の形態においては、区間Aの波形と区間Bの波形とを合成した波形(区間X)を区間Aおよび区間Bに置換することで高速変換を実現したが、高速変換の具体的な方法も任意である。例えば、区間Aまたは区間Bの波形を削除する構成も採用される。以上のように、本発明が適用される範囲は、非特許文献1のPICOLA(Pointer Interval Controlled OverLap and Add)を採用した時間軸圧伸装置に限定されない。
(4) Modification 4
In the above embodiment, the low speed conversion is realized by inserting the waveform (section X) obtained by synthesizing the waveform of section A and the waveform of section B into the gap between section A and section B. The method is appropriately changed. For example, a configuration in which the waveform of the section A is inserted redundantly in the gap between the section A and the section B is also employed. In the above embodiment, high-speed conversion is realized by replacing the waveform (section X) obtained by synthesizing the waveform of section A and the waveform of section B with section A and section B. The method is also arbitrary. For example, a configuration that deletes the waveform of the section A or the section B is also employed. As described above, the scope to which the present invention is applied is not limited to the time-axis companding device adopting PICOLA (Pointer Interval Controlled OverLap and Add) of
100……時間軸圧伸装置、10……記憶回路、20……制御回路、32……基本周期特定部、34……区間長決定部、36……出力部、38……区間長更新部、40……出力回路、50……設定部、PIN……入力音声のサンプル列、POUT……出力音声のサンプル列、SIN……入力区間、SOUT……出力区間、SR……残余区間、r1……更新前の残余区間の区間長、r2……更新後の残余区間の区間長。
DESCRIPTION OF
Claims (6)
前記音声の再生速度を定める速度指標値を設定する設定手段と、
前記音声の基本周期と前記設定手段が設定した速度指標値とに基づいて圧伸後の出力区間の区間長を決定する区間長決定手段と、
前記出力区間内の各サンプルを順次に出力する出力手段と、
前記出力区間内の各サンプルを前記出力手段が出力する期間内に前記設定手段が速度指標値を変更すると、前記出力区間のうち速度指標値が変更された時点でサンプルの出力が完了していない残余区間の区間長を、変更前の速度指標値と変更後の速度指標値とに応じた区間長に更新する区間長更新手段と
を具備する時間軸圧伸装置。 Storage means for storing a sample string indicating the waveform of the sound;
Setting means for setting a speed index value for determining the playback speed of the sound;
Section length determining means for determining the section length of the output section after companding based on the basic period of the voice and the speed index value set by the setting means;
Output means for sequentially outputting each sample in the output section;
If the setting means changes the speed index value within the period in which the output means outputs each sample in the output section , sample output is not completed when the speed index value is changed in the output section A time-axis companding device comprising: section length updating means for updating the section length of the remaining section to a section length according to the speed index value before the change and the speed index value after the change.
前記区間長更新手段は、前記複製区間内の各サンプルを前記出力手段が出力する期間内に前記設定手段が速度指標値を変更すると、前記複製区間のうち速度指標値が変更された時点でサンプルの出力が完了していない残余区間の区間長を、変更前の速度指標値と変更後の速度指標値とに応じた区間長に更新する
請求項1に記載の時間軸圧伸装置。 The section length determination means is a section length of the output section composed of a companding section in which a sample sequence of the voice is companded in units of the basic period of the voice and a duplicate section in which samples of the sample series are arranged. Is determined based on the basic period of the voice and the speed index value set by the setting means,
The section length update means samples each sample in the duplication section when the speed index value is changed in the duplication section when the setting means changes the speed index value within a period in which the output means outputs. The time-axis companding device according to claim 1, wherein the section length of the remaining section in which the output is not completed is updated to a section length according to the speed index value before the change and the speed index value after the change.
請求項1または請求項2に記載の時間軸圧伸装置。 The section length update means updates the section length so that the section length of the remaining section becomes shorter as the playback speed corresponding to the speed index value before the change with respect to the playback speed corresponding to the speed index value after the change is lower. The time-axis companding device according to claim 1 or 2.
請求項3に記載の時間軸圧伸装置。 The section length update unit is configured to calculate a ratio of the playback speed corresponding to the speed index value before the change to the playback speed corresponding to the speed index value after the change, and the section length of the remaining section before the update. The time axis companding device according to claim 3, wherein the time length is updated to a section length according to the multiplication value.
記憶手段が記憶するサンプル列が示す波形の音声の再生速度を定める速度指標値を設定する設定処理と、
前記音声の基本周期と前記設定処理で設定した速度指標値とに基づいて圧伸後の出力区間の区間長を決定する区間長決定処理と、
前記出力区間内の各サンプルを前記記憶手段から取得して順次に出力する出力処理と、
前記出力区間内の各サンプルを前記出力処理にて出力する期間内に前記速度指標値が変更されると、当該出力区間のうち速度指標値が変更された時点でサンプルの出力が完了していない残余区間の区間長を、変更前の速度指標値と変更後の速度指標値とに応じた区間長に更新する区間長更新処理と
を実行させるプログラム。 On the computer,
A setting process for setting a speed index value that determines the playback speed of the sound of the waveform indicated by the sample sequence stored in the storage means ;
A section length determination process for determining a section length of the output section after companding based on the basic period of the voice and the speed index value set in the setting process;
An output process of outputting the sample in the output section sequentially obtains from the storage unit,
If the speed index value is changed within a period in which each sample in the output section is output in the output process, sample output is not completed when the speed index value is changed in the output section. A program for executing a section length update process for updating the section length of the remaining section to a section length corresponding to the speed index value before the change and the speed index value after the change.
前記音声の基本周期と前記設定した速度指標値とに基づいて圧伸後の出力区間の区間長を決定し、
前記出力区間内の各サンプルを前記記憶手段から取得して順次に出力する一方、
前記出力区間内の各サンプルを出力する期間内に前記速度指標値が変更されると、前記出力区間のうち速度指標値が変更された時点でサンプルの出力が完了していない残余区間の区間長を、変更前の速度指標値と変更後の速度指標値とに応じた区間長に更新する
時間軸圧伸方法。 Set a speed index value that determines the playback speed of the sound of the waveform indicated by the sample sequence stored in the storage means ,
Determine the section length of the output section after companding based on the basic period of the voice and the set speed index value,
While outputs each sample in the output section sequentially to retrieve from said memory means,
If the speed index value is changed within a period for outputting each sample in the output section, the section length of the remaining section in which output of the sample is not completed when the speed index value is changed in the output section The time axis companding method is used to update the section length according to the speed index value before the change and the speed index value after the change.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2007036244A JP5141033B2 (en) | 2007-02-16 | 2007-02-16 | Time axis companding device, time axis companding method and program |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2007036244A JP5141033B2 (en) | 2007-02-16 | 2007-02-16 | Time axis companding device, time axis companding method and program |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2008203322A JP2008203322A (en) | 2008-09-04 |
JP5141033B2 true JP5141033B2 (en) | 2013-02-13 |
Family
ID=39780942
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2007036244A Expired - Fee Related JP5141033B2 (en) | 2007-02-16 | 2007-02-16 | Time axis companding device, time axis companding method and program |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5141033B2 (en) |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH0411300A (en) * | 1990-04-28 | 1992-01-16 | Sanyo Electric Co Ltd | Time companding method for voice signal |
JPH07302097A (en) * | 1994-05-10 | 1995-11-14 | Sanyo Electric Co Ltd | Audio time axis compression method, expansion method thereof and audio time axis companding method |
JP3451900B2 (en) * | 1997-09-22 | 2003-09-29 | ヤマハ株式会社 | Pitch / tempo conversion method and device |
-
2007
- 2007-02-16 JP JP2007036244A patent/JP5141033B2/en not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2008203322A (en) | 2008-09-04 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP3744216B2 (en) | Waveform forming apparatus and method | |
JP6141358B2 (en) | Synchronous audio playback method, apparatus, and system | |
JP6090204B2 (en) | Acoustic signal generator | |
JP2017111372A (en) | Voice synthesis method, voice synthesis control method, voice synthesis device, and voice synthesis controller | |
JPH0736455A (en) | Music event index generating device | |
JP5167984B2 (en) | Instruction trace generation program, instruction trace generation apparatus, and instruction trace generation method | |
JP5141033B2 (en) | Time axis companding device, time axis companding method and program | |
JP2010113278A (en) | Music processing device and program | |
JP6011039B2 (en) | Speech synthesis apparatus and speech synthesis method | |
JP4968109B2 (en) | Audio data conversion / reproduction system, audio data conversion device, audio data reproduction device | |
JP2006153908A (en) | Audio data encoding device and audio data decoding device | |
JP6680029B2 (en) | Acoustic processing method and acoustic processing apparatus | |
US11348596B2 (en) | Voice processing method for processing voice signal representing voice, voice processing device for processing voice signal representing voice, and recording medium storing program for processing voice signal representing voice | |
JP3904012B2 (en) | Waveform generating apparatus and method | |
JP2018072698A (en) | Signal processing method and signal processing device | |
JP6350693B2 (en) | Acoustic signal generator | |
JP6350692B2 (en) | Acoustic signal generator | |
JP5359203B2 (en) | Music processing apparatus and program | |
JP5807419B2 (en) | Signal processing device | |
JP7613154B2 (en) | Acoustic analysis method, acoustic analysis system and program | |
JP7343320B2 (en) | Information processing device, information processing method, and program | |
JP2008209447A (en) | Time-axis expansion and compression method, time-axis expansion and compression device, program and basic cycle specifying method | |
JP6364885B2 (en) | Music processing apparatus and music processing method | |
JP7200483B2 (en) | Speech processing method, speech processing device and program | |
JP4437703B2 (en) | Speech speed conversion method and apparatus |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20091215 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20110812 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20111227 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20120223 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20120904 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20121003 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20121023 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20121105 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20151130 Year of fee payment: 3 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5141033 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
LAPS | Cancellation because of no payment of annual fees |