JP5034976B2 - Audio playback device and audio playback control program - Google Patents
Audio playback device and audio playback control program Download PDFInfo
- Publication number
- JP5034976B2 JP5034976B2 JP2008013998A JP2008013998A JP5034976B2 JP 5034976 B2 JP5034976 B2 JP 5034976B2 JP 2008013998 A JP2008013998 A JP 2008013998A JP 2008013998 A JP2008013998 A JP 2008013998A JP 5034976 B2 JP5034976 B2 JP 5034976B2
- Authority
- JP
- Japan
- Prior art keywords
- grain
- start position
- unit
- pitch
- tempo
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Electrophonic Musical Instruments (AREA)
Description
本発明は、音声再生装置および音声再生制御プログラムに関する。 The present invention relates to an audio playback device and an audio playback control program.
ビデオゲーム等においては、楽曲、効果音、スピーチ等の各種の音声が用いられるが、状況に応じてテンポ(速度)やピッチ(音程)を制御し、あるいはユーザ(プレイヤ)にテンポやピッチを任意に操作させたいというニーズがある。 In video games, etc., various sounds such as music, sound effects, speech, etc. are used. The tempo (speed) and pitch (pitch) are controlled according to the situation, or the tempo and pitch can be arbitrarily set by the user (player). There is a need to make it operate.
従来、音声ファイルの再生時にテンポとピッチを個別かつ任意に制御するには、複雑な音声データ処理を必要とし、処理能力の高いパーソナルコンピュータ等では実現が可能であるものの、ビデオゲーム装置等の限られたリソースの機器においては実現が困難であった。この点、MIDI(Musical Instruments Digital Interface)規格による楽曲や効果音については、データの記述を変更するだけでテンポやピッチを容易に制御できることから、ゲーム装置等の機器においてはもっぱらMIDI規格が用いられていた。なお、MIDI規格は音源を再生する音程、時間、音量等を時系列に制御するものであるため、生の演奏やスピーチをデジタル録音したような汎用的な音声ファイルの再生は行うことができない。
上述したように、ゲーム装置等の限られたリソースの機器においては、生の演奏やスピーチをデジタル録音したような汎用的な音声ファイルにつき、テンポとピッチを個別かつ任意に制御することは困難であり、簡易な処理により実現できる仕組が要望されていた。 As described above, it is difficult to control the tempo and pitch individually and arbitrarily for general-purpose audio files such as digital recordings of live performances and speeches in devices with limited resources such as game devices. There is a demand for a mechanism that can be realized by simple processing.
一方、「グラニュラーシンセシス」と呼ばれる新たな音源作成の手法が提案されているが(例えば、特許文献1参照。)、あくまでも音源作成にとどまるものであり、楽曲やスピーチ等の時系列に正確に再生することが要求される音声ファイルの再生に適用されるものではなかった。 On the other hand, a new sound source creation method called “granular synthesis” has been proposed (see, for example, Patent Document 1), but it is limited to sound source creation, and is reproduced accurately in time series such as music and speech. It was not applied to playback of audio files that were required to be performed.
本発明は上記の従来の問題点に鑑み提案されたものであり、その目的とするところは、簡易な構成により、楽曲、効果音、スピーチ等の汎用的な音声ファイルにつき、テンポとピッチを個別かつ任意に制御することのできる音声再生装置および音声再生制御プログラムを提供することにある。また、コントローラの動きによりテンポとピッチを自在に制御することも目的とする。 The present invention has been proposed in view of the above-described conventional problems, and the object of the present invention is to individually set the tempo and pitch for general-purpose audio files such as music, sound effects, and speeches with a simple configuration. Another object of the present invention is to provide an audio reproduction device and an audio reproduction control program that can be arbitrarily controlled. Another object is to freely control the tempo and pitch by the movement of the controller.
上記の課題を解決するため、本発明にあっては、請求項1に記載されるように、音声ファイルからグレインを取り出す取り出し開始位置を設定する取り出し開始位置設定部と、取り出すグレインのグレイン長を設定するグレイン長設定部と、音声ファイル上の前記取り出し開始位置から前記グレイン長のグレインを取り出すグレイン取り出し部と、取り出されたグレインを設定されたピッチに従って再生する再生部と、グレインの再生完了時に、設定されたテンポに応じた音声ファイル上の基準位置を与えて、前記取り出し開始位置設定部に取り出し開始位置の更新を指示する取り出し開始位置更新部とを備え、前記取り出し開始位置設定部は、制御テーブルから現時点のテンポおよび/もしくはピッチに基づくランダマイズ値を取得し、当該ランダマイズ値に基づいて取り出し開始位置を、音声ファイル上の基準位置に対して乱数的に前後させる音声再生装置を要旨としている。
In order to solve the above problems, according to the present invention, as described in
また、請求項2に記載されるように、請求項1に記載の音声再生装置において、グレインの再生完了時に前記グレイン長設定部にグレイン長の更新を指示するグレイン長更新部を備え、前記グレイン長設定部は、制御テーブルから現時点のテンポおよび/もしくはピッチに基づくグレイン長を取得するようにすることができる。
In addition, as described in
また、請求項3に記載されるように、請求項1または2のいずれか一項に記載の音声再生装置において、前記グレイン取り出し部は、所定のオーバラップ位相に基づいて取り出し開始位置の異なる複数のグレインを取り出し、前記再生部は、個々のグレインに所定の窓関数を掛け合わせた後に合成するようにすることができる。
In addition, as described in claim 3 , in the audio reproduction device according to
また、請求項4に記載されるように、請求項3に記載の音声再生装置において、窓関数が0値になることをもってグレインの再生完了を検出する窓関数0値判定部を備えるようにすることができる。 According to a fourth aspect of the present invention, there is provided the audio reproduction device according to the third aspect , further comprising a window function zero value determination unit that detects the completion of grain reproduction when the window function becomes zero. be able to.
また、請求項5に記載されるように、機器を構成するコンピュータを、音声ファイルからグレインを取り出す取り出し開始位置を設定する取り出し開始位置設定手段、取り出すグレインのグレイン長を設定するグレイン長設定手段、音声ファイル上の前記取り出し開始位置から前記グレイン長のグレインを取り出すグレイン取り出し手段、取り出されたグレインを設定されたピッチに従って再生する再生手段、グレインの再生完了時に、設定されたテンポに応じた音声ファイル上の基準位置を与えて、前記取り出し開始位置の更新を指示する取り出し開始位置更新手段として機能させ、前記取り出し開始位置設定手段は、制御テーブルから現時点のテンポおよび/もしくはピッチに基づくランダマイズ値を取得し、当該ランダマイズ値に基づいて取り出し開始位置を、音声ファイル上の基準位置に対して乱数的に前後させる音声再生制御プログラムとして構成することができる。 According to a fifth aspect of the present invention, there is provided a computer that constitutes the device, a take-out start position setting means for setting a take-out start position for taking out the grains from the audio file, a grain length setting means for setting the grain length of the grains to be taken out, Grain extraction means for extracting the grain having the grain length from the extraction start position on the audio file, reproduction means for reproducing the extracted grain according to a set pitch, and an audio file corresponding to the set tempo when the reproduction of the grain is completed An upper reference position is given to function as an extraction start position update means for instructing an update of the extraction start position , and the extraction start position setting means obtains a randomized value based on the current tempo and / or pitch from the control table And based on the randomization value Extraction start position Te, and can be configured as a random number to the voice reproduction control program causes back and forth relative to a reference position on the audio file.
本発明の音声再生装置および音声再生制御プログラムにあっては、簡易な構成により、楽曲、効果音、スピーチ等の汎用的な音声ファイルにつき、テンポとピッチを個別かつ任意に制御することができる。また、コントローラの動きによりテンポとピッチを自在に制御することができる。 In the audio reproduction device and the audio reproduction control program of the present invention, the tempo and pitch can be individually and arbitrarily controlled for general-purpose audio files such as music, sound effects and speeches with a simple configuration. In addition, the tempo and pitch can be freely controlled by the movement of the controller.
以下、本発明の好適な実施形態につき説明する。なお、ゲーム装置に適用した例について説明するが、その他の機器に本発明を適用することができることは言うまでもない。 Hereinafter, preferred embodiments of the present invention will be described. Although an example applied to a game device will be described, it goes without saying that the present invention can be applied to other devices.
図1は本発明の一実施形態にかかるゲーム装置の構成例を示す図である。 FIG. 1 is a diagram showing a configuration example of a game device according to an embodiment of the present invention.
図1において、ゲーム装置1は無線通信部101を備え、プレイヤが手に持って操作するコントローラ2の無線通信部23と通信することで、コントローラ2の操作スイッチ21および3次元加速度センサ22の状態をデータとして取得可能になっている。
In FIG. 1, the
一方、ゲーム装置1は、無線通信部101により受信したコントローラ2からの入力に基づいて操作内容を判定するコントローラ操作判定部102と、コントローラ操作判定部102の判定した操作内容に基づいてゲームの進行を制御するゲーム制御部104と、ゲーム制御部104の制御のもと、グラニュラーシンセシスの原理に基づいて音声を出力するグラニュラーシンセシス処理部105とを備えている。
On the other hand, the
コントローラ操作判定部102は、音声再生のテンポとピッチのデータを管理しており、このテンポとピッチはゲーム制御部104から音声再生時に値が設定されるほか、コントローラ2の操作スイッチ21によるプレイヤの直接的な指示によって設定され、更に、コントローラ2を上下・左右・前後に振ったり、回転させたり、回転させながら投げたりといった操作を加速度変化解釈部103が解釈することによっても設定される。なお、テンポとは音声の再生の速度であり、テンポ「1」の場合は元の音声と同じ速度で再生され、例えばテンポ「2」の場合は元の音声の2倍の速度で再生され(その結果、全体の再生時間は半分)、テンポ「0.5」の場合は元の音声の半分の速度で再生(その結果、全体の再生時間は2倍)される。ピッチとは、再生される音声の音程であり、ピッチ「1」の場合は元の音声と同じ音程で再生され、例えばピッチ「2」の場合は元の音声の2倍の音程で再生され、ピッチ「0.5」の場合は元の音声の半分の音程で再生される。
The controller
グラニュラーシンセシス処理部105は、メモリ115に保持されたデジタルデータの状態の音声ファイルを入力し、デジタルデータの状態の音声信号を出力する。メモリ115上の音声ファイルは、CD(Compact Disc)、DVD(Digital Versatile Disk)等のメディア116からメディア読み出し部117により、制御プログラム、各種データとともにメモリ115に格納されるほか、マイク118、A/D(Analog/Digital)変換部119、エフェクタ部120を介してデジタル録音されるものであってもよい。エフェクタ部120は音域の調整や特殊効果を与えるものである。
The granular
また、グラニュラーシンセシス処理部105からのデジタルデータの音声出力信号は、パンニング部121、エフェクタ部122、音量変更部123、D/A(Digital/Analog)変換部124を順次介し、スピーカ125により音響として出力される。パンニング部121はステレオの左右(L:Left,R:Right)のチャネルに音声を振り分けるものであり、音量変更部123は音量レベル(ボリューム)を変更するものである。
In addition, an audio output signal of digital data from the granular
グラニュラーシンセシス処理部105の内部構成としては、後述する窓関数0値判定部113が窓関数の0値を判定したタイミングで、メモリ115上の音声ファイルからのグレインの取り出し開始位置の更新を指示する取り出し開始位置更新部106と、取り出し開始位置更新部106からの更新の指示に従ってグレインの取り出し開始位置を設定する取り出し開始位置設定部107と、取り出すグレインの長さであるグレイン長を設定するグレイン長設定部109と、オーバラップ(詳細については後述)のために位相を変えて複数のグレインを取り出すための位相を設定するオーバラップ位相設定部110とを備えている。ここで、グレインとは音声ファイルから取り出す微小(数10〜数100〔ms〕)な音声部分データである。また、取り出し開始位置更新部106は音声ファイルの記録時間に相当するロケータ値を管理しており、このロケータ値はコントローラ操作判定部102から与えられるテンポに従った速度で変化していく(詳細については後述)。また、取り出し開始位置設定部107はグレインの取り出し開始位置を前後に乱数的に移動させるためのランダマイズ値を管理しており、このランダマイズ値と、グレイン長設定部109で設定されるグレイン長は、制御テーブル108により現時点のテンポとピッチに従って設定される(詳細については後述)。
As an internal configuration of the granular
更に、グラニュラーシンセシス処理部105は、取り出し開始位置設定部107により設定された取り出し開始位置から、グレイン長設定部109により設定されたグレイン長で、オーバラップ位相設定部110により設定された位相により、複数のグレインを音声ファイルから取り出すグレイン取り出し部111と、取り出した個々のグレイン毎に、コントローラ操作判定部102から与えられるピッチに基づく速度で再生しつつ、グレイン毎に所定の窓関数を掛け合わせる窓関数処理を行って合成する再生/窓関数処理部112と、再生/窓関数処理部112における窓関数が後端で0値となるタイミングを検出する窓関数0値判定部113と、窓関数0値判定部113が0値を判定したタイミングでグレイン長の更新をグレイン長設定部109に指示するグレイン長更新部114とを備えている。窓関数の詳細については後述する。
Further, the granular
なお、グラニュラーシンセシス処理部105の各機能部は、メモリ115上の制御プログラムにより実現されるものであり、処理過程のデータはメモリ115上の各種データとして保持される。
Note that each functional unit of the granular
図2はコントローラ操作判定部102の加速度変化解釈部103の構成例を示す図である。図2(a)はコントローラ2の移動方向を示しており、ここでは、グローバルな座標軸における、左右方向をX方向、前後方向をY方向、上下方向をZ方向としている。
FIG. 2 is a diagram illustrating a configuration example of the acceleration
図2(b)は加速度変化解釈部103の構成例を示しており、無線通信部101により受信したコントローラ2の入力からX方向加速度、Y方向加速度、Z方向加速度のデータ(加速度データ)をそれぞれ取得するX方向加速度取得部103a、Y方向加速度取得部103b、Z方向加速度取得部103cと、X方向加速度取得部103a、Y方向加速度取得部103b、Z方向加速度取得部103cの取得した加速度のデータのうち所定の閾値を超えるもののみを抽出する閾値処理を行う閾値処理部103d〜103fとを備えている。閾値処理を行うのは、プレイヤの意図しないコントローラ2の小さな動き等を検出して誤動作させないためである。ここで、加速度データにおけるX方向加速度、Y方向加速度、Z方向加速度の各方向は3次元加速度センサ22に付帯されるローカルな座標軸であって、図2(a)に示すようにコントローラ2の長手方向をグローバルなY軸と合わせ、所定の傾きとしたときにグローバルな座標軸とローカルな座標軸とが合致するようになっている。以下の記載では、説明を簡単にするために、グローバルな座標軸とローカルな座標軸とが合致した状態を初期状態とし、後述する振動では初期状態が保たれるとし、回転では回転後に初期状態に戻るものとする。なお、実際にはグローバルな座標軸とローカルな座標軸とが異なる場合が多いが、その場合には、いずれかの座標軸を選択するか、またはローカルからグローバルへと座標変換を行うなどすればよい。
FIG. 2B shows a configuration example of the acceleration
また、加速度変化解釈部103は、閾値処理部103dの出力、すなわちX方向の加速度変化から左右方向の振動周期を検出する振動周期検出部103gと、閾値処理部103eの出力、すなわちY方向の加速度変化から前後方向の振動周期を検出する振動周期検出部103hと、閾値処理部103fの出力、すなわちZ方向の加速度変化から上下方向の振動周期を検出する振動周期検出部103iとを備えている。更に、閾値処理部103dおよび閾値処理部103fの出力、すなわちX方向の加速度データの変化とZ方向の加速度データの変化からコントローラ2の長手方向を軸とした回転周期を検出する回転周期検出部103jと、同じく閾値処理部103dおよび閾値処理部103fの出力からコントローラ2の長手方向を軸とした、素早く回転しながら投げ上げた場合の状態を検出する回転投げ検出部103kとを備えている。更に、加速度変化解釈部103は、振動周期検出部103g〜103i、回転周期検出部103j、回転投げ検出部103kの出力から、所定の操作ルールに基づいてテンポおよび/もしくはピッチを変更するテンポ・ピッチ変更部103lを備えている。
The acceleration
図3は加速度変化の例を示す図であり、(a)はコントローラ2を左右・前後・上下のいずれかの方向に振った場合の、該当する方向の加速度データの変化を示している。加速度変化解釈部103の振動周期検出部103g〜103iは、この加速度データの変化から該当する方向の振動の周期を検出し、テンポ・ピッチ変更部103lは、例えば、上下方向(Z方向)の振動をテンポに対応付け、現時点のテンポと比較して速い場合はテンポを徐々に速くし、反対に遅い場合はテンポを徐々に遅くしていく。
FIG. 3 is a diagram showing an example of acceleration change. FIG. 3A shows a change in acceleration data in a corresponding direction when the
(b)はコントローラ2を長手方向を軸として左回転(Y軸を中心にして左回転)させた場合のX方向加速度とZ方向加速度の加速度データの変化を示している。コントローラ2の3次元加速度センサ22は重力加速度を検出するため、回転に伴ってX方向加速度とZ方向加速度の加速度データの波形の位相差が生じ、右回転か左回転かを検出することができる。テンポ・ピッチ変更部103lは、例えば、右回転をピッチ上昇に対応させ、左回転をピッチ下降に対応させることで、右回転が検出された場合は回転周期に応じてピッチを徐々に高くし、左回転が検出された場合は回転周期に応じてピッチを徐々に低くしていく。
(B) shows changes in the acceleration data of the X-direction acceleration and the Z-direction acceleration when the
(c)はコントローラ2を長手方向を軸として素早く回転(Y軸を中心にして回転)させながら投げ上げた場合のX方向加速度もしくはZ方向加速度の加速度データの変化を示している。コントローラ2を素早く回転させた場合には、3次元加速度センサ22に重力加速度よりも大きな遠心力が加わり、所定の時間Tを超える時間τの加速度が予め設定した加速度aを超えてほぼ一定になる期間が存在することから、このような回転投げを検出することができる。ただし、遠心力により加速度が加速度aを越えてほぼ一定になる期間はX方向加速度とZ方向加速度の加速度データでほぼ同時に起こるため、この期間の加速度データの変化の位相差から回転方向は検出できない。しかし、回転投げの直前には緩やかな回転が伴うため、これを回転投げの回転方向とすることができる。テンポ・ピッチ変更部103lは、例えば、回転投げにおける高速回転時に対して、右回転を急激なピッチ上昇、左回転を急激なピッチ下降といった変化をするように制御プログラムを予め設定しておき、右回転の回転投げが検出された場合はピッチを急激に上昇させ、左回転の回転投げが検出された場合はピッチを急激に下降させる。このようにすることで、音声の再生でグリッサンドのような効果を出すことができる。
(C) shows the change in the acceleration data of the X-direction acceleration or the Z-direction acceleration when the
なお、図2(b)の加速度変化解釈部103の構成では、プレイヤによる操作の困難さから、X軸を中心としたコントローラ2の回転や、Z軸を中心としたコントローラ2の回転を検出する構成を有していないが、そのような操作が想定される場合には、上述した原理に基づいて同様に検出し、テンポ・ピッチの制御に用いることが可能である。
2B detects the rotation of the
図1に戻り、グラニュラーシンセシス処理部105の取り出し開始位置更新部106は、窓関数0値判定部113の窓関数0値判定の時点で、取り出し開始位置の基準としてその時点のロケータ値を取り出し開始位置設定部107に伝えて取り出し開始位置の更新を指示する。ロケータ値はテンポに応じた速さで増加(ロケータがテンポに応じた速度で移動)しており、窓関数が0値になったタイミングのときのロケータ値が新たな取り出し開始位置の基準とされる。図4はロケータおよび取り出し位置更新の説明図であり、(a)は例としてテンポ「1」の場合、(b)は例としてテンポ「2」の場合を示している。(a)のテンポ「1」の場合、ロケータ値は処理時実時間と同じ値となる。(b)のテンポ「2」の場合、ロケータ値は処理時実時間の2倍の値となる。例えば、1秒間(1000〔msec〕)の音声ファイルが0(先頭位置)〜1000(終端位置)であるとすれば、テンポ「1」のときには処理時実時間が1〔msec〕で「1」増加し、テンポ「2」であれば処理時実時間が1〔msec〕で「2」増加する。
Returning to FIG. 1, the extraction start
図4において、いずれの場合も、取り出し開始位置更新部106は窓関数周期の後端の窓関数が0値となる時点(基本となるグレイン(オーバラップの場合の先頭のグレイン)の再生が終了した時点)で取り出し位置更新を取り出し開始位置設定部107に指示する。例えば、再生しているグレイン長が100〔msec〕でピッチが「1」であれば、窓関数は100〔msec〕の周期で0値を取るので、テンポ「1」のときには基準が「100」ずつ移動することになり、テンポ「2」のときには、基準は「200」ずつ移動することになる。
4, in any case, the extraction start
図1に戻り、取り出し開始位置設定部107は、音声ファイルの先頭もしくは取り出し開始位置更新部106から取り出し開始位置更新を指示された時点で取り出し開始位置を設定する。取り出し開始位置設定部107は、音声ファイルの先頭から処理する場合はその先頭位置を取り出し開始位置とし、取り出し開始位置更新部106から取り出し開始位置更新を指示された場合は、ランダマイズ値に基づいて、取り出し開始位置更新部106から与えられた取り出し開始位置の基準(ロケータ値)からランダムに位置を前後させる。例えば、ランダマイズ値が「0」のときは基準の取り出し開始位置がそのまま取り出し開始位置となる。ランダマイズ値が「10」のときは、基準の取り出し開始位置に対して−10〜+10〔msec〕の範囲でランダムに決定された位置が取り出し開始位置となる。取り出し開始位置をランダマイズすることで、規則正しく取り出し開始位置を設定する場合に比べて聞き手に対する自然感が増すことが確認されている。なお、ランダマイズ値は次のグレインの取り出し開始位置が直前のグレインの取り出し開始位置より前になってしまわないようにする必要があり、
グレイン長 × テンポ ÷ ピッチ
を超えないように設定される。これにより、取り出し開始位置が、時間の進行に沿って、戻ることなく移動していくこととなり、楽曲等の音声を時間軸に沿って忠実に再生することができる。
Returning to FIG. 1, the extraction start
Grain length x tempo ÷ set so as not to exceed pitch. As a result, the take-out start position moves along with the progress of time without returning, and the sound of music or the like can be reproduced faithfully along the time axis.
なお、ランダマイズ値は制御テーブル108から現時点のテンポ・ピッチに対応する値を取得することで、テンポやピッチを変化させた場合の音質をきめ細かく維持することができる。ただし、音質に特に問題がない場合は、ランダマイズ値として固定的な値を設定してもよい。 Note that, by obtaining a value corresponding to the current tempo / pitch from the control table 108, the sound quality when the tempo or pitch is changed can be maintained finely. However, if there is no problem in sound quality, a fixed value may be set as the randomization value.
図5は制御テーブル108の例を示す図であり、テンポ、ピッチに対応したランダマイズ値およびグレイン長が設定されている。なお、テンポもしくはピッチのいずれかにのみランダマイズ値およびグレイン長を対応させてもよく、ランダマイズ値とグレイン長を個別にテンポもしくはピッチに対応させてもよい。 FIG. 5 is a diagram showing an example of the control table 108, in which randomized values and grain lengths corresponding to the tempo and pitch are set. Note that the randomized value and the grain length may be associated only with either the tempo or the pitch, or the randomized value and the grain length may be individually associated with the tempo or the pitch.
図1に戻り、グレイン長設定部109は、音声ファイルの先頭もしくは窓関数0値判定部113が窓関数0値を判定した時点でグレイン長を設定する。グレイン長は制御テーブル108から現時点のテンポ・ピッチに対応する値を取得することで、テンポやピッチを変化させた場合の音質をきめ細かく維持することができる。ただし、音質に特に問題がない場合は、グレイン長として固定的な値を設定してもよい。
Returning to FIG. 1, the grain
図6はグレイン長についての制御テーブル108の例を示す図であり、(a)はデータ構造例、(b)はテンポに対するグレイン長(制御テーブル108に記述された値の中間値は線形補間)を表している。すなわち、テンポ「0」ではグレイン長:70〔msec〕であり、テンポ「±0.5」ではグレイン長:80〔msec〕であり、テンポ「±1」以上ではグレイン長:100〔msec〕とした例である。なお、テンポにのみグレイン長を対応付けた例について説明したが、ピッチとの組み合わせ、もしくはピッチのみにグレイン長を対応付けてもよい。 6A and 6B are diagrams showing an example of the control table 108 for the grain length, where FIG. 6A is an example of the data structure, and FIG. 6B is the grain length with respect to the tempo (the intermediate value of the values described in the control table 108 is linear interpolation). Represents. That is, when the tempo is “0”, the grain length is 70 [msec], when the tempo is “± 0.5”, the grain length is 80 [msec], and when the tempo is “± 1” or more, the grain length is 100 [msec]. This is an example. In addition, although the example which matched the grain length only with tempo was demonstrated, you may match | combine a grain length only with a combination with a pitch, or a pitch.
図1に戻り、オーバラップ位相設定部110はオーバラップの個数に応じて、位相差を設定する。オーバラップの個数は通常は4〜16個程度である。図7はオーバラップの例を示す図であり、オーバラップの個数を4としたものである。この場合、先頭のグレインからグレイン長の1/4の位相差で合計4個のグレインを取り出すことになり、各グレインは再生時に窓関数処理を行った後に合成される。
Returning to FIG. 1, the overlap
オーバラップは窓関数処理の弊害を除去するためのものである。すなわち、図8は窓関数の例を示す図であり、(a)に示すように取り出したグレインは両端が任意のレベルを持つものであるため、前後のグレインと連結した場合にレベルの急激変化からノイズを発生する要因になる。そのため、グレインの波形に窓関数を掛け合わせる窓関数処理を行い、グレインの両端を0レベルに収束させている。窓関数はグレインの再生時に利用され、グレインの再生時の長さと一致するよう同期が取られる。すなわち、グレイン長は、ピッチ等に応じて取り出し時と再生時とで長さ(周期)が異なることがあるが、窓関数の長さ(周期)は、常に再生時のグレイン長と一致する。窓関数としては種々の形を用いることができ、その例を(b)〜(d)に示してある。 The overlap is for removing the adverse effect of the window function processing. That is, FIG. 8 is a diagram showing an example of a window function. As shown in FIG. 8A, since the extracted grain has arbitrary levels at both ends, the level rapidly changes when connected to the preceding and succeeding grains. Cause noise. For this reason, window function processing for multiplying the waveform of the grain by the window function is performed to converge both ends of the grain to 0 level. The window function is used during grain playback and is synchronized to match the grain playback length. In other words, the length (cycle) of the grain length may differ between the time of extraction and the time of reproduction depending on the pitch or the like, but the length (cycle) of the window function always matches the grain length at the time of reproduction. Various types of window functions can be used, examples of which are shown in (b) to (d).
窓関数はこのようにノイズ発生防止のために用いられるものであるが、全てのグレインの両端が0レベルであると、グレインの周期で音声が途切れて聞こえてしまうことになる。そこで、個々のグレインにつきオーバラップを行うことで、音声が途切れて聞こえることを防止している。 The window function is used to prevent noise in this way, but if both ends of all grains are at 0 level, the sound will be interrupted and heard at the period of the grains. Therefore, by overlapping each individual grain, it is possible to prevent the sound from being interrupted.
図1に戻り、グレイン取り出し部111は、取り出し開始位置設定部107により設定された取り出し開始位置(音声ファイルの先頭の場合を除いてランダマイズ後の取り出し開始位置)から、グレイン長設定部109により設定されたグレイン長で、オーバラップ位相設定部110により設定された位相により、複数のグレインを音声ファイルから取り出す。グレインの取り出しは音声ファイル上のデジタルデータの開始位置と終了位置を指定して作業領域(メモリ)にコピーするだけの操作であり、再生時間とは無関係に瞬時に行われる。
Returning to FIG. 1, the grain extraction unit 111 is set by the grain
次いで、再生/窓関数処理部112は、取り出した個々のグレイン毎に、コントローラ操作判定部102から与えられるピッチに基づく速度(グレイン長をピッチで除した長さで再生する速度。ピッチ「1」の場合は記録時と等速、ピッチ「2」の場合は2倍速等)で再生しつつ、グレイン毎に所定の窓関数を掛け合わせる窓関数処理を行って合成する。
Next, the reproduction / window
図9はグレイン取り出しおよび再生の例を示す図であり、グレイン長は100〔msec〕とし、(a)はテンポ「1」、ピッチ「1」の場合、(b)はテンポ「0.5」、ピッチ「2」の場合、(c)はテンポ「2」、ピッチ「2」の場合である。なお、図の難解さを招かないよう、取り出し開始位置のランダマイズとオーバラップについては省略してある。 FIG. 9 is a diagram showing an example of grain extraction and reproduction. When the grain length is 100 [msec], (a) is tempo “1” and pitch “1”, (b) is tempo “0.5”. In the case of the pitch “2”, (c) is the case of the tempo “2” and the pitch “2”. Note that randomization and overlap of the extraction start position are omitted so as not to cause difficulty in the drawing.
(a)では、テンポ「1」のためロケータ値と処理時実時間は一致しており、ピッチ「1」のため、取り出したグレインは記録時と同じ速度で再生され、連続してグレインの取り出しおよび再生が行われていく。 In (a), the locator value matches the actual processing time because of the tempo “1”, and because the pitch is “1”, the extracted grain is played back at the same speed as when recording, and the grain is continuously extracted. And reproduction is performed.
(b)では、テンポ「0.5」のためロケータ値0〜1000に対して処理時実時間は0〜2000〔msec〕となり、ピッチ「2」のため、取り出したグレインは記録時の2倍の速度で再生(再生グレイン長=窓関数の長さ=100〔msec〕÷2〔pitch〕=50〔msec〕)され、最初のグレインの取り出しからロケータ値が25で、前のグレインと重畳的に次のグレインの取り出しが行われて再生されていく。すなわち、最初に再生されるグレインはロケータ上の0〜100から取り出され、次に(50〔msec〕後に)再生されるグレインはロケータ上の25〜125から取り出される。
In (b), since the tempo is “0.5”, the processing time is 0 to 2000 [msec] with respect to the
(c)では、テンポ「2」のためロケータ値0〜1000に対して処理時実時間は0〜500〔msec〕となり、ピッチ「1」のため取り出したグレインは記録時と同じ速度で再生され、前のグレインの取り出しからロケータ値が200で、前のグレインとは空白期間をおいて次のグレインの取り出しが行われて再生されていく。なお、この場合、音声ファイルのデータに欠落が生じるが、グレイン長は短いため、音質に与える影響は少ない。また、影響がある場合には、テンポ・ピッチに応じたグレイン長の制御が行われるため、所定の音質に収まるように制御することが可能である。
In (c), because the tempo is “2”, the processing time is 0 to 500 [msec] with respect to the
なお、図示しないテンポ・ピッチの組み合わせについては、ロケータ値と処理時実時間の関係は変わるものの、上述した(a)〜(c)のいずれかのパターンになる。特殊な場合としては、通常1つのグレインは1回のみ再生するが、テンポ「0」の場合、取り出し開始位置の更新が行われず、同じグレインが繰り返し再生されることになる。 Note that the tempo / pitch combination (not shown) has one of the above-described patterns (a) to (c), although the relationship between the locator value and the actual processing time changes. As a special case, one grain is normally reproduced only once, but when the tempo is “0”, the extraction start position is not updated and the same grain is repeatedly reproduced.
また、ロケータが正方向に移動する場合について図示したが、ロケータ値をテンポに応じた速さで減少するようにすれば、負方向にも移動するように設定することができる。この場合、テンポに応じた速さで逆再生することになる。 Although the case where the locator moves in the positive direction is illustrated, if the locator value is decreased at a speed corresponding to the tempo, it can be set to move in the negative direction. In this case, reverse playback is performed at a speed corresponding to the tempo.
加えて、テンポ、ピッチによりグレイン長および/もしくはランダマイズ値を制御する例について触れたが、取り出す楽曲等の部分(位置)と、グレイン長および/もしくはランダマイズ値との相関を制御テーブル(108)として設定しておき、取り出し開始位置の基準(ロケータ値)の位置に応じて、グレイン長および/もしくはランダマイズ値が調整されるようにすることもできる。 In addition, an example of controlling the grain length and / or randomization value by tempo and pitch has been described, but the control table (108) shows the correlation between the portion (position) of the music to be extracted and the grain length and / or randomization value. It is also possible to set the grain length and / or randomize value according to the position of the reference (locator value) of the extraction start position.
また、上記実施形態では、グラニュラーシンセシス処理部105を含むゲーム装置1とコントローラ2とは別体であり、互いに無線通信を行うものであったが、これを有線通信としたり、あるいは、一体としてゲーム装置がコントローラを兼ねることもできる。
In the above-described embodiment, the
以上、本発明の好適な実施の形態により本発明を説明した。ここでは特定の具体例を示して本発明を説明したが、特許請求の範囲に定義された本発明の広範な趣旨および範囲から逸脱することなく、これら具体例に様々な修正および変更を加えることができることは明らかである。すなわち、具体例の詳細および添付の図面により本発明が限定されるものと解釈してはならない。 The present invention has been described above by the preferred embodiments of the present invention. While the invention has been described with reference to specific embodiments, various modifications and changes may be made to the embodiments without departing from the broad spirit and scope of the invention as defined in the claims. Obviously you can. In other words, the present invention should not be construed as being limited by the details of the specific examples and the accompanying drawings.
1 ゲーム装置
101 無線通信部
102 コントローラ操作判定部
103 加速度変化解釈部
103a X方向加速度取得部
103b Y方向加速度取得部
103c Z方向加速度取得部
103d 閾値処理部
103e 閾値処理部
103f 閾値処理部
103g 振動周期検出部
103h 振動周期検出部
103i 振動周期検出部
103j 回転周期検出部
103k 回転投げ検出部
103l テンポ・ピッチ変更部
104 ゲーム制御部
105 グラニュラーシンセシス処理部
106 取り出し開始位置更新部
107 取り出し開始位置設定部
108 制御テーブル
109 グレイン長設定部
110 オーバラップ位相設定部
111 グレイン取り出し部
112 再生/窓関数処理部
113 窓関数0値判定部
114 グレイン長更新部
115 メモリ
116 メディア
117 メディア読み出し部
118 マイク
119 A/D変換部
120 エフェクタ部
121 パンニング部
122 エフェクタ部
123 音量変更部
124 D/A変換部
125 スピーカ
2 コントローラ
21 操作スイッチ
22 3次元加速度センサ
23 無線通信部
DESCRIPTION OF
Claims (5)
取り出すグレインのグレイン長を設定するグレイン長設定部と、
音声ファイル上の前記取り出し開始位置から前記グレイン長のグレインを取り出すグレイン取り出し部と、
取り出されたグレインを設定されたピッチに従って再生する再生部と、
グレインの再生完了時に、設定されたテンポに応じた音声ファイル上の基準位置を与えて、前記取り出し開始位置設定部に取り出し開始位置の更新を指示する取り出し開始位置更新部と
を備え、
前記取り出し開始位置設定部は、制御テーブルから現時点のテンポおよび/もしくはピッチに基づくランダマイズ値を取得し、当該ランダマイズ値に基づいて取り出し開始位置を、音声ファイル上の基準位置に対して乱数的に前後させる
ことを特徴とする音声再生装置。 An extraction start position setting unit for setting an extraction start position for extracting grains from the audio file;
A grain length setting unit for setting the grain length of the grain to be extracted;
A grain take-out unit for taking out grains of the grain length from the take-out start position on the audio file;
A playback unit that plays back the extracted grains according to a set pitch;
A pickup start position update unit that gives a reference position on the audio file according to the set tempo when the reproduction of the grain is completed, and instructs the pickup start position setting unit to update the pickup start position ;
The extraction start position setting unit obtains a randomized value based on the current tempo and / or pitch from the control table, and randomly determines the extraction start position based on the randomized value before and after the reference position on the audio file. audio reproducing apparatus according to claim <br/> to make.
グレインの再生完了時に前記グレイン長設定部にグレイン長の更新を指示するグレイン長更新部
を備え、
前記グレイン長設定部は、制御テーブルから現時点のテンポおよび/もしくはピッチに基づくグレイン長を取得する
ことを特徴とする音声再生装置。 The audio playback device according to claim 1 ,
A grain length update unit for instructing the grain length setting unit to update the grain length when the reproduction of the grain is completed;
The grain length setting unit acquires a grain length based on a current tempo and / or pitch from a control table.
前記グレイン取り出し部は、所定のオーバラップ位相に基づいて取り出し開始位置の異なる複数のグレインを取り出し、
前記再生部は、個々のグレインに所定の窓関数を掛け合わせた後に合成する
ことを特徴とする音声再生装置。 In the audio | voice reproduction apparatus as described in any one of Claim 1 or 2 ,
The grain extraction unit extracts a plurality of grains having different extraction start positions based on a predetermined overlap phase,
The audio reproduction apparatus characterized in that the reproduction unit performs synthesis after multiplying each grain by a predetermined window function.
窓関数が0値になることをもってグレインの再生完了を検出する窓関数0値判定部
を備えたことを特徴とする音声再生装置。 The audio playback device according to claim 3 ,
An audio reproducing apparatus comprising a window function zero-value determining unit that detects completion of grain reproduction when the window function reaches zero.
音声ファイルからグレインを取り出す取り出し開始位置を設定する取り出し開始位置設定手段、
取り出すグレインのグレイン長を設定するグレイン長設定手段、
音声ファイル上の前記取り出し開始位置から前記グレイン長のグレインを取り出すグレイン取り出し手段、
取り出されたグレインを設定されたピッチに従って再生する再生手段、
グレインの再生完了時に、設定されたテンポに応じた音声ファイル上の基準位置を与えて、前記取り出し開始位置の更新を指示する取り出し開始位置更新手段
として機能させ、
前記取り出し開始位置設定手段は、制御テーブルから現時点のテンポおよび/もしくはピッチに基づくランダマイズ値を取得し、当該ランダマイズ値に基づいて取り出し開始位置を、音声ファイル上の基準位置に対して乱数的に前後させる
音声再生制御プログラム。 The computers that make up the equipment,
An extraction start position setting means for setting an extraction start position for extracting grains from the audio file;
Grain length setting means for setting the grain length of the grain to be extracted,
Grain extraction means for extracting grains of the grain length from the extraction start position on the audio file;
Reproduction means for reproducing the extracted grain according to a set pitch,
When the reproduction of the grain is completed, a reference position on the audio file corresponding to the set tempo is given to function as an extraction start position update means for instructing the update of the extraction start position ,
The extraction start position setting means obtains a randomized value based on the current tempo and / or pitch from the control table, and randomly sets the extraction start position based on the randomized value before and after the reference position on the audio file. let <br/> audio reproduction control program.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2008013998A JP5034976B2 (en) | 2008-01-24 | 2008-01-24 | Audio playback device and audio playback control program |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2008013998A JP5034976B2 (en) | 2008-01-24 | 2008-01-24 | Audio playback device and audio playback control program |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2009175440A JP2009175440A (en) | 2009-08-06 |
JP5034976B2 true JP5034976B2 (en) | 2012-09-26 |
Family
ID=41030596
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2008013998A Expired - Fee Related JP5034976B2 (en) | 2008-01-24 | 2008-01-24 | Audio playback device and audio playback control program |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5034976B2 (en) |
Family Cites Families (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPS62108299A (en) * | 1985-11-06 | 1987-05-19 | ヤマハ株式会社 | Pitch conversion |
JP2811132B2 (en) * | 1991-11-20 | 1998-10-15 | 株式会社河合楽器製作所 | Electronic musical instrument |
JPH0736482A (en) * | 1993-07-16 | 1995-02-07 | Fujitsu Ltd | Playback speed conversion method |
JPH07287576A (en) * | 1994-04-18 | 1995-10-31 | Taito Corp | Musical sound reproducing method |
JPH09281965A (en) * | 1996-04-15 | 1997-10-31 | Matsushita Electric Ind Co Ltd | Music sound synthesizing device |
JP3750699B2 (en) * | 1996-08-12 | 2006-03-01 | ブラザー工業株式会社 | Music playback device |
JP3451900B2 (en) * | 1997-09-22 | 2003-09-29 | ヤマハ株式会社 | Pitch / tempo conversion method and device |
JP3506012B2 (en) * | 1998-07-30 | 2004-03-15 | ヤマハ株式会社 | Pitch / Tempo conversion method |
JP3430968B2 (en) * | 1999-05-06 | 2003-07-28 | ヤマハ株式会社 | Method and apparatus for time axis companding of digital signal |
JP4779264B2 (en) * | 2001-09-05 | 2011-09-28 | ヤマハ株式会社 | Mobile communication terminal, tone generation system, tone generation device, and tone information providing method |
-
2008
- 2008-01-24 JP JP2008013998A patent/JP5034976B2/en not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2009175440A (en) | 2009-08-06 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US8457769B2 (en) | Interactive audio recording and manipulation system | |
JP4247626B2 (en) | Playback apparatus and playback method | |
US6967905B2 (en) | Information playback apparatus | |
US20030103422A1 (en) | Information playback apparatus | |
US20090069917A1 (en) | Audio player and audio fast-forward playback method capable of high-speed fast-forward playback and allowing recognition of music pieces | |
JP5034976B2 (en) | Audio playback device and audio playback control program | |
JP4817388B2 (en) | Music information calculation apparatus and music reproduction apparatus | |
JPH0233328Y2 (en) | ||
JP7367835B2 (en) | Recording/playback device, control method and control program for the recording/playback device, and electronic musical instrument | |
JP2009020361A (en) | Data segmenting device, method of data segmenting and program for segmenting data | |
WO2009038539A1 (en) | Apparatus and method for transforming an input sound signal | |
JP2013046661A (en) | Music switching device in game machine | |
JP4062324B2 (en) | Movie playback apparatus and movie playback method | |
JP2007257771A (en) | Reproducing device, reproducing method, program, and recording medium | |
JP6412660B2 (en) | Record board, digital content playback system, digital content playback control system, digital content playback method, and digital content playback program on which a control signal for playback of digital content is recorded | |
JP2009294671A (en) | Audio reproduction system and audio fast-forward reproduction method | |
JP4043126B2 (en) | Control data generation device for waveform reproduction device | |
JP2550423B2 (en) | Karaoke equipment | |
JP2753640B2 (en) | Automatic performance device | |
JP2823673B2 (en) | Video disc player | |
JPWO2006104164A1 (en) | Audio signal playback device | |
JP2006261920A (en) | Mixing apparatus | |
JP2002109817A (en) | Disk player | |
JP2015185195A (en) | Reproduction control device for sonic and video appliance | |
JP2008257792A (en) | Audio data reproduction device |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20101129 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20120124 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20120207 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20120319 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20120605 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20120618 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20150713 Year of fee payment: 3 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20150713 Year of fee payment: 3 |
|
LAPS | Cancellation because of no payment of annual fees |