[go: up one dir, main page]

JPH1063470A - 画像表示に連動する音響発生装置 - Google Patents

画像表示に連動する音響発生装置

Info

Publication number
JPH1063470A
JPH1063470A JP8241312A JP24131296A JPH1063470A JP H1063470 A JPH1063470 A JP H1063470A JP 8241312 A JP8241312 A JP 8241312A JP 24131296 A JP24131296 A JP 24131296A JP H1063470 A JPH1063470 A JP H1063470A
Authority
JP
Japan
Prior art keywords
sound
source data
sound source
data
temporary storage
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP8241312A
Other languages
English (en)
Inventor
Hideaki Shimizu
英明 清水
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nintendo Co Ltd
Original Assignee
Nintendo Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nintendo Co Ltd filed Critical Nintendo Co Ltd
Priority to JP8241312A priority Critical patent/JPH1063470A/ja
Priority to CA002185966A priority patent/CA2185966C/en
Priority to US08/717,116 priority patent/US5754660A/en
Priority to AU65773/96A priority patent/AU713367C/en
Priority to EP96115144A priority patent/EP0813351B1/en
Priority to DE69636666A priority patent/DE69636666D1/de
Priority to DE69636666T priority patent/DE69636666T8/de
Priority to TW085116256A priority patent/TW324807B/zh
Priority to CN97113616A priority patent/CN1118019C/zh
Priority to US08/948,250 priority patent/US5862229A/en
Publication of JPH1063470A publication Critical patent/JPH1063470A/ja
Pending legal-status Critical Current

Links

Classifications

    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/50—Controlling the output signals based on the game progress
    • A63F13/52—Controlling the output signals based on the game progress involving aspects of the displayed game scene
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/50—Controlling the output signals based on the game progress
    • A63F13/54—Controlling the output signals based on the game progress involving acoustic signals, e.g. for simulating revolutions per minute [RPM] dependent engine sounds in a driving game or reverberation against a virtual wall
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/40—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment
    • A63F13/44—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment involving timing of operations, e.g. performing an action within a time slot
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/50—Controlling the output signals based on the game progress
    • A63F13/52—Controlling the output signals based on the game progress involving aspects of the displayed game scene
    • A63F13/525—Changing parameters of virtual cameras
    • A63F13/5255—Changing parameters of virtual cameras according to dedicated instructions from a player, e.g. using a secondary joystick to rotate the camera around a player's character
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S1/00—Two-channel systems
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/90—Constructional details or arrangements of video game devices not provided for in groups A63F13/20 or A63F13/25, e.g. housing, wiring, connections or cabinets
    • A63F13/95—Storage media specially adapted for storing game information, e.g. video game cartridges
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/20—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterised by details of the game platform
    • A63F2300/206—Game information storage, e.g. cartridges, CD ROM's, DVD's, smart cards
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/60—Methods for processing data by generating or executing the game program
    • A63F2300/6063—Methods for processing data by generating or executing the game program for sound processing
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/60—Methods for processing data by generating or executing the game program
    • A63F2300/6063—Methods for processing data by generating or executing the game program for sound processing
    • A63F2300/6081—Methods for processing data by generating or executing the game program for sound processing generating an output signal, e.g. under timing constraints, for spatialization
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/60—Methods for processing data by generating or executing the game program
    • A63F2300/63—Methods for processing data by generating or executing the game program for controlling the execution of the game in time
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/60—Methods for processing data by generating or executing the game program
    • A63F2300/64—Methods for processing data by generating or executing the game program for computing dynamical parameters of game objects, e.g. motion determination or computation of frictional forces for a virtual car
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/60—Methods for processing data by generating or executing the game program
    • A63F2300/66—Methods for processing data by generating or executing the game program for rendering three dimensional images
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/60—Methods for processing data by generating or executing the game program
    • A63F2300/66—Methods for processing data by generating or executing the game program for rendering three dimensional images
    • A63F2300/6661—Methods for processing data by generating or executing the game program for rendering three dimensional images for changing the position of the virtual camera
    • A63F2300/6676—Methods for processing data by generating or executing the game program for rendering three dimensional images for changing the position of the virtual camera by dedicated player input

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Signal Processing (AREA)
  • Stereophonic System (AREA)
  • Processing Or Creating Images (AREA)
  • Measurement Of Velocity Or Position Using Acoustic Or Ultrasonic Waves (AREA)

Abstract

(57)【要約】 【目的】カメラアングルから見たような三次元的な画像
を表示する場合において、カメラアングルの移動に伴っ
て三次元的な音響を発生するとともに、ヘッドホンで聞
く場合において、聴覚者又は使用者の疲労感を低減し得
る、画像表示に連動する音響発生装置を提供する。 【構成】少なくとも音を発する第１の物体をカメラアン
グルで見えるように画面上に表示する画像表示装置にお
いて、第１の物体とカメラアングル位置等との関係に応
じた音響を発生するためのものであって、第１の音響発
生手段と、第２の音響発生手段と、音源データ記憶手段
と、一時記憶手段と、音声処理手段と、第１のディジタ
ル−アナログ変換手段と、第２のディジタル−アナログ
変換手段とを備える。

Description

【発明の詳細な説明】
【０００１】
【発明の属する技術分野】この発明は画像表示に連動す
る音響発生装置に関し、より特定的にはパーソナルコン
ピュータやビデオゲーム機などの画像処理装置において
表示される２つの物体の方向及び距離等に基づいて三次
元的な広がりをもつ効果音又は音楽等の音響を発生する
画像表示に連動する音響発生装置に関する。
【０００２】
【従来の技術】ステレオ音を発生する技術としては、特
公昭６０−９３９７号（先行技術１）が知られている。
この先行技術１は、１つの音声信号をそのままアナログ
信号として出力するとともに、遅延させたアナログ信号
として出力することにより、ステレオ音を発生するもの
である。しかし、先行技術１は、アナログ信号を遅延さ
せているため、ディジタル音源には適用できず、しかも
ＣＲＴデイスプレイ等の画面上に表示されている物体又
はキャラクタの移動状態との関係で物体の移動に連動し
たような音響を発生することができなかった。
【０００３】画像表示に関連して２次元的な音を発生す
る音響発生装置としては、特開昭６２−１５５８７９号
（先行技術２）が知られている。先行技術２は、音の発
生源となる移動物体である飛行機が平面的又は二次元的
に移動するのに伴って、左右のスピーカのうち遠ざかる
側の音量を漸減させ、近づく側の音量を漸増させること
により、飛行機の平面的な移動に併せて音量を制御する
ものである。しかし、先行技術２は、移動物体の移動に
伴って音量を漸減又は漸増させるに過ぎないので、ステ
レオ音として聞こえるとしても、三次元的な音響効果が
得られない。また、先行技術２は、三次元的な画像表示
の効果音としては適切ではない。その理由は、飛行機や
自動車のような二次元的に移動する移動物体の動きに連
動して音を発生する場合であればそれなりの音響効果が
得られるが、三次元的な画像を表示する場合に三次元的
な音響効果を得ることができず、画像表示と音響効果
（又は音場感）とが一致してなく、違和感を感じさせる
ためである。さらに、先行技術２は、使用者がヘッドホ
ンを使用する場合に適用すると、左右の音が聴覚者の左
右の耳に同時に伝わりかつ左右の音量が異なるだけなの
で、左右の音が聴覚者の耳に直接伝わることになり、耳
に対向しない側の音を遅延させるような音響効果がな
く、左右の音量差を極端に大きくすると、耳に負担がか
かり、聴覚者に疲れを感じさせ易くなり、長時間使用す
ると頭痛等の原因になることが経験的に知られている。
なお、先行技術２を用いて左右のスピーカの音量を制御
すると、スピーカから発生される音がいろんな方向に広
がりながら聴覚者に聞こえるので、左右のスピーカの一
方から発生された音が聴覚者の左又は右の耳に伝わる音
と他方から発生された音が聴覚者の右又は左の耳に伝わ
る音との間で多少の時間的な遅れが生じ、一方の音を遅
延させるのに似た音響効果が若干生じるが、三次元的な
音響効果を得るまでには至らない。
【０００４】
【発明が解決しようとする課題】それゆえに、この発明
の主たる目的は、物体に対してカメラアングルから見た
ような三次元的な画像を表示する場合において、カメラ
アングルの移動に伴って三次元的な音響を発生すること
のできる、画像表示に連動する音響発生装置を提供する
ことである。この発明の他の目的は、ヘッドホンで聞く
場合でも、聴覚者又は使用者の疲労感を低減し得る、画
像表示に連動する音響発生装置を提供することである。
【０００５】
【課題を解決するための手段】この発明の画像表示に連
動する音響発生装置は、少なくとも音を発する第１の物
体をカメラアングルで見えるように画面上に表示する画
像表示装置において、第１の物体とカメラアングル位置
等との関係に応じた音響を発生するためのものであっ
て、第１の音響発生手段と、第２の音響発生手段と、音
源データ記憶手段と、一時記憶手段と、音声処理手段
と、第１のディジタル−アナログ変換手段と、第２のデ
ィジタル−アナログ変換手段とを備える。
【０００６】
【作用】音源データ記憶手段は、第１の音響発生手段及
び第２の音響発生手段から発生させるための音声又は音
響の元となる音源データを予めデジタル的に記憶してい
る。一時記憶手段は、音源データ記憶手段から発生され
る或る期間に発生すべき処理単位の音源データを一時記
憶する。音声処理手段は、第１の音響発生手段によって
発生させる第１の系統の音響を発生すべき音源データを
一時記憶手段に記憶させかつ第１の系統用として読み出
させるとともに、一時記憶手段に記憶されている第１の
系統用の音源データをカメラアングル位置等から見た第
１の物体の方向に基づいて算出される遅延時間に応じて
遅延させて第２の系統用の音源データとして読み出させ
る。第１のディジタル−アナログ変換手段は、音声処理
手段によって一時記憶手段からそのまま読み出された第
１系統の音源データをアナログ音声信号に変換して第１
の音響発生手段に与える。それによって、第１の音響発
生手段は第１の系統の音響を発生を発生する。第２のデ
ィジタル−アナログ変換手段は、音声処理手段によって
一時記憶手段から読み出された遅延された第２系統の音
源データをアナログ音声信号に変換して第２の音響発生
手段に与える。それによって、第２の音響発生手段は第
１系統の音響よりも指定された遅延量だけ遅れて第２系
統の音響を発生する。このとき、必要に応じて、遅延量
の制御に併せて音量制御が行われる。
【０００７】
【効果】この発明によれば、固定され又は移動する物体
に対してカメラアングル位置等から見たような三次元的
な画像表示において、カメラアングルの視線移動に伴っ
て三次元的な音響を発生することができ、画像表示と音
響効果が一致するので、使用者により現実に近い画像・
音響的効果を感じさせることができ、興趣を一層向上で
きる。また、この発明の音響発生装置から発生される音
響をヘッドホンステレオで聞く場合に、聴覚者又は使用
者の疲労感を軽減できる。
【０００８】
【発明の実施の形態】図１はこの発明の画像表示に連動
する音響発生装置の原理ブロック図である。画像・音声
処理装置（以下「処理装置」と略称する）１０は、例え
ばゲームのための画像と音楽・効果音等の音響を発生す
るビデオゲーム機等であって、画像処理ユニット１１と
音声処理ユニット１２を含む。画像処理ユニット１１に
は、アドレスバス及びデータバスを介して画像メモリ１
３が接続される。また、画像処理ユニット１１には、外
部メモリ２０及び操作器３０が着脱自在に接続される。
画像処理ユニット１１は、操作器３０から入力される操
作状態を示すデータと、外部メモリ２０に含まれる画像
データ・プログラムデータ記憶領域２１に記憶されてい
る画像データ及びプログラムデータに基づいて、画像処
理のための演算を行って、表示すべき画像処理データを
映像信号発生回路１４に与える。この画像処理ユニット
１１は、プログラムに基づいて音楽及び／又はゲームの
効果音等の音（音響）を発生する１又は複数の物体（例
えば、滝，川，動物，自動車，飛行機等）や、音を発生
しない物体（例えば、建物，植物，道路，雲，景色等）
や、これら各種物体をカメラアングル位置から見た視線
移動によって三次元的に表示したり、プレイヤの操作に
応じて移動方向又は動作（手足の動き）を変化する主人
公キャラクタ（例えば、人間又は動物等）の後方又は後
方上部等から見たようなカメラアングルの画像表示デー
タを発生するものである。映像信号発生回路１４は、画
像処理ユニット１１から与えられる画像処理データに基
づいてディスプレイ装置の一例のＣＲＴ又は標準テレビ
ジョン受像機（以下「テレビ」と略称する）４０で表示
するのに必要な各種同期信号を付加した映像信号を発生
してテレビ４０に与えて、表示画面（又は表示部）４１
に表示させる。
【０００９】一方、画像処理ユニット１１は、滝，川等
の水音や自動車の走行音や動物の鳴き声等の効果音をカ
メラアングル位置又は主人公キャラクタ（以下、両者を
総称してカメラアングル位置等と呼ぶ）の視線移動に伴
って変化させて、三次元的な画像表示に連動して三次元
的な音響効果を実現するために、各種物体のうちの音を
発生する物体（以下「音発生物体」という）の座標デー
タ（以下「第１の座標データ」という）と、カメラアン
グル位置等の座標データ（以下「第２の座標データ」）
と、音の種類を指定するデータとを音声処理ユニット１
２に与える。ここで、音声処理ユニット１２に与えられ
る座標データは、画面の左右方向を示すＸ座標データ及
び上下方向を示すＹ座標データに加えて、奥行き方向を
表すＺ座標データも含まれる。
【００１０】音声処理ユニット１２には、外部メモリ２
０に含まれる音源データメモリ２２が着脱自在に接続さ
れるとともに、音源データを一時記憶するための音声処
理用バッファメモリ（以下「バッファメモリ」と略称す
る）１５がデータバス及びアドレスバスを介して接続さ
れる。音源データメモリ２２は、外部メモリ２０のプロ
グラムによって実行される１つのゲームに用いられる多
量の音源データをＰＣＭデータ又はＡＤ−ＰＣＭデータ
の形で記憶している。バッファメモリ１５は、バッファ
領域１５ａと、遅延バッファ領域１５ｂとを含む（後述
の詳細な実施例の図９参照）。バッファ領域１５ａは、
或る単位時間において、遅延のない音声として第１系統
の音声信号を発生するために音声データを一時記憶する
ものであり、以下には非遅延バッファ領域と呼ぶ。遅延
バッファ領域１５ｂは、音発生物体の座標と主人公キャ
ラクタ（又はカメラアングル位置）の座標との距離及び
方向に基づいて演算によって求められた遅延時間に相当
する時間だけ、第１系統の音声信号よりも遅延された音
声信号を第２系統の音声信号として発生するために、最
大遅延時間に相当する記憶容量を有する。実施例では、
最大遅延時間が単位時間の１／５以上だと、左右の音を
聞いたときに不自然な印象を与えらるので、遅延バッフ
ァ領域１５ｂが非遅延バッファ領域１５ａの１／５の記
憶容量に選ばれる。例えば、非遅延バッファ領域１５ａ
が単位時間に相当する記憶容量として３２０バイト、遅
延バッファ領域１５ｂが最大遅延時間に相当する記憶容
量として６４バイトに選ばれる。ここで、処理単位時間
は、音声信号をサンプリングして音声データを作る場合
のサンプリング周波数（例えば、３２ＫＨｚ）と、一度
に処理すべき音声信号の固まりの時間（すなわち処理単
位に相当する時間）との関係によって決定され、本願実
施例では１／２００秒〜１／２４０秒に選ばれる。そし
て、第２系統の音声信号が第１系統の音声信号よりも遅
延した遅延時間は、主人公キャラクタからみた音発生物
体の方向又は主人公キャラクタが移動する場合において
は移動の前後の両者の方向（又は方向に基づく角度）の
変化量に応じて可変制御される。
【００１１】なお、バッファメモリ１５の容量が多い場
合は、遅延バッファ領域１５ｂに代えて、非遅延バッフ
ァ領域１５ａの記憶容量と遅延バッファ領域１５ｂの記
憶容量を合計した記憶容量を有する遅延バッファ領域１
５ｂ’を用い（後述の詳細な実施例の図１０参照）、第
２系統の音源データの書込アドレスを遅延時間に応じて
０〜６４バイトの範囲で可変制御してもよい。
【００１２】音声処理ユニット１２は、第１の座標デー
タと第２の座標データとに応じて予め定められるプログ
ラムに基づいて演算処理し、カメラアングル位置（又は
主人公キャラクタ）から見た音発生物体の方向（又は角
度）を求め、その方向に基づいて遅延量（又は遅延時
間）を後述の図６に示す特性図の関係になるように決定
する。また、音声処理ユニット１２は、第１の座標デー
タと第２の座標データとに基づいて、音発生物体とカメ
ラアングル位置等との距離を求め、その距離データに基
づいて音量を決定する。そして、音源データメモリ２２
に記憶されている音声データのうち処理単位（３２０バ
イト分）の音声データを一定周期で読出して非遅延バッ
ファ領域１５ａに書込み、直前と処理単位時間後のそれ
ぞれの主人公キャラクタの位置及び音発生物体の位置を
示すそれぞれの座標データに基づいて主人公キャラクタ
から見た音発生物体の方向の変化量（角度）を求め、方
向変化量に応じた遅延時間を演算によって求める。な
お、遅延時間の決定は、演算処理に代えて、方向の角度
毎予めテーブルに設定しておき、そのテーブルから遅延
時間データを読出すようにしてもよい。このようにして
決定された遅延時間に応じて、遅延バッファ領域１５ｂ
の書込みエリアが決定される。そして、音声処理ユニッ
ト１２は、非遅延バッファ領域１５ａに記憶されている
音源データを読み出して第１系統の音源データとして出
力するとともに、第１系統の音源データを遅延時間に対
応する遅延バッファ領域１５ｂのアドレスに書込み、か
つ遅延バッファ領域１５ｂの最後の番地から音源データ
を読み出すことにより、第１系統の音声データよりも所
望の遅延時間だけ遅れた第２系統の音源データとして出
力する。ここで、第１系統の音声信号と第２系統の音声
信号は、左右のスピーカ（又はヘッドホンの左右の発音
体）のそれぞれに固定的に対応させるのではなく、第１
系統を遅延しない音声信号のチャンネルに対応させ、第
２系統を遅延した音声信号のチャンネルに対応させてい
る。そして、音声処理ユニット１２は、音発生物体が主
人公キャラクタ（又はカメラアングル位置）の正面より
左に存在することを判断したしき、第１系統の音声デー
タを左用のディジタル−アナログ変換回路１６ａに与え
るとともに、第２系統の音声データを右用のディジタル
−アナログ変換回路１６ｂに与える。
【００１３】逆に、音発生物体が主人公キャラクタの正
面より右に存在することを判断したとき、音声処理ユニ
ット１２は第１系統の音声データを右用のディジタル−
アナログ変換回路１６ｂに与えるとともに、第２系統の
音声データを左用のディジタル−アナログ変換回路１６
ａに与える。すなわち、音声処理ユニット１２は、音発
生物体が主人公キャラクタから見て左右の何れの側に存
在するかに基づいて、第１系統と第２系統のそれぞれの
音声データを与えるディジタル−アナログ変換回路１６
ａ，１６ｂ（又は１６ｂ，１６ａ）の組合せを単位時間
毎に対応させるべきものに切り換える。各ディジタル−
アナログ変換回路１６ａ，１６ｂは、それぞれ入力され
た音声データをディジタルからアナログ信号に変換する
ことにより、音声信号を発生し、それぞれの音声信号を
対応するフィルタ１７ａ，１７ｂに与える。フィルタ１
７ａ，１７ｂは、左右の音声信号をそれぞれ補間処理す
ることにより、滑らかな音声信号に波形成形して、テレ
ビ４０に関連して設けられる左右のスピーカ４２Ｌ，４
２Ｒに与え、及び／又はイヤホンジャック４３を介して
ヘッドホン４４に与えて、音又は音響を発生させる。
【００１４】さらに、音声処理ユニット１２は音量制御
部１２ａを含み、この音量制御部１２ａが音発生物体と
主人公キャラクタ（カメラアングル位置）との距離を求
めて、距離に応じて音量を制御する。例えば、音量制御
部１２ａは、主人公キャラクタが音発生物体に近づくこ
とにより距離が近づくと音量を大きくし、逆に主人公キ
ャラクタが音発生物体から遠ざかることにより距離が離
れると音量を小さくするように、音量を制御する。具体
的には、主人公キャラクタと音発生物体の間の距離の二
乗に反比例させるように音量制御すると、主人公キャラ
クタの移動又はカメラアングルの視線移動による三次元
的な画像表示の変化に対応して効果音の音場感を変化さ
せることができる。
【００１５】以上の動作が単位時間毎に繰り返して行わ
れることにより、ゲームのための効果音又はゲームの雰
囲気を盛り上げるＢＧＭ音楽（ゲーム音楽）が画像の変
化に連動して発生されることになる。そして、音声処理
ユニット１２が主人公キャラクタ又はカメラアングル位
置（カメラアングル位置等）から見た音発生物体の方向
又は角度に基づいて第１系統と第２系統の音声データの
出力タイミングのずれ（一方に対する他方の遅延量）を
制御するとともに、カメラアングル位置等と音発生物体
との距離に基づいて音量を制御することにより、結果的
にはカメラアングル位置等から見た音発生物体に対する
視線移動に応じた三次元的な画像変化に連動して左右の
スピーカ４２Ｌ，４２Ｒ又はヘッドホン４４から聞こえ
る音声又は音響も三次元的な変化をすることになる。
【００１６】そして、より好ましくは、三次元的な音響
効果を一層現実的（リアル）に表現するために、左右の
音の遅延量を制御する場合は音量制御の範囲を最少音量
から最大音量までの最大範囲ではなく、音量制御の範囲
を制限又は抑制するように制御してもよい。また、主人
公キャラクタの移動又は遮音する物体の到来により、主
人公キャラクタと音発生物体との間に音を遮る遮音物体
（例えば、家・壁等の建造物や船舶・航空機等の大きな
移動物体）が存在することになった場合は、音量制御部
１２ａがそれまでよりも極端に音量レベルを低減するよ
うに制御すれば、一層現実に則した音響効果が得られる
ことになる。
【００１７】次に、図１の原理ブロック図において、第
１系統と第２系統の両音声信号の遅延の有無による遅延
時間と音量変化の関係の具体的に説明する。この場合の
動作は、画像処理ユニット１１及び音声処理ユニット１
２が画像・プログラムデータメモリ２１に記憶されてい
るプログラムを実行することによって達成される。その
ためには、図３〜図６の特性図のように制御するための
プログラムがメモリ２１に予め記憶されているものとす
る。また、遅延量なし（零）で音量を制御する場合（図
３参照）と、遅延量有りで音量を制御する場合（図４参
照）と、遅延量がある場合において音発生物体間の距離
に応じて音量を制御する場合（図５参照）と、音発生物
体と主人公キャラクタとの位置関係（方向）によって遅
延量を制御する場合（図６参照）とは、プログラムに基
づいて個別に又は適宜の組み合わせで行われる。そし
て、図３〜図６の特性図のような音量制御及び／又は遅
延量制御を実現するための具体的な方法としては、距離
・方向と音量との関係を図３〜図６の特性波形になるよ
うに数式化して記憶させておいてその都度演算によって
求めるか、主人公キャラクタ又はカメラアングル位置を
中心とする左右の単位距離毎に波形の音量値をテーブル
に設定しておきかつ距離データをアドレスとしてその音
量値を読み出すようにすればよい。
【００１８】まず、図２及び図３を参照して、遅延量が
無い条件下において音量を制御する場合を説明する。例
えば、左右それぞれの音声信号の遅延量を生じさせない
方が好ましいゲーム場面において、音発生物体と主人公
キャラクタとの距離が一定の場合は、音声発生物体が主
人公キャラクタからみて左横方向（角度で示せば０度）
にいるときの音声信号を最大変化量にするとともに、右
の音声信号を０とする（図３参照）。そして、図２に示
すように、音発生物体が主人公キャラクタを中心として
一定距離ｒだけ離れて半円を描くように右方向に移動す
るに従って、図３の特性図に示すように右の音声信号を
徐々に増大させかつ左の音声信号を徐々に減少させ、音
発生物体が主人公キャラクタの正面（左横から９０度の
位置）に来ると左右の音声信号の音量を同じにさせる。
さらに、音発生物体が右方向へ移動して主人公キャラク
タの右横方向位置に来る（左横から１８０度の位置）
と、左の音声信号を０とし、右の音声信号を最大変化量
とする。
【００１９】なお、音発生物体が固定でかつ主人公キャ
ラクタの向きが移動する場合でも、音発生物体と主人公
キャラクタとの相対的な位置関係が図２及び図３の関係
と同様であれば、左右の音量を同様に制御すればよい。
この音発生物体が固定でかつ主人公キャラクタの向きが
移動する場合は、図４〜図６の特性図の場合でも同様に
なる。但し、音発生物体と主人公キャラクタとの距離の
或る係数を掛けた値に反比例となるように、図３の特性
変化に補正を掛けて音量の増減を制御することが好まし
い。
【００２０】次に、図２及び図４を参照して、遅延量の
有る条件下において音量を制御する場合を説明する。左
右の音声信号の遅延量との関係で音量を制御することに
より、三次元的な表示に併せて音量を制御するゲーム場
面においては、音発生物体が主人公キャラクタからみて
左横方向にいるとき左の音声信号を最大変化量とすると
ともに、右の音声信号を例えば最大変化量の１／２程度
とする（図４参照）。このように、遅延ありの場合に最
少音量を０とせずに最大音量（又は最大変化量）の１／
２とする理由は、左右の音声信号を遅延させることによ
り、左右の音量を最大範囲で差を付けなくても三次元的
な音響効果が得られるからである。そして、図２に示す
ように、音発生物体が主人公キャラクタを中心として一
定距離ｒだけ離れて半円を描くように右方向に動くに従
って、図４に示すように右の音声信号を徐々に増大させ
かつ左の音声信号を徐々に減少させ、音発生物体が主人
公キャラクタの正面に来ると左右の音声信号の音量を同
じにさせる。さらに、音発生物体が右方向へ移動して主
人公キャラクタの右横方向位置に来ると、右の音声信号
を最大変化量とするとともに、左の音声信号を最大変化
量の１／２とする。
【００２１】次に、図２及び図５を参照して、図４のよ
うに遅延量の有る条件下において音量を制御する場合の
距離と音量の関係を説明する。音発生物体が主人公キャ
ラクタから半径ｒの範囲内に存在するときは、主人公キ
ャラクタから見た音発生物体の方向又は位置によって音
量を最大変化量と最少変化量の範囲で変化させる。その
理由は、音発生物体が或る短い距離ｒの範囲であれば、
距離の変化に対する音量の変化が少ないためである。そ
して、図２において、音発生物体が主人公キャラクタの
正面に存在するときは、左右の音量が最大変化量と最少
変化量の中間の値とされる。一方、音発生物体が半径方
向に遠ざかるにつれて、音量が指数関数的に減少するよ
うに変化させ、或る長い距離以上離れると音量を０とす
る。
【００２２】次に、図２及び図６を参照して、音発生物
体と主人公キャラクタとの位置に対する遅延量を制御す
る場合を説明する。主人公キャラクタが正面を向きかつ
正面に音声発生物体が存在するときは、左の音声信号と
左の音声信号の遅延量がないようにする必要があり、ま
た主人公キャラクタが左右に僅かに移動しただけでも遅
延量を制御する側を変更すれば画像表示との関係で違和
感を生じさせる。そこで、図６に示すような中心（カメ
ラアング）位置から左右に一定距離の範囲では遅延量を
変化させないように制御する。すなわち、音発生物体が
主人公キャラクタからみて左横方向にいるとき左の音声
信号の遅延量を０とするとともに、右の音声信号を最大
遅延量とする。そして、音発生物体が主人公キャラクタ
を中心として一定距離ｒだけ離れて半円を描くように右
方向に動くに従って、右の遅延量を減少させ、中心位置
よりも左右一定距離の範囲において左右の音声信号の遅
延量を０とし、中心位置から右に一定距離だけ離れた位
置から右方向へ移動するのに従って右の遅延量を０とし
たままで左の遅延量を徐々に増大させる。
【００２３】以下には、本願発明の具体的な実施例を説
明する。図７はこの発明の一実施例の音響発生装置のブ
ロック図である。この実施例の音響発生装置がビデオゲ
ーム機５０に適用される場合の構成が図１の原理ブロッ
ク図と異なる点は、処理装置本体１０に代えてビデオゲ
ーム機５０が用いられ、ビデオゲーム機５０が画像処理
ユニット１１に代えてメインＣＰＵ（Ｍ−ＣＰＵ）５１
と２個のリスクＣＰＵ（Ｒ−ＣＰＵ）５２，５３で構成
され、画像メモリ１３及びバッファメモリ１５が記憶容
量の大きなワーキングＲＡＭ（Ｗ−ＲＡＭ）５５で構成
され、音声処理ユニット１２が１個のＲ−ＣＰＵ５３に
よって画像処理と音声処理に兼用して使用されることで
ある。このように、画像処理ユニット１１を３個のＣＰ
Ｕ（Ｍ−ＣＰＵ５１，Ｒ−ＣＰＵ５２，Ｒ−ＣＰＵ５
３）によって構成し、音声処理ユニット１２を１個のＲ
−ＣＰＵ５３によって兼用した理由は、音声処理が画像
処理に比べて短時間で処理可能なためである。画像メモ
リ１３及びバッファメモリ１５が大容量（例えば４メガ
バイト）の１個のＷ−ＲＡＭ５５によって構成される理
由は、メモリ空間の割当ての自由度を増し、画像処理と
音声処理の使用時間配分を使用目的に応じてフレキシブ
ルに設定可能にするためである。
【００２４】また、複数の操作器（又はコントローラ）
３０の入出力を制御するためにコントローラ制御回路５
６が設けられるとともに、Ｍ−ＣＰＵ５１，Ｒ−ＣＰＵ
５２，Ｒ−ＣＰＵ５３，及びＷ−ＲＡＭ５５と外部メモ
リ２０又はコントローラ制御回路５６等とのデータ転送
又は入出力を制御するために入出力制御回路（Ｉ／Ｏ）
５７が設けられる。さらに、外部メモリ２０を着脱自在
に装着するためにカートリッジ用コネクタ５８１が設け
られ、操作器３０をコントローラ制御回路５６に着脱自
在に接続するためにコントローラ用コネクタ５８２〜５
８３が設けられ、フィルタ１７ａ，１７ｂをテレビ４０
のスピーカ４２Ｌ，４２Ｒ又はヘッドホン４４に接続す
るためにオーディオ用コネクタ５８４，５８５が設けら
れ、映像信号発生回路１４をディスプレイ４１に接続す
るために映像信号用コネクタ５８６が設けられる。以下
の説明では、これらの各種コネクタ５８１〜５８６を単
に「コネクタ」と略称する。その他の構成は、図１と同
様であるため、同一部分は同一参照符号で示し、具体的
な構成の説明を省略する。
【００２５】なお、情報記憶媒体である外部メモリ２０
としては、ＲＯＭカートリッジに代えて、光学的にデー
タを記憶するＣＤ−ＲＯＭ、又は磁気的にデータを記憶
する磁気ディスク、若しくは光磁気ディスク等、その他
各種の記録又は記憶媒体を用いてもよい。その場合は、
情報記憶媒体の種類に応じた記録再生装置を設けて、情
報記憶媒体から或る量のデータを読み出しかつそれを内
部のＷ−ＲＡＭ５５の一部のメモリ空間に一時記憶させ
る必要がある。
【００２６】図８はＷ−ＲＡＭ５５のメモリ空間を図解
的に示した図である。Ｗ−ＲＡＭ５５は、外部メモリ２
０の画像・プログラムメモリ２１に予めプログラム設定
されたプログラムに基づいてメモリ空間を割り付けられ
るが、一例を説明すれば次の通りである。Ｗ−ＲＡＭ５
５は、画像・プログラムメモリ２１に記憶されているプ
ログラムの一部が転送されて記憶されるプログラム領域
５５ａ，１フレーム（画像フレーム）分の画像データを
記憶するフレームメモリ領域５５ｂ，物体又はキャラク
タ毎の奥行座標データを記憶するＺバッファ領域５５
ｃ，画像データ領域５５ｄ，音声データ処理のためのサ
ウンドメモリ領域１５，コントロールパッドデータ記憶
領域５５ｅおよび作業用メモリ領域５５ｆを含む。
【００２７】サウンドメモリ領域１５は、図１に示すバ
ッファメモリに対応するものであって、図８に図解的に
示すように、非遅延バッファ領域１５ａ，遅延バッファ
領域１５ｂおよび物体の座標データ記憶領域１５ｃを含
む。非遅延バッファ領域１５ａ，遅延バッファ領域１５
ｂは、そのメモリ構成が図９に詳細に示すように構成さ
れ、データの書込み／読出しが図示のように行われる。
すなわち、処理単位の音声データを非遅延バッファ領域
１５ａに書込み／読出しする場合は、１バイトの音声デ
ータを先頭番地へ書込む毎に、先に書き込んだデータを
１バイトずつ次の番地へシフトさせることにより、先入
れ先出し態様で書込み、最終番地から第１チャンネル
（ＣＨ１）の音声データ（読出データ）として読出して
出力する。このとき、第２チャンネル（ＣＨ２）の音声
データは、非遅延バッファメモリ１５ａから読み出され
た第１チャンネルの音声データがそのまま遅延バッファ
メモリ１５ｂの先頭番地へ書き込まれ、遅延バッファメ
モリ１５ｂの読出アドレスを記憶するアドレスレジスタ
（Ｒ−ＣＰＵ５３に含まれる内部レジスタ）１５ｄによ
って指定されるアドレスの音声データが第２チャンネル
の音声データとして読出されて出力される。このとき、
遅延バッファメモリ１５ｂの先頭番地からアドレスレジ
スタ１５ｄによって指定される読出アドレス迄の番地
（バイト）数が第１チャンネルの音響に対する第２チャ
ンネルの音響の遅延時間となる。但し、この場合は、遅
延バッファメモリ１５ｂの記憶容量が最大遅延時間に相
当する容量で足りるが、Ｒ−ＣＰＵ５３の読出制御が複
雑なプログラムとなる。一方、第２チャンネルの音響を
第１チャンネルに比べて遅延する必要がない場合は、ア
ドレスレジスタ１５ｄによって指定される読出アドレス
が遅延バッファ領域１５ｂの書込アドレスと同じ先頭番
地に設定されることにより、達成される。このため、遅
延時間を広範囲に可変できる。
【００２８】なお、図９に示す実施例では、サウンドメ
モリ領域（又は音声処理用バッファメモリ）１５の記憶
容量が最小限の範囲で効率的に使用する場合を示すが、
記憶容量に余裕があるならば図１０に示すようなメモリ
構成にしてもよい。図１０では、遅延バッファ領域１５
ｂ’が非遅延バッファ領域１５ａと遅延バッファ領域１
５ｂの記憶容量を合計した容量（１５ｂ’＝１５ａ＋１
５ｂ）に選ばれる。そして、第１チャンネル（ＣＨ１）
の音声データの書込み及び読出しは図９と同様に行われ
るが、第２チャンネル（ＣＨ２）の音声データの書込み
及び読出しは次のように行われる。すなわち、Ｒ−ＣＰ
Ｕ５３に内蔵されるアドレスレジスタ１５ｅには、遅延
時間に応じた書込アドレス値がＲ−ＣＰＵ５３によって
書き込まれる。そして、書込レジスタ１５ｅによって指
定されるアドレスには、第１チャンネルと同じ音声デー
タが同時に書き込まれる。遅延バッファ領域１５ｂ’の
読出し（第２チャンネルの音響の発生）は、遅延バッフ
ァ領域１５ｂ’の最終番地から行われることにより、第
１チャンネルの同じ音声データの読出し（第１チャンネ
ルの音響の発生）タイミングよりも、遅延バッファ領域
１５ｂに対応する番地数からアドレスレジスタ１５ｅの
アドレス値を引いた番地数に比例する時間だけ遅延する
ことになる。
【００２９】一方、物体座標データ領域１５ｃは、画面
上に表示される音を発生する物体の座標データを記憶す
る領域である。例えば、物体１の座標データ領域は敵キ
ャラクタや滝等の音を発生する第１の物体の座標データ
を記憶し、操作者が操作器３０を操作することによって
視線を移動させて第１の物体を見るカメラアングル位置
又はカメラアングルに対応する主人公キャラクタのよう
な物体２の座標データを記憶する。そして、物体１から
音が発生されているときは、Ｍ−ＣＰＵ５１が物体１の
座標データと物体２の座標データに基づいて、物体２か
ら見た物体１の方向および距離を算出する。さらに、そ
の方向及び距離データに基づいて図３〜図６の特性図の
うち三次元的な画像表示に最も適した三次元的な音響効
果を発生するように予め設定されたプログラムに基づい
て遅延時間，音量，音の種類を表すデータを発生し、こ
れらの遅延時間，音量，音の種類を表すデータをＲ−Ｃ
ＰＵ５３に与える。Ｒ−ＣＰＵ５３は、図９又は図１０
を参照して説明した書込み／読出し制御を行うことによ
り、第１チャンネル及び第２チャンネルのそれぞれから
発生される音響の遅延時間の制御とともに音量制御を行
う。
【００３０】図１１を参照して、ゲームの概略フローを
説明する。ゲーム機５０の電源スイッチがＯＮされる
と、Ｍ−ＣＰＵ５１および／またはＲ−ＣＰＵ５２，５
３が以下の動作を行う。すなわち、ステップ１０におい
てゲームの初期設定のためのメニュー画面が表示され
る。ステップ１１において、Ｍ−ＣＰＵ５１は、コント
ローラ３０の決定ボタン（たとえばスタートボタン）が
押されたか否かを判断する。スタートボタンの押された
ことが判断されると、ステップ１２へ進み、スタートボ
タンの押されていないことが判断されると、ステップ１
０へ戻る。ステップ１２において、Ｍ−ＣＰＵ５１，Ｒ
−ＣＰＵ５２及びＲ−ＣＰＵ５３は、外部メモリ２０に
記憶されているプログラムデータおよび画像データに基
づきゲーム進行のための画像表示処理を行う。そして、
ステップ１３において、例えば音を発する敵キャラクタ
等の物体１や操作者として操作される主人公キャラクタ
である物体２がゲーム画面の一場面としてディスプレイ
４１に表示される。ステップ１４において、ゲームプロ
グラムに基づいて、物体１が音を発生すべき条件か否か
が判断され、音を発生すべき条件であることが判断され
た場合はステップ１５へ進み、音声出力のための処理
（後述の図１２を参照して詳細に説明するサブルーチン
の処理）を行う。ステップ１４において、音を発生すべ
き条件でないと判断された場合は、ステップ１２へ戻
り、ゲーム進行に応じた画像表示処理が続行される。
【００３１】次に、図１２を参照して、音声出力処理の
サブルーチンの動作を説明する。ステップ２０におい
て、Ｍ−ＣＰＵ５１は、図８のサウンドメモリ領域に記
憶されている座標データ記憶領域１５ｃに基づき物体１
の座標データおよび物体２の座標データの読出しを行
う。ステップ２１において、物体１の座標データと物体
２の座標データに基づいて、物体２から見た物体１の方
向および距離が演算される。そして、ステップ２２にお
いて、図３〜図６を参照して説明したように、物体１の
存在する方向に基づいて遅延量が演算され、方向および
距離に基づいて音量が演算される。ステップ２３におい
て、演算によって求めた音量および遅延量のデータと、
音の種類を表すデータがＲ−ＣＰＵ５３に転送される。
ステップ２４において、Ｒ−ＣＰＵ５３が音の種類デー
タに基づいて外部メモリ２０の音源データメモリ２２か
ら音声フレーム（処理単位の音声データ）を読出す。ス
テップ２５において、音源データメモリ２２から読出さ
れた音声フレームが図９の非遅延バッファ領域１５ａに
書込まれる。ステップ２６において、音量データに基づ
いて音声フレームの音量制御が行われる。具体的には、
物体１の方向に対応する図３または図４のＬ及びＲの音
量のように左右別々に制御され、物体１の距離に対応す
る図５の音量のように制御される。ステップ２７におい
て、音量制御された音声フレームのデータが非遅延バッ
ファ領域１５ａの最終番地から読出される。ステップ２
８において、読出された音声フレームが第１チャンネル
の音声データとして出力される。ステップ２９におい
て、Ｒ−ＣＰＵ５３は遅延量データに基づいて遅延があ
るか否かを判断する。遅延が無いと判断した場合は、ス
テップ３０へ進み、非遅延バッファ領域１５ａから読出
された音声フレームを第２チャンネルの音声データとし
て出力する。
【００３２】一方、遅延があると判断した場合は、ステ
ップ３１へ進み、非遅延バッファ領域１５ａから読出さ
れた音声フレームが遅延バッファ領域１５ｂへ書込まれ
る。ステップ３２において、Ｒ−ＣＰＵ５３は、前回遅
延量と今回遅延量が同じか否かを判断する。同じでない
と判断した場合は、ステップ３３へ進み、音声フレーム
のリサンプリング処理を行う。すなわち、今回遅延量が
前回遅延量よりも小さいときは遅延量変化分だけ音声フ
レームを圧縮し、今回遅延量が前回遅延量よりも大きい
ときは遅延量変化分だけ音声フレームを伸長する。そし
て、ステップ３３で音声フレームのリサンプリング処理
が行われた後、ステップ３４へ進む。
【００３３】一方、ステップ３２において、同じである
と判断された場合は、ステップ３４へ進む。また、今回
遅延量が発音開始時に当たる場合は、前回遅延量との比
較ができないので、同じであるとみなしてステップ３４
へ進む。ステップ３４において、Ｒ−ＣＰＵ５３は、遅
延量に基づいて遅延バッファアドレスレジスタ１５ｄに
アドレス値を指定する。ステップ３５において、遅延バ
ッファ領域１５ｂに書込まれた音声フレームを指定され
たアドレスから読出し、第２チャンネルの音声データと
して出力する。
【００３４】次に、前述のステップ２９〜３５におい
て、図１３，図１４又は図１５に示すタイムチャートを
参照して、遅延量の有無、遅延量があるときに、遅延量
を可変する場合の具体的な動作を説明する。前述のステ
ップ２９において、遅延量が無いと判断した場合は、音
声データ出力が図１３に示すタイムチャートのようにな
る。この例では、処理単位の音声データ（音声フレー
ム）の時間長が、例えば１／２４０秒（約４ｍｓ）に選
ばれる。そして、音声フレーム１出力時において、第１
チャンネルと第２チャンネルとで遅延処理を行う必要が
ないので、Ｒ−ＣＰＵ５３が、第１チャンネルと第２チ
ャンネルに同時に音声フレーム１を出力する。これを音
声フレーム２以降のデータについても繰り返す。
【００３５】ステップ２９において、遅延量があると判
断し、続くステップ３２において前回遅延量と今回遅延
量が同じである（すなわち遅延量一定）と判断した場合
は、音声データ出力が図１４に示すタイムチャートのよ
うになる。この例では、遅延量に相当する時間が０〜１
／１０００秒（１ｍｓ）の範囲で可変制御され、第２チ
ャンネルが１／２０００秒（０．５ｍｓ）の一定遅延量
を持つ場合を想定する。発音開始時において、第２チャ
ンネル側で遅延量に相当する時間分だけの無音部分を形
成するために、Ｒ−ＣＰＵ５３は、第２チャンネル側の
音声フレーム１を第１チャンネル側の音声フレーム１よ
りも０．５ｍｓだけ遅れて出力させる。第１チャンネル
側の音声フレーム１が出力し終わった時、第２チャンネ
ル側の音声フレーム１は０．５ｍｓ分残る。そして、第
１チャンネル側が音声フレーム２を出力処理する時、第
２チャンネル側は残った０．５ｍｓ分の音声フレーム１
を出力処理しその後音声フレーム２の出力処理に移る。
これを音声フレーム３以降のデータについても繰り返
す。従って、第２チャンネル側は常に第１チャンネル側
よりも０．５ｍｓだけ遅れて音声データを出力すること
になる。この動作を遅延量が変化するかまたは発音が終
了するまで繰り返すことにより、遅延量一定の場合の音
声出力処理を達成できる。
【００３６】ステップ２９において、遅延量があると判
断し、続くステップ３２において前回遅延量と今回遅延
量が同じでない（すなわち遅延量可変）と判断した場合
は、音声データ出力が図１５に示すタイムチャートのよ
うになる。例えば、第１チャンネル側の音声フレーム１
及び音声フレーム２が出力処理される時において、第２
チャンネル側の音声フレーム１及び音声フレーム２がそ
れぞれ０．５ｍｓ及び０．２５ｍｓ遅れて出力処理され
る（すなわち遅延量が０．５ｍｓから０．２５ｍｓに変
化する）場合を考える。このときの遅延量変化量が０．
２５ｍｓ分減少しているので、Ｒ−ＣＰＵ５３は第２チ
ャンネル側の音声フレーム１を遅延量変化分に相当する
０．２５ｍｓだけ圧縮（すなわち音声フレーム１を４ｍ
ｓから３．７５ｍｓにリサンプリング）する。第１チャ
ンネル側の音声フレーム２が出力処理される時、第２チ
ャンネル側には０．２５ｍｓ分の音声フレーム１が残
り、０．５ｍｓから０．２５ｍｓへの遅延量変化を達成
できる。続いて、第１チャンネル側の音声フレーム３が
出力処理される時、第２チャンネル側の遅延量は０．７
５ｍｓに変化するので、第２チャンネル側の音声フレー
ム２を遅延量変化分に相当する０．５ｍｓだけ伸長（す
なわち音声フレーム２を４ｍｓから４．５ｍｓにリサン
プリング）する。第１チャンネル側の音声フレーム３が
出力処理される時、第２チャンネル側には０．７５ｍｓ
分の音声フレーム２が残り、０．２５ｍｓから０．７５
ｍｓへの遅延量変化を達成できる。つまり、音声フレー
ムの時間長がｎ，前回遅延量がｄｂ，次回遅延量がｄｆ
である場合に、音声フレームを（ｎ）から（ｎ＋ｄｆ−
ｄｂ）にリサンプリング処理することにより、遅延量可
変の場合の音声出力処理を達成できる。このように、遅
延量可変の場合において、音声データをリサンプリング
処理することによって、データの重複や欠落によるノイ
ズの発生を抑制できる利点がある。
【００３７】
【図面の簡単な説明】
【図１】この発明の画像表示に連動する音響発生装置の
原理ブロック図である。
【図２】音発生物体とカメラアングル位置等との関係に
基づいて左右の遅延量を可変する場合の原理を説明する
ための図解図である。
【図３】図２において遅延量が無い条件下で音量を制御
する場合の音量と方向の関係を示す特性図である。
【図４】図２において遅延量が或る条件下において遅延
量を可変制御する場合の方向と音量の関係を示す特性図
である。
【図５】図４の遅延量が有る条件下において音量を制御
する場合の距離と音量の関係を示す特性図である。
【図６】音発生物体と主人公キャラクタとの位置に関連
して遅延量を制御する場合の特性図である。
【図７】この発明の一実施例の音響発生装置の具体的な
ブロック図である。
【図８】Ｗ−ＲＡＭ５５のメモリ空間を図解的に示した
図である。
【図９】図１のバッファメモリに対応するサウンドメモ
リ領域１５の一例のメモリマップを図解的に示した図で
ある。
【図１０】図１のバッファメモリに対応するサウンドメ
モリ領域１５の他の例のメモリマップを図解的に示した
図である。
【図１１】ゲームの概略のフローチャートである。
【図１２】音声出力処理のサブルーチンの動作フローチ
ャートである。
【図１３】遅延量が無い場合の音声データ出力のタイム
チャートである。
【図１４】遅延量がありかつ前回遅延量と今回遅延量が
同じである場合の音声データ出力のタイムチャートであ
る。
【図１５】遅延量がありかつ前回遅延量と今回遅延量が
同じでない場合の音声データ出力のタイムチャートであ
る。
【符号の説明】
１０……画像音声処理装置本体（ビデオゲーム機） １１……画像処理ユニット １２……音声処理ユニット １２ａ……音量制御部 １３……画像メモリ １４……映像信号発生回路 １５……音声処理用バッファメモリ １６ａ，１６ｂ……ディジタル−アナログ変換回路 １７ａ，１７ｂ……フイルタ ２０……外部メモリ（ＲＯＭカートリッジ） ２１……画像・プログラムデータメモリ（ＲＯＭ） ２２……音源データメモリ（ＲＯＭ） ３０……操作器 ４０……テレビジョン受像機（ディスプレイ装置） ５０……画像音声処理装置本体（ビデオゲーム機） ５１……メインＣＰＵ ５２，５３……リスクＣＰＵ（Ｒ−ＣＰＵ） ５５……ワーキングＲＡＭ（Ｗ−ＲＡＭ）

Claims (8)

    【特許請求の範囲】
  1. 【請求項１】少なくとも音を発する第１の物体をカメラ
    アングルで見えるように画面上に表示する画像表示装置
    において、第１の物体とカメラアングル位置等との関係
    に応じた音響を発生するための画像表示に連動する音響
    発生装置であって、 第１系統の音響を発生する第１の音響発生手段、 第２系統の音響を発生する第２の音響発生手段、 音源データをデジタル的に記憶する音源データ記憶手
    段、 前記音源データ記憶手段から発生される或る期間に発生
    すべき音源データを一時記憶する一時記憶手段、 前記第１の音響発生手段によって発生される第１系統の
    音響を発生すべき音源データを前記一時記憶手段に記憶
    させかつ前記第１系統用としてそのまま読み出させると
    ともに、一時記憶手段に記憶されている第１系統の音源
    データを前記カメラアングルの位置から見た前記第１の
    物体の方向に基づいて算出される遅延時間に応じて遅延
    させて第２系統の音源データとして読み出させる音声処
    理手段、 前記音声処理手段によって一時記憶手段からそのまま読
    み出された第１系統の音源データをアナログ音声信号に
    変換して前記第１の音響発生手段に与える第１のディジ
    タル−アナログ変換手段、および前記音声処理手段によ
    って前記一時記憶手段から読み出された遅延された第２
    系統の音源データをアナログ音声信号に変換して前記第
    ２の音響発生手段に与える第２のディジタル−アナログ
    変換手段を備えた、画像表示に連動する音響発生装置。
  2. 【請求項２】前記音声処理手段は、第１の物体とカメラ
    アングル位置等との距離に基づいて前記第１系統の音響
    の音量と前記第２の系統の音響の音量とを個別に制御す
    る音量制御手段を含むことを特徴とする、請求項１に記
    載の画像表示に連動する音響発生装置。
  3. 【請求項３】前記音量制御手段は、第１の物体とカメラ
    アングル位置等との距離に或る係数を乗算した値に反比
    例するように、前記第１系統の音響と前記第２系統の音
    響のそれぞれの音量を増減するように制御することを特
    徴する、請求項２に記載の画像表示に連動する音響発生
    装置。
  4. 【請求項４】前記音声処理手段は、カメラアングルから
    見た第１の物体の方向に基づいて遅延時間を制御すると
    き、前記音量制御手段が第１の物体とカメラアングル位
    置等との距離に或る係数を乗算した値に反比例して音量
    の制御範囲を抑制することを特徴とする、請求項１ない
    し請求項３のいずれかに記載の画像表示に連動する音響
    発生装置。
  5. 【請求項５】前記画像表示装置に関連して操作手段が設
    けられ、 前記画像表示装置は、第１の物体を見るカメラアングル
    に相当する第２の物体を表示し、プレイヤが操作手段を
    操作することに応答して第２の物体の表示位置を変化さ
    せることにより、第２の物体と第１の物体との相対距離
    を変化させるものであり、 前記音量制御手段は、第１の物体と前記第２の物体の距
    離に或る係数を乗算した値に反比例するように、前記第
    １系統の音響と前記第２系統の音響のそれぞれの音量を
    増減するように制御することを特徴する、請求項２に記
    載の画像表示に連動する音響発生装置。
  6. 【請求項６】前記画像表示装置に関連して操作手段が設
    けられ、 前記画像表示装置は、前記第１の物体を見るカメラアン
    グル位置等に相当する第２の物体を表示し、プレイヤが
    操作手段を操作することに応答して第２の物体の表示位
    置を変化させることにより第１の物体に対する方向及び
    距離を変化させるものであり、 前記音声処理手段は、前記音量制御手段が前記第２の物
    体から見た前記第１の物体の方向に基づいて遅延時間を
    制御するとき、第１の物体と第２の物体との距離にある
    係数を乗算した値に逆比例して音量を制御する範囲を抑
    制することを特徴とする、請求項２又は請求項３に記載
    の画像表示に連動する音響発生装置。
  7. 【請求項７】前記一時記憶手段は、 前記音源データ記憶手段に記憶されている音源データの
    うち、処理単位の時間に相当する第１の記憶容量のデー
    タを一時記憶する第１の一時記憶手段と、 前記第１の一時記憶手段の記憶容量よりも前記処理単位
    の音源データを遅延可能な最大遅延時間に相当する記憶
    容量分だけ多い第２の記憶容量を有し、処理単位の音源
    データを遅延させて読み出すための第２の一時記憶手段
    とを含み、 音声処理手段は、 前記音源データ記憶手段に記憶されている処理単位の音
    源データを読み出して前記第１の一時記憶手段に書込
    み、かつ前記カメラアングル位置等から見た前記第１の
    物体の方向に基づいて算出される遅延時間に応じて前記
    第２の一時記憶手段の書込みアドレスを変化させて処理
    単位の音源データを第２の一時記憶手段に書込み、 前記第１の一時記憶手段に記憶されている処理単位の音
    源データを第１系統の音響を発生するために読出し、か
    つ第２の一時記憶手段記憶されている処理単位の音源デ
    ータを第２系統の音響を発生するために読み出すことに
    より、第２系統の音源データを第１系統の音源データよ
    りも所望の時間だけ遅延させて読み出すことを特徴とす
    る、請求項１ないし請求項６のいずれかに記載の画像表
    示に連動する音響発生装置。
  8. 【請求項８】前記一時記憶手段は、 前記音源データ記憶手段に記憶されている音源データの
    うち、処理単位の時間に相当する第１の記憶容量のデー
    タを一時記憶する第１の一時記憶手段と、 前記処理単位の音源データを遅延可能な最大遅延時間に
    相当する容量分の記憶容量を有し、処理単位の音源デー
    タを遅延させて読み出すための第２の一時記憶手段とを
    含み、 音声処理手段は、 前記音源データ記憶手段に記憶されている処理単位の音
    源データを読み出して前記第１の一時記憶手段に書込
    み、かつ前記第１の一時記憶手段に記憶されている処理
    単位の音源データを第１系統の音響の発生のために読出
    し、 前記カメラアングル位置等から見た前記第１の物体の方
    向に基づいて算出される遅延時間に応じて前記第２の一
    時記憶手段の書込みアドレスを変化させて、前記第１の
    一時記憶手段から読み出された第１系統の音響を発生す
    るための処理単位の音源データを前記第２の一時記憶手
    段に書込み、かつ前記第２の一時記憶手段に記憶されて
    いる音源データを順次読み出すことにより、第２系統の
    音源データを第１系統の音源データよりも所望の時間だ
    け遅延させて読み出すことを特徴とする、請求項１ない
    し請求項６のいずれかに記載の画像表示に連動する音響
    発生装置。
JP8241312A 1996-06-12 1996-08-22 画像表示に連動する音響発生装置 Pending JPH1063470A (ja)

Priority Applications (10)

Application Number Priority Date Filing Date Title
JP8241312A JPH1063470A (ja) 1996-06-12 1996-08-22 画像表示に連動する音響発生装置
CA002185966A CA2185966C (en) 1996-06-12 1996-09-19 Sound generator synchronized with image display
US08/717,116 US5754660A (en) 1996-06-12 1996-09-20 Sound generator synchronized with image display
AU65773/96A AU713367C (en) 1996-06-12 1996-09-20 Sound generator synchronized with image display
EP96115144A EP0813351B1 (en) 1996-06-12 1996-09-20 Sound generator synchronized with image display
DE69636666A DE69636666D1 (de) 1996-06-12 1996-09-20 Mit einer Bildanzeige synchronisierter Tonerzeuger
DE69636666T DE69636666T8 (de) 1996-06-12 1996-09-20 Mit einer Bildanzeige synchronisierter Tonerzeuger
TW085116256A TW324807B (en) 1996-06-12 1996-12-30 Sound generator in association with image displaying
CN97113616A CN1118019C (zh) 1996-06-12 1997-06-12 与图像显示同步的音响发生装置
US08/948,250 US5862229A (en) 1996-06-12 1997-10-09 Sound generator synchronized with image display

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP8-174307 1996-06-12
JP17430796 1996-06-12
JP8241312A JPH1063470A (ja) 1996-06-12 1996-08-22 画像表示に連動する音響発生装置

Publications (1)

Publication Number Publication Date
JPH1063470A true JPH1063470A (ja) 1998-03-06

Family

ID=26495969

Family Applications (1)

Application Number Title Priority Date Filing Date
JP8241312A Pending JPH1063470A (ja) 1996-06-12 1996-08-22 画像表示に連動する音響発生装置

Country Status (7)

Country Link
US (2) US5754660A (ja)
EP (1) EP0813351B1 (ja)
JP (1) JPH1063470A (ja)
CN (1) CN1118019C (ja)
CA (1) CA2185966C (ja)
DE (2) DE69636666D1 (ja)
TW (1) TW324807B (ja)

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100340043B1 (ko) * 1999-12-23 2002-06-12 오길록 보정된 표준 머리전달함수를 이용한 입체 음향 재생방법
WO2003009643A1 (fr) * 2001-07-19 2003-01-30 Matsushita Electric Industrial Co., Ltd. Localisateur d'image sonore
KR100583513B1 (ko) * 1998-11-19 2006-05-24 닌텐도가부시키가이샤 비디오게임장치 및 비디오게임용 정보기억매체
JP2006515490A (ja) * 2003-02-12 2006-05-25 フラウンホッファー−ゲゼルシャフト ツァ フェルダールング デァ アンゲヴァンテン フォアシュンク エー．ファオ 再生位置を決定するための装置及び方法
JP2007223380A (ja) * 2006-02-21 2007-09-06 Nissan Motor Co Ltd 車両用刺激提示装置及び刺激提示方法
JP2008131515A (ja) * 2006-11-22 2008-06-05 Sharp Corp 情報処理装置、情報処理方法およびプログラム
JP2013102842A (ja) * 2011-11-11 2013-05-30 Nintendo Co Ltd 情報処理プログラム、情報処理装置、情報処理システム、および情報処理方法
JP2014502109A (ja) * 2010-12-03 2014-01-23 フラウンホッファー−ゲゼルシャフト ツァ フェルダールング デァ アンゲヴァンテン フォアシュンク エー．ファオ 到来方向推定から幾何学的な情報の抽出による音取得
CN106708268A (zh) * 2016-12-28 2017-05-24 努比亚技术有限公司 一种实现应用交互处理的方法及装置
US9724608B2 (en) 2011-11-11 2017-08-08 Nintendo Co., Ltd. Computer-readable storage medium storing information processing program, information processing device, information processing system, and information processing method

Families Citing this family (119)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE69623903T2 (de) 1995-05-10 2003-05-15 Nintendo Co Ltd Betätigungsvorrichtung mit analogem steuerknüppel
US6241611B1 (en) 1995-05-10 2001-06-05 Nintendo Co., Ltd. Function expansion device and operating device using the function expansion device
US6007428A (en) * 1995-10-09 1999-12-28 Nintendo Co., Ltd. Operation controlling device and video processing system used therewith
US6283857B1 (en) 1996-09-24 2001-09-04 Nintendo Co., Ltd. Three-dimensional image processing apparatus with enhanced automatic and user point of view control
EP1348470B1 (en) * 1995-10-09 2010-05-19 Nintendo Co., Limited Three-dimension image processing system
JP3544268B2 (ja) 1995-10-09 2004-07-21 任天堂株式会社 三次元画像処理装置およびそれを用いた画像処理方法
JP3524247B2 (ja) 1995-10-09 2004-05-10 任天堂株式会社 ゲーム機およびそれを用いたゲーム機システム
DE19681169B3 (de) 1995-11-10 2012-03-01 Nintendo Co., Ltd. Steuerhebeleinrichtung
US6267673B1 (en) 1996-09-20 2001-07-31 Nintendo Co., Ltd. Video game system with state of next world dependent upon manner of entry from previous world via a portal
US6022274A (en) 1995-11-22 2000-02-08 Nintendo Co., Ltd. Video game system using memory module
US6155926A (en) 1995-11-22 2000-12-05 Nintendo Co., Ltd. Video game system and method with enhanced three-dimensional character and background control
US6139433A (en) 1995-11-22 2000-10-31 Nintendo Co., Ltd. Video game system and method with enhanced three-dimensional character and background control due to environmental conditions
JPH1063470A (ja) * 1996-06-12 1998-03-06 Nintendo Co Ltd 画像表示に連動する音響発生装置
US6241610B1 (en) 1996-09-20 2001-06-05 Nintendo Co., Ltd. Three-dimensional image processing system having dynamically changing character polygon number
US6139434A (en) * 1996-09-24 2000-10-31 Nintendo Co., Ltd. Three-dimensional image processing apparatus with enhanced automatic and user point of view control
US6244959B1 (en) 1996-09-24 2001-06-12 Nintendo Co., Ltd. Three-dimensional image processing system with enhanced character control
JPH10211358A (ja) * 1997-01-28 1998-08-11 Sega Enterp Ltd ゲーム装置
US6330486B1 (en) * 1997-07-16 2001-12-11 Silicon Graphics, Inc. Acoustic perspective in a virtual three-dimensional environment
JP3655438B2 (ja) 1997-07-17 2005-06-02 任天堂株式会社 ビデオゲームシステム
JPH11232487A (ja) 1998-02-13 1999-08-27 Sony Corp 情報処理装置および方法、並びに提供媒体
JP3342393B2 (ja) * 1998-03-19 2002-11-05 株式会社コナミコンピュータエンタテインメントジャパン ビデオゲーム装置、コンピュータ読み取り可能な記録媒体
JPH11272156A (ja) * 1998-03-25 1999-10-08 Sega Enterp Ltd 仮想三次元音像生成装置及びその方法並びに媒体
US6093880A (en) * 1998-05-26 2000-07-25 Oz Interactive, Inc. System for prioritizing audio for a virtual environment
US6647119B1 (en) * 1998-06-29 2003-11-11 Microsoft Corporation Spacialization of audio with visual cues
US6309301B1 (en) * 1998-08-10 2001-10-30 Namco Ltd. Game communication with synchronization of soundtrack system
JP2000112485A (ja) * 1998-10-08 2000-04-21 Konami Co Ltd 背景音制御装置、背景音制御方法、背景音制御プログラムが記録された可読記録媒体及びビデオゲーム装置
JP2982147B1 (ja) 1998-10-08 1999-11-22 コナミ株式会社 背景音切替装置、背景音切替方法、背景音切替プログラムが記録された可読記録媒体及びビデオゲーム装置
US6712703B2 (en) 1998-11-19 2004-03-30 Nintendo Co., Ltd. Video game apparatus and information storage medium for video game
US6612930B2 (en) 1998-11-19 2003-09-02 Nintendo Co., Ltd. Video game apparatus and method with enhanced virtual camera control
JP2000210471A (ja) * 1999-01-21 2000-08-02 Namco Ltd ゲ―ム機用音声装置および情報記録媒体
JP2000258170A (ja) * 1999-03-04 2000-09-22 Sony Corp ナビゲーション装置
US6625509B1 (en) 1999-03-05 2003-09-23 R & F Industries, Llc Automated multisection rail material list generation system and method
JP2000261752A (ja) 1999-03-05 2000-09-22 Hewlett Packard Co <Hp> 音声付き画像録画再生装置
JP2000267675A (ja) * 1999-03-16 2000-09-29 Sega Enterp Ltd 音響信号処理装置
US6280329B1 (en) * 1999-05-26 2001-08-28 Nintendo Co., Ltd. Video game apparatus outputting image and music and storage medium used therefor
US6351733B1 (en) * 2000-03-02 2002-02-26 Hearing Enhancement Company, Llc Method and apparatus for accommodating primary content audio and secondary content remaining audio capability in the digital audio production process
JP4095227B2 (ja) * 2000-03-13 2008-06-04 株式会社コナミデジタルエンタテインメント ビデオゲーム装置、ビデオゲームにおける背景音出力設定方法及び背景音出力設定プログラムが記録されたコンピュータ読み取り可能な記録媒体
US6879952B2 (en) 2000-04-26 2005-04-12 Microsoft Corporation Sound source separation using convolutional mixing and a priori sound source knowledge
JP2002102532A (ja) * 2000-06-06 2002-04-09 Sony Computer Entertainment Inc 情報処理システム、方法、コンピュータプログラム、記録媒体、半導体デバイス
JP4679699B2 (ja) * 2000-08-01 2011-04-27 ソニー株式会社 音声信号処理方法及び音声信号処理装置
JP2002052243A (ja) * 2000-08-11 2002-02-19 Konami Co Ltd 対戦式ビデオゲーム装置
IT1318909B1 (it) * 2000-09-21 2003-09-19 Dmc Villa Tosca S R L Dispositivo per la generazione di immagini astratte sulla base disuoni
JP3991583B2 (ja) * 2000-11-24 2007-10-17 株式会社セガ 画像表示方法、コンピュータゲーム処理方法及び記録媒体
JP2002258842A (ja) * 2000-12-27 2002-09-11 Sony Computer Entertainment Inc 音声制御装置、音声制御方法、音声制御プログラム、音声制御プログラムを記憶したコンピュータ読み取り可能な記憶媒体、音声制御プログラムを実行するプログラム実行装置
GB2370954B (en) * 2001-01-04 2005-04-13 British Broadcasting Corp Producing a soundtrack for moving picture sequences
US7648416B2 (en) * 2001-02-08 2010-01-19 Sony Computer Entertainment Inc. Information expressing method
GB2381175B (en) * 2001-08-29 2004-03-31 Bin-Ren Ching Audio control arrangement and method
US20030119575A1 (en) * 2001-12-21 2003-06-26 Centuori Charlotte S. Method and apparatus for playing a gaming machine with a secured audio channel
JP3939189B2 (ja) * 2002-04-17 2007-07-04 パナソニック コミュニケーションズ株式会社 情報処理装置、製品の組立工程表示用プログラム、及び製品の組立工程表示方法
JP2003325972A (ja) * 2002-05-17 2003-11-18 Nintendo Co Ltd 傾き操作に関連して音と画像を変化させるゲーム装置およびそのゲームプログラム
JP3534345B1 (ja) * 2002-10-22 2004-06-07 コナミ株式会社 ゲームプログラム及びゲーム装置
US7338373B2 (en) * 2002-12-04 2008-03-04 Nintendo Co., Ltd. Method and apparatus for generating sounds in a video game
US7371175B2 (en) * 2003-01-13 2008-05-13 At&T Corp. Method and system for enhanced audio communications in an interactive environment
US7606372B2 (en) * 2003-02-12 2009-10-20 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. Device and method for determining a reproduction position
US20040219980A1 (en) * 2003-04-30 2004-11-04 Nintendo Co., Ltd. Method and apparatus for dynamically controlling camera parameters based on game play events
US7164423B1 (en) * 2003-04-30 2007-01-16 Apple Computer, Inc. Method and apparatus for providing an animated representation of a reorder operation
DE10321980B4 (de) * 2003-05-15 2005-10-06 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Vorrichtung und Verfahren zum Berechnen eines diskreten Werts einer Komponente in einem Lautsprechersignal
US20050173267A1 (en) * 2003-08-13 2005-08-11 Jitendran Muthuswamy Acoustic immunosensor for detecting neurotransmitter GABA
WO2005022322A2 (en) * 2003-08-25 2005-03-10 Blue Street Studios, Inc. Video game system and method
DE10355146A1 (de) * 2003-11-26 2005-07-07 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Vorrichtung und Verfahren zum Erzeugen eines Tieftonkanals
US20050193145A1 (en) * 2004-02-26 2005-09-01 International Business Machines Corporation Providing a portion of an electronic mail message based upon digital rights
CN101065783A (zh) * 2004-04-05 2007-10-31 迈克尔·A·韦塞利 水平透视显示
US20050219240A1 (en) * 2004-04-05 2005-10-06 Vesely Michael A Horizontal perspective hands-on simulator
US20050248566A1 (en) * 2004-04-05 2005-11-10 Vesely Michael A Horizontal perspective hands-on simulator
JP4207832B2 (ja) * 2004-04-16 2009-01-14 船井電機株式会社 デジタルデータ再生装置
US20050233719A1 (en) * 2004-04-20 2005-10-20 Demoor Robert G Apparatus and method for improved performance in a digital radio
US7818077B2 (en) * 2004-05-06 2010-10-19 Valve Corporation Encoding spatial data in a multi-channel sound file for an object in a virtual environment
KR20070052261A (ko) * 2004-06-01 2007-05-21 마이클 에이 베슬리 수평 원근법 시뮬레이터
JP3827693B2 (ja) * 2004-09-22 2006-09-27 株式会社コナミデジタルエンタテインメント ゲーム装置、ゲーム装置制御方法、ならびに、プログラム
KR20070070166A (ko) * 2004-10-21 2007-07-03 로무 가부시키가이샤 발음 방법, 음원 회로, 그것을 이용한 전자 회로 및 전자기기
US20060126925A1 (en) * 2004-11-30 2006-06-15 Vesely Michael A Horizontal perspective representation
WO2006121957A2 (en) 2005-05-09 2006-11-16 Michael Vesely Three dimensional horizontal perspective workstation
US8717423B2 (en) 2005-05-09 2014-05-06 Zspace, Inc. Modifying perspective of stereoscopic images based on changes in user viewpoint
WO2006121956A1 (en) * 2005-05-09 2006-11-16 Infinite Z, Inc. Biofeedback eyewear system
US7875132B2 (en) * 2005-05-31 2011-01-25 United Technologies Corporation High temperature aluminum alloys
JP4802580B2 (ja) * 2005-07-08 2011-10-26 ヤマハ株式会社 オーディオ装置
WO2007022343A2 (en) * 2005-08-17 2007-02-22 Wms Gaming Inc. Wagering game system with independent volume control
US20070040905A1 (en) * 2005-08-18 2007-02-22 Vesely Michael A Stereoscopic display using polarized eyewear
US20070043466A1 (en) * 2005-08-18 2007-02-22 Vesely Michael A Stereoscopic display using polarized eyewear
WO2007029856A1 (ja) * 2005-09-09 2007-03-15 Kabushiki Kaisha Sega Doing Business As Sega Corporation ゲーム装置とゲームシステム及びゲームシステムの効果音生成方法
GB2469227B (en) * 2006-01-25 2011-04-27 Univ Cardiff Inflatable pressurised medical chamber for use in bloodless surgery
US8037414B2 (en) * 2006-09-14 2011-10-11 Avaya Inc. Audible computer user interface method and apparatus
JP5050721B2 (ja) * 2007-08-06 2012-10-17 ソニー株式会社 情報処理装置、情報処理方法及びプログラム
US20090253512A1 (en) * 2008-04-07 2009-10-08 Palo Alto Research Center Incorporated System And Method For Providing Adjustable Attenuation Of Location-Based Communication In An Online Game
US8616970B2 (en) * 2008-04-07 2013-12-31 Palo Alto Research Center Incorporated System and method for managing a multiplicity of text messages in an online game
US8265252B2 (en) * 2008-04-11 2012-09-11 Palo Alto Research Center Incorporated System and method for facilitating cognitive processing of simultaneous remote voice conversations
US20100098258A1 (en) * 2008-10-22 2010-04-22 Karl Ola Thorn System and method for generating multichannel audio with a portable electronic device
US20100260360A1 (en) * 2009-04-14 2010-10-14 Strubwerks Llc Systems, methods, and apparatus for calibrating speakers for three-dimensional acoustical reproduction
CN101923554A (zh) * 2009-06-11 2010-12-22 鸿富锦精密工业（深圳）有限公司 网页查找方法
US8724834B2 (en) * 2010-01-06 2014-05-13 Honeywell International Inc. Acoustic user interface system and method for providing spatial location data
US8717360B2 (en) * 2010-01-29 2014-05-06 Zspace, Inc. Presenting a view within a three dimensional scene
KR101687640B1 (ko) * 2010-02-12 2016-12-19 톰슨 라이센싱 동기화된 컨텐츠 재생 방법
KR101844511B1 (ko) * 2010-03-19 2018-05-18 삼성전자주식회사 입체 음향 재생 방법 및 장치
KR101717787B1 (ko) * 2010-04-29 2017-03-17 엘지전자 주식회사 디스플레이장치 및 그의 음성신호 출력 방법
JP2011254967A (ja) * 2010-06-08 2011-12-22 Universal Entertainment Corp ゲーミングマシン
JP5555068B2 (ja) * 2010-06-16 2014-07-23 キヤノン株式会社 再生装置及びその制御方法及びプログラム
JP5573426B2 (ja) * 2010-06-30 2014-08-20 ソニー株式会社 音声処理装置、音声処理方法、およびプログラム
CN102314917A (zh) * 2010-07-01 2012-01-11 北京中星微电子有限公司 一种影音文件的播放方法及播放装置
KR20120053587A (ko) * 2010-11-18 2012-05-29 삼성전자주식회사 디스플레이장치 및 그 사운드 제어방법
WO2012145176A1 (en) 2011-04-18 2012-10-26 Dolby Laboratories Licensing Corporation Method and system for upmixing audio to generate 3d audio
US8786529B1 (en) 2011-05-18 2014-07-22 Zspace, Inc. Liquid crystal variable drive voltage
KR101901908B1 (ko) 2011-07-29 2018-11-05 삼성전자주식회사 오디오 신호 처리 방법 및 그에 따른 오디오 신호 처리 장치
EP2706531A1 (en) * 2012-09-11 2014-03-12 Nokia Corporation An image enhancement apparatus
US9504919B2 (en) * 2013-05-31 2016-11-29 Cadillac Jack, Inc. Vertical and horizontal perception audio for a gaming device
CN104715753B (zh) * 2013-12-12 2018-08-31 联想(北京)有限公司 一种数据处理的方法及电子设备
CN104036789B (zh) * 2014-01-03 2018-02-02 北京智谷睿拓技术服务有限公司 多媒体处理方法及多媒体装置
GB2523353B (en) * 2014-02-21 2017-03-01 Jaguar Land Rover Ltd System for use in a vehicle
CN104134226B (zh) * 2014-03-12 2015-08-19 腾讯科技（深圳）有限公司 一种虚拟场景中的声音模拟方法、装置及客户端设备
GB201409764D0 (en) 2014-06-02 2014-07-16 Accesso Technology Group Plc Queuing system
US11900734B2 (en) 2014-06-02 2024-02-13 Accesso Technology Group Plc Queuing system
CN105451139A (zh) * 2014-06-24 2016-03-30 索尼公司 声音信号处理方法、装置和移动终端
JP5882403B2 (ja) * 2014-06-25 2016-03-09 株式会社カプコン 効果音加工プログラム及びゲーム装置
JP6390277B2 (ja) * 2014-09-02 2018-09-19 ソニー株式会社 情報処理装置、制御方法、およびプログラム
US9749746B2 (en) * 2015-04-29 2017-08-29 Fortemedia, Inc. Devices and methods for reducing the processing time of the convergence of a spatial filter
CN105740029B (zh) 2016-03-03 2019-07-05 腾讯科技（深圳）有限公司 一种内容呈现的方法、用户设备及系统
CN105959481B (zh) * 2016-06-16 2019-04-30 Oppo广东移动通信有限公司 一种场景音效的控制方法、及电子设备
CN106843801B (zh) * 2017-01-10 2019-09-17 福建省天奕网络科技有限公司 音效的拟合方法及其系统
CN107885331A (zh) * 2017-11-09 2018-04-06 北京易讯理想科技有限公司 一种基于增强现实技术实现音频切换的交互方法
CN114730479A (zh) * 2019-11-12 2022-07-08 索尼集团公司 信息处理装置、信息处理方法和程序

Family Cites Families (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4281833A (en) * 1978-03-20 1981-08-04 Sound Games, Inc. Audio racquet ball
US4281883A (en) * 1979-11-19 1981-08-04 Zacky Ralf G Panel molding support structure
JPS609397A (ja) * 1983-06-29 1985-01-18 Fuji Electric Co Ltd 誘導電動機用電力変換装置
JPS62155879A (ja) * 1985-12-27 1987-07-10 シャープ株式会社 パ−ソナルコンピユ−タ
US4817149A (en) * 1987-01-22 1989-03-28 American Natural Sound Company Three-dimensional auditory display apparatus and method utilizing enhanced bionic emulation of human binaural sound localization
US4792974A (en) * 1987-08-26 1988-12-20 Chace Frederic I Automated stereo synthesizer for audiovisual programs
US5046097A (en) * 1988-09-02 1991-09-03 Qsound Ltd. Sound imaging process
US5105462A (en) * 1989-08-28 1992-04-14 Qsound Ltd. Sound imaging method and apparatus
FI111789B (fi) * 1989-01-10 2003-09-15 Nintendo Co Ltd Elektroninen pelilaite, jossa on mahdollisuus pseudostereofoniseen äänen kehittämiseen
GB8924334D0 (en) * 1989-10-28 1989-12-13 Hewlett Packard Co Audio system for a computer display
US5052685A (en) * 1989-12-07 1991-10-01 Qsound Ltd. Sound processor for video game
US5138660A (en) * 1989-12-07 1992-08-11 Q Sound Ltd. Sound imaging apparatus connected to a video game
JP3047185B2 (ja) * 1990-01-26 2000-05-29 任天堂株式会社 ディジタル音源装置、およびそれに用いられる外部メモリカートリッジ
US5212733A (en) * 1990-02-28 1993-05-18 Voyager Sound, Inc. Sound mixing device
US5095507A (en) * 1990-07-24 1992-03-10 Lowe Danny D Method and apparatus for generating incoherent multiples of a monaural input signal for sound image placement
US5666136A (en) * 1991-12-17 1997-09-09 Sony Corporation Audio equipment and method of displaying operation thereof
WO1993019525A1 (en) * 1992-03-23 1993-09-30 Euphonix, Inc. Visual dynamics management for audio instrument
JPH0679060A (ja) * 1992-09-03 1994-03-22 Funai Electric Co Ltd コンピュータ機器
US5495576A (en) * 1993-01-11 1996-02-27 Ritchey; Kurtis J. Panoramic image based virtual reality/telepresence audio-visual system and method
US5633993A (en) * 1993-02-10 1997-05-27 The Walt Disney Company Method and apparatus for providing a virtual world sound system
GB9307934D0 (en) * 1993-04-16 1993-06-02 Solid State Logic Ltd Mixing audio signals
JP3578783B2 (ja) * 1993-09-24 2004-10-20 ヤマハ株式会社 電子楽器の音像定位装置
GB2294854B (en) * 1994-11-03 1999-06-30 Solid State Logic Ltd Audio signal processing
JP3528284B2 (ja) * 1994-11-18 2004-05-17 ヤマハ株式会社 ３次元サウンドシステム
JPH1063470A (ja) * 1996-06-12 1998-03-06 Nintendo Co Ltd 画像表示に連動する音響発生装置
US5798922A (en) * 1997-01-24 1998-08-25 Sony Corporation Method and apparatus for electronically embedding directional cues in two channels of sound for interactive applications

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100583513B1 (ko) * 1998-11-19 2006-05-24 닌텐도가부시키가이샤 비디오게임장치 및 비디오게임용 정보기억매체
KR100340043B1 (ko) * 1999-12-23 2002-06-12 오길록 보정된 표준 머리전달함수를 이용한 입체 음향 재생방법
WO2003009643A1 (fr) * 2001-07-19 2003-01-30 Matsushita Electric Industrial Co., Ltd. Localisateur d'image sonore
JP2003102099A (ja) * 2001-07-19 2003-04-04 Matsushita Electric Ind Co Ltd 音像定位装置
JP2006515490A (ja) * 2003-02-12 2006-05-25 フラウンホッファー−ゲゼルシャフト ツァ フェルダールング デァ アンゲヴァンテン フォアシュンク エー．ファオ 再生位置を決定するための装置及び方法
JP2007223380A (ja) * 2006-02-21 2007-09-06 Nissan Motor Co Ltd 車両用刺激提示装置及び刺激提示方法
JP2008131515A (ja) * 2006-11-22 2008-06-05 Sharp Corp 情報処理装置、情報処理方法およびプログラム
JP2014502109A (ja) * 2010-12-03 2014-01-23 フラウンホッファー−ゲゼルシャフト ツァ フェルダールング デァ アンゲヴァンテン フォアシュンク エー．ファオ 到来方向推定から幾何学的な情報の抽出による音取得
US9396731B2 (en) 2010-12-03 2016-07-19 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. Sound acquisition via the extraction of geometrical information from direction of arrival estimates
US10109282B2 (en) 2010-12-03 2018-10-23 Friedrich-Alexander-Universitaet Erlangen-Nuernberg Apparatus and method for geometry-based spatial audio coding
JP2013102842A (ja) * 2011-11-11 2013-05-30 Nintendo Co Ltd 情報処理プログラム、情報処理装置、情報処理システム、および情報処理方法
US9724608B2 (en) 2011-11-11 2017-08-08 Nintendo Co., Ltd. Computer-readable storage medium storing information processing program, information processing device, information processing system, and information processing method
US9744459B2 (en) 2011-11-11 2017-08-29 Nintendo Co., Ltd. Computer-readable storage medium storing information processing program, information processing device, information processing system, and information processing method
CN106708268A (zh) * 2016-12-28 2017-05-24 努比亚技术有限公司 一种实现应用交互处理的方法及装置

Also Published As

Publication number Publication date
US5862229A (en) 1999-01-19
CA2185966A1 (en) 1997-12-13
AU6577396A (en) 1997-12-18
AU713367B2 (en) 1999-12-02
CN1169559A (zh) 1998-01-07
CA2185966C (en) 2006-04-25
DE69636666D1 (de) 2006-12-14
EP0813351A3 (en) 2004-03-17
TW324807B (en) 1998-01-11
EP0813351B1 (en) 2006-11-02
DE69636666T8 (de) 2008-06-26
CN1118019C (zh) 2003-08-13
US5754660A (en) 1998-05-19
DE69636666T2 (de) 2007-10-04
EP0813351A2 (en) 1997-12-17

Similar Documents

Publication Publication Date Title
JPH1063470A (ja) 画像表示に連動する音響発生装置
US5993318A (en) Game device, image sound processing device and recording medium
US6766028B1 (en) Headtracked processing for headtracked playback of audio signals
US5521981A (en) Sound positioner
JP2023158059A (ja) 双方向オーディオ環境のための空間オーディオ
US6760050B1 (en) Virtual three-dimensional sound pattern generator and method and medium thereof
EP1025743B1 (en) Utilisation of filtering effects in stereo headphone devices to enhance spatialization of source around a listener
EP1565035B1 (en) Dynamic sound source and listener position based audio rendering
US7563168B2 (en) Audio effect rendering based on graphic polygons
US5689570A (en) Sound reproducing array processor system
JPH0792981A (ja) バーチャルワールドサウンドシステムを提供するための方法及び装置
US11250834B2 (en) Reverberation gain normalization
US5812675A (en) Sound reproducing array processor system
JP2003061200A (ja) 音声処理装置及び音声処理方法、並びに制御プログラム
JPH06149275A (ja) 三次元仮想空間情報を考慮した三次元仮想音像形成装置
JPH1146400A (ja) 音像定位装置
JPH09160549A (ja) 三次元音響提示方法および装置
JP3363921B2 (ja) 音像定位装置
JPH01279700A (ja) 音響信号処理装置
WO2024084950A1 (ja) 音響信号処理方法、コンピュータプログラム、及び、音響信号処理装置
JP2000505627A (ja) 音声再生アレイプロセッサシステム
JP4880298B2 (ja) プログラム、情報記憶媒体、及びデータ再生システム
JP2003091293A (ja) 音場再現装置
JPH1083190A (ja) 過渡応答信号生成と設定方法及びその装置
JPH06161477A (ja) 仮想環境生成装置

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20050426

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20051121

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20060313