[go: up one dir, main page]

WO2022163137A1 - 情報処理装置、情報処理方法、およびプログラム - Google Patents

情報処理装置、情報処理方法、およびプログラム Download PDF

Info

Publication number
WO2022163137A1
WO2022163137A1 PCT/JP2021/044926 JP2021044926W WO2022163137A1 WO 2022163137 A1 WO2022163137 A1 WO 2022163137A1 JP 2021044926 W JP2021044926 W JP 2021044926W WO 2022163137 A1 WO2022163137 A1 WO 2022163137A1
Authority
WO
WIPO (PCT)
Prior art keywords
sound
participant
venue
pseudo
sound data
Prior art date
Application number
PCT/JP2021/044926
Other languages
English (en)
French (fr)
Inventor
梨奈 小谷
志朗 鈴木
千智 劔持
Original Assignee
ソニーグループ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニーグループ株式会社 filed Critical ソニーグループ株式会社
Priority to JP2022578099A priority Critical patent/JPWO2022163137A1/ja
Priority to CN202180091496.6A priority patent/CN116848496A/zh
Priority to US18/262,056 priority patent/US20240089686A1/en
Priority to DE112021006957.8T priority patent/DE112021006957T5/de
Publication of WO2022163137A1 publication Critical patent/WO2022163137A1/ja

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S3/00—Systems employing more than two channels, e.g. quadraphonic
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
    • H04S7/30—Control circuits for electronic adaptation of the sound field
    • H04S7/302—Electronic adaptation of stereophonic sound system to listener position or orientation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/167—Audio in a user interface, e.g. using voice commands for navigating, audio feedback
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10K—SOUND-PRODUCING DEVICES; METHODS OR DEVICES FOR PROTECTING AGAINST, OR FOR DAMPING, NOISE OR OTHER ACOUSTIC WAVES IN GENERAL; ACOUSTICS NOT OTHERWISE PROVIDED FOR
    • G10K15/00—Acoustics not otherwise provided for
    • G10K15/02—Synthesis of acoustic waves
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/21—Server components or server architectures
    • H04N21/218—Source of audio or video content, e.g. local disk arrays
    • H04N21/2187—Live feed
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/42203—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS] sound input device, e.g. microphone
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/439—Processing of audio elementary streams
    • H04N21/4394—Processing of audio elementary streams involving operations for analysing the audio stream, e.g. detecting features or characteristics in audio streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/478—Supplemental services, e.g. displaying phone caller identification, shopping application
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
    • H04S7/30—Control circuits for electronic adaptation of the sound field
    • H04S7/305—Electronic adaptation of stereophonic audio signals to reverberation of the listening space
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S2400/00—Details of stereophonic systems covered by H04S but not provided for in its groups
    • H04S2400/11—Positioning of individual sound objects, e.g. moving airplane, within a sound field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S2400/00—Details of stereophonic systems covered by H04S but not provided for in its groups
    • H04S2400/13—Aspects of volume control, not necessarily automatic, in stereophonic sound systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S2400/00—Details of stereophonic systems covered by H04S but not provided for in its groups
    • H04S2400/15—Aspects of sound capture and related signal processing for recording or reproduction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S2420/00—Techniques used stereophonic systems covered by H04S but not provided for in its groups
    • H04S2420/07—Synergistic effects of band splitting and sub-band processing

Definitions

  • the present disclosure relates to an information processing device, an information processing method, and a program.
  • live distribution which distributes video of events such as concerts, seminars, and plays in real time, is being performed.
  • Such live distribution presents challenges such as the sense of realism and two-way communication between the performer and the audience, which are common in conventional live events that attract audiences.
  • an information processing device capable of reflecting the individuality of a participant and providing audio data corresponding to the reaction of the participant in consideration of transmission problems Suggest.
  • individual pseudo-sound data corresponding to the obtained reaction information indicating the reaction of the participant is selected from one or more individual pseudo-sound data reflecting the characteristics of the sound uttered by the participant, and
  • An information processing apparatus includes a control unit that controls output of selected individual pseudo sound data from an audio output device installed in a hall.
  • a process of reflecting the characteristics of sounds uttered by participants in sound data of a template to generate individual pseudo sound data, and associating the generated individual pseudo sound data with the participants proposes an information processing apparatus including a control unit that performs a process of
  • the processor selects individual pseudo-sound data corresponding to the acquired reaction information indicating the reaction of the participant from one or more individual pseudo-sound data reflecting the characteristics of the sound uttered by the participant. and outputting the selected individual pseudo sound data from an audio output device installed in the venue.
  • the computer selects individual pseudo sound data corresponding to the acquired reaction information indicating the reaction of the participant from one or more individual pseudo sound data reflecting the characteristics of the sound uttered by the participant. Then, a program is proposed that functions as a control unit that controls output of the selected individual pseudo-sound data from an audio output device installed in the hall.
  • FIG. 1 is a diagram describing an overview of a live distribution system according to an embodiment of the present disclosure
  • FIG. FIG. 4 is a diagram illustrating generation and storage of individual pseudo-sound data according to the present embodiment
  • It is a block diagram showing an example of the configuration of a pseudo-sound generation server according to the present embodiment. It is a figure explaining the process which superimposes the participant's feature extracted by this embodiment on template sound data.
  • 4 is a flow chart showing an example of the flow of generating individual pseudo clapping sound data according to the present embodiment.
  • FIG. 10 is a diagram showing an example of a display screen for instructions to participants in collecting clapping sounds according to the present embodiment; 4 is a flow chart showing an example of the flow of generating individual pseudo cheer data according to the present embodiment.
  • FIG. 10 is a diagram showing an example of a display screen for instructions to participants when collecting cheers according to the present embodiment; It is a block diagram showing an example of the configuration of a venue server according to the present embodiment.
  • 9 is a flow chart showing an example of the flow of operation processing for outputting individual pseudo sound data by the hall server according to the present embodiment; It is a figure explaining operation of applause by the participant side by this embodiment.
  • FIG. 10 is a diagram illustrating an example of parameter adjustment of individual pseudo clapping sound data according to the present embodiment;
  • FIG. 10 is a diagram illustrating cheering operations on the participant side according to the present embodiment;
  • FIG. 4 is a diagram illustrating an example of parameter adjustment of individual pseudo cheer data according to the present embodiment;
  • FIG. 4 is a diagram illustrating an example of parameter adjustment of individual pseudo-chant data according to the present embodiment; It is a figure explaining an example of the foot controller for operating the cheers by this embodiment.
  • FIG. 11 is a diagram illustrating an example of parameter adjustment of individual pseudo cheer data when using the foot controller according to the present embodiment; It is a block diagram which shows an example of a structure of the meeting place server by the modification of this embodiment. It is a figure explaining the transfer characteristic HO by the modification of this embodiment.
  • FIG. 11 is a diagram illustrating a transfer characteristic HI according to a modified example of the embodiment; 9 is a flowchart showing an example of the flow of transfer characteristic addition processing according to a modification of the embodiment;
  • FIG. 1 is a diagram illustrating an overview of a live distribution system according to an embodiment of the present disclosure.
  • the live distribution system includes a venue server 20 (information processing device) that performs live distribution, participant terminals 10 (10A to 10C, ) and The participant terminal 10 and the venue server 20 are connected for communication via the network 70 to transmit and receive data.
  • a pseudo-sound output device 30 audio output device
  • a venue sound acquisition device 40 audio collection device that collects the audio (performance etc.) of the venue equipment
  • the venue server 20 communicates with the pseudo-sound output device 30 and the venue sound acquisition device 40 to transmit and receive data.
  • the participant terminal 10 is an example of an information processing device used when the participant views the live video distributed by the venue server 20 .
  • a participant can view the live distribution using the participant terminal 10 at a place different from the live venue.
  • the participant terminal 10 may be realized by a smart phone, a tablet terminal, a PC (personal computer), an HMD, a wearable device, a projector, or the like.
  • the participant terminal 10 may be composed of a plurality of devices.
  • the live distribution system transmits video and audio of a real venue (also referred to as a live venue in this specification) where concerts, seminars, speeches, plays, etc.
  • a real venue also referred to as a live venue in this specification
  • the sound of the venue is acquired by the venue sound acquisition device 40 and output to the venue server 20 .
  • the venue sound acquisition device 40 is, for example, a sound processing device that collects and appropriately processes the sound of the venue. More specifically, mixer 42 (FIGS. 19 and 20) is used.
  • the mixer 42 individually adjusts and mixes various sound sources input from microphones for picking up the voices of performers, performances, etc., electronic musical instruments, various players (for example, CD players, record players, digital players), etc. ) and output.
  • the live distribution system provides the performers at the live venue in real time with the reactions of the participants who are watching at a place different from the live venue.
  • the live distribution system provides the performers at the live venue in real time with the reactions of the participants who are watching at a place different from the live venue.
  • the individual pseudo sound data reflecting the individuality of the participants is prepared in the venue server 20 in advance, and is output from the pseudo sound output device 30 installed in the venue in real time according to the reactions of the participants. control to As a result, it is possible to provide more realistic feedback rather than uniform feedback, and it is also possible to solve transmission problems such as increased bit rates and delays. For example, it is possible to implement this system at a low bit rate.
  • the individual pseudo-sound data according to the present embodiment is individual pseudo-sound data in which sounds that can be generated by participants, such as applause, cheers, and shouts, are individually generated in a pseudo manner.
  • participants such as applause, cheers, and shouts
  • the "cheers” for example, exclamations that are assumed to be uttered during a live performance (eg, "Wow!, “Oh!, “Kyaa!, “Eh!, "Yay!, etc.) mentioned.
  • the "chants” include the performer's name, expand words, words of praise, and the like.
  • the description will focus on the handling of various sounds especially in live distribution.
  • FIG. 2 is a diagram explaining generation and storage of individual pseudo sound data according to this embodiment.
  • the individual pseudo-sound data according to this embodiment is generated by the individual pseudo-sound generation server 50, for example.
  • the individual pseudo sound generation server 50 reflects the individuality of the participant based on the applause sound data (the actual applause sound of the participant) and the cheer data (the participant's real voice) collected from the participant terminal 10. It is an example of an information processing device that generates individual pseudo sound data that has been processed.
  • a participant's personality is the characteristic of the sound uttered by the participant.
  • the individual pseudo-sound generation server 50 adds the actual sound obtained from the participant terminal 10 (collected clapping sound Individual pseudo-sound data (that is, synthesized speech) of applause and cheers is generated by superimposing features (for example, results of frequency analysis) extracted from data and cheers data).
  • the individual pseudo-sound generation server 50 also acquires from the participant terminal 10 setting information of the operation method of the participant who instructs the output of the generated individual pseudo-sound data (herein referred to as “operation method information”). .
  • the individual pseudo sound generation server 50 outputs the generated individual pseudo sound data of applause and/or cheers and operation method information to the venue server 20 in association with the ID of the participant. Save in
  • FIG. 3 is a block diagram showing an example of the configuration of the individual pseudo-sound generation server 50 according to this embodiment.
  • the individual pseudo sound generation server 50 has a communication section 510 , a control section 520 and a storage section 530 .
  • the communication unit 510 can transmit and receive data by communicating with another device wirelessly or by wire.
  • the communication unit 510 is, for example, wired/wireless LAN (Local Area Network), Wi-Fi (registered trademark), Bluetooth (registered trademark), mobile communication network (LTE (Long Term Evolution), 3G (third generation mobile communication system), 4G (fourth generation mobile communication system), 5G (fifth generation mobile communication system)), etc.
  • the communication unit 510 can transmit and receive data to and from the participant terminals 10 and the venue server 20 via the network 70 .
  • control unit 520 functions as an arithmetic processing device and a control device, and controls overall operations within the individual pseudo-sound generation server 50 according to various programs.
  • the control unit 520 is realized by an electronic circuit such as a CPU (Central Processing Unit), a microprocessor, or the like.
  • the control unit 520 may also include a ROM (Read Only Memory) that stores programs to be used, calculation parameters, and the like, and a RAM (Random Access Memory) that temporarily stores parameters that change as appropriate.
  • ROM Read Only Memory
  • RAM Random Access Memory
  • the control unit 520 also functions as a real sound analysis unit 521, an individual pseudo sound data generation unit 522, and a storage control unit 523.
  • the real sound analysis unit 521 analyzes the actually collected clap sounds and cheers of the participants (sounds actually uttered by the participants) received from the participant terminals 10 via the communication unit 510 .
  • a microphone hereinafter referred to as a microphone
  • the real sound analysis unit 521 may perform frequency analysis as an example of analysis and extract frequency characteristics as features.
  • the real sound analysis unit 521 may extract temporal characteristics as features as an example of analysis.
  • a feature extraction program (algorithm) can be stored in the storage unit 530 .
  • the individual pseudo sound data generation unit 522 superimposes the analysis results (extracted features, for example, frequency characteristics) by the real sound analysis unit 521 on sound data (clapping sound data and cheering data) of a template prepared in advance, and Generate individual pseudo sound data for each applause or cheer.
  • FIG. 4 is a diagram illustrating processing for superimposing extracted features of participants on template sound data according to the present embodiment.
  • the example shown in the upper part of FIG. 4 is an example of superimposing features in the frequency domain.
  • template sound data A template clapping sound data or cheering data
  • a certain participant's characteristic frequency characteristic
  • the individual pseudo sound data generation unit 522 processes or transforms f1 of the template sound data A into f1′ and f2 into f2′.
  • the generated (individualized) individual pseudo clapping sound/cheering data is made to sound higher than the template sound data A.
  • the template sound data is not limited to the example shown in the upper part of FIG. Any process for processing or transforming A to reflect the characteristics of a certain participant may be used.
  • the lower part of FIG. 4 is an example of superimposing features in the time domain.
  • the template sound data B template clapping sound data or cheering data
  • the features (frequency characteristics) of a certain participant are t1' and t1', respectively.
  • t2' consideration of time characteristics
  • the individual pseudo sound data generator 522 processes or changes t1 of the template sound data B to t1' and t2 to t2'.
  • the template sound data is the sound data of applause and cheers prepared (recorded) in advance for the template.
  • a plurality of patterns of template clapping sound data and template cheering data may be prepared. Even if the same person clap or cheer, the characteristics of the sound differ depending on how they hit or how they speak. For example, depending on the melody of the music to be listened to in the live distribution, the degree of excitement of the person, etc., even a single person may change his or her clapping style during the event. Therefore, a plurality of patterns of clapping sounds with different hand forms may be generated. At that time, when collecting the applause sound of the participant with the participant terminal 10, an instruction such as presenting an illustration of the form of the applause is added, and the sound collection by the microphone and the analysis of the collected sound are performed by the number of patterns. repeat.
  • the individual pseudo sound data to be generated is assumed to be one clapping sound, one cheering, and one shouting.
  • the storage control unit 523 controls to store the generated individual pseudo sound data in the venue server 20 in association with the participant ID.
  • the storage control unit 523 also controls to store the operation method information acquired from the participant terminal 10 in the venue server 20 together with the participant ID and the generated individual pseudo sound data.
  • the function of generating pseudo-sound data by the individual pseudo-sound generation server 50 has been described above.
  • the pseudo sound data to be generated is not limited to clapping sounds and cheering sounds, and may include shouts, tapping sounds, and the like.
  • “Cheers” include, for example, performers' names, specific words associated with performers or songs, expand words, words of praise, and the like.
  • sound data prepared (recorded) in advance for templates is commonly used to generate individual pseudo-sound data in which the characteristics of each participant are superimposed. If the voice collected by the participant terminal 10 is registered and used, there is a risk that sounds (noise) other than applause and voice may be included, and the recording environment on the participant side is not always high quality (microphone performance, etc.), it is preferable to use sound data prepared in advance for the template (high-quality, noise-reduced). Note that the present embodiment is not limited to this, and it is also possible to store the voices of the participants in advance and output them at the venue according to the operations of the participants during the live distribution.
  • the storage unit 530 is implemented by a ROM (Read Only Memory) that stores programs and calculation parameters used in the processing of the control unit 520, and a RAM (Random Access Memory) that temporarily stores parameters that change as appropriate.
  • ROM Read Only Memory
  • RAM Random Access Memory
  • the storage unit 530 stores template clapping sound data, template cheering data, a feature extraction program, and the like.
  • the configuration of the individual pseudo-sound generation server 50 according to this embodiment has been described above. Note that the configuration of the individual pseudo-sound generation server 50 illustrated in FIG. 3 is an example, and the present disclosure is not limited to this.
  • the individual pseudo-sound generation server 50 may be a system composed of multiple devices.
  • the function of the individual pseudo-sound generation server 50 (generation of individual pseudo-clap sound data) may be implemented by the venue server 20 .
  • the function of the individual pseudo-sound generation server 50 generation of individual pseudo-clap sound data
  • FIG. 5 is a flow chart showing an example of the flow of generating individual pseudo clapping sound data according to this embodiment. The processing shown in FIG. 5 is performed before the live distribution event starts.
  • the participant uses the participant terminal 10 to perform a login process to the service (live distribution service) provided by this system, and the control unit 520 of the individual pseudo-sound generation server 50 , a participant ID (participant identification information) is acquired (step S103).
  • the login screen may be provided by the individual pseudo-sound generation server 50 .
  • the control unit 520 of the individual pseudo sound generation server 50 controls the participant terminals 10 to collect the participant's clapping sound (real sound) (step S106). Specifically, the individual pseudo sound generation server 50 displays an instruction for collecting the clapping sound on the display unit of the participant terminal 10 and collects the clapping sound with the microphone of the participant terminal 10 .
  • the display unit of the participant terminal 10 may be a display device such as a liquid crystal display (LCD) or an organic EL (Electro Luminescence) display. Also, the display unit of the participant terminal 10 may be a projector that projects an image onto a screen or a wall.
  • the participant terminal 10 when the participant terminal 10 is a transparent HMD (Head Mounted Display) that is worn on the head of the participant, the instruction is displayed on the transparent display unit placed in front of the participant in AR (Augmented Reality). may be displayed. Also, the participant terminal 10 may communicate with various display devices and control the display of instructions.
  • HMD Head Mounted Display
  • AR Augmented Reality
  • FIG. 6 shows an example of a display screen for instructions to the participants when collecting clapping sounds according to this embodiment.
  • the control unit 520 of the individual pseudo-sound generation server 50 causes the display unit 130 of the participant terminal 10 to indicate that the participant's applause sound will be picked up by the microphone input of the participant terminal 10. is displayed.
  • the participants are presented with the time points at which they clap. Specifically, for example, five marks are sequentially lit every second on the screen, and the player is instructed to clap as evenly as possible in accordance with the lighting.
  • the applause form may also be presented as an illustration.
  • the actual sound analysis unit 521 of the individual pseudo-sound generation server 50 uses the sound of clapping hands multiple times according to the time points. may be used as data to be analyzed. Also, the real sound analysis unit 521 of the individual pseudo sound generation server 50 may average the clapping sounds for a plurality of times and use them as data to be analyzed.
  • the actual sound analysis unit 521 calculates the frequency characteristics of the collected clapping sound centering on the time point, which is the time point when the light is turned on every second (steps S106 and S109). Specifically, for example, the real sound analysis unit 521 performs spectrum analysis of the clapping sound with reference to time points, and extracts frequency characteristics from the spectrum information.
  • the real sound analysis unit 521 superimposes the frequency characteristics on the clapping sound data of the template to generate individual pseudo clapping sound data that reflects the characteristics (individuality) of the participant (step S115).
  • Superimposition of features (frequency characteristics) is as described above with reference to FIG.
  • control unit 520 may display a screen 133 indicating "under analysis” on the display unit 130, as shown in the middle of FIG.
  • the individual pseudo-sound generation server 50 repeats the processes shown in steps S106 to S115 a plurality of times to generate a plurality of individual pseudo-clap sound data. may be generated.
  • the individual pseudo-sound generation server 50 presents instructions, illustrations, etc. with different hand forms when clapping, strength of clapping (strong, weak), timing (fast, slow), etc.
  • a plurality of patterns of clapping sounds are obtained and analyzed to generate a plurality of individual pseudo clapping sound data.
  • the individual pseudo-sound generation server 50 sets the operation method of the individual pseudo-clap sound data to be performed during the live distribution event (step S118).
  • the individual pseudo-sound generation server 50 displays, for example, a screen 134 as shown in the lower part of FIG. 6, showing an explanation of the operation method, etc., and prompts the participant to set the operation method.
  • the operation method for example, when the microphone input of the participant terminal 10 is permitted during the event, the actual timing of the participant's applause can be used as reaction information (applause output command).
  • the operation method that does not use a microphone, clicking an icon displayed on the screen during the event (clicking with a mouse or tapping with a finger or electronic pen, etc.), operating a predetermined key on the keyboard, gestures (using a camera) detection), a button operation of a controller, an operation of shaking a controller (for example, a penlight), or the like.
  • the movement of an arm or the like detected by a sensor attached to the arm or the like of the participant may be used.
  • the storage control unit 523 of the individual pseudo-sound generation server 50 associates the generated one or more pieces of individual pseudo-clap sound data and the operation method information indicating the set operation method with the participant ID, and saves the data to the venue server. 20 (step S121).
  • the venue server 20 associates the participant ID, one or more pieces of individual simulated clapping sound data, and operation method information and stores them in the storage unit.
  • FIG. 7 is a flowchart showing an example of the flow of generating individual pseudo cheer data according to this embodiment.
  • the controller 520 of the individual pseudo-sound generation server 50 acquires a participant ID (step S143). As described with reference to FIG. 5, it may be obtained from the log-in process performed by the participant, or if the individual pseudo cheer data is generated following the generation of the individual pseudo applause data, the process proceeds to step S103. It can be said that the participant ID is acquired continuously from the login process shown.
  • the control unit 520 of the individual pseudo sound generation server 50 controls the participant terminals 10 to pick up the cheers (real sounds) of the participants (step S146). Specifically, the individual pseudo-sound generation server 50 displays an instruction for collecting cheers on the display unit of the participant terminal 10 and picks up the cheers with the microphone of the participant terminal 10 .
  • FIG. 8 shows an example of a display screen for instructions to the participants when collecting cheers according to this embodiment. As shown in the upper part of FIG. 8 , first, the control unit 520 of the individual pseudo-sound generation server 50 instructs the display unit 130 of the participant terminal 10 to pick up the cheers of the participants through the microphone input of the participant terminal 10 . A screen 135 is displayed.
  • a screen is displayed prompting the user to input within 3 seconds.
  • Cheers include various exclamations as described above, but the participants may choose the cheers they want to register and then speak out. For example, the same exclamation as the selected cheer may be voiced, or the exclamation different from the selected cheer may be voiced. Voice characteristics are extracted from the participants' natural voices, and the characteristics are reflected in the selected exclamation template pseudo-cheers data to generate individual pseudo-cheers data. A plurality of patterns of cheers may be prepared, or a single pattern may be used.
  • the real sound analysis unit 521 analyzes the collected cheers and extracts features (steps S149 and S152). Specifically, for example, the real sound analysis unit 521 spectrally analyzes the collected cheers, and extracts spectral envelopes and formants as features (frequency characteristics) from the spectral information.
  • the real sound analysis unit 521 reflects the frequency characteristics in the template cheer data prepared in advance to generate individual pseudo cheer data (step S155). Since it may not be possible to perfectly reproduce your own cheers in a place that differs from the atmosphere of the live venue, such as your home, by superimposing the characteristics of each participant's voice on template cheering data prepared in advance, individual simulated cheering data can be created. Generate.
  • control unit 520 may display a screen 136 indicating "under analysis” on the display unit 130, as shown in the middle of FIG.
  • the individual pseudo-sound generation server 50 may reproduce the generated individual pseudo-cheers data and allow the participants to check it (step S158).
  • the individual pseudo sound generation server 50 displays a screen 137 prompting confirmation of the individual pseudo cheer data on the display unit 130, as shown in the lower part of FIG. It should be noted that if the individual pseudo cheering data is to be generated again, the "return" button on the screen 137 can be selected and the cheering sound can be collected again. That is, steps S146 to S158 are repeated.
  • the participant can add optional words (step S161). For example, the participant can select words to be added from the words (chants) that can be added according to the guidance displayed on the screen 137 shown in the lower part of FIG.
  • the live broadcaster can prepare option word candidates in advance, such as an "encore" shout, an artist's name, or a specific call to be made for a particular song.
  • the individual pseudo-sound generation server 50 first registers the option word (step S164).
  • the participant uses the participant terminal 10 to select the word to be added in each form displayed on the screen 137 shown in the lower part of FIG. presented in plain language).
  • the individual pseudo-sound generation server 50 determines whether or not the input word is a word that should not be ethically uttered by collation using a specific dictionary such as a corpus (for example, a list of prohibited words). (Step S167).
  • This ethics determination process may be skipped when selecting from candidates prepared in advance by the performer. It is also possible for the participants to freely add optional words, and in that case, for example, judgment can be made by checking against a prohibited word list prepared in advance by the performer. When a word included in the prohibited word list is input, the individual pseudo-sound generation server 50 notifies the participant that it cannot be registered.
  • the individual pseudo-sound generation server 50 controls to collect the participants' shouts (step S170).
  • the participant vocalizes the word to be added into the microphone of the participant terminal 10 according to the instructions.
  • the real sound analysis unit 521 of the individual pseudo sound generation server 50 spectrally analyzes the picked-up shout, and extracts the spectral envelope and formants as features (frequency characteristics) from the spectral information (step S176).
  • the individual pseudo sound data generation unit 522 uses the extracted frequency characteristics to generate individual pseudo chant data through voice synthesis (step S179).
  • a template call prepared in advance by the performer may be used.
  • the individual pseudo-sound data generation unit 522 generates a template shout by speech synthesis based on the input word (text), and the generated template shout has a frequency
  • Individual pseudo chant data may be generated by superimposing the characteristics.
  • the individual pseudo-sound generation server 50 may reproduce the generated individual pseudo-sound data and let the participants confirm it (step S182). If the participant inputs an instruction to redo the generation of the individual pseudo chant data, the process returns to step S170, and the voice is collected again. If the participant inputs an instruction to add more option words, the process returns to step S164 to repeat the process of adding option words.
  • steps S164 to S179 sound is collected and analyzed each time an option word is registered, but the present embodiment is not limited to this. For example, it is possible to collect a plurality of sample voice data from participants and combine the collected sample data with input option words to generate more general-purpose individual pseudo chant data. As a result, it is possible to generate individual pseudo chant data without performing sound collection and voice analysis each time.
  • the individual pseudo sound generation server 50 sets the operation method of the individual pseudo cheer data and the like to be performed during the live distribution event (step S185).
  • the individual pseudo-sound generation server 50 displays a screen showing an explanation of the operation method, etc. on the display unit 130 of the participant terminal 10, and prompts the participant to set the operation method.
  • an operation method for example, clicking an icon displayed on the screen during an event (clicking with a mouse or tapping with a finger or an electronic pen, etc.), or operating a predetermined key on a keyboard, and reacting information (cheers, etc.) output command).
  • a plurality of individual pseudo-sound data such as cheers and shouts
  • icons corresponding to each are displayed on the display unit 130 during live distribution, and participants can select which cheers and shouts to output by operating the icons. can be selected.
  • the applause operation is input to the microphone, the applause and cheers can be input at the same time, so the cheers operation may be performed by, for example, a foot controller operated by stepping on the foot. The foot controller will be described later with reference to FIG.
  • the cheering operation method is not limited to the example described above, and it is also possible to operate the buttons of a handy controller operated by hand, gestures (detected by a camera, an acceleration sensor, etc.), or the like.
  • the storage control unit 523 of the individual pseudo sound generation server 50 associates the generated one or more pieces of individual pseudo cheer data and the operation method information indicating the set operation method with the participant ID, and stores them in the venue server. 20 (step S188).
  • the participant ID, one or more pieces of simulated cheer data, and operation method information are associated and stored in the storage unit.
  • the participant terminal 10 may perform the real sound analysis processing performed by the real sound analysis unit 521 and the individual pseudo sound data generation processing performed by the individual pseudo sound data generation unit 522 .
  • the participant terminal 10 performs real sound analysis processing (feature extraction), and transmits the analysis result (extracted feature) and operation method information together with the participant ID to the individual pseudo sound generation server 50, and the individual pseudo sound generation server 50 may perform processing for generating individual pseudo sound data based on the analysis result.
  • the participant terminal 10 analyzes the actual sound and generates individual pseudo sound data
  • the individual pseudo sound generation server 50 appropriately transmits necessary programs, template sounds, etc. to the participant terminal 10 .
  • the venue server 20 outputs individual pseudo-sound data corresponding to reactions of live participants to the live venue in real time during live distribution. Specifically, the venue server 20 performs control for outputting individual pseudo clapping sound data and individual pseudo cheering data from the pseudo sound output devices 30 (speakers) installed in the live venue. This makes it possible to deliver the real-time reactions of many participants to the performer who is performing live at the live venue, increasing the presence of the live performance.
  • FIG. 9 is a block diagram showing an example of the configuration of the venue server 20 according to this embodiment. As shown in FIG. 9 , the venue server 20 has a communication section 210 , a control section 220 and a storage section 230 .
  • the communication unit 210 can transmit and receive data by communicating with another device wirelessly or by wire.
  • the communication unit 210 is realized by, for example, a wired/wireless LAN (Local Area Network) or the like.
  • the communication unit 210 can transmit and receive data to and from the participant terminal 10 via the network 70 .
  • the communication unit 210 also transmits individual pseudo-sound data to the pseudo-sound output device 30 provided at the live venue, and outputs audio signals of the venue from the venue sound acquisition device 40 (from microphones and musical instruments to which performers' voices are input). Collected sound sources).
  • control unit 220 functions as an arithmetic processing device and a control device, and controls overall operations within the venue server 20 according to various programs.
  • the control unit 220 is implemented by an electronic circuit such as a CPU (Central Processing Unit), a microprocessor, or the like.
  • the control unit 220 may also include a ROM (Read Only Memory) that stores programs to be used, calculation parameters, and the like, and a RAM (Random Access Memory) that temporarily stores parameters that change as appropriate.
  • ROM Read Only Memory
  • RAM Random Access Memory
  • the control unit 220 also functions as a pseudo-sound generation unit 221 , a pseudo-sound output control unit 222 , and a venue sound transmission control unit 223 .
  • the pseudo-sound generation unit 221 has a function of generating a pseudo-sound to be output (reproduced) from the pseudo-sound output device 30 placed in the hall. Specifically, the pseudo-sound generation unit 221 selects individual pseudo-sound data according to the reaction information indicating the reaction of the participant received from the participant terminal 10 via the communication unit 210, and selects the individual pseudo-sound data. parameters are adjusted based on the reaction information.
  • reaction information is operation information related to the operation (action) of applause and cheers by participants.
  • the operation information may include, for example, the number of operations per unit time, operation timing, amount of operation (push amount), or selection operation information (ID of selected item, etc.). Further, the operation information may include a spectrum obtained by frequency analysis of clapping sounds input by the participants. Further, the operation information is operation information for each unit time (fixed time) and can be continuously transmitted from the participant terminals 10 .
  • the pseudo-sound generator 221 selects individual pseudo-sound data associated in advance with the number of operations per unit time (fixed time), operation timing information, and the like.
  • the pseudo-sound generator 221 may acquire spectral information of a clapping sound actually performed by a participant as operation information, and select individual pseudo-sound data similar to the spectral information.
  • the selection of individual pseudo sound data may be controlled by the performer in accordance with the tone of the music being played at the live venue or the content of the event. For example, if it is a ballad song, it is possible to select the individual pseudo sound data of lightly clapping applause, and the individual pseudo sound data of vigorous applause for the exciting part in the second half of the event.
  • the applause and cheering operations performed by the participants according to the present embodiment will be specifically described with reference to FIGS. 11 to 17.
  • the pseudo-sound generator 221 performs parameter adjustment on the selected individual pseudo-sound data based on the operation information. For example, the pseudo sound generator 221 adjusts the volume proportional to the number of operations, adjusts the output timing according to the operation timing, and the like. As a result, each participant's real-time reaction can be provided as more natural and realistic feedback.
  • the pseudo-sound output control unit 222 controls output of the individual pseudo-sound data selected by the pseudo-sound generation unit 221 and parameter-adjusted from the pseudo-sound output device 30 .
  • An example of the pseudo-sound output device 30 is a small speaker (individual sound output device) placed at each audience seat in the live venue.
  • the virtual position the participant ID is associated with the virtual position of the participant in the live venue (hereinafter referred to as the virtual position) (spectator seat ID may be used)
  • the pseudo sound output control unit 222 Control is performed to output each participant's individual pseudo sound data from a small speaker installed at each participant's virtual position.
  • applause, cheers, and the like of each participant can be heard from each audience seat in the live venue, and the performer can be given a sense of realism as if the audience were actually there.
  • the small speakers may be provided for all the audience seats, or one small speaker may be provided for each of the plurality of audience seats. In order to give the performers a more realistic sense of presence, it is desirable to have small speakers installed in all the audience seats (at least the positions in the venue assigned to each participant watching), but this is not always the case. Not limited.
  • the venue sound transmission control unit 223 performs control to transmit the venue sound (venue sound signal) output from the venue sound acquisition device 40 to each participant terminal 10 .
  • An example of the venue sound acquisition device 40 is a small microphone (individual sound pickup device) (hereinafter referred to as a small microphone) placed at each audience seat in the live venue.
  • the venue sound transmission control unit 223 acquires a venue sound signal picked up by a small microphone installed at the virtual position of the participant in the live venue, which is associated with the participant ID, and determines whether the participant participates. to the user terminal 10. By picking up the sound of the venue with small microphones installed in the audience seats corresponding to the virtual position, it is possible to obtain the sound of the venue, including the spatial reverberation, perspective, and sense of direction.
  • the venue sound transmission control unit 223 may perform fine adjustment (normalization, etc.) on the venue sound signal before transmission.
  • the venue sound transmission control unit 223 performs dynamic range adjustment and the like.
  • the storage unit 230 is implemented by a ROM (Read Only Memory) that stores programs and calculation parameters used in the processing of the control unit 220, and a RAM (Random Access Memory) that temporarily stores parameters that change as appropriate.
  • ROM Read Only Memory
  • RAM Random Access Memory
  • the storage unit 230 stores individual pseudo sound data, operation method information, virtual positions in the venue, etc. in association with the participant ID.
  • the configuration of the venue server 20 according to this embodiment has been described above. Note that the configuration of the venue server 20 illustrated in FIG. 9 is an example, and the present disclosure is not limited to this.
  • the venue server 20 may be composed of multiple devices.
  • FIG. 10 is a flowchart showing an example of the flow of operation processing for outputting individual pseudo sound data by the venue server 20 according to this embodiment.
  • the processing shown in FIG. 10 can be performed continuously during live distribution.
  • the venue server 20 first acquires the participant ID, the number of operations, timing information, etc. from the participant terminal 10 in real time (step S203).
  • the number of operations and timing information are examples of operation information.
  • the pseudo-sound generation unit 221 of the venue server 20 selects one individual pseudo-sound data from among the one or more individual pseudo-sound data associated with the participant ID according to the number of operations and timing information (step S206).
  • the pseudo-sound generator 221 performs parameter adjustment for the selected individual pseudo-sound data as necessary (step S209).
  • the pseudo-sound generation unit 221 performs volume adjustment proportional to the number of operations, and timing adjustment (trigger, clapping sound timing, etc.) according to operation timing.
  • volume adjustment proportional to the number of operations
  • timing adjustment trigger, clapping sound timing, etc.
  • the performer may adjust the performance by multiplying it by a predetermined proportional coefficient ⁇ according to the content of the event, the tone of the music, the genre of the music, and the like. This makes it possible to give individuality to applause and cheers, and to output applause and cheers that change according to the atmosphere of the performance even for the same person in real time.
  • the pseudo-sound output control unit 222 performs control to reproduce the individual pseudo-sound data from a small speaker (an example of the pseudo-sound output device 30) arranged at the virtual position associated with the participant ID (step S212).
  • a small speaker an example of the pseudo-sound output device 30
  • the venue sound transmission control unit 223 acquires the venue sound signal picked up by the small microphone placed at the virtual position associated with the participant ID (step S215).
  • a small microphone is arranged as the venue sound acquisition device 40 at each audience seat in the venue.
  • the venue sound transmission control unit 223 performs fine adjustment (normalization, etc.) of the venue sound signal (step S218), and controls transmission of the venue sound signal to the participant terminals 10 (step S221).
  • steps S203 to S212 are processing for outputting the audience voice (individual pseudo sound data) to the venue, and is continuously and repeatedly processed during live distribution.
  • the venue voice (venue sound signal) transmission process to the participants shown in steps S215 to S221 is continuously and repeatedly processed during the live distribution.
  • FIG. 11 is a diagram for explaining the clap operation on the participant side according to the present embodiment.
  • the participant terminal 10 has a communication section 110, a control section 120, a display section 130, a speaker 150, and a microphone 160.
  • the participant terminal 10 further has a storage unit and an operation input unit 140 .
  • the participant terminal 10 has a function of outputting live video and audio delivered by the venue server 20 .
  • the control unit 120 functions as an arithmetic processing device and a control device, and controls overall operations within the participant terminal 10 according to various programs.
  • the control unit 120 is realized by an electronic circuit such as a CPU (Central Processing Unit), a microprocessor, or the like.
  • the control unit 120 may also include a ROM (Read Only Memory) for storing programs to be used, calculation parameters, etc., and a RAM (Random Access Memory) for temporarily storing parameters that change as appropriate.
  • the control unit 120 controls the display of the live video received from the venue server 20 via the network 70 by the communication unit 110 on the display unit 130 (or projects it onto a wall or screen), and controls the venue sound signal from the speaker 150. control to output
  • the display unit 130 may be a display device such as a liquid crystal display (LCD) or an organic EL (Electro Luminescence) display.
  • the display unit 130 of the participant terminal 10 may be a projector that projects an image onto a screen or a wall.
  • the participant terminal 10 is a transparent HMD (Head Mounted Display) that is worn on the head of the participant, the live video or the like is displayed on the transparent display unit placed in front of the participant's eyes in AR (Augmented Display). Reality) may be displayed.
  • the participant terminals 10 may communicate with various display devices and control the display of live images and the like. In the example shown in FIG.
  • the display unit 130 displays a live video and icon images indicating ON/OFF of microphone input on the participant side, applause, and cheers. For example, when the microphone input is ON, the participant P can perform the clapping operation by actually clapping his hands.
  • the control unit 120 analyzes the applause sound collected by the microphone 160, and transmits the number of applause times per unit time or the applause timing as operation information (applause operation command) from the communication unit 110 to the venue server 20 together with the participant ID. do.
  • the control unit 120 can transmit operation information and the like to the venue server 20 every unit time.
  • the participant P can perform the applause operation by clicking the applause icon image with a mouse, tapping the screen with a finger or the like, or pressing a corresponding predetermined key on the keyboard. can do
  • the control unit 120 transmits the number of clicks per unit time, the click timing, or the like as operation information (an operation command for clapping) from the communication unit 110 to the venue server 20 together with the participant ID.
  • the operation method is not limited to these, and the participant P can perform an applause operation by shaking the controller (which may be a penlight or the like) held by the participant P or performing a predetermined gesture. These motions can be detected by various sensors (acceleration sensor, gyro sensor, camera, etc.).
  • the clapping icon image displayed on the display unit 130 may be controlled to blink in time with the operation timing when the clapping operation is received. Thereby, it is possible to feed back to the participant P that the operation has been accepted.
  • the pseudo sound generator 221 of the venue server 20 selects individual pseudo clapping sound data based on the participant ID and the operation information transmitted from the participant terminal 10 . For example, the pseudo sound generator 221 selects individual pseudo clapping sound data associated with the number of operations per unit time (number of clapping, number of click operations, number of tap operations, etc.). Then, the pseudo sound generator 221 performs parameter adjustment on the selected individual pseudo clapping sound data based on the operation information.
  • FIG. 12 is a diagram illustrating an example of parameter adjustment of individual pseudo-clap sound data according to this embodiment.
  • the pseudo sound generation unit 221 converts the first individual pseudo clapping sound data corresponding to the number of operations (for example, five times) in the unit time b1 to a volume proportional to the number of operations in the unit time b1 ( amplitude), and further adjusts the timing of each of the five reproductions of the first individual pseudo clapping sound data in accordance with the timing of each of the five operations.
  • the pseudo sound generator 221 adjusts the second individual pseudo clapping sound data corresponding to the number of operations (for example, 6 times) in the unit time b2 to a volume (amplitude) proportional to the number of operations in the unit time b2. Furthermore, the timing of each reproduction of the second individual pseudo clapping sound data six times is adjusted in accordance with the timing of each of the six operations. In this way, by appropriately adjusting the parameters (volume, timing) according to the operation information for each unit time, it is possible to reproduce the individual pseudo sound data that more realistically reproduces the actual applause of the participants. It becomes possible. In addition, in this system, individual pseudo clapping sound data can be automatically selected for each unit of time according to the number of operations and the like.
  • FIG. 13 is a diagram for explaining cheering operations on the participant side according to the present embodiment.
  • a keyboard 141, a mouse 142, and a foot controller 143 are given as examples of the operation input unit 140 that the participant terminal 10 has.
  • live video and icon images indicating ON/OFF of microphone input on the participant side, applause, and cheers are displayed.
  • the icon images showing cheers can be displayed according to the patterns of cheers. These icon images may be displayed in different colors, for example.
  • each icon image indicating cheers may display text indicating a pattern of cheers.
  • an icon image for outputting a shout may be displayed in the same manner as the icon image for cheers (text indicating the content of the shout is also displayed).
  • Participant P can select cheers by clicking icon images such as cheers with a mouse, tapping the screen with a finger or the like, or pressing a corresponding predetermined key on the keyboard.
  • the control unit 120 uses the information indicating the selected cheering pattern (information indicating the selection operation), the number of clicks per unit time, the click timing, etc. as the operation information (operation command such as cheering) as the participant ID. together with the communication unit 110 to the venue server 20 .
  • the information indicating the selection operation may be an ID (cheering ID) associated with the pattern of the selected cheering or the like.
  • a cheer ID can be assigned to the pre-generated individual pseudo cheer data.
  • the control unit 120 may transmit the cheer ID selected by the participant P to the venue server 20 .
  • the control unit 120 since the cheers are sounds that have a certain length of time, the control unit 120 records only the time (start timing) at which the icon image of the cheers is clicked as the operation timing information, and sends it to the venue server 20 as a trigger. You may start reproduction of cheers by outputting. In addition, the control unit 120 may aggregate the number of clicks per unit time and transmit the total number of operations to the venue server 20 as the number of operations.
  • the pseudo sound generation unit 221 of the venue server 20 generates individual pseudo cheer data based on the participant ID transmitted from the participant terminal 10 and the cheer ID indicating the cheer pattern selected by the participant (an example of selection operation information). to select. Then, the pseudo sound generator 221 performs parameter adjustment on the selected individual pseudo cheer data based on the operation information.
  • FIG. 14 is a diagram illustrating an example of parameter adjustment of individual pseudo cheer data according to this embodiment.
  • the pseudo-sound generation unit 221 starts reproducing the selected individual pseudo-cheers data when, for example, a trigger is input.
  • the volume (amplitude) may be adjusted in proportion to .
  • the reproduction of the first individual pseudo cheer data corresponding to the selected cheer ID is started, and the first individual pseudo cheer data is reproduced at unit time b1.
  • the volume (amplitude) is adjusted in proportion to the number of operations (for example, 5 times), and then the first individual pseudo cheer data is adjusted to the volume (amplitude) in proportion to the number of operations (for example, 6 times) in unit time b2. It is The selection of the cheering pattern will remain active until the sound output of the selected pattern ends (or until the next trigger is input, or until the specified duration expires if it is necessary to utter words for a certain period of time). Become.
  • FIG. 15 is a diagram for explaining an example of parameter adjustment of individual pseudo-chant data according to the present embodiment. As shown in FIG. 15, for example, even if the number of operations included in the unit time is 0 during the duration of the reproduced shout after the trigger is input, the pseudo-sound generation unit 221 It is possible to avoid the disappearance of the voice by adjusting the
  • the method of operating cheers and shouts is not limited to the above-described icon image click operation or the like.
  • the foot controller 143 operated with the foot may be used for the cheer operation.
  • FIG. 16 is a diagram illustrating an example of the foot controller 143 for operating cheers according to this embodiment.
  • a foot controller 143 is provided with a plurality of switches, which are operated by pressing them with the foot.
  • the multiple switches have different colors and shapes, for example, and correspond to different patterns of cheers.
  • the strength of the operation can be used for parameter adjustment by the pseudo-sound generator 221 instead of the number of times of operation.
  • Each switch of the foot controller 143 may be provided with a sensor that detects pressing.
  • the degree of pressing may be detected by a pressure sensor, or as shown in the lower part of FIG. 16, the amount of change in the height of the switch may be detected.
  • the switch portion is formed of, for example, a rubber-like elastic member, and the height of the switch portion changes according to the strength of pressing.
  • the foot controller 143 may be provided with a display unit (pressing force meter) indicating the degree of pressing of each switch.
  • FIG. 17 is a diagram illustrating an example of parameter adjustment of individual pseudo cheer data when using the foot controller 143 according to this embodiment.
  • the amount of operation (strength of pressing the switch, amount of depression, or amount of change in height of the switch) changes continuously.
  • the control unit 120 samples the change and transmits the operation amount to the venue server 20 .
  • the control unit 120 may sample at a low frequency in order to reduce the amount of data.
  • frequency sampling may be performed every unit time, and only intensity information at two points, the start time and the end time, may be transmitted as the operation amount information.
  • the pseudo-sound generation unit 221 of the venue server 20 interpolates between the two sampled points for each unit time, and creates a gentle approximation signal as indicated by the dotted line in the upper part of FIG. 17 . Then, the pseudo sound generator 221 adjusts the volume (amplitude) of the individual pseudo cheer data according to the generated approximation signal, as shown in the lower part of FIG. If the trigger time is included in the unit time, the start time is replaced with the trigger time to generate the volume envelope signal.
  • the pseudo-sound generation unit 221 reproduces at the minimum volume within the duration of the pseudo-sound shout even when the operation amount information (information such as the strength of pressing) included in the unit time is 0. Parameter adjustments may be made to continue. Further, as shown in the upper part of FIG. 16, a meter indicating the operation time (duration of the shout) may be installed at a position corresponding to each switch of the foot controller 143 . By clearly indicating that the user is shouting while the lights are on, it is possible to consciously encourage the participants to continue operating until the duration of the shout is over.
  • the control unit 120 may display the control parameters of the foot controller 143 on the display unit 130 . For example, as shown in FIG. 13, the control unit 120 displays a meter indicating the operation time (the duration of the cheering) next to the icon image of the cheers. You may make it explicit that it is. Further, the control section 120 may change the color depth of the icon image, etc. according to the strength with which the switch of the foot controller 143 is pressed.
  • a small speaker is arranged at each audience seat in the live venue, and the individual pseudo-sound data of the corresponding participant is output from each small speaker.
  • individual pseudo sound data of each participant is output from large speakers (another example of pseudo sound output device) installed for the performers on the stage or around the stage without using many small speakers. be done.
  • transfer characteristics By adding perspective, sense of direction, and reverberation characteristics of the venue (collectively referred to as transfer characteristics) to the individual simulated sound data of each participant, the sound can be heard from the audience seats in the venue. It is possible to give such a feeling to the performers on the stage.
  • a mixer is a mixer that individually adjusts various sound sources input from audio equipment such as microphones that collect the voices and performances of performers, electronic musical instruments, and various players (for example, CD players, record players, and digital players). It is a device that mixes and outputs, and is an example of a sound processing device that collects and appropriately processes sounds in a venue.
  • the predetermined processing to be performed on the venue sound signal output from the mixer corresponds to the position of a virtual audience seat (hereinafter also referred to as a virtual position) in the live venue associated with the participant.
  • a virtual position in the live venue associated with the participant.
  • transfer characteristics the sense of perspective, the sense of direction, and the reverberation of the venue space (these are collectively referred to as transfer characteristics).
  • individual echo sound simulation data including the echoes of the venue space is prepared in advance, and all the echo individual simulation sound data selected according to the reaction of each participant are summed up, and participants participate together with the venue sound signal. may be transmitted to the user terminal 10.
  • the echo individual pseudo sound data is echo pseudo clapping sounds, echo pseudo cheers, and the like selected according to the reaction of each participant.
  • the participants can view the reactions of all the audience members in the venue, including the participants themselves, as if they were actually listening to the audience in the audience seats.
  • audio data such as applause recorded at an actual live venue, that is, echo template pseudo sound data is prepared.
  • echo template pseudo sound data echo template clapping sound data and echo template cheering data
  • audio data including the echoes of the space of the venue can be obtained.
  • the characteristics for example, frequency characteristics
  • the sounds uttered by the participants are synthesized with the echo template pseudo sound data prepared in advance to generate the echo individual pseudo sound data for each participant.
  • the generation of the echo individual pseudo sound data can be performed by the individual pseudo sound generation server 50 in the same manner as the individual pseudo sound data. Then, the generated individual echo sound data can be stored in the storage unit 230 of the venue server 20 in association with the participant ID, like the individual sound data. Note that the echo individual pseudo sound data may be associated with individual pseudo sound data of the same pattern. At this time, a pseudo-sound ID may be assigned to each pseudo-sound data, and the corresponding pseudo-sound ID may be used for association.
  • the process of generating the echo individual pseudo sound data is the same as the generation of the individual pseudo sound data described above, with the only difference being the nature of the template used for generation.
  • the individual pseudo-sound generation server 50 synthesizes the template pseudo-sound data and the reverberation template pseudo-sound data with the features extracted from the applause sound and cheers input by the participants into the microphone, thereby generating the individual pseudo-sound data and the individual reverberation pseudo-sound data. Sound data can be generated.
  • Template simulated sound data is sound data such as applause and cheers recorded in an anechoic environment
  • echo template simulated sound data is sound data such as applause and cheers recorded in advance at an actual live venue
  • the echo template pseudo sound data used is the echo template pseudo sound data corresponding to the virtual position of the participant in the live venue (that is, the applause and cheers performed at the actual place corresponding to the virtual position were recorded at that place). voice).
  • FIG. 18 is a block diagram showing an example of the configuration of the venue server 20a according to the modification of this embodiment. As shown in FIG. 18, the venue server 20a has a communication section 210, a control section 220a, and a storage section 230. FIG. The configuration of the venue server 20 described with reference to FIG. 9 having the same reference numerals is as described above, and detailed description thereof will be omitted here.
  • the control unit 220a includes a pseudo sound generation unit 221a, a transfer characteristic HO addition unit 225, a pseudo sound output control unit 222a , a transfer characteristic HI addition unit 226, an all-participant echo pseudo sound synthesis unit 227, and a venue It also functions as the sound transmission control unit 223a.
  • the pseudo-sound generation unit 221a selects individual pseudo-sound data based on the participant ID, operation information, and the like acquired from the participant terminal 10 by the communication unit 210 .
  • the pseudo-sound generator 221a also selects echo individual pseudo-sound data.
  • the pseudo-sound generator 221a selects echo individual pseudo-sound data of the same pattern associated with the selected individual pseudo-sound data.
  • the echo individual pseudo sound data can be generated in advance and stored in the storage unit 230 in the same manner as the individual pseudo sound data.
  • the pseudo-sound generator 221a performs parameter adjustment for each of the selected individual pseudo-sound data and reverberant individual pseudo-sound data.
  • the details of the parameter adjustment are the same as in the above-described embodiment, and include, for example, volume adjustment proportional to the number of operations, output timing adjustment according to operation timing, and the like.
  • the transfer characteristic H 0 adding unit 225 adds the transfer characteristic H 0 of the echo of the venue measured in advance to the individual pseudo sound data output from the pseudo sound generating unit 221a.
  • the transfer characteristic H 2 O is the transfer characteristic from the audience seats to the stage of the venue (around the place where the performers are present).
  • FIG. 19 is a diagram explaining the transfer characteristic H 2 O according to the modified example of this embodiment.
  • a stage and audience seats are provided in a live venue, and an ID (audience seat ID) is assigned to each seat.
  • the example shown in FIG. 19 illustrates the virtual position (virtual position) of participant A and the virtual position of participant B in the live venue.
  • the transfer characteristics from each audience seat (A, B) HO(A) , HO(B)
  • the transfer characteristics H 2 O can be measured for all the spectator seats.
  • the performer does not move on the stage, the position where the performer stands, and if the performer moves to some extent or there are multiple performers, at least one large speaker placed at the feet in front of the performer on the stage.
  • 32 general audio output device for outputting individual pseudo-sound data of all participants toward the performers
  • the measured transfer characteristics H 2 O are stored in the storage unit 230 of the venue server 20 in association with the audience seat ID.
  • the transfer characteristic H 0 addition unit 225 acquires the corresponding transfer characteristic H 0 based on the spectator seat ID (virtual position) associated with the participant ID.
  • the transfer characteristic H 0 adding section 225 adds the acquired transfer characteristic H 0 to the individual pseudo-sound data selected by the pseudo-sound generating section 221a.
  • the pseudo-sound output control unit 222 a adds the individual pseudo-sound data to which the transfer characteristic H 0 is added by the transfer characteristic H 0 adding unit 225 for all the participants, and controls output from the large speaker 32 .
  • the transfer characteristic HI addition unit 226 is provided in the venue toward the audience seats and outputs the venue sound signal input from the mixer 42 to the venue sound signal output from the mixer 42 (an example of the venue sound acquisition device 40).
  • a transfer characteristic HI from the performer speaker 60 (audio output device) to each audience seat is added.
  • sound sources from various audio equipment such as microphones and musical instruments used by performers at the live venue are mixed by, for example, the mixer 42 and output from the performer speakers 60 toward the audience seats at the live venue. It is distributed to the terminal 10 .
  • the transfer characteristic HI to the hall sound signal to be transmitted to the participant terminal 10, it is possible to reproduce the feeling of listening to the sound of the hall at each audience seat.
  • FIG. 20 is a diagram for explaining the transfer characteristic HI according to the modified example of this embodiment.
  • a live venue is provided with a stage and audience seats, and each seat is assigned an ID (audience seat ID).
  • ID an ID
  • the virtual position (virtual position) of participant A in the live venue and the virtual position of participant B are illustrated.
  • two speakers (performer speaker 60R and performer speaker 60L) provided on the left and right sides of the stage are assumed as an example.
  • the transfer characteristics H RI (A) , HL I(A) , HR I( B ) , H L I(B) ) are measured. It should be noted that the transfer characteristic HI can be measured for all the spectator seats.
  • the measured transfer characteristics HI are stored in the hall server 20 in association with the audience seat ID.
  • the transfer characteristic HI addition unit 226 acquires the corresponding transfer characteristic HI based on the spectator seat ID (virtual position) associated with the participant ID.
  • the transfer characteristic HI adding section 226 adds the acquired transfer characteristic HI to the venue sound signal output from the mixer 42 . As a result, a sound simulating the sound space when listening to a performance or the like in the hall at each audience seat is synthesized.
  • the all-participant echo pseudo-sound synthesizing unit 227 has a function of summing all the echo individual pseudo-sound data of all the participants output from the pseudo-sound generating unit 221a. Since the venue sound signal output from the mixer 42 is only the output of the performer's microphones, musical instruments, players, etc. connected to the mixer 42, it does not include the applause or cheers of the entire audience.
  • the reaction of all the participants simulating the hall echo that is, Applause and cheers that match the sound space of the venue can be delivered to the participants.
  • the participants can view and listen to the reactions of all the spectators in the venue, including the participants themselves, as if they were actually listening in the audience seats.
  • the venue sound transmission control unit 223a transmits the venue audio (venue sound signal) output from the mixer 42 and the echo individual pseudo sound data of all the participants synthesized by the all participant echo pseudo sound synthesizing unit 227 to the participants. It controls transmission to the terminal 10 .
  • the configuration of the venue server 20a according to this modification has been specifically described above. Note that the configuration shown in FIG. 18 is an example, and the present disclosure is not limited to this.
  • the venue server 20a may be composed of a plurality of devices. Moreover, it is not necessary to have all the configurations shown in the venue server 20a.
  • FIG. 21 is a flow chart showing an example of the flow of transfer characteristic addition processing according to a modification of the present embodiment.
  • the venue server 20a first acquires the participant ID, the number of operations, timing information, etc. from the participant terminal 10 in real time (step S303).
  • the number of operations and timing information are examples of operation information.
  • the pseudo-sound generation unit 221 of the venue server 20 selects one individual pseudo-sound data from among the one or more individual pseudo-sound data associated with the participant ID according to the number of operations and timing information (step S306).
  • the pseudo-sound generator 221 performs parameter adjustment for the selected individual pseudo-sound data as necessary (step S309).
  • the transfer characteristic H 0 adding unit 225 adds the transfer characteristic H 0 corresponding to the virtual position (for example, audience seat ID) in the live venue associated with the participant ID to the individual pseudo sound data (step S312). ).
  • the pseudo-sound output control unit 222a performs control to reproduce the individual pseudo-sound data to which the transfer characteristic HO is added from the large speaker 32 (step S315).
  • the transfer characteristic H 2 O is the transfer characteristic from the predetermined audience seats to the stage where the performers are present, as described above.
  • the pseudo-sound output control unit 222a synthesizes the individual pseudo-sound data to which the transfer characteristics H 0 corresponding to the respective virtual positions of all the participants are added, and controls output (playback) from the large speaker 32 .
  • the large loudspeaker 32 is a large loudspeaker placed, for example, at the feet of the performer on the stage in front of the performer at the live venue, facing the performer.
  • the venue server 20a acquires the venue sound signal from the venue mixer 42 (step S318).
  • the transfer characteristic HI adding unit 226 adds the transfer characteristic HI according to the virtual position (spectator seat ID) associated with the participant ID to the venue sound signal (step S321).
  • the transfer characteristic HI is, for example, the transfer characteristic from the performer's speaker 60 to the predetermined audience seats, as described above. As a result, it is possible to generate a venue sound signal that reproduces, for example, the echoes in the space of the live venue in consideration of the virtual positions of the participants.
  • the venue sound transmission control unit 223a finely adjusts (normalizes, etc.) the venue sound signal that imitates the echo of the venue (step S324).
  • the pseudo-sound generator 221a Based on the operation information received from the participant terminal 10, the pseudo-sound generator 221a generates one of the individual pseudo-sound data with reverberation associated with the participant ID. is selected, and parameter adjustment is performed based on the operation information (step S327). Such processing may be performed in parallel with the processing shown in step S306. Further, the pseudo-sound generator 221a may select individual pseudo-sound data with reverberation (pseudo-sound data of the same pattern) associated with the individual pseudo-sound data selected in the processing shown in step S306. Then, the pseudo-sound generation unit 221a performs volume adjustment proportional to the number of operations, timing adjustment according to the operation timing, and the like for the selected individual pseudo-sound data with reverberation, similarly to the parameter adjustment shown in step S309. .
  • the all-participant echo pseudo-sound synthesizing unit 227 synthesizes individual echo-accompanied pseudo-sound data (parameters adjusted) of all participants (step S330).
  • the hall sound transmission control unit 223a performs control to transmit the hall sound signal simulating the echo of the hall and the individual simulated sound data with echoes of all the participants to the participant terminals 10 (step S333).
  • participants will be able to actually listen to the venue sound signal that reproduces the reverberations of the space of the live venue in consideration of the participants' virtual positions, and the reactions of all the audience in the venue, including the participants themselves, from the audience seats. You can watch it as if you were there.
  • steps S303 to S315 are processing for outputting the audience voice (individual pseudo sound data) to the venue, and is continuously and repeatedly processed during live distribution.
  • the pseudo sound return preparation process to the participants shown in steps S327 to S330 and the hall voice (venue sound signal) transmission process to the participants shown in steps S318 to S333 are performed live. It may be continuously iterated during delivery.
  • the embodiments and modifications described above may be combined as appropriate.
  • the venue server 20 outputs individual pseudo sound data according to the reaction of each participant from a small speaker provided at each audience seat
  • the venue sound signal (with transfer characteristic HI added) obtained from the mixer 42 is output.
  • the echo individual pseudo sound data of all participants may be transmitted to the participant terminals 10 .
  • the venue server 20 outputs the individual pseudo sound data according to the reaction of each participant from at least one large speaker arranged for the performer on the stage or the like without performing the additional processing of the transfer characteristic HO . good too.
  • hardware such as the CPU, ROM, and RAM incorporated in the participant terminal 10, the venue server 20, or the individual pseudo-sound generation server 50 described above may store the participant terminal 10, the venue server 20, or the individual pseudo-sound generation It is also possible to create one or more computer programs for making the functions of the server 50 work. Also provided is a computer-readable storage medium storing the one or more computer programs.
  • the present technology can also take the following configuration.
  • (2) The control unit selects individual pseudo sound data corresponding to the reaction information of the participants acquired in real time at a location different from the venue, and controls output from the audio output device to the performer at the venue. , the information processing apparatus according to (1) above.
  • the reaction information of the participant includes information indicating the number of times of operation by the participant, information indicating the timing of operation by the participant, information indicating the amount of operation, and a spectrum obtained by frequency analysis of the sound emitted by the participant. or selection operation information by the participant, the information processing apparatus according to (1) or (2) above.
  • the one or more individual pseudo sound data are one or more different individual pseudo clapping sound data.
  • the control unit responds from the one or more different individual pseudo clapping sound data based on at least one of the number of clapping by the participant in a certain period of time, the number of clicking operations, the number of tapping operations, or a spectrum.
  • the information processing device according to (3) above, which selects individual pseudo clapping sound data.
  • the reaction information of the participant includes information indicating the timing of applause by the participant, The information processing device according to (4), wherein the control unit adjusts the output timing of the selected individual pseudo-clap sound data in accordance with the timing of the clapping.
  • the reaction information of the participant includes information indicating the number of applause by the participant;
  • the one or more individual pseudo sound data are one or more different individual pseudo cheer data or individual pseudo shout data
  • the information processing apparatus according to (3), wherein the control unit selects corresponding individual pseudo cheering data or individual pseudo cheering data according to a selection operation by the participant.
  • the control unit Using the start timing of the selection operation by the participant as a trigger, starting to output the selected individual pseudo cheering data or individual pseudo cheering data, The information processing according to (7) above, wherein control is performed to change the volume of the output individual pseudo cheer data or individual pseudo cheer data in real time according to the number of selection operations or the operation amount of the selection operations. Device.
  • the information processing device (9) The information processing device according to (7) or (8), wherein the control unit adjusts so that the output is continued at least at a minimum volume until the end of the duration of the individual pseudo chant data. (10) Any one of (1) to (9) above, wherein the control unit performs control to output the selected individual pseudo sound data from an individual audio output device arranged at the virtual position of the participant in the venue.
  • the information processing device according to the item.
  • the control unit transmits a venue sound signal acquired from an individual sound pickup device arranged at the virtual position of the participant in the venue to a participant terminal used by the participant at a location different from the venue.
  • the information processing apparatus according to (10), which performs control.
  • the control unit adds a transfer characteristic from the virtual position of the participant in the venue to the performer in the venue to the selected individual pseudo sound data, and adds a synthetic sound arranged around the performer in the venue.
  • the information processing device according to any one of (1) to (9) above, which controls output from an audio output device.
  • the control unit controls transmission of venue sound signals acquired from a sound processing device that collects sound sources from acoustic equipment in the venue to participant terminals used by the participants who are located at locations different from the venue. , the information processing apparatus according to any one of (1) to (9).
  • the control unit transmits the venue sound signal acquired from the sound processing device from an audio output device that outputs the venue sound signal toward the audience seats in the venue to the virtual positions of the participants in the venue.
  • the information processing apparatus which performs control to transmit to the participant terminal after adding a characteristic.
  • the control unit Corresponding to reaction information indicating the real-time reaction of the participant from one or more individual echo sound pseudo sound data generated in advance by reflecting the characteristics of the sound emitted by the participant in the echo pseudo sound data including the echo of the venue Select the echo individual pseudo sound data to Synthesizing the selected echo individual pseudo sound data of all participants, The information processing apparatus according to (13) or (14), wherein the synthesized individual echo pseudo sound data of all the participants is transmitted to the participant terminals together with the hall sound signal.
  • the control unit outputs the venue sound signal to the audience seats in the venue from the audio output device that outputs the venue sound signal to the audience seats in the venue sound signal acquired from the sound processing device that aggregates the sound sources from the audio equipment in the venue.
  • the information processing apparatus according to any one of (1) to (9) above, which controls transmission to the participant terminal after adding a transfer characteristic to the virtual position of the participant.
  • An information processing device comprising a control unit that performs (18) The control unit generates the individual pseudo sound data by synthesizing one or both of frequency characteristics and time characteristics obtained by analyzing the sound uttered by the participant with the sound data of the template.
  • the information processing device according to (17).
  • the information processing device further comprises a communication unit, The communication unit Receiving the characteristics of the sound emitted by the participant collected and analyzed by the participant terminal used by the participant, The above (17) or (18), wherein the generated individual pseudo sound data is associated with the identification information of the participant and transmitted to a venue server that controls output from an audio output device installed in the venue. information processing equipment. (20) the processor Selecting individual pseudo-sound data corresponding to the obtained reaction information indicating the reaction of the participant from one or more individual pseudo-sound data reflecting characteristics of the sound uttered by the participant, and selecting the selected individual pseudo-sound data. is output from an audio output device installed at the venue.
  • a method of processing information comprising: (23) the computer, A process of reflecting the characteristics of the sound uttered by the participant in the sound data of the template to generate individual pseudo sound data; a process of storing the generated individual pseudo sound data in association with the participant;
  • the server is a communication unit that receives reaction information indicating a reaction of the participant from the participant terminal; Selecting individual pseudo sound data corresponding to the received reaction information indicating the reaction of the participant from one or more individual pseudo sound data reflecting characteristics of the sound uttered by the participant, and selecting the selected individual pseudo sound data a control unit that controls output of sound data from the audio output device; system.

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • General Health & Medical Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Human Computer Interaction (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Reverberation, Karaoke And Other Acoustics (AREA)
  • Telephonic Communication Services (AREA)

Abstract

【課題】参加者の個性を反映し、参加者の反応に対応する音声データを、伝送上の問題を考慮した上で提供することが可能な情報処理装置、情報処理方法、およびプログラムを提供する。 【解決手段】参加者が発した音の特徴を反映させた１以上の個別疑似音データから、取得した前記参加者の反応を示す反応情報に対応する個別疑似音データを選択し、前記選択した個別疑似音データを、会場に設置された音声出力装置から出力する制御を行う制御部を備える、情報処理装置。

Description

情報処理装置、情報処理方法、およびプログラム
　本開示は、情報処理装置、情報処理方法、およびプログラムに関する。
　昨今の通信技術の発達により、コンサートやセミナー、演劇等のイベントの映像をリアルタイムで配信する所謂ライブ配信が行われている。このようなライブ配信では、従来の集客型のライブイベントにあった臨場感や、演者と観客の双方向のコミュニケーションが課題となる。
　ライブ配信イベントにおける観客側の反応の収集に関し、例えば下記特許文献１では、観客のタップ回数などの量的情報を反応データとしてリアルタイムに取得し、取得した量的情報を演者が見ているディスプレイに表示したり、演者が装着しているイヤホン等から、量的情報を反映させた音声を出力したりすることで、演者にフィードバックを行うことが開示されている。
特開２０１５－１２５６４７号公報
　ここで、よりリアルで臨場感のあるフィードバックを演者に提供するため、ライブ配信を視聴する観客（以下、参加者と称する）の歓声等をリアルタイムで演者に届けることが考え得るが、高品位で演者に届けるには高いビットレートが必要となり、伝送上の問題が生じ得る。また、予め用意した笑い声や拍手、歓声等の効果音素材を用いることも考え得るが、予め用意した音声は画一的であり、臨場感が乏しい。
　そこで、本開示では、参加者の個性を反映し、参加者の反応に対応する音声データを、伝送上の問題を考慮した上で提供することが可能な情報処理装置、情報処理方法、およびプログラムを提案する。
　本開示によれば、参加者が発した音の特徴を反映させた１以上の個別疑似音データから、取得した前記参加者の反応を示す反応情報に対応する個別疑似音データを選択し、前記選択した個別疑似音データを、会場に設置された音声出力装置から出力する制御を行う制御部を備える、情報処理装置を提案する。
　本開示によれば、参加者が発した音の特徴を、テンプレートの音データに反映させて、個別疑似音データを生成する処理と、前記生成した個別疑似音データを、前記参加者に対応付けて保存する処理と、を行う制御部を備える、情報処理装置を提案する。
　本開示によれば、プロセッサが、参加者が発した音の特徴を反映させた１以上の個別疑似音データから、取得した前記参加者の反応を示す反応情報に対応する個別疑似音データを選択し、前記選択した個別疑似音データを、会場に設置された音声出力装置から出力する制御を行うことを含む、情報処理方法を提案する。
　本開示によれば、コンピュータを、参加者が発した音の特徴を反映させた１以上の個別疑似音データから、取得した前記参加者の反応を示す反応情報に対応する個別疑似音データを選択し、前記選択した個別疑似音データを、会場に設置された音声出力装置から出力する制御を行う制御部として機能させる、プログラムを提案する。
本開示の一実施形態によるライブ配信システムの概要について説明する図である。 本実施形態による個別疑似音データの生成と保存について説明する図である。 本実施形態による疑似音生成サーバの構成の一例を示すブロック図である。 本実施形態による抽出された参加者の特徴をテンプレート音データに重畳する処理について説明する図である。 本実施形態による個別疑似拍手音データの生成の流れの一例を示すフローチャートである。 本実施形態による拍手音収音における参加者へのインストラクションの表示画面例を示す図である。 本実施形態による個別疑似歓声データの生成の流れの一例を示すフローチャートである。 本実施形態による歓声収音における参加者へのインストラクションの表示画面例を示す図である。 本実施形態による会場サーバの構成の一例を示すブロック図である。 本実施形態に係る会場サーバによる個別疑似音データの出力の動作処理の流れの一例を示すフローチャートである。 本実施形態による参加者側における拍手の操作について説明する図である。 本実施形態による個別疑似拍手音データのパラメータ調整の一例について説明する図である。 本実施形態による参加者側における歓声の操作について説明する図である。 本実施形態による個別疑似歓声データのパラメータ調整の一例について説明する図である。 本実施形態による個別疑似掛け声データのパラメータ調整の一例について説明する図である。 本実施形態による歓声の操作を行うためのフットコントローラの一例について説明する図である。 本実施形態によるフットコントローラを用いた場合の個別疑似歓声データのパラメータ調整の一例について説明する図である。 本実施形態の変形例による会場サーバの構成の一例を示すブロック図である。 本実施形態の変形例による伝達特性ＨＯについて説明する図である。 本実施形態の変形例による伝達特性ＨＩについて説明する図である。 本実施形態の変形例による伝達特性付加処理の流れの一例を示すフローチャートである。
　以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
　また、説明は以下の順序で行うものとする。
　１．本開示の一実施形態によるライブ配信システムの概要
　２．個別疑似音データの生成
　　２－１．個別疑似音生成サーバ５０の構成例
　　２－２．個別疑似拍手音データの生成の流れ
　　２－３．個別疑似歓声データの生成の流れ
　　２－４．その他
　３．個別疑似音データの出力
　　３－１．会場サーバ２０の構成例
　　３－２．動作処理例
　　３－３．個別疑似拍手音データの出力
　　（３－３－１．拍手の操作について）
　　（３－３－２．個別疑似拍手音データのパラメータ調整について）
　　３－４．個別疑似歓声データの出力
　　（３－４－１．歓声の操作について）
　　（３－４－２．個別疑似歓声データのパラメータ調整について）
　４．変形例
　　４－１．反響個別疑似音データの生成
　　４－２．会場サーバ２０ａの構成例
　　４－３．伝達特性の付加処理
　５．補足
　＜＜１．本開示の一実施形態によるライブ配信システムの概要＞＞
　図１は、本開示の一実施形態によるライブ配信システムの概要について説明する図である。図１に示すように、本実施形態によるライブ配信システムは、ライブ配信を行う会場サーバ２０（情報処理装置）と、ライブ配信を視聴する各参加者が利用する参加者端末１０（１０Ａ～１０Ｃ・・・）と、を含む。参加者端末１０と会場サーバ２０は、ネットワーク７０を介して通信接続し、データの送受信を行う。また、ライブ会場には、参加者の反応に応じた音声データを出力する疑似音出力装置３０（音声出力装置）と、会場の音声（演奏等）を収集する会場音取得装置４０（音声収音装置）とが配置されている。会場サーバ２０は、疑似音出力装置３０および会場音取得装置４０と通信接続し、データの送受信を行う。
　参加者端末１０は、会場サーバ２０により配信されるライブ映像を参加者が視聴する際に用いる情報処理装置の一例である。参加者は、ライブ会場と異なる場所で、参加者端末１０を用いてライブ配信を視聴することができる。例えば、参加者端末１０は、スマートフォン、タブレット端末、ＰＣ（パーソナルコンピュータ）、ＨＭＤ、ウェアラブルデバイス、プロジェクタ等により実現されてもよい。また、参加者端末１０は、複数の装置により構成されてもよい。
　本実施形態によるライブ配信システムは、コンサートやセミナー、演説、芝居等が行われるリアルの会場（本明細書では、ライブ会場とも称する）の映像と音声を、ネットワーク７０を介して、リアル会場と異なる場所に居る参加者にリアルタイムで届け得ると共に、参加者の反応もリアル会場にリアルタイムで届け得る情報処理システムである。会場の音声は、会場音取得装置４０により取得され、会場サーバ２０に出力される。会場音取得装置４０とは、例えば会場の音響を集約して適宜処理する音響処理装置が挙げられる。より具体的には、ミキサー４２（図１９、図２０）が用いられる。ミキサー４２は、演者の音声や演奏等を収音するマイクロホンや、電子楽器、各種プレーヤー（例えばＣＤプレーヤー、レコードプレーヤー、デジタルプレーヤー）等から入力された各種音源を個別に調整した上で混合（ミックス）して出力する装置である。
　また、本実施形態によるライブ配信システムは、ライブ会場とは異なる場所で視聴している参加者の反応をライブ会場の演者にリアルタイムで提供する。これにより、ライブ配信時に懸念される、従来の集客型のライブイベントの醍醐味である臨場感の不足を解消し得る。このように、本実施形態では、ライブ会場でパフォーマンスを行う演者に対して、ライブの臨場感を提供することができる。さらに、本実施形態では、参加者の個性を反映した個別疑似音データを予め会場サーバ２０に用意しておき、参加者の反応に応じてリアルタイムに会場に設置された疑似音出力装置３０から出力するよう制御する。これにより、画一的なフィードバックではない、より臨場感を与えられるフィードバックを行えると共に、ビットレートの増大や遅延といった伝送上の問題も解消し得る。例えば、本システムを低ビットレートで実現することも可能となる。
　ここで、本実施形態による個別疑似音データとは、拍手の音や歓声、掛け声など、参加者が発生し得る音を個別に疑似的に生成した個別疑似音データである。「歓声」としては、例えばライブ中に発声することが想定される感嘆詞（例えば「わー！」、「おー！」、「きゃー！」、「えー！」、「イェイ！」等）が挙げられる。「掛け声」としては、例えば演者の名前や、アンコールの言葉、賛辞の言葉等が挙げられる。本実施形態では、特にライブ配信における各種音声の取り扱いに着目して説明を行う。
　以下、本実施形態によるライブ配信システムにおいて行われる、個別疑似音データの生成と、個別疑似音データの出力制御について、順次説明する。
　＜＜２．個別疑似音データの生成＞＞
　本実施形態では、ライブ配信開始前に、参加者毎の個別疑似音データを予め生成し、会場サーバ２０に保存する。ここでは、個別疑似音データの生成について図２～図８を参照して具体的に説明する。
　図２は、本実施形態による個別疑似音データの生成と保存について説明する図である。本実施形態による個別疑似音データは、例えば個別疑似音生成サーバ５０により生成される。個別疑似音生成サーバ５０は、参加者端末１０から、収音された拍手音データ（参加者が実際に拍手した音）や歓声データ（参加者の肉声）に基づいて、参加者の個性を反映させた個別疑似音データを生成する情報処理装置の一例である。参加者の個性とは、参加者が発した音の特徴である。より具体的には、個別疑似音生成サーバ５０は、予め用意されたテンプレート拍手音データやテンプレート歓声データ（いずれも、音声信号）に、参加者端末１０から取得した実音（収音された拍手音データや歓声データ）から抽出した特徴（例えば周波数解析の結果）を重畳することで、拍手音や歓声の個別疑似音データ（すなわち、合成音声）を生成する。また、個別疑似音生成サーバ５０は、生成した個別疑似音データの出力を指示する参加者の操作方法の設定情報（本明細書では「操作方法情報」と称する）も参加者端末１０から取得する。そして、個別疑似音生成サーバ５０は、参加者のＩＤに対応付けて、生成した、拍手音または／および歓声の個別疑似音データと、操作方法情報を、会場サーバ２０に出力し、会場サーバ２０において保存する。
　以下、このような個別疑似音データの生成について、より詳細に説明する。
　＜２－１．個別疑似音生成サーバ５０の構成例＞
　図３は、本実施形態による個別疑似音生成サーバ５０の構成の一例を示すブロック図である。図３に示すように、個別疑似音生成サーバ５０は、通信部５１０、制御部５２０、および記憶部５３０を有する。
　（通信部５１０）
　通信部５１０は、他の装置と無線または有線により通信接続してデータの送受信を行い得る。通信部５１０は、例えば有線／無線ＬＡＮ（Local　Area　Network）、Ｗｉ－Ｆｉ（登録商標）、Ｂｌｕｅｔｏｏｔｈ（登録商標）、携帯通信網（ＬＴＥ（Long　Term　Evolution）、３Ｇ（第３世代の移動体通信方式）、４Ｇ（第４世代の移動体通信方式）、５Ｇ（第５世代の移動体通信方式））等により実現される。例えば通信部５１０は、ネットワーク７０を介して参加者端末１０および会場サーバ２０とデータの送受信を行い得る。
　（制御部５２０）
　制御部５２０は、演算処理装置および制御装置として機能し、各種プログラムに従って個別疑似音生成サーバ５０内の動作全般を制御する。制御部５２０は、例えばＣＰＵ（Central　Processing　Unit）、マイクロプロセッサ等の電子回路によって実現される。また、制御部５２０は、使用するプログラムや演算パラメータ等を記憶するＲＯＭ（Read　Only　Memory）、及び適宜変化するパラメータ等を一時記憶するＲＡＭ（Random　Access　Memory）を含んでいてもよい。
　本実施形態による制御部５２０は、実音解析部５２１、個別疑似音データ生成部５２２、および保存制御部５２３としても機能する。実音解析部５２１は、通信部５１０を介して参加者端末１０から受信した、実際に収音した参加者の拍手音や歓声（参加者が実際に発した音）を解析する。参加者端末１０では、マイクロホン（以下、マイクと称する）により、参加者が実際に拍手した際の音や、歓声、掛け声等を収音し、これをデジタル化し、デジタル化した信号（音声信号）を個別疑似音生成サーバ５０に送信する。また、実音解析部５２１は、解析の一例として周波数解析を行い、周波数の特性を特徴として抽出してもよい。また、実音解析部５２１は、解析の一例として時間特性を特徴として抽出してもよい。特徴抽出のプログラム（アルゴリズム）は、記憶部５３０に記憶され得る。
　個別疑似音データ生成部５２２は、実音解析部５２１による解析結果（抽出された特徴、例えば周波数特性）を、予め用意されたテンプレートの音データ（拍手音データや歓声データ）に重畳し、参加者毎の拍手音または歓声の個別疑似音データを生成する。図４は、本実施形態による抽出された参加者の特徴をテンプレート音データに重畳する処理について説明する図である。
　図４上段に示す例は、周波数領域で特徴を重畳する例である。例えば図４上段に示すようにテンプレート音データＡ（テンプレートの拍手音データまたは歓声データ）が持つ特徴的周波数ｆ１、ｆ２がある場合に、ある参加者の特徴（周波数特性）はそこからズレたｆ１´、ｆ２´であるとする。この場合、個別疑似音データ生成部５２２は、テンプレート音データＡのｆ１をｆ１´に、ｆ２をｆ２´に加工または変形する処理を行う。図４上段に示す例では、ｆ１＜ｆ１´、ｆ２＜ｆ２´であるため、生成（個別化）された個別疑似拍手音／歓声データは、テンプレート音データＡに比べて高い音に聞こえるようになる。なお、図４上段に示す例に限らず、新たな特徴的周波数ｆ３を追加したり、特徴的周波数だけではなく、周波数の傾きや、より大局的な傾向を特徴として反映させる等、テンプレート音データＡに対して、ある参加者の特徴を反映するための加工または変形する処理であればどのようなものであってもよい。
　図４下段は、時間軸領域で特徴を重畳する例である。例えば図４下段に示すようにテンプレート音データＢ（テンプレートの拍手音データまたは歓声データ）が始点ｔ１、終点ｔ２を持つ場合に、ある参加者の特徴（周波数特性）はそこからズレたｔ１´、ｔ２´であるとする（時間特性の考慮）。この場合、個別疑似音データ生成部５２２は、テンプレート音データＢのｔ１をｔ１´に、ｔ２をｔ２´に加工または変更する処理を行う。図４下段に示す例では、｜ｔ２－ｔ１｜＞｜ｔ２´－ｔ１´｜であるため、ピッチが高くなり、生成（個別化）された個別疑似拍手音／歓声データは、テンプレート音データＢに比べて高い音に聞こえるようになる。なお、図４下段に示す例に限らず、波形情報の包絡や、より大局的な傾向を特徴として反映させてもよい。なお、実際の多数の拍手や歓声では、個々人の拍手／歓声の開始タイミングは一致せず、バラバラになっている。このため、始点ｔ１／ｔ１´は、各参加者のＩＤに対応付けたランダムな値にすることで、より自然な拍手音／歓声の疑似音データを生成することもできる。
　テンプレート音データは、テンプレート用に予め用意（収録）した拍手や歓声の音データである。また、テンプレート拍手音データや、テンプレート歓声データは、それぞれ複数パターン用意していてもよい。同じ人物の拍手や歓声であっても、叩き方や声の出し方によってそれぞれ音の特徴が異なる。例えばライブ配信で視聴する楽曲の曲調や本人の盛り上がり度合等によって、イベント中の拍手の叩き方に一個人であっても変化が見られる場合がある。そのため、手のフォームを変えた複数パターンの拍手音を生成するようにしてもよい。その際、参加者端末１０で参加者の拍手音を収音する際に、拍手のフォームのイラストを提示する等のインストラクションを加え、マイクによる収音と、収音した音声の解析をパターン数だけ繰り返す。
　また、生成する個別疑似音データは、一例として、１回の拍手音や、１回の歓声、１回の掛け声を想定する。
　そして、保存制御部５２３は、生成された個別疑似音データを、参加者ＩＤと対応付けて会場サーバ２０に保存するよう制御する。また、保存制御部５２３は、参加者端末１０から取得した操作方法情報も、上記参加者ＩＤおよび生成された個別疑似音データと併せて会場サーバ２０に保存するよう制御する。
　以上、個別疑似音生成サーバ５０による疑似音データの生成機能について説明した。なお、生成する疑似音データは、拍手音、歓声に限定されず、掛け声や、足を鳴らす音等も挙げられる。また、「掛け声」とは、例えば出演者の名前、出演者や曲に対応付けられた特定の言葉、アンコールの言葉、賞賛の言葉等が挙げられる。
　また、本実施形態では、テンプレート用に予め用意（収録）した音データを共通して用いて、各参加者の特徴を重畳した個別疑似音データをそれぞれ生成している。参加者端末１０で収音した音声を登録して用いると、拍手や肉声以外の音（雑音）が含まれてしまう恐れや、参加者側での録音環境が高品位とは限らず（マイクの性能など）、ノイズや音切れが生じる可能性もあるため、テンプレート用に予め用意した（高品位でノイズが低減された）音データを用いることが好ましい。なお、本実施形態はこれに限定されず、参加者の肉声を予め保存し、ライブ配信中に参加者の操作に応じて会場で出力することも可能である。
　（記憶部５３０）
　記憶部５３０は、制御部５２０の処理に用いられるプログラムや演算パラメータ等を記憶するＲＯＭ（Read　Only　Memory）、および適宜変化するパラメータ等を一時記憶するＲＡＭ（Random　Access　Memory）により実現される。例えば、記憶部５３０は、テンプレート拍手音データ、テンプレート歓声データ、特徴抽出プログラム等を記憶する。
　以上、本実施形態による個別疑似音生成サーバ５０の構成について説明した。なお、図３に示す個別疑似音生成サーバ５０の構成は一例であって、本開示はこれに限定されない。例えば、個別疑似音生成サーバ５０は、複数の装置から成るシステムであってもよい。また、個別疑似音生成サーバ５０の機能（個別疑似拍手音データの生成）は、会場サーバ２０により実現されてもよい。また、個別疑似音生成サーバ５０の機能（個別疑似拍手音データの生成）を、参加者端末１０で実現してもよい。
　続いて、本実施形態による個別疑似拍手音データの生成の流れと、個別疑似歓声データの生成の流れについて、それぞれ具体的に説明する。
　＜２－２．個別疑似拍手音データの生成の流れ＞
　図５は、本実施形態による個別疑似拍手音データの生成の流れの一例を示すフローチャートである。図５に示す処理は、ライブ配信のイベント開始前に行われる。
　図５に示すように、まず、参加者が参加者端末１０を用いて、本システムにより提供されるサービス（ライブ配信サービス）へのログイン処理を行い、個別疑似音生成サーバ５０の制御部５２０は、参加者ＩＤ（参加者の識別情報）を取得する（ステップＳ１０３）。ログイン画面は、個別疑似音生成サーバ５０が提供してもよい。
　次に、個別疑似音生成サーバ５０の制御部５２０は、参加者端末１０において、参加者の拍手音（実音）の収音を行うよう制御する（ステップＳ１０６）。具体的には、個別疑似音生成サーバ５０は、拍手音収音のためのインストラクションを参加者端末１０の表示部に表示し、参加者端末１０のマイクにより拍手音を収音する。なお、参加者端末１０の表示部は、液晶ディスプレイ（ＬＣＤ：Liquid　Crystal　Display）、有機ＥＬ（Electro　Luminescence）ディスプレイなどの表示装置であってもよい。また、参加者端末１０の表示部は、画像をスクリーンや壁に投影するプロジェクタであってもよい。また、参加者端末１０が、参加者の頭部に装着される透過型ＨＭＤ（Head　Mounted　Display）の場合に、参加者の眼前に配置された透過型表示部に、インストラクションをＡＲ（Augmented　Reality）表示してもよい。また、参加者端末１０が、各種表示装置と通信接続し、インストラクションを表示する制御を行ってもよい。
　ここで、図６に、本実施形態による拍手音収音における参加者へのインストラクションの表示画面例を示す。図６上段に示すように、まず、個別疑似音生成サーバ５０の制御部５２０は、参加者端末１０の表示部１３０に、参加者の拍手音を参加者端末１０のマイク入力によって収音する旨を示す画面１３２を表示する。ここでは一例として、拍手音の特徴をより正確に抽出するため、拍手を行うタイムポイントを参加者に提示する。具体的には、例えば画面上で１秒ごとに５つのマークを順次点灯させ、その点灯に合わせてなるべく均一な方法で拍手を行うよう指示する。この際、拍手のフォームもイラストで提示するようにしてもよい。参加者は、インストラクションおよび画面上に表示されるタイムポイントに合わせて、５回手を叩く。なお、特徴抽出の検出精度を高めるため、複数回（例えば５回）、拍手を行わせている。個別疑似音生成サーバ５０の実音解析部５２１は、複数回タイムポイントに合わせて手を叩いた音のうち、最初の１回は参加者が慣れずに精度が下がる場合もあるため、２回目以降を解析対象のデータとして用いるようにしてもよい。また、個別疑似音生成サーバ５０の実音解析部５２１は、複数回分の拍手音を平均化して解析対象のデータとしてもよい。
　次いで、実音解析部５２１は、１秒ごとに点灯した時刻をタイムポイントとして、そのタイムポイントを中心に、収音された拍手音の周波数特性を算出する（ステップＳ１０６、Ｓ１０９）。具体的には、例えば実音解析部５２１は、タイムポイントを目安とした拍手音をスペクトル解析し、スペクトル情報から周波数特性を抽出する。
　次に、実音解析部５２１は、周波数特性をテンプレートの拍手音データに重畳することで、参加者の特徴（個性）を反映させた個別疑似拍手音データの生成を行う（ステップＳ１１５）。特徴（周波数特性）の重畳については、図４を参照して上述した通りである。
　このような解析および生成を行っている間、制御部５２０は、図６中段に示すような、「解析中」であることを示す画面１３３を表示部１３０に表示してもよい。
　また、同じ人物であっても異なる特徴の拍手を行うことが想定されるため、個別疑似音生成サーバ５０は、上記ステップＳ１０６～Ｓ１１５に示す処理を複数回繰り返し、複数の個別疑似拍手音データを生成してもよい。例えば、個別疑似音生成サーバ５０は、拍手する際の手のフォームや、拍手の強さ（強く、弱く）、タイミング（早く、ゆっくり）等を異ならせたインストラクションやイラスト等を提示し、参加者による複数パターンの拍手音（実音）を取得し、それぞれ解析し、個別疑似拍手音データを複数生成し得る。
　続いて、拍手音の解析および個別疑似拍手音データの生成がすべて終了すると、個別疑似音生成サーバ５０は、ライブ配信のイベント中に行う当該個別疑似拍手音データの操作方法の設定を行う（ステップＳ１１８）。個別疑似音生成サーバ５０は、例えば図６下段に示すような、操作方法の説明等を示す画面１３４を表示し、操作方法の設定を参加者に促す。
　操作方法としては、例えば、イベント中に参加者端末１０のマイク入力を許可した状態とした場合、参加者の実際の拍手のタイミング等を、反応情報（拍手の出力指令）として用いることができる。また、マイクを用いない操作方法としては、イベント中に画面に表示されるアイコンのクリック（マウスを用いたクリック、または指や電子ペン等によるタップ）、キーボードの所定キーの操作、ジェスチャ（カメラにより検出）、コントローラのボタン操作、コントローラ（例えばペンライト）を振る操作等であってもよい。また、参加者の腕等に装着したセンサにより検出される腕等の動きであってもよい。
　そして、個別疑似音生成サーバ５０の保存制御部５２３は、生成した１以上の個別疑似拍手音データと、設定した操作方法を示す操作方法情報を、参加者ＩＤに対応付けた状態で、会場サーバ２０に送信する（ステップＳ１２１）。会場サーバ２０では、参加者ＩＤ、１以上の個別疑似拍手音データ、および操作方法情報を、対応付けて記憶部に格納する。
　＜２－３．個別疑似歓声データの生成の流れ＞
　続いて、図７および図８を参照して個別疑似歓声データの生成の流れについて説明する。
　図７は、本実施形態による個別疑似歓声データの生成の流れの一例を示すフローチャートである。図７に示すように、まず、個別疑似音生成サーバ５０の制御部５２０は、参加者ＩＤを取得する（ステップＳ１４３）。図５を参照して説明したように参加者により行われるログイン処理から取得してもよいし、個別疑似拍手音データの生成に引き続き個別疑似歓声データの生成が行われる場合は、上記ステップＳ１０３に示すログイン処理から引き続き参加者ＩＤを取得している状態といえる。
　次に、個別疑似音生成サーバ５０の制御部５２０は、参加者端末１０において、参加者の歓声（実音）の収音を行うよう制御する（ステップＳ１４６）。具体的には、個別疑似音生成サーバ５０は、歓声収音のためのインストラクションを参加者端末１０の表示部に表示し、参加者端末１０のマイクにより歓声を収音する。ここで、図８に、本実施形態による歓声収音における参加者へのインストラクションの表示画面例を示す。図８上段に示すように、まず、個別疑似音生成サーバ５０の制御部５２０は、参加者端末１０の表示部１３０に、参加者の歓声を参加者端末１０のマイク入力によって収音する旨を示す画面１３５を表示する。ここでは一例として、発信音が鳴った後、３秒以内で入力するよう指示する画面が表示される。歓声としては、上述したように様々な感嘆詞が挙げられるが、参加者は、登録したい歓声を選択した上で、声を出すようにしてもよい。例えば、選んだ歓声と同じ感嘆詞で声を出すようにしてもよいし、選んだ歓声と異なる感嘆詞で声を出してもよい。参加者の肉声から声の特徴が抽出され、選んだ感嘆詞のテンプレート疑似歓声データに当該特徴が反映され、個別疑似歓声データが生成され得る。用意される歓声のパターンは複数であってもよいし、単数であってもよい。
　次に、実音解析部５２１は、収音された歓声を解析して特徴を抽出する（ステップＳ１４９、Ｓ１５２）。具体的には、例えば実音解析部５２１は、収音された歓声をスペクトル解析し、スペクトル情報から、スペクトル包絡やフォルマントを特徴（周波数特性）として抽出する。
　続いて、実音解析部５２１は、予め用意されたテンプレートの歓声データに、周波数特性を反映させ、個別疑似歓声データを生成する（ステップＳ１５５）。自宅などライブ会場の雰囲気と異なる場所では自身の歓声を完全には再現できない可能性があるため、予め用意したテンプレート歓声データに各参加者の声の特徴を重畳させることで、個別疑似歓声データを生成する。
　このような解析および生成を行っている間、制御部５２０は、図８中段に示すような、「解析中」であることを示す画面１３６を表示部１３０に表示してもよい。
　次いで、個別疑似音生成サーバ５０は、生成した個別疑似歓声データを再生して参加者に確認させてもよい（ステップＳ１５８）。例えば個別疑似音生成サーバ５０は、図８下段に示すように、個別疑似歓声データの確認を促す画面１３７を表示部１３０に表示する。なお、個別疑似歓声データの生成をやり直したい場合は、画面１３７の「戻る」ボタンを選択し、再度歓声の収音を行い得る。すなわち上記ステップＳ１４６～Ｓ１５８が繰り返される。
　さらに、イベントで頻繁に使う掛け声等がある場合、参加者は、オプションワードの追加を行い得る（ステップＳ１６１）。例えば参加者は、図８下段に示す画面１３７に表示される案内に従って、追加可能な言葉（掛け声）から追加する言葉を選択し得る。「アンコール」の掛け声や、アーティストの名前、特定の曲で行われる決まったコールなど、ライブ配信者側は、予めオプションワードの候補を用意することが可能である。
　次いで、オプションワードを追加する場合（ステップＳ１６１／Ｙｅｓ）、まず、個別疑似音生成サーバ５０は、オプションワードの登録を行う（ステップＳ１６４）。オプションワードの登録は、例えば参加者が参加者端末１０を用いて、図８下段に示す画面１３７に表示される各フォームにおいて、追加したい言葉を選択する（例えば各フォームにおいて、プルダウン方式により選択可能な言葉で提示される）。
　次に、個別疑似音生成サーバ５０は、入力された単語が、倫理的に発してはいけない言葉ではないかを、コーパス等の特定の辞書（例えば禁止用語リストなど）を用いた照合により判定する（ステップＳ１６７）。予め演者側に用意された候補から選ぶ場合は、かかる倫理判定処理はスキップされてもよい。参加者が自由にオプションワードを追加することも可能であり、その場合は、例えば予め演者側が用意した禁止用語リストと照合して判定され得る。禁止用語リストに含まれる言葉が入力された場合、個別疑似音生成サーバ５０は、登録できない旨を参加者に通知する。
　次いで、登録できる言葉が入力されると、個別疑似音生成サーバ５０は、参加者の掛け声の収音を行うよう制御する（ステップＳ１７０）。参加者は、インストラクションに従って、追加するワードを声に出して参加者端末１０のマイクに入力する。
　次に、個別疑似音生成サーバ５０の実音解析部５２１は、収音した掛け声をスペクトル解析し、スペクトル情報から、スペクトル包絡やフォルマントを特徴（周波数特性）として抽出する（ステップＳ１７６）。
　次いで、個別疑似音データ生成部５２２は、抽出した周波数特性を用いて、音声合成により個別疑似掛け声データを生成する（ステップＳ１７９）。音声合成には、演者側が予め用意したテンプレートの掛け声を用いてもよい。また、参加者が任意に入力した単語の場合、個別疑似音データ生成部５２２は、入力された単語（テキスト）に基づいて音声合成によりテンプレートの掛け声を生成し、当該生成したテンプレートの掛け声に周波数特性を重畳して個別疑似掛け声データを生成してもよい。
　次に、個別疑似音生成サーバ５０は、生成した個別疑似掛け声データを再生して参加者に確認させてもよい（ステップＳ１８２）。個別疑似掛け声データの生成をやり直す指示が参加者により入力された場合、ステップＳ１７０に戻り、再度音声収音を行う。また、オプションワードをさらに追加する指示が参加者により入力された場合、ステップＳ１６４に戻り、オプションワードの追加処理を繰り返す。
　なお、ステップＳ１６４～Ｓ１７９に示す処理では、オプションワードを登録する毎に音声の収音を行い、都度解析を行っているが、本実施形態はこれに限定されない。例えば、参加者から複数のサンプル音声データを収音し、収音したサンプルデータと、入力されたオプションワードを組み合わせて、より汎用的に個別疑似掛け声データを生成することも可能である。これにより、都度収音や音声解析を行うことなく、個別疑似掛け声データを生成することができる。
　続いて、個別疑似歓声データ等の生成がすべて終了すると、個別疑似音生成サーバ５０は、ライブ配信のイベント中に行う当該個別疑似歓声データ等の操作方法の設定を行う（ステップＳ１８５）。個別疑似音生成サーバ５０は、操作方法の説明等を示す画面を参加者端末１０の表示部１３０に表示し、操作方法の設定を参加者に促す。
　操作方法としては、例えば、イベント中に画面に表示されるアイコンのクリック（マウスを用いたクリック、または指や電子ペン等によるタップ）、またはキーボードの所定キーの操作を、反応情報（歓声等の出力指令）として用いることができる。例えば歓声や掛け声等の個別疑似音データが複数登録された場合、それぞれに対応するアイコンがライブ配信中に表示部１３０に表示され、参加者はどの歓声や掛け声を出力させるかをアイコンの操作により選択することができる。また、拍手の操作をマイク入力とした場合に、拍手と歓声を同時に入力することを可能とするため、歓声の操作は例えば足で踏んで操作するフットコントローラとしてもよい。フットコントローラについては、図１４を参照して後述する。
　なお、歓声の操作方法は上述した例に限定されず、手で操作するハンディコントローラのボタン操作、ジェスチャ（カメラや加速度センサ等により検出）等により行うことも可能である。
　そして、個別疑似音生成サーバ５０の保存制御部５２３は、生成した１以上の個別疑似歓声データ等と、設定した操作方法を示す操作方法情報を、参加者ＩＤに対応付けた状態で、会場サーバ２０に送信する（ステップＳ１８８）。会場サーバ２０では、参加者ＩＤ、１以上の個別疑似歓声データ、および操作方法情報を、対応付けて記憶部に格納する。
　＜２－４．その他＞
　以上、本実施形態による個別疑似音データの生成について具体的に説明した。なお、本実施形態では一例として個別疑似音生成サーバ５０で個別疑似音データを生成する旨を説明したが、本開示はこれに限定されない。例えば、実音解析部５２１で行う実音解析処理と、個別疑似音データ生成部５２２で行う個別疑似音データの生成処理を、参加者端末１０で行うようにしてもよい。また、参加者端末１０で実音解析処理（特徴の抽出）まで行い、解析結果（抽出した特徴）や操作方法情報を参加者ＩＤと共に個別疑似音生成サーバ５０に送信し、個別疑似音生成サーバ５０が解析結果に基づいて個別疑似音データを生成する処理を行ってもよい。参加者端末１０で実音の解析や個別疑似音データの生成を行う場合、個別疑似音生成サーバ５０は、適宜必要なプログラムやテンプレートの音声等を参加者端末１０に送信する。
　＜＜３．個別疑似音データの出力＞＞
　次に、ライブ配信中における個別疑似音データの出力について説明する。本システムでは、会場サーバ２０により、ライブ配信中に、ライブ参加者の反応に対応する個別疑似音データをリアルタイムでライブ会場に出力する。具体的には、会場サーバ２０は、ライブ会場に設置された疑似音出力装置３０（スピーカ）から個別疑似拍手音データや、個別疑似歓声データを出力する制御を行う。これにより、ライブ会場でライブを行っている演者に対し、多数の参加者のリアルタイムの反応を届けることが可能となり、ライブの臨場感が増す。
　以下、本実施形態における個別疑似音データの出力制御を行う会場サーバ２０の構成と、動作処理例について順次説明する。
　＜３－１．会場サーバ２０の構成例＞
　図９は、本実施形態による会場サーバ２０の構成の一例を示すブロック図である。図９に示すように、会場サーバ２０は、通信部２１０、制御部２２０、および記憶部２３０を有する。
　（通信部２１０）
　通信部２１０は、他の装置と無線または有線により通信接続してデータの送受信を行い得る。通信部２１０は、例えば有線／無線ＬＡＮ（Local　Area　Network）等により実現される。例えば通信部２１０は、ネットワーク７０を介して参加者端末１０とデータの送受信を行い得る。また、通信部２１０は、ライブ会場に設けられた疑似音出力装置３０に個別疑似音データを送信したり、会場音取得装置４０から会場の音声信号（演者の音声が入力されるマイクや楽器から収集した音源）を受信したりする。
　（制御部２２０）
　制御部２２０は、演算処理装置および制御装置として機能し、各種プログラムに従って会場サーバ２０内の動作全般を制御する。制御部２２０は、例えばＣＰＵ（Central　Processing　Unit）、マイクロプロセッサ等の電子回路によって実現される。また、制御部２２０は、使用するプログラムや演算パラメータ等を記憶するＲＯＭ（Read　Only　Memory）、及び適宜変化するパラメータ等を一時記憶するＲＡＭ（Random　Access　Memory）を含んでいてもよい。
　また、本実施形態による制御部２２０は、疑似音生成部２２１、疑似音出力制御部２２２、および会場音送信制御部２２３としても機能する。
　疑似音生成部２２１は、会場に配置された疑似音出力装置３０から出力（再生）する疑似音を生成する機能を有する。具体的には、疑似音生成部２２１は、通信部２１０を介して参加者端末１０から受信した参加者の反応を示す反応情報に応じて個別疑似音データを選択し、選択した個別疑似音データに対して反応情報に基づいてパラメータ調整を行う。
　ここで、「反応情報」とは、参加者による拍手や歓声の操作（動作）に関する操作情報が一例として挙げられる。操作情報には、例えば、単位時間における操作回数、操作タイミング、操作量（押し込み量）、または選択操作情報（選択した項目のＩＤなど）が含まれ得る。また、操作情報には、参加者側で入力された拍手音の周波数解析により得られたスペクトルが含まれていてもよい。また、操作情報は、単位時間（一定時間）毎の操作情報であって、継続的に参加者端末１０から送信され得る。
　疑似音生成部２２１は、これら操作情報に基づいて、単位時間（一定時間）における操作回数や操作タイミング情報等に予め対応付けられた個別疑似音データを選択する。また、疑似音生成部２２１は、参加者により実際に行われた拍手音のスペクトル情報を操作情報として取得し、当該スペクトル情報と類似した個別疑似音データを選択してもよい。また、場合によっては、ライブ会場で流れている音楽の曲調やイベントの内容に合わせて、個別疑似音データの選択を演者側から制御してもよい。例えば、バラードの曲であれば軽く叩く拍手の個別疑似音データ、イベント後半で盛り上がる部分は勢いのある拍手の個別疑似音データなどを選択するよう設定することも可能である。なお、本実施形態による参加者側での拍手や歓声の操作については、図１１～図１７を参照して具体的に説明する。
　次いで、疑似音生成部２２１は、選択された個別疑似音データに対して、操作情報に基づいて、パラメータ調整を行う。例えば疑似音生成部２２１は、操作回数に比例した音量の調整や、操作タイミングに応じた出力タイミングの調整等を行う。これにより、各参加者のリアルタイムの反応を、より自然で臨場感溢れるフィードバックとして提供することができる。
　疑似音出力制御部２２２は、疑似音生成部２２１により選択され、パラメータ調整が行われた個別疑似音データを疑似音出力装置３０から出力する制御を行う。疑似音出力装置３０の一例として、ライブ会場の各観客席に配置された小型スピーカ（個別音声出力装置）が挙げられる。例えば参加者ＩＤに、ライブ会場における参加者の仮想的な位置（以下、仮想位置と称する）が対応付けられている場合（観客席ＩＤを用いてもよい）、疑似音出力制御部２２２は、各参加者の仮想位置に設置されている小型スピーカから、各参加者の個別疑似音データを出力する制御を行う。これにより、ライブ会場の各観客席から各参加者の拍手や歓声等が聞こえ、観客席に実際に観客が居るような臨場感を演者に与えることができる。
　なお、小型スピーカは、全ての観客席にそれぞれ設けられていてもよいし、複数の観客席毎に１つの小型スピーカが設けられていてもよい。よりリアルな臨場感を演者に与えるには全ての観客席（少なくとも視聴している参加者それぞれに割り当てられている会場内の位置）に小型スピーカが設けられていることが望ましいが、必ずしもこれに限定されない。
　会場音送信制御部２２３は、会場音取得装置４０から出力された会場の音声（会場音信号）を、各参加者端末１０に送信する制御を行う。会場音取得装置４０の一例として、ライブ会場の各観客席に配置された小型マイクロホン（個別収音装置）（以下、小型マイクと称する）が挙げられる。例えば会場音送信制御部２２３は、参加者ＩＤに対応付けられている、ライブ会場における参加者の仮想位置に設置されている小型マイクにより収音された会場音信号を取得し、参加者の参加者端末１０に送信する。仮想位置に対応する観客席に設置された小型マイクにより会場音を収音することで、会場の空間の反響や遠近感、方向感を含む会場音が得られる。これにより、ライブ会場の観客席で実際に聞いているような臨場感を参加者に与えることができる。すなわち、近くの観客席（に配置されている小型スピーカ）からの音は近くで聴こえ、各参加者の反応やライブ演奏の音は会場の反響を伴って聴こえる。
　また、会場音送信制御部２２３は、会場音信号に対して微調整（ノーマライズ等）を行った上で送信するようにしてもよい。例えば会場音送信制御部２２３は、ダイナミックレンジ調整等を行う。
　（記憶部２３０）
　記憶部２３０は、制御部２２０の処理に用いられるプログラムや演算パラメータ等を記憶するＲＯＭ（Read　Only　Memory）、および適宜変化するパラメータ等を一時記憶するＲＡＭ（Random　Access　Memory）により実現される。例えば、記憶部２３０は、参加者ＩＤに対応付けて、個別疑似音データ、操作方法情報、および会場における仮想位置等を記憶する。
　以上、本実施形態による会場サーバ２０の構成について説明した。なお、図９に示す会場サーバ２０の構成は一例であって、本開示はこれに限定されない。例えば、会場サーバ２０は、複数の装置から構成されていてもよい。
　＜３－２．動作処理例＞
　続いて、本実施形態による個別疑似音データの出力の動作処理について図１０を参照して説明する。図１０は、本実施形態に係る会場サーバ２０による個別疑似音データの出力の動作処理の流れの一例を示すフローチャートである。図１０に示す処理は、ライブ配信中に継続的に行われ得る。
　図１０に示すように、まず、会場サーバ２０は、参加者端末１０から、参加者ＩＤ、操作回数、およびタイミング情報等をリアルタイムで取得する（ステップＳ２０３）。操作回数、およびタイミング情報は、操作情報の一例である。
　次に、会場サーバ２０の疑似音生成部２２１は、参加者ＩＤに対応付けられた１以上の個別疑似音データのうち、操作回数やタイミング情報に応じて１の個別疑似音データを選択する（ステップＳ２０６）。
　次いで、疑似音生成部２２１は、選択された個別疑似音データに対して、必要に応じてパラメータ調整を行う（ステップＳ２０９）。例えば疑似音生成部２２１は、操作回数に比例した音量調整や、操作タイミングに応じたタイミング調整（トリガーや、拍手音の打音タイミング等）を行う。パラメータ調整のより具体的な例については、図１２、図１５～図１７を参照して説明する。また、場合によっては、演者側がイベントの内容や曲調、曲のジャンル等に応じて予め指定した比例係数αを掛けて調整してもよい。これにより、拍手や歓声に個性を持たせ、同じ人物であってもパフォーマンスの雰囲気に応じて変化のある拍手や歓声をリアルタイムに出力することが可能となる。
　次に、疑似音出力制御部２２２は、参加者ＩＤに対応付けられた仮想位置に配置された小型スピーカ（疑似音出力装置３０の一例）から、個別疑似音データを再生する制御を行う（ステップＳ２１２）。なお、本実施形態では一例として会場の各観客席に疑似音出力装置３０として小型スピーカがそれぞれ配置されている場合を想定している。
　次いで、会場音送信制御部２２３は、参加者ＩＤに対応付けられた仮想位置に置かれた小型マイクにより収音される会場音信号を取得する（ステップＳ２１５）。ここでは一例として会場の各観客席に会場音取得装置４０として小型マイクがそれぞれ配置されている場合を想定している。
　また、会場音送信制御部２２３は、会場音信号の微調整（ノーマライズ等）を行い（ステップＳ２１８）、会場音信号を参加者端末１０に送信する制御を行う（ステップＳ２２１）。
　以上、本実施形態による個別疑似音データの出力処理の流れについて具体的に説明した。なお、図１０に示すフローチャートの各ステップは、適宜並列に処理してもよいし、逆の順序で処理してもよい。また、必ずしもすべてのステップを処理しなくともよい。例えば、ステップＳ２０３～Ｓ２１２に示す処理は、会場への観客音声（個別疑似音データ）出力処理であって、ライブ配信中に継続的に繰り返し処理される。また、観客音声出力処理と並列して、ステップＳ２１５～Ｓ２２１に示す参加者への会場音声（会場音信号）伝送処理も、ライブ配信中に継続的に繰り返し処理される。
　続いて、個別疑似音データの出力に関し、具体例を挙げてより詳細に説明する。
　＜３－３．個別疑似拍手音データの出力＞
　まず、個別疑似音データの一例である個別疑似拍手音データの出力処理について説明する。
　（３－３－１．拍手の操作について）
　図１１は、本実施形態による参加者側における拍手の操作について説明する図である。図１１に示すように、参加者端末１０は、通信部１１０、制御部１２０、表示部１３０、スピーカ１５０、およびマイク１６０を有する。また、図１１には図示していないが、参加者端末１０は、さらに記憶部や操作入力部１４０を有する。参加者端末１０は、会場サーバ２０により配信されるライブ映像や音声を出力する機能を有する。
　制御部１２０は、演算処理装置および制御装置として機能し、各種プログラムに従って参加者端末１０内の動作全般を制御する。制御部１２０は、例えばＣＰＵ（Central　Processing　Unit）、マイクロプロセッサ等の電子回路によって実現される。また、制御部１２０は、使用するプログラムや演算パラメータ等を記憶するＲＯＭ（Read　Only　Memory）、及び適宜変化するパラメータ等を一時記憶するＲＡＭ（Random　Access　Memory）を含んでいてもよい。
　本実施形態による制御部１２０は、通信部１１０によりネットワーク７０を介して会場サーバ２０から受信したライブ映像を表示部１３０に表示（または壁やスクリーンに投影）する制御や、スピーカ１５０から会場音信号を出力する制御を行う。
　表示部１３０は、液晶ディスプレイ（ＬＣＤ：Liquid　Crystal　Display）、有機ＥＬ（Electro　Luminescence）ディスプレイなどの表示装置であってもよい。また、参加者端末１０の表示部１３０は、画像をスクリーンや壁に投影するプロジェクタであってもよい。また、参加者端末１０が、参加者の頭部に装着される透過型ＨＭＤ（Head　Mounted　Display）の場合に、参加者の眼前に配置された透過型表示部に、ライブ映像等をＡＲ（Augmented　Reality）表示してもよい。また、参加者端末１０が、各種表示装置と通信接続し、ライブ映像等を表示する制御を行ってもよい。図１１に示す例では、表示部１３０に、ライブ映像と、参加者側のマイク入力のＯＮ／ＯＦＦや拍手や歓声を示すアイコン画像が表示されている。例えばマイク入力がＯＮの場合、参加者Ｐは実際に手を叩いて拍手を行うことで、拍手の操作を行い得る。制御部１２０は、マイク１６０により収音した拍手音声を解析し、単位時間における拍手回数、または拍手タイミングを、操作情報（拍手の操作指令）として参加者ＩＤと共に通信部１１０から会場サーバ２０に送信する。制御部１２０は、単位時間毎に操作情報等を会場サーバ２０に送信し得る。
　また、マイク入力がＯＦＦの場合、参加者Ｐは拍手のアイコン画像をマウスでクリックしたり、画面を指等でタップしたり、キーボードの対応する所定のキーを押したりすることで、拍手の操作を行い得る。この場合、制御部１２０は、単位時間におけるクリック回数、またはクリックタイミング等を、操作情報（拍手の操作指令）として参加者ＩＤと共に通信部１１０から会場サーバ２０に送信する。なお、操作方法はこれらに限定されず、参加者Ｐが手に持つコントローラ（ペンライト等であってもよい）を振ったり、所定のジェスチャを行ったりすることで、拍手の操作を行い得る。これらの動作は、各種センサ（加速度センサ、ジャイロセンサ、カメラ等）により検出され得る。
　なお、表示部１３０に表示される拍手のアイコン画像は、拍手操作を受け付けた際に、操作タイミングに合わせて点滅するよう制御されてもよい。これにより、操作を受け付けたことを参加者Ｐにフィードバックすることが可能となる。
　（３－３－２．個別疑似拍手音データのパラメータ調整について）
　会場サーバ２０の疑似音生成部２２１は、参加者端末１０から送信された参加者ＩＤおよび操作情報に基づいて、個別疑似拍手音データを選択する。例えば疑似音生成部２２１は、単位時間における操作回数（拍手の回数、クリック操作の回数、タップ操作の回数等）に対応付けられた個別疑似拍手音データを選択する。そして、疑似音生成部２２１は、選択された個別疑似拍手音データに対して、操作情報に基づいてパラメータ調整を行う。
　図１２は、本実施形態による個別疑似拍手音データのパラメータ調整の一例について説明する図である。疑似音生成部２２１は、図１２に示すように、例えば単位時間ｂ１における操作回数（例えば５回）に応じた第１の個別疑似拍手音データを、単位時間ｂ１における操作回数に比例した音量（振幅）に調整し、さらに５回の各操作のタイミングに合わせて第１の個別疑似拍手音データの５回の各再生のタイミングを調整する。続いて、疑似音生成部２２１は、単位時間ｂ２における操作回数（例えば６回）に応じた第２の個別疑似拍手音データを、単位時間ｂ２における操作回数に比例した音量（振幅）に調整し、さらに６回の各操作のタイミングに合わせて第２の個別疑似拍手音データの６回の各再生のタイミングを調整する。このように、単位時間毎に操作情報に応じて適宜パラメータ調整（音量、タイミング）を行って再生することで、参加者の実際の拍手をよりリアルに再現した個別疑似音データを再生することが可能となる。また、本システムでは、単位時間毎に、操作回数等に応じて、個別疑似拍手音データが自動的に選択され得る。
　＜３－４．個別疑似歓声データの出力＞
　次に、個別疑似音データの一例である個別疑似歓声データの出力処理について説明する。なお、ここでは代表して個別疑似歓声データの出力処理について主に説明するが、個別疑似掛け声データの出力処理も同様に行われ得る。
　（３－４－１．歓声の操作について）
　図１３は、本実施形態による参加者側における歓声の操作について説明する図である。図１３に示す例では、参加者端末１０が有する操作入力部１４０の一例として、キーボード１４１、マウス１４２、およびフットコントローラ１４３を挙げる。
　表示部１３０では、ライブ映像と、参加者側のマイク入力のＯＮ／ＯＦＦや拍手や歓声を示すアイコン画像が表示されている。歓声を示すアイコン画像は、歓声のパターンに応じてそれぞれ表示され得る。これらのアイコン画像は、例えば色を変えて表示されてもよい。また、歓声を示す各アイコン画像には、歓声のパターンを示すテキストが表示されていてもよい。また、掛け声の出力操作を行うためのアイコン画像も歓声のアイコン画像と同様に表示されてもよい（掛け声の内容を示すテキストを併せて表示する）。
　参加者Ｐは、歓声等のアイコン画像をマウスでクリックしたり、画面を指等でタップしたり、キーボードの対応する所定のキーを押したりすることで、歓声の選択操作を行い得る。この場合、制御部１２０は、選択された歓声パターンを示す情報（選択操作を示す情報）と、単位時間におけるクリック回数、またはクリックタイミング等を、操作情報（歓声等の操作指令）として参加者ＩＤと共に通信部１１０から会場サーバ２０に送信する。なお、選択操作を示す情報は、選択された歓声等のパターンに対応付けられたＩＤ（歓声ＩＤ）であってもよい。予め生成される個別疑似歓声データには歓声ＩＤが割り振られ得る。制御部１２０は、参加者Ｐに選択された歓声ＩＤを会場サーバ２０に送信してもよい。また、歓声は一定時間の長さを有する音声であるため、制御部１２０は、操作タイミング情報として、歓声のアイコン画像をクリック等した時刻（開始タイミング）のみを記録し、会場サーバ２０にトリガーとして出力することで歓声の再生を開始させてもよい。また、制御部１２０は、操作回数としては、単位時間毎のクリック回数等を集計して会場サーバ２０に送信してもよい。
　（３－４－２．個別疑似歓声データのパラメータ調整について）
　会場サーバ２０の疑似音生成部２２１は、参加者端末１０から送信された参加者ＩＤ、および参加者が選択した歓声パターンを示す歓声ＩＤ（選択操作情報の一例）に基づいて、個別疑似歓声データを選択する。そして、疑似音生成部２２１は、選択された個別疑似歓声データに対して、操作情報に基づいてパラメータ調整を行う。
　図１４は、本実施形態による個別疑似歓声データのパラメータ調整の一例について説明する図である。疑似音生成部２２１は、図１４に示すように、例えばトリガーが入力された際に、選択された個別疑似歓声データの再生を開始し、歓声が再生されている間、単位時間毎の操作回数に比例して音量（振幅）を調整してもよい。例えば図１４に示す例では、トリガーが入力されたタイミングで、選択された歓声ＩＤに応じた第１の個別疑似歓声データの再生が開始され、第１の個別疑似歓声データは、単位時間ｂ１における操作回数（例えば５回）に比例した音量（振幅）に調整され、次いで、引き続き第１の個別疑似歓声データが、単位時間ｂ２における操作回数（例えば６回）に比例した音量（振幅）に調整されている。歓声パターンの選択は、選択したパターンの音声出力が終了するまで（次のトリガーが入力されるか、言葉など一定時間発する必要がある場合は所定の持続時間が終了するまで）、アクティブな状態となる。
　なお、操作回数に比例して音量を調整すると、ある一定の長さがある言葉（単語や文章）から成る掛け声の場合、言葉の末尾まで発するためには操作を行い続けなければならない（例えば掛け声のアイコン画像を連打し続ける等）。仮に参加者Ｐによる操作時間が、掛け声の持続時間よりも短い場合、音声が途中で消えてしまうことになる。そこで、会場サーバ２０の疑似音生成部２２１は、参加者端末１０からトリガーが送られた後、個別疑似掛け声データの持続時間が終了するまで、音量のベースラインを０より大きな値にすることで、言葉が途中で消えてしまうことを回避することができる。図１５は、本実施形態による個別疑似掛け声データのパラメータ調整の一例について説明する図である。図１５に示すように、例えばトリガーが入力されてから再生した掛け声の持続時間の間において、単位時間に含まれる操作回数が０となった場合でも、疑似音生成部２２１は、最小の音量とするよう調整することで、音声が消えてしまうことを回避することが可能である。
　（フットコントローラ１４３について）
　歓声や掛け声の操作方法は、上述したアイコン画像のクリック操作等に限定されない。例えば拍手の操作を実際の拍手によるマイク入力で行う場合、歓声のアイコン画像を並行してクリックしたりキーボード操作したりすることは困難である。したがって、本実施形態では、足で操作するフットコントローラ１４３を歓声操作に用いてもよい。
　図１６は、本実施形態による歓声の操作を行うためのフットコントローラ１４３の一例について説明する図である。図１６に示すように、例えばフットコントローラ１４３には、複数のスイッチが設けられ、足で押し込むことで操作する。複数のスイッチは、例えば色や形が異なり、それぞれ異なるパターンの歓声に対応している。また、フットコントローラ１４３の場合は、操作回数ではなく、操作の強さ（スイッチを押し込む強さ）が、疑似音生成部２２１によるパラメータ調整に用いられ得る。
　フットコントローラ１４３の各スイッチには、押し込みを検知するセンサが設けられ得る。押し込みの程度は、圧力センサにより検知されてもよいし、図１６下段に示すように、スイッチの高さの変化量が検知されてもよい。スイッチ部分は、例えばゴム状弾性部材で形成され、押す強さに応じてスイッチ部分の高さが変化する。また、図１６上段に示すように、フットコントローラ１４３には、各スイッチの押し込みの程度を示す表示部（押し込み力のメータ）が設けられていてもよい。
　図１７は、本実施形態によるフットコントローラ１４３を用いた場合の個別疑似歓声データのパラメータ調整の一例について説明する図である。フットコントローラ１４３を用いた場合、操作量（スイッチを押す強さ、押し込み量、またはスイッチの高さの変化量）は、連続的に変化する。制御部１２０は、その変化をサンプリングして操作量を会場サーバ２０に送信する。例えば制御部１２０は、データ量を小さくするため、低い周波数でサンプリングしてもよい。具体的には、例えば図１７の上段に示すように単位時間毎に周波数でサンプリングし、開始時刻と終了時刻の２点の強度情報のみを、操作量情報として送信するようにしてもよい。
　会場サーバ２０の疑似音生成部２２１は、単位時間毎に、サンプリングされた２点間の補完を行い、図１７の上段に点線で示すように、なだらかな近似信号を作成する。そして、疑似音生成部２２１は、作成した近似信号に合わせて、図１７下段に示すように、個別疑似歓声データの音量（振幅）を調整する。単位時間内にトリガー時刻が含まれる場合は、開始時刻をトリガー時刻に置き換えて音量の包絡信号を生成する。
　また、フットコントローラ１４３の場合も、操作量に応じて音声を調整すると、ある一定の持続時間を要する掛け声を言葉の末尾まで発するためには操作を継続しなければならなくなる。そこで、疑似音生成部２２１は、単位時間内に含まれる操作量情報（押す強さ等の情報）が０の場合でも、疑似音の掛け声の持続時間内であれば、最小の音量で再生を継続するようパラメータ調整を行ってもよい。また、図１６上段に示すように、フットコントローラ１４３の各スイッチに対応する位置に、操作時間（掛け声の持続時間）を示すメータを設置してもよい。点灯している間は掛け声を発している最中であることを明示することで、参加者が意識的に、掛け声の持続時間が終了するまで操作し続けることを促すことが可能となる。なお、かかる足元に位置するメータをライブ配信中に見ることが難しい場合も考慮し、制御部１２０は、フットコントローラ１４３の制御のパラメータを表示部１３０に表示するようにしてもよい。例えば、制御部１２０は、図１３に示すように、歓声のアイコン画像の横に、操作時間（掛け声の持続時間）を示すメータを表示し、点灯している間は掛け声を発している最中であることを明示するようにしてもよい。また、制御部１２０は、アイコン画像の色の濃さ等を、フットコントローラ１４３のスイッチを押す強さに応じて変化させてもよい。
　＜＜４．変形例＞＞
　続いて、本実施形態によるライブ配信システムの変形例について、図１８～図２１を参照して説明する。
　上述した実施形態では、疑似音出力装置３０の一例として、ライブ会場の各観客席に小型スピーカを配置し、各小型スピーカからそれぞれ対応する参加者の個別疑似音データを出力することで、観客席に実際に観客が存在しているかのような感覚をステージ上の演者に与えることができる旨を説明した。しかしながら、多数の小型スピーカを用いず、ステージ上やステージの周辺などに演者向けに設置した大型スピーカ（疑似音出力装置の他の例）から各参加者の個別疑似音データを出力する場合も想定される。この場合、出力する各参加者の個別疑似音データに、遠近感や方向感、および会場の反響特性（これらをまとめて伝達特性と称する）を付加することで、会場の観客席から音が聞こえるような感覚を、ステージ上の演者に与えることが可能となる。
　また、上述した実施形態では、会場音取得装置４０の一例として、各観客席に小型マイクを用いたが、会場に多数の（例えば観客席分の）小型マイクを用意できない場合であっても、会場サーバ２０は、会場のミキサー（会場音取得装置４０の他の例）から出力される会場音信号に所定の処理を行うことで、会場の空間の反響等が感じられる、実際に観客席で聞いているかのような感覚を参加者に与えることが可能となる。ミキサーとは、演者の音声や演奏等を収音するマイクロホンや、電子楽器、各種プレーヤー（例えばＣＤプレーヤー、レコードプレーヤー、デジタルプレーヤー）等の音響機器から入力される各種音源を個別に調整した上で混合（ミックス）して出力する装置であって、会場の音響を集約して適宜処理する音響処理装置の一例である。
　また、ミキサーから出力される会場音信号に対して行う所定の処理とは、参加者に対応付けられているライブ会場内の仮想的な観客席の位置（以下、仮想位置とも称する）に対応する、遠近感、方向感、会場の空間の反響等の特性（これらをまとめて伝達特性と称する）を付加する処理である。
　またさらに、会場の空間の反響等を含む反響個別疑似音データを予め用意し、各参加者の反応に応じて選択された全ての反響個別疑似音データを合算して、上記会場音信号と共に参加者端末１０に送信してもよい。反響個別疑似音データとは、各参加者の反応に応じて選択される反響疑似拍手音や反響疑似歓声等である。これにより、参加者は、参加者自身を含む会場内の全観客の反応を、実際に観客席で聞いているかのような感覚で視聴することが可能となる。
　以下、本実施形態による反響個別疑似音データの利用と、伝達特性の付加処理について具体的に説明する。
　＜４－１．反響個別疑似音データの生成＞
　本変形例では、まず、実際のライブ会場で収録された拍手等の音声データ、すなわち反響テンプレート疑似音データを用意する。予め実際のライブ会場で反響テンプレート疑似音データ（反響テンプレート拍手音データや反響テンプレート歓声データ）を収録することで、会場の空間の反響等を含む音声データが得られる。次いで、ライブ配信開始前に、予め用意した反響テンプレート疑似音データに、参加者が発する音の特徴（例えば周波数特性）を合成し、参加者毎の反響個別疑似音データを生成する。
　反響個別疑似音データの生成は、個別疑似音データと同様に、個別疑似音生成サーバ５０により行われ得る。そして、生成された反響個別疑似音データは、個別疑似音データと同様に、参加者ＩＤに対応付けて会場サーバ２０の記憶部２３０に保存され得る。なお、反響個別疑似音データは、同パターンの個別疑似音データと対応付けられてもよい。この際、各疑似音データに疑似音ＩＤを付与し、当該疑似音ＩＤを用いて対応付けを行ってもよい。
　反響個別疑似音データの生成処理は、生成に用いるテンプレートの性質が異なるだけで、上述した個別疑似音データの生成と同様である。個別疑似音生成サーバ５０は、参加者がマイク入力した拍手音や歓声から抽出した特徴を、テンプレート疑似音データと、反響テンプレート疑似音データに合成することで、個別疑似音データと、反響個別疑似音データを生成し得る。
　テンプレート疑似音データは、無響環境で収録された拍手や歓声等の音データであり、反響テンプレート疑似音データは、実際のライブ会場で予め収録された拍手や歓声等の音データである。また、用いる反響テンプレート疑似音データは、参加者のライブ会場における仮想位置に対応する反響テンプレート疑似音データ（すなわち、仮想位置に対応する実際の場所で行った拍手や歓声等をその場所で収録した音声）であってもよい。
　＜４－２．会場サーバ２０ａの構成例＞
　図１８は、本実施形態の変形例による会場サーバ２０ａの構成の一例を示すブロック図である。図１８に示すように、会場サーバ２０ａは、通信部２１０、制御部２２０ａ、および記憶部２３０を有する。なお、図９を参照して説明した会場サーバ２０の同符号の構成については、上述の通りであるため、ここでの詳細な説明は省略する。
　本変形例による制御部２２０ａは、疑似音生成部２２１ａ、伝達特性ＨＯ付加部２２５、疑似音出力制御部２２２ａ、伝達特性ＨＩ付加部２２６、全参加者反響疑似音合成部２２７、および会場音送信制御部２２３ａとしても機能する。
　（疑似音生成部２２１ａ）
　疑似音生成部２２１ａは、通信部２１０により参加者端末１０から取得した参加者ＩＤ、操作情報等に基づいて、個別疑似音データを選択する。また、疑似音生成部２２１ａは、併せて、反響個別疑似音データも選択する。例えば疑似音生成部２２１ａは、選択した個別疑似音データに対応付けられた、同パターンの反響個別疑似音データを選択する。上述したように、反響個別疑似音データは、個別疑似音データと同様に予め生成され、記憶部２３０に保存され得る。
　そして、疑似音生成部２２１ａは、選択した個別疑似音データと反響個別疑似音データについて、それぞれ、パラメータ調整を行う。パラメータ調整の詳細は、上述した実施形態と同様であり、例えば操作回数に比例した音量の調整や、操作タイミングに応じた出力タイミングの調整等が挙げられる。
　（伝達特性ＨＯ付加部２２５）
　伝達特性ＨＯ付加部２２５は、疑似音生成部２２１ａから出力された個別疑似音データに、予め計測された会場の反響の伝達特性ＨＯを付加する。伝達特性ＨＯは、観客席から、会場のステージ（演者が居る場所周辺）に向けての伝達特性である。個別疑似音データに、伝達特性ＨＯを付加することで、会場の各観客席に会場小型スピーカを配置できず、例えばステージ上において演者の目の前の足元に１つの大型スピーカ３２（疑似音出力装置３０の一例）しか設置できない場合であっても、会場の空間に観客が存在しているような感覚を演者に持たせることが可能となる。
　図１９は、本実施形態の変形例による伝達特性ＨＯについて説明する図である。図１９に示すように、ライブ会場にステージと観客席を設け、各席にはＩＤ（観客席ＩＤ）を割り当てる。図１９に示す例では、ライブ会場における参加者Ａの仮想的な位置（仮想位置）と、参加者Ｂの仮想位置を例示する。仮想位置に対応する観客席を起点、演者付近（例えば破線で囲った部分）を受音点として、各観客席（Ａ、Ｂ）からの伝達特性（ＨＯ（Ａ）、ＨＯ（Ｂ））が計測される。なお、伝達特性ＨＯの計測は、全ての観客席について行われ得る。
　なお、演者がステージ上を動かない場合は演者の立ち位置、演者がある程度動く場合や複数の演者が居る場合は、ステージ上の演者の目の前の足元等に配置される少なくとも１つの大型スピーカ３２（全参加者の個別疑似音データを演者に向けて出力する総合音声出力装置）を受音点とする等、適宜変更してもよい。
　計測された伝達特性ＨＯは、観客席ＩＤと対応付けて会場サーバ２０の記憶部２３０に保存される。伝達特性ＨＯ付加部２２５は、参加者ＩＤに対応付けられた観客席ＩＤ（仮想位置）に基づいて、対応する伝達特性ＨＯを取得する。次いで、伝達特性ＨＯ付加部２２５は、疑似音生成部２２１ａにより選択された個別疑似音データに、取得した上記伝達特性ＨＯを付加する。
　（疑似音出力制御部２２２ａ）
　疑似音出力制御部２２２ａは、伝達特性ＨＯ付加部２２５により伝達特性ＨＯが付加された個別疑似音データを全参加者分加算して、大型スピーカ３２から出力する制御を行う。
　（伝達特性ＨＩ付加部２２６）
　伝達特性ＨＩ付加部２２６は、ミキサー４２（会場音取得装置４０の一例）から出力された会場音信号に、会場において観客席に向けて設けられ、ミキサー４２から入力される会場音信号を出力する演者スピーカ６０（音声出力装置）から各観客席への伝達特性ＨＩを付加する。本実施形態では、ライブ会場の演者が用いるマイクや楽器等の各種音響機器からの音源が、例えばミキサー４２でミックスされ、ライブ会場において演者スピーカ６０から観客席に向けて出力され、また、参加者端末１０に配信される。ここで、参加者端末１０に送信する会場音信号に、伝達特性ＨＩを付加することで、会場の音声を各観客席で聴いているかのような感覚を再現することが可能となる。
　伝達特性ＨＩは、ライブ配信を開始する前に予め計測され得る。図２０は、本実施形態の変形例による伝達特性ＨＩについて説明する図である。図２０に示すように、ライブ会場にはステージと観客席が設けられ、各席にはＩＤ（観客席ＩＤ）が割り当てられる。図２０に示す例では、参加者Ａのライブ会場における仮想的な位置（仮想位置）と、参加者Ｂの仮想位置を例示する。会場に設置される演者スピーカは、一例としてステージの左右に設けられる２つのスピーカ（演者スピーカ６０Ｒと演者スピーカ６０Ｌ）を想定する。そして、仮想位置に対応する各観客席（Ａ、Ｂ）についてそれぞれ、左右両方の演者スピーカ６０Ｒ、６０Ｌからの伝達特性（ＨＲ Ｉ（Ａ）、ＨＬ Ｉ（Ａ）、ＨＲ Ｉ（Ｂ）、ＨＬ Ｉ（Ｂ））が計測される。なお、伝達特性ＨＩの計測は、全ての観客席について行われ得る。
　計測された伝達特性ＨＩは、観客席ＩＤと対応付けられて、会場サーバ２０に保存される。伝達特性ＨＩ付加部２２６は、参加者ＩＤに対応付けられた観客席ＩＤ（仮想位置）に基づいて、対応する伝達特性ＨＩを取得する。次いで、伝達特性ＨＩ付加部２２６は、ミキサー４２から出力された会場音信号に、取得した上記伝達特性ＨＩを付加する。これにより、各観客席で会場の演奏等を聴いた時の音空間を模した音が合成される。
　（全参加者反響疑似音合成部２２７）
　全参加者反響疑似音合成部２２７は、疑似音生成部２２１ａから出力された全参加者の反響個別疑似音データを全て合算する機能を有する。ミキサー４２から出力される会場音信号は、ミキサー４２に接続された演者のマイクや楽器、プレーヤー等の出力のみであるため、全観客の拍手音や歓声等が含まれない。そのため、各参加者の反響個別疑似音データを全て加算し、会場音送信制御部２２３ａで会場音信号と共に参加者端末１０に送信することで、会場の反響を模した参加者全員の反応、すなわち会場の音空間にマッチした拍手音や歓声等を、参加者に届けることが可能となる。これにより、参加者は、参加者自身を含む会場内の全観客の反応を、実際に観客席で聞いているかのような感覚で視聴することができる。
　（会場音送信制御部２２３ａ）
　会場音送信制御部２２３ａは、ミキサー４２から出力された会場の音声（会場音信号）と、全参加者反響疑似音合成部２２７により合成された全参加者の反響個別疑似音データを、参加者端末１０に送信する制御を行う。
　以上、本変形例による会場サーバ２０ａの構成について具体的に説明した。なお、図１８に示す構成は一例であって、本開示はこれに限定されない。例えば、会場サーバ２０ａが複数の装置により構成されていてもよい。また、会場サーバ２０ａに示す全ての構成を有していなくともよい。
　＜４－３．伝達特性の付加処理＞
　図２１は、本実施形態の変形例による伝達特性付加処理の流れの一例を示すフローチャートである。
　図２１に示すように、まず、会場サーバ２０ａは、参加者端末１０から、参加者ＩＤ、操作回数、およびタイミング情報等をリアルタイムで取得する（ステップＳ３０３）。操作回数、およびタイミング情報は、操作情報の一例である。
　次に、会場サーバ２０の疑似音生成部２２１は、参加者ＩＤに対応付けられた１以上の個別疑似音データのうち、操作回数やタイミング情報に応じて１の個別疑似音データを選択する（ステップＳ３０６）。
　次いで、疑似音生成部２２１は、選択された個別疑似音データに対して、必要に応じてパラメータ調整を行う（ステップＳ３０９）。
　次に、伝達特性ＨＯ付加部２２５は、個別疑似音データに、参加者ＩＤに対応付けられたライブ会場における仮想位置（例えば観客席ＩＤ）に対応する伝達特性ＨＯを付加する（ステップＳ３１２）。
　次いで、疑似音出力制御部２２２ａは、大型スピーカ３２から、伝達特性ＨＯ付加した個別疑似音データを再生する制御を行う（ステップＳ３１５）。伝達特性ＨＯとは、上述したように、所定の観客席から演者の居るステージ上への伝達特性である。疑似音出力制御部２２２ａは、全参加者の各仮想位置に対応する伝達特性ＨＯをそれぞれ付加した個別疑似音データを合成して大型スピーカ３２から出力（再生）する制御を行う。大型スピーカ３２は、例えばライブ会場のステージ上の演者の目の前の足元等に、演者に向けて配置された大型のスピーカであるが、参加者の仮想位置を考慮した伝達特性ＨＯを付加した個別疑似音データが出力されることで、ライブ会場の観客席から拍手や歓声が届いているような、遠近感や方向感、および会場の反響感を、ステージ上の演者に与えることができる。
　続いて、会場サーバ２０ａは、会場のミキサー４２から、会場音信号を取得する（ステップＳ３１８）。
　次に、伝達特性ＨＩ付加部２２６は、会場音信号に、参加者ＩＤに対応付けられた仮想位置（観客席ＩＤ）に応じた伝達特性ＨＩを付加する（ステップＳ３２１）。伝達特性ＨＩとは、上述したように、例えば演者スピーカ６０から所定の観客席への伝達特性である。これにより、参加者の仮想位置を考慮したライブ会場の空間の反響等を再現した会場音信号を生成することができる。
　次いで、会場音送信制御部２２３ａは、会場の反響を模した会場音信号を微調整（ノーマライズ等）する（ステップＳ３２４）。
　また、一方で、疑似音生成部２２１ａは、参加者端末１０から受信した操作情報等に基づいて、参加者ＩＤに対応付けられた反響付き個別疑似音データのうち１の反響付き個別疑似音データを選択し、操作情報等に基づいてパラメータ調整を行う（ステップＳ３２７）。かかる処理は、上記ステップＳ３０６に示す処理と並列して行われてもよい。また、疑似音生成部２２１ａは、ステップＳ３０６に示す処理で選択した個別疑似音データに対応付けられる反響付き個別疑似音データ（同じパターンの疑似音データ）を選択するようにしてもよい。そして、疑似音生成部２２１ａは、ステップＳ３０９に示すパラメータ調整と同様に、選択した反響付き個別疑似音データに対して、操作回数に比例した音量調整や、操作タイミングに応じたタイミング調整等を行う。
　次に、全参加者反響疑似音合成部２２７は、全参加者の反響付き個別疑似音データ（パラメータ調整済み）を合成する（ステップＳ３３０）。
　そして、会場音送信制御部２２３ａは、会場の反響を模した会場音信号と、全参加者の反響付き個別疑似音データを、参加者端末１０に送信する制御を行う（ステップＳ３３３）。これにより、参加者は、参加者の仮想位置を考慮したライブ会場の空間の反響等を再現した会場音信号と、参加者自身を含む会場内の全観客の反応を、実際に観客席で聞いているかのような感覚で視聴することができる。
　以上、本実施形態の変形例による伝達特性付加処理の流れについて具体的に説明した。なお、図２１に示すフローチャートの各ステップは、適宜並列に処理してもよいし、逆の順序で処理してもよい。また、必ずしもすべてのステップを処理しなくともよい。例えば、ステップＳ３０３～Ｓ３１５に示す処理は、会場への観客音声（個別疑似音データ）出力処理であって、ライブ配信中に継続的に繰り返し処理される。また、観客音声出力処理と並列して、ステップＳ３２７～Ｓ３３０に示す参加者への疑似音返送準備処理と、ステップＳ３１８～Ｓ３３３に示す参加者への会場音声（会場音信号）伝送処理を、ライブ配信中に継続的に繰り返し処理されてもよい。
　＜＜５．補足＞＞
　以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本技術はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
　例えば、上述した実施形態および変形例を適宜組み合わせてもよい。一例としては、会場サーバ２０により各参加者の反応に応じた個別疑似音データを各観客席に設けられた小型スピーカから出力する一方、ミキサー４２から取得した会場音信号（伝達特性ＨＩ付加）と、全参加者の反響個別疑似音データを、参加者端末１０に送信してもよい。
　また、会場サーバ２０により各参加者の反応に応じた個別疑似音データを、伝達特性ＨＯの付加処理を行わずに、ステージ上などに演者向けに配置した少なくとも１つの大型スピーカから出力してもよい。
　また、上述した参加者端末１０、会場サーバ２０、または個別疑似音生成サーバ５０に内蔵されるＣＰＵ、ＲＯＭ、およびＲＡＭ等のハードウェアに、参加者端末１０、会場サーバ２０、または個別疑似音生成サーバ５０の機能を発揮させるための１以上のコンピュータプログラムも作成可能である。また、当該１以上のコンピュータプログラムを記憶させたコンピュータ読み取り可能な記憶媒体も提供される。
　また、本明細書に記載された効果は、あくまで説明的または例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記の効果とともに、または上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏しうる。
　なお、本技術は以下のような構成も取ることができる。
（１）
　参加者が発した音の特徴を反映させた１以上の個別疑似音データから、取得した前記参加者の反応を示す反応情報に対応する個別疑似音データを選択し、前記選択した個別疑似音データを、会場に設置された音声出力装置から出力する制御を行う制御部を備える、情報処理装置。
（２）
　前記制御部は、前記会場と異なる場所においてリアルタイムに取得される前記参加者の反応情報に対応する個別疑似音データを選択し、前記会場の演者に対して前記音声出力装置から出力する制御を行う、前記（１）に記載の情報処理装置。
（３）
　前記参加者の反応情報は、前記参加者の操作回数を示す情報、前記参加者による操作タイミングを示す情報、操作量を示す情報、前記参加者が発した音を周波数解析して得られたスペクトルの情報、または前記参加者による選択操作情報のうち、少なくとも一つを含む、前記（１）または（２）に記載の情報処理装置。
（４）
　前記１以上の個別疑似音データは、１以上の異なる個別疑似拍手音データであり、
　前記制御部は、前記参加者による一定時間における拍手の回数、クリック操作の回数、タップ操作の回数、またはスペクトルの少なくとも一つに基づいて、前記１以上の異なる個別疑似拍手音データから、対応する個別疑似拍手音データを選択する、前記（３）に記載の情報処理装置。
（５）
　前記参加者の反応情報には、前記参加者による拍手のタイミングを示す情報が含まれ、
　前記制御部は、前記拍手のタイミングに合わせて、前記選択した個別疑似拍手音データの出力タイミングを調整する、前記（４）に記載の情報処理装置。
（６）
　前記参加者の反応情報には、前記参加者による拍手の回数を示す情報が含まれ、
　前記制御部は、一定時間における前記拍手の回数に応じて、前記出力する個別疑似拍手音データの音量を調整する、前記（４）または（５）に記載の情報処理装置。
（７）
　前記１以上の個別疑似音データは、１以上の異なる個別疑似歓声データまたは個別疑似掛け声データであり、
　前記制御部は、前記参加者による選択操作に従って、対応する個別疑似歓声データまたは個別疑似掛け声データを選択する、前記（３）に記載の情報処理装置。
（８）
　前記制御部は、
　　前記参加者による選択操作の開始タイミングをトリガーとして、前記選択した個別疑似歓声データまたは個別疑似掛け声データの出力を開始し、
　　前記選択操作の回数または前記選択操作の操作量に応じて、前記出力している個別疑似歓声データまたは個別疑似掛け声データの音量をリアルタイムで変化させる制御を行う、前記（７）に記載の情報処理装置。
（９）
　前記制御部は、前記個別疑似掛け声データの持続時間終了まで、少なくとも最小の音量で出力を継続するよう調整する、前記（７）または（８）に記載の情報処理装置。
（１０）
　前記制御部は、前記選択した個別疑似音データを、前記会場における前記参加者の仮想位置に配置される個別音声出力装置から出力する制御を行う、前記（１）～（９）のいずれか１項に記載の情報処理装置。
（１１）
　前記制御部は、前記会場における前記参加者の仮想位置に配置される個別収音装置から取得される会場音信号を、前記会場と異なる場所に居る前記参加者が利用する参加者端末に送信する制御を行う、前記（１０）に記載の情報処理装置。
（１２）
　前記制御部は、前記選択した個別疑似音データに、前記会場における前記参加者の仮想位置から前記会場の演者までの伝達特性を付加した上で、前記会場において前記演者の周辺に配置される総合音声出力装置から出力する制御を行う、前記（１）～（９）のいずれか１項に記載の情報処理装置。
（１３）
　前記制御部は、前記会場の音響機器からの音源を集約する音響処理装置から取得される会場音信号を、前記会場と異なる場所に居る前記参加者が利用する参加者端末に送信する制御を行う、前記（１）～（９）のいずれか１項に記載の情報処理装置。
（１４）
　前記制御部は、前記音響処理装置から取得される前記会場音信号に、前記会場において観客席に向けて前記会場音信号を出力する音声出力装置から前記会場における前記参加者の仮想位置までの伝達特性を付加した上で、前記参加者端末に送信する制御を行う、前記（１３）に記載の情報処理装置。
（１５）
　前記制御部は、
　　前記会場の反響を含む反響疑似音データに前記参加者が発した音の特徴を反映させて予め生成した１以上の反響個別疑似音データから、前記参加者のリアルタイムの反応を示す反応情報に対応する反響個別疑似音データを選択し、
　　全参加者の前記選択した反響個別疑似音データを合成し、
　　前記合成した全参加者の反響個別疑似音データを、前記会場音信号と共に、前記参加者端末に送信する、前記（１３）または（１４）に記載の情報処理装置。
（１６）
　前記制御部は、前記会場の音響機器からの音源を集約する音響処理装置から取得される会場音信号に、前記会場において観客席に向けて当該会場音信号を出力する音声出力装置から前記会場における前記参加者の仮想位置までの伝達特性を付加した上で、前記参加者端末に送信する制御を行う、前記（１）～（９）のいずれか１項に記載の情報処理装置。
（１７）
　参加者が発した音の特徴を、テンプレートの音データに反映させて、個別疑似音データを生成する処理と、
　前記生成した個別疑似音データを、前記参加者に対応付けて保存する処理と、
を行う制御部を備える、情報処理装置。
（１８）
　前記制御部は、前記参加者が発した音を解析して得られる周波数特性と時間特性の一方または両方を、前記テンプレートの音データに合成することで、前記個別疑似音データを生成する、前記（１７）に記載の情報処理装置。
（１９）
　前記情報処理装置は、さらに通信部を備え、
　前記通信部は、
　　前記参加者が利用する参加者端末で収音して解析された前記参加者が発した音の特徴を受信し、
　　前記生成した個別疑似音データを、前記参加者の識別情報と対応付けて、会場に設置された音声出力装置からの出力制御を行う会場サーバに送信する、前記（１７）または（１８）に記載の情報処理装置。
（２０）
　プロセッサが、
　参加者が発した音の特徴を反映させた１以上の個別疑似音データから、取得した前記参加者の反応を示す反応情報に対応する個別疑似音データを選択し、前記選択した個別疑似音データを、会場に設置された音声出力装置から出力する制御を行うことを含む、情報処理方法。
（２１）
　コンピュータを、
　参加者が発した音の特徴を反映させた１以上の個別疑似音データから、取得した前記参加者の反応を示す反応情報に対応する個別疑似音データを選択し、前記選択した個別疑似音データを、会場に設置された音声出力装置から出力する制御を行う制御部として機能させる、プログラム。
（２２）
　プロセッサが、
　参加者が発した音の特徴を、テンプレートの音データに反映させて、個別疑似音データを生成することと、
　前記生成した個別疑似音データを、前記参加者に対応付けて保存することと、
を含む、情報処理方法。
（２３）
　コンピュータを、
　参加者が発した音の特徴を、テンプレートの音データに反映させて、個別疑似音データを生成する処理と、
　前記生成した個別疑似音データを、前記参加者に対応付けて保存する処理と、
を行う制御部として機能させる、プログラム。
（２４）
　参加者が利用する参加者端末と、会場に設置された音声出力装置からの出力を制御するサーバと、を備え、
　前記サーバは、
　　前記参加者端末から、前記参加者の反応を示す反応情報を受信する通信部と、
　　前記参加者が発した音の特徴を反映させた１以上の個別疑似音データから、前記受信した前記参加者の反応を示す反応情報に対応する個別疑似音データを選択し、前記選択した個別疑似音データを、前記音声出力装置から出力する制御を行う制御部と、を有する、
システム。
　１０　参加者端末
　　１１０　通信部
　　１２０　制御部
　　１３０　表示部
　　１４０　操作入力部
　　１５０　スピーカ
　　１６０　マイク
　２０、２０ａ　会場サーバ
　　２１０　通信部
　　２２０、２２０ａ　制御部
　　　２２１、２２１ａ　疑似音生成部
　　　２２２、２２２ａ　疑似音出力制御部
　　　２２３、２２３ａ　会場音送信制御部
　　　２２５　伝達特性ＨＯ付加部
　　　２２６　伝達特性ＨＩ付加部
　　　２２７　全参加者反響疑似音合成部
　　２３０　記憶部
　３０　疑似音出力装置
　４０　会場音取得装置
　５０　個別疑似音生成サーバ
　　５１０　通信部
　　５２０　制御部
　　　５２１　実音解析部
　　　５２２　個別疑似音データ生成部
　　　５２３　保存制御部
　　５３０　記憶部
　６０　演者スピーカ
　７０　ネットワーク

Claims (20)

  1. 　参加者が発した音の特徴を反映させた１以上の個別疑似音データから、取得した前記参加者の反応を示す反応情報に対応する個別疑似音データを選択し、前記選択した個別疑似音データを、会場に設置された音声出力装置から出力する制御を行う制御部を備える、情報処理装置。
  2. 　前記制御部は、前記会場と異なる場所においてリアルタイムに取得される前記参加者の反応情報に対応する個別疑似音データを選択し、前記会場の演者に対して前記音声出力装置から出力する制御を行う、請求項１に記載の情報処理装置。
  3. 　前記参加者の反応情報は、前記参加者の操作回数を示す情報、前記参加者による操作タイミングを示す情報、操作量を示す情報、前記参加者が発した音を周波数解析して得られたスペクトルの情報、または前記参加者による選択操作情報のうち、少なくとも一つを含む、請求項１に記載の情報処理装置。
  4. 　前記１以上の個別疑似音データは、１以上の異なる個別疑似拍手音データであり、
    　前記制御部は、前記参加者による一定時間における拍手の回数、クリック操作の回数、タップ操作の回数、またはスペクトルの少なくとも一つに基づいて、前記１以上の異なる個別疑似拍手音データから、対応する個別疑似拍手音データを選択する、請求項３に記載の情報処理装置。
  5. 　前記参加者の反応情報には、前記参加者による拍手のタイミングを示す情報が含まれ、
    　前記制御部は、前記拍手のタイミングに合わせて、前記選択した個別疑似拍手音データの出力タイミングを調整する、請求項４に記載の情報処理装置。
  6. 　前記参加者の反応情報には、前記参加者による拍手の回数を示す情報が含まれ、
    　前記制御部は、一定時間における前記拍手の回数に応じて、前記出力する個別疑似拍手音データの音量を調整する、請求項４に記載の情報処理装置。
  7. 　前記１以上の個別疑似音データは、１以上の異なる個別疑似歓声データまたは個別疑似掛け声データであり、
    　前記制御部は、前記参加者による選択操作に従って、対応する個別疑似歓声データまたは個別疑似掛け声データを選択する、請求項３に記載の情報処理装置。
  8. 　前記制御部は、
    　　前記参加者による選択操作の開始タイミングをトリガーとして、前記選択した個別疑似歓声データまたは個別疑似掛け声データの出力を開始し、
    　　前記選択操作の回数または前記選択操作の操作量に応じて、前記出力している個別疑似歓声データまたは個別疑似掛け声データの音量をリアルタイムで変化させる制御を行う、請求項７に記載の情報処理装置。
  9. 　前記制御部は、前記個別疑似掛け声データの持続時間終了まで、少なくとも最小の音量で出力を継続するよう調整する、請求項７に記載の情報処理装置。
  10. 　前記制御部は、前記選択した個別疑似音データを、前記会場における前記参加者の仮想位置に配置される個別音声出力装置から出力する制御を行う、請求項１に記載の情報処理装置。
  11. 　前記制御部は、前記会場における前記参加者の仮想位置に配置される個別収音装置から取得される会場音信号を、前記会場と異なる場所に居る前記参加者が利用する参加者端末に送信する制御を行う、請求項１０に記載の情報処理装置。
  12. 　前記制御部は、前記選択した個別疑似音データに、前記会場における前記参加者の仮想位置から前記会場の演者までの伝達特性を付加した上で、前記会場において前記演者の周辺に配置される総合音声出力装置から出力する制御を行う、請求項１に記載の情報処理装置。
  13. 　前記制御部は、前記会場の音響機器からの音源を集約する音響処理装置から取得される会場音信号を、前記会場と異なる場所に居る前記参加者が利用する参加者端末に送信する制御を行う、請求項１に記載の情報処理装置。
  14. 　前記制御部は、前記音響処理装置から取得される前記会場音信号に、前記会場において観客席に向けて前記会場音信号を出力する音声出力装置から前記会場における前記参加者の仮想位置までの伝達特性を付加した上で、前記参加者端末に送信する制御を行う、請求項１３に記載の情報処理装置。
  15. 　前記制御部は、
    　　前記会場の反響を含む反響疑似音データに前記参加者が発した音の特徴を反映させて予め生成した１以上の反響個別疑似音データから、前記参加者のリアルタイムの反応を示す反応情報に対応する反響個別疑似音データを選択し、
    　　全参加者の前記選択した反響個別疑似音データを合成し、
    　　前記合成した全参加者の反響個別疑似音データを、前記会場音信号と共に、前記参加者端末に送信する、請求項１３に記載の情報処理装置。
  16. 　参加者が発した音の特徴を、テンプレートの音データに反映させて、個別疑似音データを生成する処理と、
    　前記生成した個別疑似音データを、前記参加者に対応付けて保存する処理と、
    を行う制御部を備える、情報処理装置。
  17. 　前記制御部は、前記参加者が発した音を解析して得られる周波数特性と時間特性の一方または両方を、前記テンプレートの音データに合成することで、前記個別疑似音データを生成する、請求項１６に記載の情報処理装置。
  18. 　前記情報処理装置は、さらに通信部を備え、
    　前記通信部は、
    　　前記参加者が利用する参加者端末で収音して解析された前記参加者が発した音の特徴を受信し、
    　　前記生成した個別疑似音データを、前記参加者の識別情報と対応付けて、会場に設置された音声出力装置からの前記個別疑似音データの出力制御を行う会場サーバに送信する、請求項１６に記載の情報処理装置。
  19. 　プロセッサが、
    　参加者が発した音の特徴を反映させた１以上の個別疑似音データから、取得した前記参加者の反応を示す反応情報に対応する個別疑似音データを選択し、前記選択した個別疑似音データを、会場に設置された音声出力装置から出力する制御を行うことを含む、情報処理方法。
  20. 　コンピュータを、
    　参加者が発した音の特徴を反映させた１以上の個別疑似音データから、取得した前記参加者の反応を示す反応情報に対応する個別疑似音データを選択し、前記選択した個別疑似音データを、会場に設置された音声出力装置から出力する制御を行う制御部として機能させる、プログラム。
PCT/JP2021/044926 2021-01-27 2021-12-07 情報処理装置、情報処理方法、およびプログラム WO2022163137A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2022578099A JPWO2022163137A1 (ja) 2021-01-27 2021-12-07
CN202180091496.6A CN116848496A (zh) 2021-01-27 2021-12-07 信息处理装置、信息处理方法及程序
US18/262,056 US20240089686A1 (en) 2021-01-27 2021-12-07 Information processing apparatus, information processing method, and program
DE112021006957.8T DE112021006957T5 (de) 2021-01-27 2021-12-07 Datenverarbeitungsvorrichtung, Datenverarbeitungsverfahren und Programm

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2021010786 2021-01-27
JP2021-010786 2021-01-27

Publications (1)

Publication Number Publication Date
WO2022163137A1 true WO2022163137A1 (ja) 2022-08-04

Family

ID=82653303

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2021/044926 WO2022163137A1 (ja) 2021-01-27 2021-12-07 情報処理装置、情報処理方法、およびプログラム

Country Status (5)

Country Link
US (1) US20240089686A1 (ja)
JP (1) JPWO2022163137A1 (ja)
CN (1) CN116848496A (ja)
DE (1) DE112021006957T5 (ja)
WO (1) WO2022163137A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024047816A1 (ja) * 2022-08-31 2024-03-07 日本電信電話株式会社 映像関連音再生方法、映像関連音再生装置及び映像関連音再生プログラム

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102561641B1 (ko) * 2023-02-10 2023-07-28 공영호 응원용 소통 장치 및 방법

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1125188A (ja) * 1997-06-30 1999-01-29 Masanobu Kujirada 遠隔利用方法
JP2000137492A (ja) * 1998-11-04 2000-05-16 Atr Media Integration & Communications Res Lab 実拍手誘導型自動拍手装置
JP2015507855A (ja) * 2011-11-16 2015-03-12 チャンドラサガラン・ムルガン 遠隔エンゲージメントシステム
JP2015097318A (ja) * 2013-11-15 2015-05-21 キヤノン株式会社 音声信号処理システム
JP2018028646A (ja) * 2016-08-19 2018-02-22 株式会社コシダカホールディングス 会場別カラオケ

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1125188A (ja) * 1997-06-30 1999-01-29 Masanobu Kujirada 遠隔利用方法
JP2000137492A (ja) * 1998-11-04 2000-05-16 Atr Media Integration & Communications Res Lab 実拍手誘導型自動拍手装置
JP2015507855A (ja) * 2011-11-16 2015-03-12 チャンドラサガラン・ムルガン 遠隔エンゲージメントシステム
JP2015097318A (ja) * 2013-11-15 2015-05-21 キヤノン株式会社 音声信号処理システム
JP2018028646A (ja) * 2016-08-19 2018-02-22 株式会社コシダカホールディングス 会場別カラオケ

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024047816A1 (ja) * 2022-08-31 2024-03-07 日本電信電話株式会社 映像関連音再生方法、映像関連音再生装置及び映像関連音再生プログラム

Also Published As

Publication number Publication date
US20240089686A1 (en) 2024-03-14
DE112021006957T5 (de) 2023-12-21
JPWO2022163137A1 (ja) 2022-08-04
CN116848496A (zh) 2023-10-03

Similar Documents

Publication Publication Date Title
US8638966B2 (en) Haptic chair sound enhancing system with audiovisual display
US20070137462A1 (en) Wireless communications device with audio-visual effect generator
US7725203B2 (en) Enhancing perceptions of the sensory content of audio and audio-visual media
US9192868B2 (en) Audio animation system
WO2022163137A1 (ja) 情報処理装置、情報処理方法、およびプログラム
WO2018008434A1 (ja) 演奏上演装置
JP2021128252A (ja) 音源分離プログラム、音源分離装置、音源分離方法及び生成プログラム
Alambeigi et al. Auralising the soundscape of Sagrada Família Basilica: a virtual journey through sound
JP6951610B1 (ja) 音声処理システム、音声処理装置、音声処理方法、及び音声処理プログラム
US20230042477A1 (en) Reproduction control method, control system, and program
WO2021246104A1 (ja) 制御方法および制御システム
JP4426159B2 (ja) ミキシング装置
JP7593018B2 (ja) 再生制御方法、制御システムおよびプログラム
Munoz Space Time Exploration of Musical Instruments
WO2022230052A1 (ja) ライブ配信装置、ライブ配信方法
JP6864938B1 (ja) 記録データ再生方法およびシステム
Ko Virtual acoustics for musicians: Exploring the influence of an electronic acoustic enhancement system on music performance
WO2023084933A1 (ja) 情報処理装置、情報処理方法およびプログラム
Björnsson Amplified Speech in Live Theatre, What should it Sound Like?
WO2024202979A1 (ja) パフォーマンス情報生成方法、パフォーマンス情報生成装置、およびプログラム
EQUIPMENT AES 140TH CONVENTION PROGRAM
Stefan 16th International Symposium on Sound Engineering and Tonmeistering Warszawa, Poland, October 8–10, 2015

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21923142

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2022578099

Country of ref document: JP

Kind code of ref document: A

WWE Wipo information: entry into national phase

Ref document number: 18262056

Country of ref document: US

WWE Wipo information: entry into national phase

Ref document number: 202180091496.6

Country of ref document: CN

WWE Wipo information: entry into national phase

Ref document number: 112021006957

Country of ref document: DE

122 Ep: pct application non-entry in european phase

Ref document number: 21923142

Country of ref document: EP

Kind code of ref document: A1