JP7171530B2

JP7171530B2 - 触覚振動配信装置、触覚振動配信方法、触覚振動配信プログラム

Info

Publication number: JP7171530B2
Application number: JP2019171071A
Authority: JP
Inventors: 優鎌本; 淳司渡邊; 孝太南澤; 開中村; 大弥加藤; 誠鵜重
Original assignee: Nippon Telegraph and Telephone Corp; Keio University
Current assignee: Nippon Telegraph and Telephone Corp; Keio University
Priority date: 2019-09-20
Filing date: 2019-09-20
Publication date: 2022-11-15
Anticipated expiration: 2039-09-20
Also published as: JP2021047756A

Description

本発明は、触覚として感じる振動を配信する触覚振動配信装置、触覚振動配信方法、触覚振動配信プログラムに関する。

触覚として感じる振動を配信する技術として、非特許文献１に記載された技術が知られている。非特許文献１では、触覚情報を伝送するプラットホーム、身体や有体物の触覚情報の入出力のためのゲートウェイとして機能する物理ネットワークノードが示されている。

松園敏志、南澤孝太、"HaptI/O:IP伝送技術を用いた触覚伝送ノードの開発"，慶應義塾大学修士論文、2018.03.

触覚振動信号を取得するデバイス（配信元端末）と呈示するデバイス（配信先端末）が一つの対であれば触覚振動信号を用いたコンテンツを楽しむことができる。しかし、取得デバイス（配信元端末）と呈示デバイス（配信先端末）が異なる場合には、一部のデータが消失したり劣化したりする可能性があった。例えば、取得デバイスが１チャネルであり、呈示デバイスが２チャネルの場合には、呈示デバイスの片方からしか信号が出力されない、もしくは呈示デバイスの両方から同じ信号が出力されるということになっていた。逆に、取得デバイスが２チャネルで、呈示デバイスが１チャネルの場合には、取得デバイスの片方のチャネルしか出力されない、もしくは両方のチャネルの和が出力されるという状況であった。

本発明は、配信元端末と配信先端末のチャネル数が異なる場合でも違和感を低減することを目的とする。

本発明の触覚振動配信装置は、少なくともチャネル数検出部と出力信号生成部を備える。チャネル数検出部は、配信先端末のチャネル数Ｎを検出する。出力信号生成部は、オノマトペ情報が関連付けられたチャネル数Ｍの振動に関する信号である振動信号を、オノマトペ情報を利用してＮチャネルの振動信号に変換する。ここで、ＭとＮは１以上の整数である。

本発明の触覚振動配信装置によれば、オノマトペ情報を利用してＮチャネルの振動信号に変換するので、人の感覚に整合しやすいように信号を選択できる。よって、違和感を低減できる。

触覚振動配信システムの機能構成例を示す図。触覚振動配信システムの処理フローの例を示す図。振動信号にオノマトペ情報を関連付けたイメージを示す図。記憶部１９０が記憶している振動信号の例を示す図。配信する振動信号のイメージを示す図。コンピュータの構成例を示す図。

以下、本発明の実施の形態について、詳細に説明する。なお、同じ機能を有する構成部には同じ番号を付し、重複説明を省略する。

本明細書内では、Ｄ，Ｍ，Ｎは１以上の整数、Ｋはフレーム長を示す整数、ｄは１以上Ｄ以下の整数、ｍは１以上Ｍ以下の整数、ｎは１以上Ｎ以下の整数、ｋは１以上Ｋ以下の整数、Ｎ＿１，…，Ｎ＿Ｄは１以上の整数、ｎ＿ｄは１以上Ｎ＿ｄ以下の整数とする。

図１に触覚振動配信システムの機能構成例を、図２に触覚振動配信システムの処理フローの例を示す。触覚振動配信システム１０は、触覚振動配信装置１００、配信元端末２００、配信先端末３００＿１，…，３００＿Ｄで構成される。配信元端末２００、配信先端末３００＿１，…，３００＿Ｄは、スマートフォンのような通信用の端末だけでなく、クッション、ぬいぐるみ、ペンライトなどの人が持ったり触ったりする物に通信機能と触覚振動を伝えるデバイス（センサ、バイブレータなど）を取り付けた物でもよい。

配信元端末２００は、少なくとも取得部２１０を備える。取得部２１０は、触覚振動を検出する触覚振動センサなどを使い、振動に関する信号である振動信号を取得し、出力する（Ｓ２１０）。振動信号のチャネル数はＭであり、フレーム長はＫである。ｍ番目のチャネルの振動信号を、ｘ_ｍ（１），…，ｘ_ｍ（ｋ），…，ｘ_ｍ（Ｋ）とする。振動信号は、例えば４８ｋＨｚでサンプリングし、フレーム長Ｋを４８００（つまり、０．１秒分）などにすればよい。

配信元端末２００がオノマトペ付与部２２０を備えるか、触覚振動配信装置１００がオノマトペ付与部１２０を備える。オノマトペ付与部２２０，１２０は、取得部２１０が取得した振動信号、または、振動信号と振動信号を取得した時の音響信号を入力とし、振動信号に対するオノマトペ（テキスト情報）を取得または生成し、オノマトペを示す情報であるオノマトペ情報を振動信号と関連付けて出力する（Ｓ２２０，Ｓ１２０）。オノマトペは、人が配信元端末２００または他の端末に入力することで取得し、オノマトペ付与部２２０またはオノマトペ付与部１２０が、振動信号にオノマトペ情報を関連付けてもよい。もしくは、触覚振動(振動信号)を取得した時の音響信号または触覚振動自体から、単発音（または半発音分の振動）を切り出し、音素を決定して、擬音語を生成し、複数音節分を統合することでオノマトペを自動生成してもよい。自動生成には、例えば参考文献１（石原一志, 服部佑哉, 中谷智広, 尾形哲也, 奥乃博, "環境音の擬音語変換における音素決定曖昧性の解消", 情報処理学会第66回全国大会, 3Y-5, Mar. 2004.）の技術を利用すればよい。上述の振動信号のフレーム長Ｋは、振動信号から単発音、あるいは、単発音２，３個（単発音「トン」が２個分で「トントン」）に相当する信号が切り出される長さに設定することが望ましい。図３に、振動信号にオノマトペ情報を関連付けたイメージを示す。なお、振動信号に対して２つ以上のオノマトペを対応させた情報をオノマトペ情報としてもよい。例えば、チャネルによってオノマトペを変えてもよい。

オノマトペ付与部２２０がオノマトペ情報を関連付ける場合は、配信元端末２００から触覚振動配信装置１００に、オノマトペ付与部２２０が出力するオノマトペ情報が関連付けられたＭチャネルの振動信号が送信される。オノマトペ付与部１２０がオノマトペ情報を関連付ける場合は、例えば、Ｍチャネルの振動信号と人が入力したオノマトペ、もしくは、Ｍチャネルの振動信号と音響信号が配信元端末２００から触覚振動配信装置１００に送信される。

オノマトペ付与部１２０またはオノマトペ付与部２２０から出力される、オノマトペ情報が関連付けられた振動信号は、チャネル数Ｍとともに記憶部１９０に入力され、記憶部１９０に記憶されるようにしてもよい。

触覚振動配信装置１００は、チャネル数検出部１３０と出力信号生成部１６０と記憶部１９０を備える。チャネル数検出部１３０は、配信先端末のチャネル数Ｎを取得し、出力する（Ｓ１３０）。配信先端末が１つの場合は、１つのチャネル数Ｎ＿１を検出すればよい。図１に示しているように配信先端末３００＿１，…，３００＿Ｄの全てに配信するときは、各配信先端末３００＿ｄそれぞれの（Ｄ個の）チャネル数Ｎ＿１，…，Ｎ＿Ｄを検出する。また、配信先端末３００＿ｄから配信依頼があったときに振動信号を配信する場合は、配信先端末３００＿ｄからの配信依頼にチャネル数Ｎ＿ｄの情報も含めておき、チャネル数検出部１３０は、受信した配信依頼からチャネル数Ｎ＿ｄを取得してもよい。

出力信号生成部１６０は、配信先端末のチャネル数（Ｎ＿１，…，Ｎ＿Ｄ）、オノマトペ情報が関連付けられたＭチャネルの振動信号を入力として、配信先端末３００＿１，…，３００＿Ｄへ送信するためのＮ＿１チャネルの振動信号，…，Ｎ＿Ｄチャネルの振動信号を生成し、出力する。出力信号生成部１６０は、オノマトペ情報が関連付けられた振動信号のチャネル数Ｍと配信先端末３００＿ｄのチャネル数Ｎ＿ｄが同じであれば、入力されたオノマトペ情報が関連付けられたＭチャネルの振動信号を、そのまま配信先端末３００＿ｄへのＮ＿ｄチャネルの振動信号とする。オノマトペ情報が関連付けられた振動信号のチャネル数Ｍと配信先端末３００＿ｄのチャネル数Ｎ＿ｄが異なる場合には、出力信号生成部１６０は、オノマトペ情報が関連付けられた振動信号のチャネル数Ｍと配信先端末３００＿ｄのチャネル数Ｎ＿ｄの大小を比較し、チャネル数の差分を考慮して、オノマトペ情報が関連付けられたＭチャネルの振動信号を、オノマトペ情報を利用してＮチャネルの振動信号に変換する（Ｓ１６０）。記憶部１９０は、オノマトペ情報が関連付いた振動信号を記憶している。図４は、記憶部１９０が記憶している振動信号の例である。この例では、振動信号は、オノマトペ情報だけでなくチャネル数（ｃｈ数）、リズム（ＢＰＭ：Beat par Minute）、パワーも関連付けて記憶されている。チャネル数、リズム、パワーは、適宜関連付ければよい。なお、本実施例では、リズム、パワーを用いる例は示さないが、後述の変形例に示す。

この段落と次の段落では、配信先端末３００のチャネル数をＮとして説明する。まず、Ｎ＞Ｍの場合の例を示す。出力信号生成部１６０は、入力されたオノマトペ情報が関連付けられたチャネル数Ｍの振動信号を、そのまま配信先端末のチャネル数Ｎの信号のうちのＭチャネル分の信号とした上で、Ｎ－Ｍチャネル分の信号を次のように生成する。出力信号生成部１６０は、Ｍチャネルの振動信号に関連付けられたオノマトペ情報と同じオノマトペ情報が関連付けられた振動信号を記憶部１９０から取得する。そして、記憶部１９０から取得した振動信号も用いてＮチャネルの振動信号を生成する。例えば、Ｎ－Ｍチャネル分の同じオノマトペ情報が関連付けられている振動信号を記憶部１９０から取得すればよい。出力信号生成部１６０は、Ｍチャネルの振動信号と記憶部１９０から取得したＮ－Ｍチャネルの振動信号を、そのままＮチャネルに割り当ててもよいし、重み付け加算した結果をＮチャネルのそれぞれのチャネルに割り当ててもよい。記憶部１９０にＮ－Ｍチャネル分の同じオノマトペ情報が関連付けられている振動信号がＮ－Ｍチャネル分以上に記録されている場合、あらかじめ記憶部１９０の振動信号に優先度を付与しておき、優先度の高い振動信号を優先して取得してもよいし、記憶部１９０に新しく記憶された振動信号から優先して取得してもよい。

次に、Ｎ＜Ｍの場合の例を示す。出力信号生成部１６０は、配信元端末２００から受信したＭチャネルの振動信号を重み付け加算した結果をＮチャネルのそれぞれのチャネルに割り当てればよい。また、記憶部１９０にオノマトペの優先度を記憶しておき、優先度に依存した重み付けを行ってもよい。例えば、Ｍチャネルの振動信号にチャネルによって異なるオノマトペが関連付けられている場合、優先度の高いオノマトペが関連付けられているチャネルの振動信号の重みを重くして、重み付け加算を行えばよい。出力信号生成部１６０は、配信元端末２００から受信したＭチャネルの振動信号からランダムに、または、優先度の高いオノマトペが関連付けられているチャネルの振動信号からＮチャネル分を選択して、それぞれのチャネルに割り当ててもよい。

配信先端末３００＿１，…，３００＿Ｄのそれぞれに振動信号を配信する場合は、出力信号生成部１６０は、それぞれの配信先端末のチャネル数に適合する振動信号を生成する。触覚振動配信装置１００は、配信先端末３００＿１，…，３００＿Ｄに出力信号生成部１６０が生成した振動信号を配信する。なお、出力信号生成部１６０から出力される信号は、チャネル数Ｎ＿ｄのオノマトペ情報が関連付けられた振動信号として記憶部１９０に追加で記憶するようにしてもよい。図５に、配信する振動信号のイメージを示す。

配信先端末３００＿１，…，３００＿Ｄは、呈示部３７０＿１，…，３７０＿Ｄを備えている。呈示部３７０＿ｄは受信した振動信号を入力とし、振動信号に従って、バイブレーションなどによって振動をユーザに伝える。

［変形例１］
触覚振動配信装置１００は、さらにリズム検出部１４０も備えてもよい。この場合、リズム検出部１４０は、Ｍチャネルの振動信号を入力とし、Ｍチャネルの振動信号のリズムを検出し、出力する（Ｓ１４０）。

出力信号生成部１６０は、リズムも入力とし、リズムに基づいて配信先端末３００＿１，…，３００＿Ｄへ送信するためのＮ＿１チャネルの振動信号，…，Ｎ＿Ｄチャネルの振動信号を生成し、出力する。具体的には、出力信号生成部１６０は、例えば、Ｎ＞Ｍの場合、リズムが近い振動信号の優先度を高くして、記憶部１９０から振動信号を取得すればよい。あるいは、出力信号生成部１６０は、Ｎ－Ｍチャネル分の同じオノマトペ情報が関連付けられている振動信号を記憶部１９０から取得し、Ｍチャネルの振動信号と記憶部１９０から取得したＮ－Ｍチャネルの振動信号を、リズムが近い振動信号ほど重みを重くして重み付け加算した結果を、Ｎチャネルの振動信号としてＮチャネルのそれぞれのチャネルに割り当ててもよい。逆に、Ｎ≦Ｍの場合には、リズムが近い振動信号の優先度が高くなるように振動信号を生成してもよい。例えば、Ｎ≦Ｍの場合には、出力信号生成部１６０は、Ｍチャネルの振動信号を、リズムが近く優先度の高い振動信号ほど重みを重くして重み付け加算した結果を、Ｎチャネルの振動信号としてもよい。

本変形例の触覚振動配信装置によれば、実施例１よりもさらに類似の振動信号を使用できるので、さらに違和感を低減できる。

［変形例２］
実施例１の触覚振動配信装置１００に、さらにパワー検出部１５０も備えてもよいし、変形例１の触覚振動配信装置１００に、さらにパワー検出部１５０も備えてもよい。この場合、パワー検出部１５０は、Ｍチャネルの振動信号を入力とし、Ｍチャネルの振動信号のチャネルごとのパワーを検出して出力する（Ｓ１５０）。検出する「パワー」は、振動信号の最大値ｍａｘ｛ｘ_ｍ（１），…，ｘ_ｍ（ｋ），…，ｘ_ｍ（Ｋ）｝としてもよいし、振動信号の平均値（ｘ_ｍ（１）＋…＋ｘ_ｍ（ｋ）＋…＋ｘ_ｍ（Ｋ））／Ｋとしてもよい。

出力信号生成部１６０は、パワーも入力とし、パワーに基づいて配信先端末３００＿１，…，３００＿Ｄへ送信するためのＮ＿１チャネルの振動信号，…，Ｎ＿Ｄチャネルの振動信号を生成し、出力する。具体的には、例えば、Ｎ＞Ｍの場合、出力信号生成部１６０は、Ｍチャネルの平均のパワーを求め、平均のパワーに近い平均パワーの振動信号を優先して記憶部１９０から取出してもよい。あるいは、出力信号生成部１６０は、Ｎ－Ｍチャネル分の同じオノマトペ情報が関連付けられている振動信号を記憶部１９０から取得し、Ｍチャネルの平均のパワーに近い平均パワーの振動信号の優先度を高くして、Ｍチャネルの振動信号と記憶部１９０から取得したＮ－Ｍチャネルの振動信号を、優先度の高い振動信号ほど重みを重くして、重み付け加算した結果をＮチャネルのそれぞれのチャネルに割り当ててもよい。また、例えば、Ｎ≦Ｍの場合、パワー検出部１５０が振動信号のＭチャネルのチャネルごとのパワーを検出し、出力信号生成部１６０が、Ｍチャネルの振動信号を、パワーが大きい振動信号ほど重みを重くして重み付け加算した結果を、Ｎチャネルの振動信号としてもよい。

［プログラム、記録媒体］
上述の各種の処理は、図６に示すコンピュータ２０００の記録部２０２０に、上記方法の各ステップを実行させるプログラムを読み込ませ、制御部２０１０、入力部２０３０、出力部２０４０、表示部２０５０などに動作させることで実施できる。

この処理内容を記述したプログラムは、コンピュータで読み取り可能な記録媒体に記録しておくことができる。コンピュータで読み取り可能な記録媒体としては、例えば、磁気記録装置、光ディスク、光磁気記録媒体、半導体メモリ等どのようなものでもよい。

また、このプログラムの流通は、例えば、そのプログラムを記録したＤＶＤ、ＣＤ－ＲＯＭ等の可搬型記録媒体を販売、譲渡、貸与等することによって行う。さらに、このプログラムをサーバコンピュータの記憶装置に格納しておき、ネットワークを介して、サーバコンピュータから他のコンピュータにそのプログラムを転送することにより、このプログラムを流通させる構成としてもよい。

このようなプログラムを実行するコンピュータは、例えば、まず、可搬型記録媒体に記録されたプログラムもしくはサーバコンピュータから転送されたプログラムを、一旦、自己の記憶装置に格納する。そして、処理の実行時、このコンピュータは、自己の記録媒体に格納されたプログラムを読み取り、読み取ったプログラムに従った処理を実行する。また、このプログラムの別の実行形態として、コンピュータが可搬型記録媒体から直接プログラムを読み取り、そのプログラムに従った処理を実行することとしてもよく、さらに、このコンピュータにサーバコンピュータからプログラムが転送されるたびに、逐次、受け取ったプログラムに従った処理を実行することとしてもよい。また、サーバコンピュータから、このコンピュータへのプログラムの転送は行わず、その実行指示と結果取得のみによって処理機能を実現する、いわゆるＡＳＰ（Application Service Provider）型のサービスによって、上述の処理を実行する構成としてもよい。なお、本形態におけるプログラムには、電子計算機による処理の用に供する情報であってプログラムに準ずるもの（コンピュータに対する直接の指令ではないがコンピュータの処理を規定する性質を有するデータ等）を含むものとする。

また、この形態では、コンピュータ上で所定のプログラムを実行させることにより、本装置を構成することとしたが、これらの処理内容の少なくとも一部をハードウェア的に実現することとしてもよい。

１００触覚振動配信装置１２０，２２０オノマトペ付与部
１３０チャネル数検出部１４０リズム検出部
１５０パワー検出部１６０出力信号生成部
１９０記憶部２００配信元端末
２１０取得部３００配信先端末
３７０呈示部

Claims

ＭとＮを１以上の整数とし、
オノマトペ情報が関連付いた振動信号を記憶した記憶部と、
配信先端末のチャネル数Ｎを取得するチャネル数検出部と、
オノマトペ情報が関連付けられたチャネル数Ｍの振動に関する信号である振動信号を、前記オノマトペ情報を利用してＮチャネルの振動信号に変換する出力信号生成部と
を備え、
前記出力信号生成部は、Ｍチャネルの振動信号に関連付けられたオノマトペ情報と同じオノマトペ情報が関連付けられた振動信号を前記記憶部から取得し、前記記憶部から取得した振動信号も用いてＮチャネルの振動信号を生成する
ことを特徴とする触覚振動配信装置。
請求項１記載の触覚振動配信装置であって、
前記記憶部が記憶した振動信号には、当該振動信号のリズムに関する情報も関連付けられており、
前記のＭチャネルの振動信号のリズムを検出するリズム検出部も備え、
前記出力信号生成部は、リズムが近い振動信号の優先度を高くして、前記記憶部から振動信号を取得する
ことを特徴とする触覚振動配信装置。
請求項１または２記載の触覚振動配信装置であって、
前記記憶部が記憶した振動信号には、当該振動信号のパワーに関する情報も関連付けられており、
前記のＭチャネルの振動信号のチャネルごとのパワーを検出するパワー検出部も備え、
前記出力信号生成部は、Ｍチャネルの平均のパワーに、パワーが近い振動信号の優先度を高くして、前記記憶部から振動信号を取得する
ことを特徴とする触覚振動配信装置。
請求項１から３のいずれかに記載の触覚振動配信装置であって、
前記記憶部は、あらかじめ定めたオノマトペの優先度も記憶しており、
前記出力信号生成部は、優先度に依存した重み付け加算により、Ｎチャネルの振動信号を生成する
ことを特徴とする触覚振動配信装置。
請求項１から４のいずれかに記載の触覚振動配信装置であって、
前記のＭチャネルの振動信号のチャネルごとのパワーを検出するパワー検出部も備え、
前記出力信号生成部は、パワーが大きい振動信号の重みを重くした重み付け加算により、Ｎチャネルの振動信号を生成する
ことを特徴とする触覚振動配信装置。
ＭとＮを１以上の整数とし、
記録部にオノマトペ情報が関連付いた振動信号を記憶しておき、
配信元端末でのＭチャネルの振動に関する信号である振動信号を取得する取得ステップと、
Ｍチャネルの振動信号に対して、チャネルごとに、当該チャネルの振動信号に対応するオノマトペ情報を関連付けるオノマトペ付与ステップと、
配信先端末のチャネル数Ｎを検出するチャネル数検出ステップと、
Ｍチャネルの振動信号を、前記オノマトペ情報を利用してＮチャネルの振動信号に変換する出力信号生成ステップと、
配信先端末でＮチャネルの振動信号に基づいて触覚振動を呈示する呈示ステップ
を実行する触覚振動配信方法であって、
前記出力信号生成ステップは、Ｍチャネルの振動信号に関連付けられたオノマトペ情報と同じオノマトペ情報が関連付けられた振動信号を前記記憶部から取得し、前記記憶部から取得した振動信号も用いてＮチャネルの振動信号を生成する
ことを特徴とする触覚振動配信方法。
請求項１から５のいずれかの触覚振動配信装置としてコンピュータを機能させるための触覚振動配信プログラム。