特開 2023-68278 ハプティクス音響システム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2023068278

(43)【公開日】2023-05-17

(54)【発明の名称】ハプティクス音響システム

(51)【国際特許分類】

   H04R 3/00 20060101AFI20230510BHJP

   G06F 3/01 20060101ALI20230510BHJP

【ＦＩ】

H04R3/00 310

G06F3/01 560

G06F3/01 510

【審査請求】未請求

【請求項の数】11

【出願形態】ＯＬ

(21)【出願番号】P 2021179198

(22)【出願日】2021-11-02

【公序良俗違反の表示】

（特許庁注：以下のものは登録商標）

１．ＢＬＵＥＴＯＯＴＨ

２．ＺＩＧＢＥＥ

(71)【出願人】

【識別番号】516294001

【氏名又は名称】株式会社Ｘｅｎｏｍａ

(74)【代理人】

【識別番号】110002790

【氏名又は名称】Ｏｎｅ ｉｐ弁理士法人

(72)【発明者】

【氏名】辻 裕樹

(72)【発明者】

【氏名】後藤 義宏

(72)【発明者】

【氏名】網盛 一郎

(72)【発明者】

【氏名】長嶋 洋一

【テーマコード（参考）】

5D220

5E555

【Ｆターム（参考）】

5D220AA34

5E555AA08

5E555AA76

5E555BA04

5E555BA16

5E555BA38

5E555BA88

5E555BB04

5E555BB16

5E555BB38

5E555BC01

5E555CB74

5E555DA23

5E555DA24

5E555DB57

5E555DC84

5E555DD06

5E555EA07

5E555EA09

5E555FA00

(57)【要約】      （修正有）

【課題】ユーザがケーブルで繋がれることなく、音声による聴覚情報と少なくとも２つのチャンネルの独立した生体電気刺激による触覚情報が違和感なく融合しているハプティクス音響システムを提供する。
【解決手段】ハプティクス音響システムは、生体電気刺激による触覚情報をユーザに提示するシステムにおいて、生体電気刺激の波形出力装置２３がユーザの体外に有線接続されることなくユーザの体上に配置され、無線による入力信号が少なくとも２つのチャンネルの独立した触覚情報２を有することによりユーザの体上の異なる箇所に触覚情報を提示し、入力信号は音声による聴覚情報１を有し、音声による聴覚情報１が少なくとも１つのオーディオトラック１１または少なくとも１つのＭＩＤＩトラック２１を有し、触覚情報がＭＩＤＩトラックを有し、触覚情報のチャンネルと電流刺激パターンをＭＩＤＩトラックおよびトラック上の音階で記録する。
【選択図】図１

【特許請求の範囲】

【請求項1】

生体電気刺激による触覚情報をユーザに提示するシステムにおいて、
生体電気刺激の波形出力装置がユーザの体外に有線接続されることなくユーザの体上に配置され、
無線による入力信号が少なくとも２つのチャンネルの独立した触覚情報を有することによりユーザの体上の異なる箇所に触覚情報を提示し、
さらに入力信号は音声による聴覚情報を有し、
前記音声による聴覚情報が少なくとも１つのオーディオトラックまたは少なくとも１つのＭＩＤＩトラックを有し、
前記触覚情報がＭＩＤＩトラックを有し、
触覚情報のチャンネルと電流刺激パターンをＭＩＤＩトラックおよびトラック上の音階で記録することを特徴とするハプティクス音響システム。

【請求項2】

前記少なくとも２つのチャンネルの独立した触覚情報において、
触覚情報は少なくとも２つの電極間にある生体に双極性の電流パルスを与える生体電気刺激であって、
前記電流パルスのパルス幅は１乃至５００マイクロ秒であって、
電流パルスは同じ時間帯に１チャンネルしか流していないことを特徴とする請求項１に記載のハプティクス音響システム。

【請求項3】

前記生体電気刺激の電圧上限が２０乃至８０Ｖであることを特徴とする請求項１乃至２に記載のハプティクス音響システム。

【請求項4】

前記電流刺激パターンがＭＩＤＩトラックで区別され、前記触覚情報のチャンネルがＭＩＤＩトラック上の音階で区別されていることを特徴とする請求項１乃至３に記載のハプティクス音響システム。

【請求項5】

前記触覚情報のチャンネルがＭＩＤＩトラックで区別され、前記電流刺激パターンがＭＩＤＩトラック上の音階で区別されていることを特徴とする請求項１乃至３に記載のハプティクス音響システム。

【請求項6】

前記ＭＩＤＩトラックの信号出力を１０ミリ秒以下の単位で調整していることを特徴とする請求項１乃至５に記載のハプティクス音響システム。

【請求項7】

前記入力信号がさらに映像による視覚情報を有し、視覚情報が少なくとも１つのビデオトラックを有していることを特徴とする請求項１乃至６に記載のハプティクス音響システム。

【請求項8】

前記ハプティクス音響システムが衣服であって、波形出力装置と衣服上に形成された電極とが、２０％伸張時の電気抵抗率上昇が０乃至３０％であって、導電部の周囲が絶縁性材料で絶縁されている伸縮性配線で繋がれていることを特徴とする請求項１乃至７に記載のシステム。

【請求項9】

前記伸縮性配線が伸縮性を備える芯材を含んでおり、少なくとも１つの繊維に導電材料を被覆した導電性繊維を、直接または他の材料を介して、前記芯材の周囲に巻き付けて被覆した導電性被覆部と、該導電性被覆部の周囲を絶縁性材料により被覆した絶縁性被覆部を有し、前記伸縮性配線の長さをＬ１、前記伸縮性配線から前記絶縁性被覆部を除去した後の長さをＬ２としたとき、０．５０＜Ｌ２／Ｌ１＜１．００であることを特徴とする請求項８に記載のハプティクス音響システム。

【請求項10】

ユーザが歪、圧電もしくは慣性式による運動センサを装着していることを特徴とする請求項１乃至９に記載のハプティクス音響システム。

【請求項11】

前記運動センサから得られる運動情報と触覚情報との一致度からユーザの運動を評価する運動評価部を備えた請求項１０に記載のハプティクス音響システム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、体への電気刺激による触覚を伴う音声すなわちハプティクス音響を与えるシステムに関する。

【背景技術】

【0002】

近年、ゲームや音楽などのエンターテイメントにおいて、聴覚、視覚だけでなく、振動などによる触覚情報も楽しむハプティクスシステムが普及し始めている。ゲームのコントローラのように把持している手に触覚を伝えるもの、床のように足裏を通じて触覚を伝えるものなど、聴覚、視覚に加えて触覚が刺激されることでより高い没入感が得られることから、バーチャルリアリティとの組み合わせで急速に普及してきている。例えば非特許文献１には、全身に２４チャンネルのボイスコイル振動子を配置したスーツを用いて、実際の外部音やあらかじめ録音した音源から触覚効果を与えることにより音楽と全身の触覚の共感覚が得られるシステムが開示されている。

【0003】

また、生体電気刺激による触覚と音楽の融合についても研究されている。例えば非特許文献２には８チャンネルの生体電気刺激デバイスを用いた音楽との融合体験が開示されている。ユーザは音楽に対応した刺激を得られるものである。ボイスコイル振動子に比べると電極を貼り付けるだけなので身体への負荷は小さい。また、電流のパルスパターンを変化させることにより、ユーザが様々な種類の触覚体験を得ることができる。

【0004】

生体電気刺激による触覚と音楽の融合については他にも、非特許文献３には生体電気刺激による触覚が提示するリズムに合わせてパーカッションを学習する方法が開示されている。ユーザは片方の腕と足のそれぞれに装着した２チャンネルの電極対からの生体電気刺激のリズムを頼りに正しいパーカッションのリズムを学習できている。

【0005】

生体電気刺激技術については、従来からある小型の低周波治療器の他に、近年ではユーザがケーブルに繋がれていない無線生体電気刺激スーツ型のものが登場している（非特許文献４，２０頁）。従来より生体電気刺激スーツは有線のものが主としてトレーニング用途に使われてきたが、無線型は自由に動くことができる点が最大の特徴である。特に全身スーツ型は多チャンネルの生体電気刺激を備えているものが多い。

【先行技術文献】

【非特許文献】

【0006】

【非特許文献1】Ｋｏｎｉｓｈｉ， Ｙ．， ｅｔ ａｌ． ＡＣＭ ＳＩＧＧＲＡＰＨ ２０１６ ＶＲ Ｖｉｌｌａｇｅ． ２０１６． １－１．

【非特許文献2】長嶋洋一， 他． 情報処理学会研究報告音楽情報科学 （ＭＵＳ） ２００２．４０ （２００２－ＭＵＳ－０４５） （２００２）： ２７－３２．

【非特許文献3】Ｅｂｉｓｕ， Ａ．， ｅｔ ａｌ． Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ｔｈｅ ８ｔｈ Ａｕｇｍｅｎｔｅｄ Ｈｕｍａｎ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｃｏｎｆｅｒｅｎｃｅ． ２０１７．

【非特許文献4】Ｋａｚａｎｉ， Ｉ．， ｅｔ ａｌ． “Ｓｍａｒｔ ｔｅｘｔｉｌｅｓ ｆｏｒ ｓｐｏｒｔｓｗｅａｒ ａｎｄ ｗｅａｒａｂｌｅｓ （ＷＧ５）： Ｓｔａｔｅ－ｏｆ－ｔｈｅ ａｒｔ ｒｅｐｏｒｔ． ＣＯＮＴＥＸＴ Ｐｒｏｊｅｃｔ．” （２０２０）： ２０．

【発明の概要】

【発明が解決しようとする課題】

【0007】

発明者らは、エアロビクスダンスなどのリズミカルなダンスに対して生体電気刺激による触覚と音楽の融合によるハプティクス音響システムの応用について検討したところ、種々の問題点があることに気付いた。

【0008】

発明者らが気付いた問題点の１つは有線ケーブルによる運動の制約である。例えば、非特許文献１および非特許文献２のハプティクスシステムはいずれも電源および波形出力装置が大きい。特に非特許文献１のボイスコイル振動子で十分な触覚を得るには大きなパワーを必要とするため、さらに多チャンネルになると非常に大きな電源が必要となる。ユーザは有線ケーブルで繋がれてしまうため、運動に制約が生じてしまっていた。

【0009】

有線ケーブルの問題を解決する方法として、非特許文献４の生体電気刺激スーツは無線が可能であるが、ここで発明者らは生体電気刺激による触覚と音楽の融合における２つ目の問題点を見出した。従来の生体電気刺激は繰り返し特定の周波数の電流を出力するものであるため、音楽のように特定のタイミングで電気刺激を提示する必要がなかった。非特許文献３では触覚刺激に合わせて音を鳴らすという形で音楽と生体電気刺激による触覚を融合させているが、これも生体電気刺激が繰り返しパターンを提示するのみで、特定のタイミングに合わせるものではないという特性によるものである。

【0010】

このことは生体電気刺激特有の性質に由来している。生体電気刺激技術においてはパルス電流を出力する際に電源が電力を貯める時間が必要となるため、その分だけ時刻遅延が生じる。特に小型電源による非特許文献４のようなものではより長く貯める時間を要するため、音楽による聴覚情報と生体電気刺激による触覚情報のタイミングを揃えることが困難であった。しかも、一般に生体電気刺激は電流をトリガーとして筋肉が収縮し、その筋肉収縮を触覚として感じるため、触覚の発生にも微妙な遅延が生じる。音楽のリズムに対してユーザの触覚刺激がずれてしまうことは目的とする応用に対して大きな問題であり、そのために音楽分野では既存の音楽と生体電気刺激による触覚を同期させるという取り組みがなされてこなかった。

【0011】

聴覚情報と触覚情報の時刻同期についてはさらにもう一つの問題があった。生体電気刺激の入力信号と音声の入力信号を等しく扱うシステムは一般的ではなく、システムが二つに分かれてしまっていた。非特許文献２においては触覚の入力信号を音楽では一般的なＭＩＤＩで制御することが示されているが、既存の音楽と生体電気刺激による触覚を同期させることが前述のように困難であったため、そのようなシステムが必要である状況に至らなかったと考えられる。

【0012】

さらに、ハプティクスシステムとしては異なる触覚パターンを提示することにより表現が広がる。特に音楽と融合させるためにはそれを記号化、すなわち楽譜のようなデータにすることが必要であるが、これまでに生体電気刺激でリズムすなわち時間軸で音楽と一体化したハプティクス音響システムについては十分な検討がなされてこなかった。

【0013】

本発明は、上記事情に鑑みなされたものであり、上述の課題を一度に解決できるハプティクス音響システムを実現することを目的とする。より具体的には、ユーザがケーブルで繋がれることなく、音声による聴覚情報と少なくとも２つのチャンネルの独立した生体電気刺激による触覚情報が違和感なく融合しているハプティクス音響システムを提供することを目的とする。

【課題を解決するための手段】

【0014】

本発明者らは、鋭意検討の結果、触覚情報もまた聴覚情報により構成される音楽と同じく、楽器と音階を用いることが作曲家にとって直感的で自然なインターフェースであることを見出した。それを実現するために、聴覚情報が少なくとも１つのオーディオトラックまたは少なくとも１つのＭＩＤＩトラックからなり、少なくとも２チャンネルの生体電気刺激による触覚情報がＭＩＤＩトラックからなり、触覚を与える部位に相当する生体刺激のチャンネルと、触覚のパターンを決定する生体への電流刺激パターンを、異なるＭＩＤＩトラックまたは異なる音階として表現することが好適であることを見出した。

【0015】

さらに、音声による聴覚情報と少なくとも２つのチャンネルの独立した生体電気刺激による触覚情報が違和感なく融合しているハプティクス音響システムのためには、聴覚情報と触覚情報の時間差が±２０ミリ秒以内となることが必要であることを見出した。それを実現するために、前述の聴覚情報を構成するオーディオトラックまたはＭＩＤＩトラックと、触覚情報を構成するＭＩＤＩトラックを同一タイムライン上で扱うことで触覚情報の信号のタイミングを１０ミリ秒以下の単位で調整できるようにし、本発明を完成させた。

【0016】

上記目的を達成するために本発明の一の態様は、生体電気刺激による触覚情報をユーザに提示するシステムにおいて、生体電気刺激の波形出力装置がユーザの体外に有線接続されることなくユーザの体上に配置され、無線による入力信号が少なくとも２つのチャンネルの独立した触覚情報を有することによりユーザの体上の異なる箇所に触覚情報を提示し、さらに入力信号は音声による聴覚情報を有し、前記音声による聴覚情報が少なくとも１つのオーディオトラックまたは少なくとも１つのＭＩＤＩトラックを有し、前記触覚情報がＭＩＤＩトラックを有し、触覚情報のチャンネルと電流刺激パターンをＭＩＤＩトラックおよびトラック上の音階で記録することを特徴とするハプティクス音響システムである。

【0017】

本発明の一の態様によれば、ユーザは外部の電源、装置等にケーブルで繋がれることなく、音楽のリズムにあわせて生体電気刺激による触覚情報、すなわち音楽に融合した触覚体験を得ることが可能となる。しかも、２箇所以上の触覚情報が得られることから、左右の方向情報や、立つ座るなどの運動情報などダンスの動きに連動した情報提示や、音楽の曲調などに合わせた異なる触覚刺激の提示も可能な新しいハプティクス音響システムである。

【0018】

本発明において、聴覚情報のＭＩＤＩトラックは再生時にはＭＰ３形式やＷＡＶ形式のオーディオファイルに変換されていてもよい。ＭＩＤＩデータは音源情報を持たないため、再生環境によって音質が変わってしまうが、あらかじめ音源を指定してＭＰ３形式やＷＡＶ形式のファイルにすれば、再生環境によって音質が大きく変化することがなく好ましい。

【0019】

本発明の他の態様として、前記少なくとも２つのチャンネルの独立した触覚情報において、触覚情報は少なくとも２つの電極間にある生体に双極性の電流パルスを与える生体電気刺激であって、前記電流刺激パターンのパルス幅は１乃至５００マイクロ秒であって、電流パルスは同じ時間帯に１チャンネルしか流していないことが好ましい。同じ時間帯に２チャンネル同時に電流を流そうとすると、１つのチャンネルを構成する２つの電極間だけでなく、異なるチャンネルの電極との間にも電流が流れてしまう。小さな波形出力装置で多チャンネルに電流を流すためにはパルス幅は１０乃至３００マイクロ秒がさらに好ましく、２５乃至２００マイクロ秒が特に好ましい。

【0020】

本発明の他の態様として、前記生体電気刺激の電圧上限が２０乃至８０Ｖであることが好ましく、３０乃至６０Ｖであることがさらに好ましい。これにより、波形出力装置を小さくすることができる。

【0021】

本発明の他の態様として、前記電流刺激パターンがＭＩＤＩトラックで区別され、前記触覚情報のチャンネルがＭＩＤＩトラック上の音階で区別されていることが好ましい。電流刺激パターンはユーザが感じる触覚の種類となるため、作曲家にとっては楽器が異なるようにＭＩＤＩトラックごとに異なる電流刺激パターンが割り当てられている方が直感的である。さらに、電流刺激パターンによってリズムの感じ方が変わるため、パターンごとに時間調整ができるようになると聴覚情報と触覚情報の時間差が±２０ミリ秒以内になって音楽と触覚が融合したハプティクス音響システムになるが、時間調整はＭＩＤＩトラックごとにできることから、電流刺激パターンがＭＩＤＩトラックで区別されることが好ましいと言える。

【0022】

本発明の他の態様として、前記触覚情報のチャンネルがＭＩＤＩトラックで区別され、前記電流刺激パターンがＭＩＤＩトラック上の音階で区別されていることが好ましい。

【0023】

本発明の他の態様として、ＭＩＤＩトラックの信号出力を１０ミリ秒以下の単位で調整していることを特徴とする請求項１に記載のハプティクス音響システムであることが好ましい。ＭＩＤＩトラックごとに可変で調整できることがさらに好ましい。これにより、ユーザは音楽のリズムに一致した触覚を得ることができる。ここでＭＩＤＩトラックの信号出力の時間調整は、他のトラックとの相対的な調整であることから、システム内でオーディオトラックの時間を調整したとしてもＭＩＤＩトラックの信号出力の時間調整に含まれる。

【0024】

本発明の他の態様として、前記ＭＩＤＩトラックの出力信号の時間調整が、１０ミリ秒以下の単位でトラックごとに可変であることが好ましい。同一トラックは同一の時間調整となるが、電流刺激パターンによって触覚を感じるタイミングが異なることから、ＭＩＤＩトラックを電流刺激パターンに割り当てて、触覚情報のチャンネルを音階に割り当てることが好ましい。

【0025】

本発明の他の態様として、前記入力信号がさらに映像による視覚情報を有し、視覚情報が少なくとも１つのビデオトラックを有していることが好ましい。これにより、ユーザは映像と音楽と触覚の融合を体験することができる。

【0026】

本発明の他の態様として、前記ハプティクス音響システムが衣服であって、波形出力装置と衣服上に形成された電極とが、２０％伸張時の電気抵抗率上昇が０乃至３０％であって、導電部の周囲が絶縁性材料で絶縁されている伸縮性配線で繋がれていることが好ましい。これにより、ユーザは衣服を着用するだけで適切な位置に電極を配置することができ、着用時や運動時に衣服が伸縮しても配線の断線や抵抗変化に伴う刺激の著しい変化が生じないハプティクス音響システムを得ることができる。

【0027】

本発明の他の態様として、前記伸縮性配線が伸縮性を備える芯材を含んでおり、少なくとも１つの繊維に導電材料を被覆した導電性繊維を、直接または他の材料を介して、前記芯材の周囲に巻き付けて被覆した導電性被覆部と、該導電性被覆部の周囲を絶縁性材料により被覆した絶縁性被覆部を有し、前記伸縮性配線の長さをＬ１、前記伸縮性配線から前記絶縁性被覆部を除去した後の長さをＬ２としたとき、０．５０＜Ｌ２／Ｌ１＜１．００であることが好ましい。これにより、衣服の生地が大きく引っ張られても断線することのない耐久性の高いハプティクス音響システムを得ることができる。

【0028】

本発明の他の態様として、ユーザが歪、圧電もしくは慣性式による運動センサを装着していることが好ましい。センサは体上にあれば肌に直接でも衣服上でも波形出力装置内でもよい。歪センサおよび圧電センサは衣服上にあることが好ましく、慣性式運動センサは衣服上もしくは波形出力装置内にあることが好ましい。これにより、ユーザの運動情報を得ることができるようになる。

【0029】

本発明の他の態様として、前記運動センサから得られる運動情報と触覚情報との一致度からユーザの運動を評価する運動評価部を備えることが好ましい。これにより、例えばユーザのダンスの評価ができるだけでなく、これまで音楽に合わせて行ってきたダンスの練習に対してさらに触覚による支援ができることから、リズム情報を触覚で直感的に得ながら、ダンスの評価を得ることができるため、練習ツールとして用いることも可能となる。

【図面の簡単な説明】

【0030】

【図1】図１は本発明に係るシステムブロック図

【図2】図２は本発明に係る触覚情報のデータ構造のブロック図

【図3】図３は本発明の電流刺激パターンにおける電流パルスの概念図

【図4】図４は本発明の電流刺激パターンの概念図

【図5】図５は本発明に係るシステムブロック図

【図6】図６は本発明に係るシステムブロック図

【図7】図７は本発明に係るシステムブロック図

【図8】図８は本発明に係るハプティクス音響システムの衣類の概念図

【図9】図９は本発明に係るシステムブロック図

【発明を実施するための形態】

【0031】

以下、添付図面に従って本発明の好適な実施形態について説明する。

【0032】

図１は、本発明の一の態様に係るシステムブロック図である。情報処理装置９上のアプリケーションで処理される聴覚情報１と触覚情報２はそれぞれ、スピーカ１３および波形出力装置２３を介してユーザ１０の聴覚１５および触覚２５に情報を伝える。ここでスピーカとは広義に音声を出力する装置を指す。スピーカから出力された音声は空気を経由してユーザの聴覚１５すなわち耳に到達し、ユーザに音声を提示する。波形出力装置２３はユーザの体上に配置され、触覚情報２の入力信号はＷｉＦｉやＢｌｕｅｔｏｏｔｈなどの無線５によって情報処理装置９から波形出力装置２３に送信される。波形出力装置２３はユーザの体上に配置されていれば固定方法については特に限定がなく、ベルトのようなもので固定する方法、首からぶら下げて固定する方法、ユーザの着用している衣類に固定する方法などが挙げられる。図１においては３チャンネルの独立した触覚情報２が、波形出力装置２３を経由してユーザの体上の異なる３箇所に触覚として提示される。聴覚情報１はデジタル音源として広く知られるオーディオトラック１１およびＭＩＤＩトラック１２により構成されている。また、触覚情報２はＭＩＤＩトラック２１により構成されている。触覚情報２を音楽で一般に用いられるＭＩＤＩトラック２１で扱うことにより、聴覚情報１と共に情報処理装置９上の同じアプリケーション上で制御できるようになり、結果として同じタイムライン上で扱うことで時間調整が容易となる。

【0033】

波形出力装置２３には電源および出力電圧の上限を決定する昇圧回路、バッテリ、電流パルスを制御するためのマイコン、Ｂｌｕｅｔｏｏｔｈなどの無線モジュール等が内蔵されている。出力電源の電圧上限は２０乃至８０Ｖが好ましく、４０乃至６０Ｖがさらに好ましい。６０Ｖ以下にすることで小勢力回路として絶縁回路を省略できるなど波形出力装置２３を小さくしやすくなる。無線モジュールは特に制限はないが、ＢｌｕｅｔｏｏｔｈやＷｉＦｉの他、ＺｉｇｂｅｅやＬＰＷＡ、携帯電話に用いられる５ＧやＬＴＥなどが挙げられる。中でも消費電力とスマートフォンで使えるという観点からＢｌｕｅｔｏｏｔｈが好ましい。波形出力装置の電流出力は定電圧出力回路でも定電流出力回路でもよい。定電圧出力回路ならば波形出力装置２３は回路が単純化できてより小型にできるので好ましい。定電流出力回路ならば波形出力装置と各チャンネルの電極を繋ぐ配線の抵抗変化に影響を受けることなく電流刺激が与えられるので好ましい。

【0034】

図２は、本発明の一の態様に係る触覚情報２のデータ構造のブロック図である。図２においては３つのＭＩＤＩトラック２１ａ、２１ｂ、２１ｃがあり、一般に音声に用いられるＭＩＤＩトラック内にはある時刻における音階および音量情報２１１が記録されている。仮に音階Ｃ、Ｄ、Ｅをそれぞれ２１１ａ、２１１ｂ、２１１ｃとするとき、ユーザ１０の体上の腹部触覚２５ａ、右腕部触覚２５ｂ、左腕部触覚２５ｃの独立した３チャンネルの情報を異なるＭＩＤＩトラック２１ａ、２１ｂ、２１ｃに、異なる電流刺激パターンは音階２１１ａ、２１１ｂ、２１１ｃに記録してもよいし、逆に３チャンネルの情報を音階２１１ａ、２１１ｂ、２１１ｃに、電流刺激パターンをＭＩＤＩトラック２１ａ、２１ｂ、２１ｃに記録してもよい。後述する信号の時間調整がＭＩＤＩトラックごとになるため、電流刺激パターンをＭＩＤＩトラック２１ａ、２１ｂ、２１ｃに記録するのが好ましい。この場合、電流の大きさは音階２１１ごとの音量により調整することが可能となる。

【0035】

図３は、本発明の電流刺激パターンにおける電流パルスの概念図である。電流は２つの電極の間を双方向に同じ電流パルス幅２３１で流れる。この一組の双極パルスがチャンネル２５に相当する。時間的に隣り合うチャンネル２５の間には０秒より大きいインターバル２３２があり、それらがチャンネル数だけ並んで、次にまた同じチャンネルに電流を流すまでの基本パターン２３０を繰り返す。この周期２３０は電流刺激パターンではなく、電流刺激パターンを構成する基本パターンであり、チャンネルごとに出力電流が変えられるだけでなく、電流刺激パターンはこの基本パターンの出力電流を変えることで作られる。電流パルス幅は１乃至５００マイクロ秒が好ましく、隣り合うチャンネルにインターバル２３２があることで、異なるチャンネルの電極間に電流が流れることを防ぐことができる。基本パターン２３０の周期の逆数がこの生体電気刺激の周波数となる。

【0036】

図４は、本発明の電流刺激パターン２３４の概念図である。図３に説明したように出力電流の異なる基本パターン２３０の繰り返しにより電流刺激パターン２３４が構成される。電流刺激パターンには安定に出力するＯＮ時間２３５と電流ゼロのＯＦＦ時間２３６があり、電流の最大値に向かって上昇する領域をランプアップ時間２３７、電流最大値からゼロに下降する領域をランプダウン時間２３８と定義する。図４は標準的な電流刺激パターンの一例であり、ランプアップ時間２３７がゼロのものや、ランプダウンで電流ゼロまで落ちないもの、ＯＮ時間に基本パターン２３０の周期よりも緩やかな周期で変調するものなど、表現する触覚を作り出すために様々な電流刺激パターンがあり得る。

【0037】

図５は、本発明の他の態様に係るシステムブロック図である。図１と異なり、スピーカ１３はＢｌｕｅｔｏｏｔｈイヤフォンのようなウェアラブル機器を用い、聴覚情報１もまた無線５を介して情報処理装置９よりスピーカ１３に送信される。これにより、例えば情報処理装置としてスマートフォンを用い、聴覚情報１および触覚情報２からなるコンテンツを無線５であるＢｌｕｅｔｏｏｔｈでスピーカ１３であるＢｌｕｅｔｏｏｔｈイヤフォンと波形出力装置２３に送信し、ユーザにハプティクス音響を提示することができる。情報処理装置９はスマートフォンに限られず、タブレット端末、ノート型パソコン、デスクトップ型パソコン等であってもよい。

【0038】

図６は、本発明の他の態様に係るシステムブロック図である。ＭＩＤＩトラック１２および２１の情報は１０ミリ秒以下の単位で時間調整６によりトラックごとに調整されてから情報処理装置９よりスピーカ１３および波形出力装置２３に送信される。ＢｌｕｅｔｏｏｔｈやＷｉＦｉの無線通信による遅延は１０ミリ秒以下で時間調整６により十分に吸収できる。この時間調整６によって、聴覚情報と触覚情報の時間差が±２０ミリ秒以内の良質なハプティクス音響を体験することができる。

【0039】

図７は、本発明の他の態様に係るシステムブロック図である。本態様においては情報処理装置９上に視覚情報３としてビデオトラック３１を有しており、視覚情報３をディスプレイ３３によってユーザ１０の視覚３５に提示する。図７ではビデオトラックは１つであるが、２つ以上の視覚情報を複数のディスプレイで映像を表示してもよいし、無線を介してユーザの体上にあるヘッドマウントディスプレイに映像を表示してもよい。一般に音声を伴う動画ではオーディオトラックの時間調整６によって映像と音声の同期を行うが、ビデオトラック側の時間を調整してもよい。映像を伴うことにより、ユーザはさらに高度なハプティクス音響を体験することができる。

【0040】

図８は、本発明に係るハプティクス音響システムの衣類７の概念図である。衣類７はシャツでもパンツでも全身スーツでもよく、衣類７はユーザの体にチャンネル２５の電極をしっかり接触させるために伸縮性の生地で着圧を与えるコンプレッションタイプが好ましい。衣類７の上には直接またはコネクタを介して波形出力装置２３が固定されている。波形出力装置からは２つ以上のチャンネルによる複数個所への触覚が提示される。腹部２５ａ、右腕部２５ｂ、左腕部２５ｃ、右腿部２５ｄ、左腿部２５ｅの５つのチャンネル（電極を含む）が開示され、波形出力装置２３とは図８において点線で表される伸縮性配線８によって有線接続されている。伸縮性配線８は、衣類７の生地の内面上、外面上、または内部に位置する。

【0041】

伸縮性配線８は２０％伸張時の電気抵抗率上昇が０乃至３０％であって、導電部の周囲が絶縁性材料で絶縁されていることが好ましい。さらに、伸縮性配線８は伸縮性を備える芯材を含んでおり、少なくとも１つの繊維に導電材料を被覆した導電性繊維を、直接または他の材料を介して、前記芯材の周囲に巻き付けて被覆した導電性被覆部と、該導電性被覆部の周囲を絶縁性材料により被覆した絶縁性被覆部を有し、前記伸縮性配線の長さをＬ１、前記伸縮性配線から前記絶縁性被覆部を除去した後の長さをＬ２としたとき、０．５０＜Ｌ２／Ｌ１＜１．００であることが好ましい。コンプレッションタイプの衣類においては、着用時に生地が著しく引っ張られることがあるが、これによって伸張による伸縮性配線の断線を防ぐことができる。

【0042】

図９は、本発明の他の態様に係るシステムブロック図である。本態様においてはユーザの体上に歪、圧電もしくは慣性式による運動センサ４３が配置され、ユーザの運動４５は運動センサ４３から無線５を介して運動情報４２として情報処理装置９上の運動評価部４に送信される。ハプティクス音響システムの入力信号にはリズム情報４１があるため、ハプティクス音響のリズムとユーザの運動情報４２がどれだけ一致しているかを運動評価４４で評価することにより、ダンスの評価ができるだけでなく、これまで音楽に合わせて行ってきたダンスの練習に対してさらに触覚による支援ができることから、リズム情報を触覚で直感的に得ながら、ダンスの評価を得ることができるため、練習ツールとして用いることも可能となる。運動評価として最も簡単なものとしては、触覚情報と運動情報の自己相関関数を用いた方法が挙げられる他、例えばＴｓａｉ， Ｗｅｉ－Ｈｏ， ａｎｄ Ｈｓｉｎ－Ｃｈｉｅｈ Ｌｅｅ． ＩＥＥＥ ｔｒａｎｓａｃｔｉｏｎｓ ｏｎ ａｕｄｉｏ， ｓｐｅｅｃｈ， ａｎｄ ｌａｎｇｕａｇｅ ｐｒｏｃｅｓｓｉｎｇ ２０．４ （２０１１）： １２３３－１２４３．に記載のカラオケの歌唱評価で用いられるアルゴリズムを利用することもできる。

【0043】

運動センサ４３はユーザの体上ならばどこに配置されてもよいが、歪センサおよび圧電センサはユーザの体の変形を検出するため、衣服７の生地上にあることが好ましい。慣性式の場合は加速度や角速度を検出するため、体の部位の運動速度を検出するためには衣服７の方が好ましく、体の部位でなく全体のリズム情報を得るだけならば衣服上に複雑な配線を必要としない観点から波形出力装置２３内の方が好ましい。仮に波形出力装置２３の中であっても波形出力装置２３の位置のみの運動情報だけでなく、そこから離れた腕や頭などの運動も部位の特定はできないが、リズム情報として得ることは可能である。

【0044】

また、本発明は上述した実施形態に限定されず、本発明の精神を逸脱しない範囲で種々の変形が可能であることは言うまでもない。

【符号の説明】

【0045】

１ 聴覚情報
２ 触覚情報
３ 視覚情報
４ 運動評価部
５ 無線
６ 時間調整
７ 衣類
８ 伸縮性配線
９ 情報処理装置
１０ ユーザ
１１ オーディオトラック
１２ 聴覚情報用ＭＩＤＩトラック
１３ スピーカ
１５ 聴覚
２１ 触覚情報用ＭＩＤＩトラック
２３ 波形出力装置
２５ 触覚
３１ ビデオトラック
３３ ディスプレイ
３５ 視覚
４１ リズム情報
４２ 運動情報
４３ 運動センサ
４４ 運動評価
４５ 運動
２１１ 音階
２３０ 基本パターン
２３１ 電流パルス幅
２３２ インターバル
２３４ 電流刺激パターン
２３５ ＯＮ時間
２３６ ＯＦＦ時間
２３７ ランプアップ時間
２３８ ランプダウン時間

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】