特開 2023-148158 感覚提示装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2023148158

(43)【公開日】2023-10-13

(54)【発明の名称】感覚提示装置

(51)【国際特許分類】

   G06F 3/01 20060101AFI20231005BHJP

   G10K 15/04 20060101ALI20231005BHJP

【ＦＩ】

G06F3/01 560

G10K15/04 302A

【審査請求】未請求

【請求項の数】5

【出願形態】ＯＬ

(21)【出願番号】P 2022056037

(22)【出願日】2022-03-30

(71)【出願人】

【識別番号】000142595

【氏名又は名称】株式会社栗本鐵工所

(74)【代理人】

【識別番号】100130513

【弁理士】

【氏名又は名称】鎌田 直也

(74)【代理人】

【識別番号】100074206

【弁理士】

【氏名又は名称】鎌田 文二

(74)【代理人】

【識別番号】100130177

【弁理士】

【氏名又は名称】中谷 弥一郎

(74)【代理人】

【識別番号】100161746

【弁理士】

【氏名又は名称】地代 信幸

(72)【発明者】

【氏名】赤岩 修一

(72)【発明者】

【氏名】木野井 慶介

【テーマコード（参考）】

5E555

【Ｆターム（参考）】

5E555AA80

5E555BA02

5E555BA05

5E555BA06

5E555BA16

5E555BA20

5E555BB02

5E555BB05

5E555BB06

5E555BB16

5E555BB20

5E555BC30

5E555DA21

5E555DA24

5E555DB57

5E555DC84

5E555FA00

(57)【要約】

【課題】特定のコンテンツを視覚、聴覚、触覚が連動するように提示する際に、知覚できるタイミングのずれをなくす。
【解決手段】音声および／又は映像と、触覚効果とを連動するコンテンツの提供に当たって、それぞれの信号を各デバイスに出力するタイミングを、聴覚及び／又は視覚と、触覚とのそれぞれを、人間が知覚するまでの知覚時間に応じて、それぞれ所定の遅延時間分を遅延させて各々の制御部から出力する。
【選択図】図１

【特許請求の範囲】

【請求項1】

音声出力デバイスに音声を出力する聴覚制御部と、
光学出力デバイスに映像を出力する視覚制御部と、
の少なくともいずれか一方を有し、
かつ、
触覚出力デバイスに触覚効果を出力する触覚制御部を有する感覚提示装置であって、
前記音声および／又は前記映像と、前記触覚効果とを連動するコンテンツの提供に当たって、それぞれの信号を各デバイスに出力するタイミングを、
聴覚及び／又は視覚と、触覚とのそれぞれを、人間が知覚するまでの知覚時間に応じて、それぞれ所定の遅延時間分を遅延させて各々の制御部から出力する
感覚提示装置。

【請求項2】

前記遅延時間分を、前記聴覚、視覚、又は触覚の信号の内、最も前記知覚時間が長い信号に対応した制御部が送信するタイミングを基準として、他の感覚に関する信号を、対応する制御部が送信するタイミングの遅延時間としてそれぞれ設定する
請求項１に記載の感覚提示装置。

【請求項3】

前記遅延時間を、
前記コンテンツが提示する感覚の組み合わせに応じて、異なる設定値を利用する、
請求項１又は２に記載の感覚提示装置。

【請求項4】

前記光学出力デバイスおよび前記音声出力デバイスと接続された制御装置を有し、
前記制御装置に接続され、前記触覚出力デバイスと前記触覚制御部とを有する触覚出力装置を有する
請求項１乃至３のいずれかに記載の感覚提示装置であって、
前記制御装置は、
それぞれの感覚ごとの遅延時間を設定した遅延時間テーブルを有し、前記遅延時間テーブルの遅延時間の値に応じてそれぞれの信号を制御部から送信する送信手段を実行する感覚提示装置。

【請求項5】

音声出力デバイスに音声を出力する聴覚制御部と、
光学出力デバイスに映像を出力する視覚制御部と、
の少なくともいずれか一方を有し、
かつ、
触覚出力デバイスに触覚効果を出力する触覚制御部を有する感覚提示装置を使った感覚提示方法であって、
前記音声および／又は前記映像と、前記触覚効果とを連動するコンテンツの提供に当たって、それぞれの信号を各デバイスに出力するタイミングを、
聴覚及び／又は視覚と、触覚とのそれぞれを、人間が知覚するまでの知覚時間に応じて、それぞれ所定の遅延時間分を遅延させて各々の制御部から出力することを特徴とする、感覚提示方法。

【発明の詳細な説明】

【技術分野】

【0001】

この発明は、感覚提示装置を状況に応じて適切に調整する制御に関する。

【背景技術】

【0002】

コンテンツと連動してユーザに触感による効果を味わわせる触覚提示装置が様々な形で提案されている。触感としては例えば振動や圧迫、風、湿気、熱などの、ユーザが止まっていても実感できる能動的な触覚効果を映画などの映像コンテンツに合わせて提供することが既に行われている。また、人の動作を受けるインターフェースデバイスでは、固さや柔らかさといった手にして握ったときにかかる抵抗などの、ユーザの動作に対して実感される受動的な触覚効果を与えることが検討されている。触覚提示デバイスが与えるこのような触覚の強度について、センサからのフィードバックを利用して強弱を調整するシステムが特許文献１にて提案されている。

【0003】

また、触覚提示装置がコンテンツを提供するにあたっては、触覚のみを提供することはほとんどなく、視覚情報や聴覚情報の提供と並行して、その視覚や聴覚にて提供される情報に適した内容の触覚情報を提供することで、より優れた体感をユーザに味わわせることが一般に検討されている。

【先行技術文献】

【特許文献】

【0004】

【特許文献1】特開２０１６－２９５６３号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

しかしながら、聴覚及び視覚の少なくとも一方と、触覚とを合わせて提供しようとすると、その利用者が体感するタイミングが合わずに、コンテンツに違和感を抱いてしまうことがあった。

【0006】

そこでこの発明は、特定のコンテンツを触覚出力デバイスと共に音声出力デバイス、映像出力デバイス、又はこれらの両方を用いて感覚を提供する際に、利用者が体感するタイミングを合わせて、コンテンツの体感品質を向上させることを目的とする。

【課題を解決するための手段】

【0007】

この発明は、
音声出力デバイス（スピーカー：イヤホン）に音声を出力する聴覚制御部と、
光学出力デバイス（液晶・有機ELモニタ）に映像を出力する視覚制御部と、
の少なくともいずれか一方を有し、
かつ、
触覚出力デバイスに触覚効果を出力する触覚制御部を有する感覚提示装置であって、
前記音声および／又は前記映像と、前記触覚効果とを連動するコンテンツの提供に当たって、それぞれの信号を各デバイスに出力するタイミングを、
聴覚及び／又は視覚と、触覚とのそれぞれを、人間が知覚するまでの知覚時間に応じて、それぞれ所定の遅延時間分を遅延させて各々の制御部から出力する
感覚提示装置により、上記の課題を解決した。

【0008】

感覚提示装置が有する、又は感覚提示装置に接続された音声出力デバイス、光学出力デバイス、触覚出力デバイスは、それぞれの接続形態や装置の特性ごとに、制御部から送信された信号を受け取ってその信号を音声、映像、触覚作用のそれぞれとして発現させるまでに、条件ごとに異なるタイムラグがある。例えば、スマートフォンに直付けされた有機ＥＬモニタへの表示は回路も短く応答速度の速いデバイスであるため比較的高速で処理される。これに対して、スマートフォンと近距離無線通信で接続されたイヤホンからの音声再生は、暗号化、無線送信、無線受信、復号化などの処理が必要となるため当然音声が出るまでの時間は遅くなる。触覚作用をもたらすデバイスではアクチュエータやその他の実現のための媒体や機構の構造次第で速いものも遅いものも存在する。また、発現された音声、映像、触覚作用は、利用者が鼓膜、網膜、神経等で把握した刺激を脳が情報として知覚するまでの時間も条件次第で異なってくる。このような装置やデバイスに由来するタイムラグと、人間の知覚速度に由来するタイムラグとの両方を含めて、制御部から出力されてから人間が知覚するまでの知覚時間に応じて、最終的に知覚するタイミングが合うように、それぞれの制御部からの出力を所定の遅延時間分を遅延させることで、実際に利用者が知覚するこれらの感覚のタイミングのずれを減らし、又はずれを無くすことができるようになる。

【0009】

この発明にかかる感覚提示装置は、
前記遅延時間分を、前記聴覚、視覚、又は触覚の信号の内、最も前記知覚時間が長い信号に対応した制御部が送信するタイミングを基準として、他の感覚に関する信号を、対応する制御部が送信するタイミングの遅延時間としてそれぞれ設定する実施形態を採用できる。

【0010】

また、この発明にかかる感覚提示装置は、
前記遅延時間を、前記コンテンツが提示する感覚の組み合わせに応じて、異なる設定値を利用する、実施形態を採用できる。

【0011】

さらに、前記光学出力デバイスおよび前記音声出力デバイスと接続された制御装置を有し、
前記制御装置に接続され、前記触覚出力デバイスと前記触覚制御部とを有する触覚出力装置を有する感覚提示装置であって、
前記制御装置は、
それぞれの感覚ごとの遅延時間を設定した遅延時間テーブルを有し、前記遅延時間テーブルの遅延時間の値に応じてそれぞれの信号を制御部から送信する送信手段を実行する
実施形態を採用できる。

【0012】

この発明にかかる感覚提示方法は、
音声出力デバイス（スピーカー：イヤホン）に音声を出力する聴覚制御部と、
光学出力デバイス（液晶・有機ELモニタ）に映像を出力する視覚制御部と、
の少なくともいずれか一方を有し、
かつ、
触覚出力デバイスに触覚効果を出力する触覚制御部を有する感覚提示装置を使った感覚提示方法であって、
前記音声および／又は前記映像と、前記触覚効果とを連動するコンテンツの提供に当たって、それぞれの信号を各デバイスに出力するタイミングを、
聴覚及び／又は視覚と、触覚とのそれぞれを、人間が知覚するまでの知覚時間に応じて、それぞれ所定の遅延時間分を遅延させて各々の制御部から出力することを特徴とする、感覚提示方法により、上記の課題を解決できる。

【発明の効果】

【0013】

この発明により、触覚効果とともに音声と映像との少なくともいずれか一方を出力する感覚提示装置を利用者が利用するにあたり、提供されるコンテンツを複数の感覚でもって体感する際に生じるタイムラグを減らし、又はゼロにすることができ、コンテンツを利用する際の違和感を減らして没入感を向上させ、提示する感覚の精度を向上させることができる。

【図面の簡単な説明】

【0014】

【図1】この発明にかかる感覚提示装置の実施形態例の機能ブロック図

【図2】（ａ）遅延時間のテーブル例、（ｂ）視覚を基準にした遅延時間のテーブル例、（ｃ）感覚の組み合わせに応じた遅延時間のテーブル例

【図3】この発明にかかる感覚提示装置の例における制御装置と触覚出力装置との間のデータ処理例図

【図4】この発明で利用する触覚出力デバイスの例であるＭＲＦデバイスの概念図

【図5】この発明にかかる感覚提示装置の例であるタップユニットの概念図

【図6】遅延時間のタイムシフト例図

【図7】この発明にかかる感覚提示装置を利用者が利用する際の処理フロー例図

【図8】図７の続きである処理フロー例図

【図9】アプリが出力するモニタでのオブジェクト選択例図

【発明を実施するための形態】

【0015】

以下、この発明について詳細に説明する。この発明は、音声出力デバイスに音声を出力する聴覚制御部と、光学出力デバイスに映像を出力する視覚制御部と、
の少なくともいずれか一方を有し、
かつ、
触覚出力デバイスに触覚効果を出力する触覚制御部を有する感覚提示装置である。また、感覚提示装置を用いた感覚提示方法である。

【0016】

この発明において聴覚とは、五感の一つであり耳の鼓膜を通じて体感できる感覚をいう。この発明において音声とは、この聴覚を通じて知覚できる要素をいう。具体的には、人間の声や動物の鳴き声、効果音、音楽などが挙げられるが特に限定されない。基本的には電気信号から音声を再生するデバイスであるスピーカーやヘッドホン、イヤホンなどの音声出力デバイスにより、空気を振動させて鼓膜で体感されるものである。なお、空気の振動ではなく骨伝導など別の媒体の振動によるものも含む。

【0017】

この発明において視覚とは、五感の一つであり目の網膜を通じて体感できる感覚をいう。この発明において映像とは、この視覚を通じて知覚できる要素をいう。具体的には電気信号から映像を再生するデバイスである、液晶モニタや有機ＥＬモニタ、ブラウン管モニタ、スクリーンなどに投影するプロジェクタ、ＶＲゴーグル、網膜走査ディスプレイなどの映像出力デバイスにより、光として再生され、眼球から網膜で体感されるものである。前記映像としては、文字表示、写真や実写映像、アニメーション映像、３Ｄレンダリングされた映像などがあるが、表示画面の全体に映し出されるものであってもよいし、表示画面の一部に現れるものでもよい。また、文字や絵姿でなくても、光の照射や暗転、光線や光点の明滅なども広義の映像として含みうる。例えばスポットライトの照射や、ＬＥＤライトによるイルミネーション点灯も広義の映像に含まれる。

【0018】

この発明において触覚とは、五感のうちの一つであり直接的又は間接的に肌や筋肉、神経などによって体感できる感覚をいい、特に断りがない場合は広義の意味で用いる。狭義の触覚とは皮膚で感じる感覚として知られる触覚、圧覚、痛覚、冷覚、温覚のうちの一つであるが、この発明においての触覚とは狭義の触覚だけでなく、振動感覚や接触感覚などその他の感覚も含む。本発明で提供する触覚効果とはこれらの感覚について、実際に人体に体感させるように実現される効果である。この触覚効果を、電気信号を受けて実現するデバイスを触覚出力デバイスという。この発明で用いる触覚出力デバイスとしては、電気信号の単なるオンオフだけではなく、電気信号の電流量や電圧に応じて、強度が異なる触覚による体感を実現させるものが用いられる。この触覚出力デバイスとしては、例えば、電気信号を受けて装置を駆動するモータなどのアクチュエータや、電気信号を受けて装置を加熱して気体を膨らませるバルーンや、電気信号を受けて回転翼を回転させて気流を発生させる扇風機や、電気信号を受けて装置の回転抵抗を上昇させる磁気粘性流体デバイスなどが挙げられる。これらの触覚出力デバイスは、デバイスが能動的に動いて利用者に触覚効果を体感させるものと、デバイスが利用者の動きに対して受動的に作用して触覚効果を体感させるものとの両方がある。前者の能動的に動くデバイスとしては例えば、デバイスが変形することで手などの皮膚で圧力の強弱の違いとして感じられる圧感として感じられるものや、ゲームコントローラやスマートフォンなどが手に振動を体感させる内蔵するバイブレータ、椅子などに内蔵されて全身で振動を体感させるバイブレータ、シートを回転又は加速させるモータなどが挙げられる。後者の受動的に作用するデバイスとしては、グローブなどの手足等の身体への装着型や釣り竿のリール型、自転車のペダル型といったコントローラに利用者が力を加えて変位させる際に手ごたえや足ごたえといった形で感じられる抵抗を変化させるものが挙げられる。

【0019】

この発明にかかる感覚提示装置は、それらを利用する利用者に対して前記の触覚と視覚及び聴覚の一方又は両方とを体感させる装置又はシステムである。単独の筐体に搭載された装置であってもよいし、複数の筐体からなる装置に上記の各デバイスが分散されて搭載されそれらが有線又は無線により接続された一体のシステムである装置であってもよい。

【0020】

この発明にかかる感覚提示装置１０の実施形態例である機能ブロック図を図１に示す。感覚提示装置１０は、触覚出力デバイス１４を格納し利用者に対して触覚による体感を発生させる触覚出力装置１１と、音声出力デバイス７５及び光学出力デバイス７６を格納した制御装置５１とを有する。触覚出力装置１１と制御装置５１とは有線又は近距離無線で接続されており、相互通信可能であり、これらは一体の装置として動作可能なシステムを構成している。

【0021】

感覚提示装置１０は、電気信号に応じて触覚効果をもたらす触覚出力デバイス１４を有する。モータやバイブレータなどのアクチュエータや加熱によるバルーンなどの直接的に利用者に接触させて触覚を体感させるものや、ファンによる風圧を利用者が受けて非接触で間接的に体感させるものといった、装置が能動的に動作して触覚感覚を味わわせるデバイス、ＭＲＦデバイスなどの利用者の動きに対する抵抗を増減させる装置が受動的に動作して触覚感覚を味わわせるデバイスのどちらも利用できる。図１では制御装置５１に接続された触覚出力装置１１に触覚出力デバイス１４が格納され、スマートフォンとは別に利用者が装着して利用するものを例示する。

【0022】

触覚出力装置１１は、触覚出力デバイス１４に電気信号を送信する又は送信させるなどの演算やコマンドなどの制御を行う触覚制御部２１を有する。触覚制御部２１は制御装置５１の制御部６１からの指示を受けて、所定のタイミングで触覚出力デバイス１４に触覚効果を出力させる。あるいは逆に、触覚制御部２１からの指示を受けた制御部６１（聴覚制御部７１、視覚制御部７２）が所定のタイミングで出力を行うように、主従が逆転した構成でもよい。特に、利用者の操作に対してデバイスが受動的に作用する触覚出力デバイス１４である場合には、利用者の操作の程度を検知するセンサ１６を備えた上で、そのセンサ１６の値をトリガーとして触覚制御部２１から制御部６１に指示を出す形態が好適に選択できる。

【0023】

また、触覚制御部２１は演算等のために利用するメモリである触覚信号記憶部（図示せず）を有する。触覚信号記憶部は、信号の一時的な記録や触覚制御部２１による演算に必要な情報及び結果、命令等を格納するものである。触覚信号記憶部のメモリは揮発性メモリであってよいが、不揮発性メモリも有しているとさらに好ましい。不揮発性メモリを有していると、高性能な触覚出力装置１１では個人向けの出力変更の記録や履歴などを保存して、出力のさらなる好適化のために参照することができる。なお図示しないが、触覚制御部２１を動作されるプログラムは、触覚信号記憶部が不揮発性メモリである場合はそこに格納されていてもよいし、別途格納されていてもよい。

【0024】

また、触覚出力装置１１は、触覚出力デバイス１４が体感させる触覚のためのデバイス自体の変位や、触覚出力デバイス１４を利用者が操作した際の位置や変位、荷重などを測定するセンサ１６を有すると好ましい。

【0025】

さらに、触覚出力装置１１は装置自体を作動させるために必要な電源２５を有する。バッテリでもよいし、外部電源と接続されていてもよい。バッテリの場合は、触覚出力装置１１が必要とする電流量が小さい場合は交換可能な一次電池でよいが、必要とする電流量が多い場合は、外部電源から充電される二次電池であると運用しやすい。また、制御装置５１との通信を有線ケーブルが担う場合には、制御装置５１を外部電源として給電されるものでもよい。

【0026】

感覚提示装置１０を構成する個々の装置間の通信は有線通信でもよいし、無線通信でもよい。有線通信の場合は、有線ケーブルを介して電源を供給するものでもよい。規格は特に限定されず、本発明出願時点においてはＵＳＢケーブル、Ｌｉｇｈｔｎｉｎｇ（登録商標）ケーブル、Ｔｈｕｎｄｅｒｂｏｌｔ（登録商標）ケーブルなどが選択可能であるが、同様の又は上位互換の通信が可能である規格であればよい。無線通信の場合は、近距離無線通信規格であれば利用でき、種々の無線ＬＡＮ規格や、Ｂｌｕｅｔｏｏｔｈ（登録商標。以下略）、Ｂｌｕｅｔｏｏｔｈ ＬＥ、ワイヤレスＵＳＢなどが挙げられる。ただし、少なくともこの発明における調整自体を実現するために必要とするデータ量は小さいため、ＢｌｕｅｔｏｏｔｈやＢｌｕｅｔｏｏｔｈ ＬＥなどの比較的低速かつ使用電力の少ない規格が好適に用いられる。もちろん、本発明で必要とする以外の動作のために大量のデータを必要とし、高速の通信規格を採用するものでもよい。

【0027】

制御装置５１は、触覚出力装置１１と通信し、触覚出力装置１１に対してコンテンツの一環としての感触を利用者に提供させるように制御するとともに、音声及び映像の出力を担う装置である。このような制御装置５１としては、例えば音声出力デバイス７５として内蔵するスピーカーと無線接続されたイヤホンを有し、光学出力デバイス７６として本体に格納されたタッチパネルを有するスマートフォンや携帯ゲーム機、タブレット端末などが挙げられる。また別の形態としては、音声出力デバイス７５としてサラウンドスピーカーセットと有線接続され、光学出力デバイス７６としてスクリーン投射用プロジェクタと接続されたホームシアターセットが挙げられる。さらに別の形態としては、光学出力デバイス７６として液晶モニタや有機ＥＬモニタを有し、音声出力デバイス７５として有線接続されたヘッドホンを有し、触覚出力デバイス１４として振動機能がついたコントローラが触覚出力装置１１として接続されたパソコンや据え置き型ゲーム機やＶＲゴーグルなどが挙げられる。これらの形態についてデバイスの組み合わせを交換した形態でもよい。ここでは主に制御装置５１としてスマートフォンを具体例として説明するが、本発明はこれに限定されるものではない。

【0028】

このほかに制御装置５１は、感覚を体験するための選択や入力を担う入力デバイス７８を有する。具体的には、光学出力デバイス７６と一体化したタッチパネルや、マウス、トラックボール、コントローラ、キーボードなどが挙げられる。また、触覚出力装置１１がその一部を担うものでもよい。

【0029】

また、制御装置５１がルータや端末を介して接続されるネットワーク８２の先に設けられたサーバ８１が後述する制御装置５１の機能の一部を担っていてもよい。そのために、制御装置５１は有線ＬＡＮ機能、無線ＬＡＮ機能や移動体通信網への接続機能といったネットワークインターフェース（ＮＷＩＦ）６９を有していると好ましい。なお、ネットワークインターフェース６９は触覚出力装置１１との間の通信と兼用でもよいし、独立していてもよい。通信量が大きく異なるため、独立している方が好適である場合が多い。図では独立している例を示す。

【0030】

制御装置５１は、演算などを行う制御部６１を有する。具体的にはＣＰＵやＧＰＵなどの演算装置であり、コンテンツの読み込み、演算、個々のデバイスへの出力や入力の受付、触覚出力装置１１との通信などの装置の挙動を制御する。制御部６１のうち、音声出力デバイス７５への音声の出力を担う要素について、聴覚制御部７１とする。また、光学出力デバイス７６への映像の出力を担う要素について、視覚制御部７２とする。これらはハードウェア的に別個であってもよいが、単一又は複数の制御部６１がプログラムに応じて動作するそれぞれの役割を担うものであってもよい。図ではスマートフォンを例にする制御装置５１のＣＰＵである制御部６１が、聴覚制御部７１と視覚制御部７２との両方の役割を担っている形態を示している。

【0031】

このほかに、制御装置５１は、データやプログラムを保持する記憶部（図示せず）を有する。この記憶部としては、ストレージとして用いられる不揮発性メモリや磁気ディスクと、演算に用いる揮発性メモリとの両方を有していることが好ましい。図では読み込まれているか否かを区別せずに記載している。

【0032】

制御装置５１の記憶部には、利用者が触覚の出力をコンテンツの一部として体感できるゲーム、映画、仮想空間、シミュレータ等のアプリケーションソフト（以下、「アプリ」と略記する。）が記録される。上記の制御装置５１にプリインストールされたものであってもよいし、ネットワーク８２を介したサーバ８１からダウンロードされてインストールされたものであってもよい。

【0033】

前記のアプリは、コンテンツとして音声や映像を含むとともに、それらの音声や映像と結びついた触覚の出力を触覚出力装置１１に行わせて、利用者に触覚による体感を提供する。このようなコンテンツとしては例えば、映画中の登場人物が味わった触覚の再現や、ゲーム中において登場した物体の触感の再現や、仮想空間内で触れたオブジェクトの触感や、猫や犬などの感触を再現するシミュレータや、仮想バッティングゲームでバッティングをした際のボールの抵抗の再現などが挙げられるが、特にこれらに限定されない。

【0034】

アプリ６５は、前記のコンテンツを、音声出力デバイス７５、光学出力デバイス７６、触覚出力デバイス１４によって提供するために、それを再現するためのプログラムを含む音声信号や映像信号などのメディア信号を含むメディア信号データベースを記憶部に有する。このメディア信号データベースの中身としては、静止画や動画などを格納した映像信号データベースと、効果音や音声などを格納した音声信号データベースと、触覚効果の信号を格納した触覚信号データベースとを有することが好ましい。これらのデータベースは、音声ファイルや画像ファイル、信号強度ファイルなどの形で、提供する感覚ごとに独立して取り扱えるものであると遅延時間の取り扱いが容易であるため望ましい。一方で、それらのファイル同士はデフォルトではどのタイミングで連携させるのかの情報を有しており、連動して利用者に提供できるようにデータベースが構築されていることが望ましい。なお、音声と動画とが一体になった映像ファイルでも利用可能であるが、デバイスへの出力の際に同期を解除するか又は動機のタイミングをずらして出力することになる。なお、メディア信号データベースは全ての必要なメディア信号を記憶部６２内に保持している必要はなく、ネットワーク経由で必要に応じて適宜ダウンロードして一時的に、または永続的に追加されるものでもよい。

【0035】

この発明にかかる感覚提示装置１０はさらに上記のメディア信号データベースに関連して、各々の制御部各デバイスに出力するタイミングを所定の遅延時間分だけ遅延させる、遅延時間データベースを有する。この遅延時間は、主に二つの要素から決定されているとよい。一つはハードウェア構成に依存する信号処理のタイムラグを調整するためのハードウェア依存調整時間である。もう一つは、デバイスから出力された音声、映像、触覚効果を人間が知覚するための知覚時間に応じた、知覚依存調整時間である。

【0036】

このうち、ハードウェア依存調整時間としては、例えば、無線イヤホンや無線接続された触覚出力装置１１との間で無線通信する際の暗号化及び復号化の処理時間や、３Ｄグラフィック処理をするための処理時間、デジタルオーディオインターフェースを介して処理するための時間、触覚出力装置１１のアクチュエータ等の機構が作動するまでのタイムラグ、特性を示す物質の応答速度によるタイムラグ、などが挙げられる。

【0037】

一方、知覚依存調整時間は、感覚による刺激を受け取っても人間がそれぞれの感覚を知覚するまでの時間が聴覚と視覚と触覚とでは異なっているという事実に対してそれを補正するものである。その知覚するまでの時間差を埋めるために、知覚までの時間がかかる刺激ほど先に、知覚までの時間が短い刺激ほど遅延させるように調整する時間となる。特に視覚による映像は知覚するまでの時間がわずかに遅れやすく、視覚よりも聴覚と触覚の刺激を遅延させて制御部から出力すると好ましい。

【0038】

この遅延時間データベースに記録されている遅延時間は、ハードウェア依存調整時間と知覚依存調整時間のそれぞれを分けて記録していてもよいが、聴覚、視覚、触覚ごとの合計時間として記録しておいた方が、その合計時間をそのまま遅延時間として適用することができ、遅延処理自体を高速化できるので望ましい。また、ぼんやりとした画像やハッキリとした画像など、出力された内容に応じて知覚時間が変わる場合もある。前記遅延時間は、コンテンツ毎に設定されていてもよい。

【0039】

前記の遅延時間データベースに記録される遅延時間としては、聴覚、視覚、触覚のそれぞれについて、ミリ秒単位で遅延時間を設定している形態が採用できる。遅延時間のうち、知覚依存調整時間は、一般的な人間の知覚速度に応じて値を設定しておくことができる。ただし、多少の個人差もあるため、利用者が覚える違和感を抑制するように、知覚依存調整時間を変更設定可能であるとよい。ただし、ミリ秒単位の調整であり慣れない利用者には難しいため、知覚依存調整時間の配列を複数パターン用意しておき、利用者がテスト利用をしてみて最も違和感が少ない配列を選択できるようにしておいてもよい。

【0040】

一方、ハードウェア依存調整時間としては、アプリには一般的な動作環境におけるハードウェア依存調整時間を予め測定した値を、デフォルト値として記録させておくとよい。例えば、販売台数が多いスマートフォンやゲーム機では共通のハードウェア仕様となるケースが多いため、これらの共通の値を予め測定しておくとよい。一方で、一般的でないハードウェア仕様である場合には、デフォルト値を流用しつつ、適宜調整できると好ましい。特に、アプリがそれぞれの音声出力デバイス７５，光学出力デバイス７６、触覚出力デバイス１４などの動作を実際に行うテストを行い、実際の処理にかかる時間を測定して設定できるようにしてあると望ましい。制御装置５１のハードウェア構成や処理能力などに応じて変化する値だからである。

【0041】

それぞれの遅延時間は基本的には０かプラスの値であり、プラスの値が大きいほど遅延が大きく、制御部からの出力をより遅く送信することになる。ただし、状況に応じてマイナスの値が設定されていてもよい。この遅延時間のテーブルの例を図２（ａ）に示す。例えば触覚出力装置１１が利用者の操作に応じて受動的に動作する触覚出力デバイス１４である場合に、利用者の操作が所定の位置に到達する前から先行して前倒しで信号を発信することで、他の感覚との遅延時間を調整することも可能である。なお、その場合はセンサ１６により利用者の操作速度などを計算し、所定の位置に到達する時間を予め推定して運用するとよい。一方、知覚依存調整時間の元となるそれぞれの感覚の知覚速度は、刺激を受けてから知覚するまでが、触覚は１２０～１９０ｍｓ程度、視覚は１８０～２３０ｍｓ程度、聴覚は１２０～１８０ｍｓ程度と考えられている。この知覚速度に応じて遅延時間を設定するとよい。

【0042】

前記遅延時間の別の設定方式としては、コンテンツが提供する前記聴覚、視覚、又は触覚の信号の内、最も前記知覚時間が長い信号に対応した制御部が送信するタイミングを基準として、他の感覚に関する信号を、対応する制御部が送信するタイミングの遅延時間としてそれぞれ設定する方式が挙げられる。具体的には、基準となる感覚の信号についての遅延時間を０ｍｓと設定し、他の感覚の信号をその基準からの遅延時間で設定する。ハードウェア依存調整時間にもよるが、多くの場合最も知覚時間が長くなる視覚についての光学出力デバイス７６への遅延時間を０ｍｓとし、他の感覚の遅延時間をプラスの時間として設定する。この遅延時間のテーブルの例を図２（ｂ）に示す。

【0043】

前記遅延時間のさらに別の設定方式としては、コンテンツが提示する感覚の組み合わせに応じて、異なる設定値を登録しておく方式が挙げられる。これは、複数の感覚を同時に近いタイミングで知覚する場合は、利用者が受ける印象が変化し、実質的な知覚時間が変わってくることに対応したものである。例えば、視覚と触覚だけで受けるコンテンツよりも、視覚と触覚に加えて聴覚でも受けるコンテンツの方が、知覚は速くなりやすい。また、触覚と視覚との組み合わせの場合と、触覚と聴覚との組み合わせの場合とでは、触覚の知覚時間が異なってくる。このため、これらの組み合わせによっても異なる遅延時間を設定しておき、コンテンツが提示する感覚の組み合わせに応じて、テーブルの中から該当する組み合わせの遅延時間を選択して利用するとよい。この遅延時間のテーブルの例を図２（ｃ）に示す。触覚と視覚と聴覚とを組み合わせたコンテンツの場合、各感覚の遅延時間を触覚と視覚だけの場合または触覚と聴覚だけの場合よりも少なくする。例では触覚と視覚と聴覚とを組み合わせたコンテンツでは、触覚と視覚だけのコンテンツと比べ視覚は２ｍｓ短縮し、触覚は５ｍｓ短縮している。短縮した時間に差があるのは、元々視覚の遅延時間が少ないため、同じ時間だけ短縮するとかえって違和感を生じるためである。また、触覚と視覚と聴覚とを組み合わせたコンテンツと触覚と聴覚のみとを組み合わせたコンテンツとを比べた場合も、遅延時間を触覚と聴覚のみの場合よりも少なくする。例では触覚は５ｍｓ短縮し、聴覚も５ｍｓ短縮している。触覚と聴覚とは知覚時間の差が小さいため、組み合わせによる短縮幅も同じとすることができる。

【0044】

この発明にかかる感覚提示装置１０を、触覚出力装置１１の操作をトリガーとして運用する場合の運用を図３とともに説明する。用いる触覚出力装置１１として、磁気粘性流体を用いたタップユニットを例に用いる。このタップユニットに組み込まれた触覚出力デバイス１４の構造例を図４に、タップユニットの実施構造を図５（ａ）～（ｂ）に示す。

【0045】

図４に示す触覚出力デバイス１４として、磁気粘性流体（ＭＲＦ：Magneto Rheological Fluid）デバイス（以下、「ＭＲＦデバイス」と略記する。）を用いる。このＭＲＦデバイスは、回転軸４１、円板３２、ヨーク３４，３５、コイル３７，磁気粘性流体３８、ケーシング３１，３６などで構成されている。図４に示すように回転軸４１に取り付けられた円板３２の周囲に、ヨーク３４，３５に挟まれた空間が設けられ、その空間に、置かれた磁場の強さによって粘性が変化する磁気粘性流体３８が導入されている。また、ヨーク３５に支えられて磁界（図中矢印）を発生させるコイル３７が格納されている。回転軸４１は軸受３９に支えられ、磁気粘性流体３８に囲まれた円板３２と一体化されている。磁気粘性流体３８は、回転軸４１を回転させる際の抵抗を、磁場を発生させるコイル３７に供給される電流量によって調節できる。この回転軸４１を回転させようとする力を加えた利用者に対して、磁気粘性流体３８の粘性を増減させることで、回転軸４１と一体化している円板３２に対する抵抗を増減させて、回転軸４１の「回動させにくさ」として利用者の動きに対する受動的な触覚効果を体感させるものである。

【0046】

このようなＭＲＦデバイスを用いた触覚出力装置１１であるタップユニットを図５（ａ）（ｂ）に示す。親指や手のひらにより固定される基部４０と、基部４０に設けられたＭＲＦデバイスの回転軸４１に連動して回動する指当てパーツ４２とを有する。指当てパーツ４２は人差し指、中指、薬指、小指のいずれかまたはそれらの全てに対応しており、指を曲げて握ろうとすると、支点部４３を中心にして回動する。指当てパーツ４２が押されると、第一リンク材４４と、ピン４６を介してリンクされた第二リンク材４５が図５（ｃ）のように回動する。この動きにより、回転軸４１が基部４０に対して回動される。この回動の際の抵抗が、ＭＲＦデバイスの磁気粘性流体３８によって増減される。

【0047】

なお、このＭＲＦデバイスを有するタップユニットに付属するセンサ１６としては、第二リンク材４５の回転軸４１に対する回転位置を角度として取得する角度センサが採用できる。利用者が何も力を加えていない初期位置を０°とし、そこから最大９０°まで変位可能である。この回転位置に応じて、どの程度まで「掴んだ」かによって抵抗値を変化させることで、触覚効果を実現できる。０°では電流値が０．０Ａであり握っても抵抗は何も感じないが、回転位置が進んで握りが進むと、対象となるコンテンツを「掴んだ」という感触をその抵抗として感じられるようになる。掴む握りが進むとさらに抵抗値が上昇していく。それを実現させるために、磁気粘性流体３８にかかる電流値があがり、回転軸４１に対して円板３２を回転させる抵抗値が上昇し、タップユニットに力を加えてそれ以上回転位置を進めようとする際にかかる抵抗値が上昇する。

【0048】

この「掴んだ」感触に連動して、光学出力デバイス７６に表示される画像が変化する。最初は何も触れていない状態を示す画像（〇Ａ．ｊｐｇ）が表示されるが、握っていくことでそのコンテンツに「触れた」という状態になり抵抗が加わると、そのコンテンツに触れたことによりコンテンツが変形した画像（〇Ｂ．ｊｐｇ）へと表示が切り替わる。さらに握りが進むとコンテンツを不可逆的に変形させてしまった結果へと表示画像が切り替わる（〇Ｃ．ｊｐｇ→〇Ｄ．ｊｐｇ）。なお、ここでは画像ファイルと音声ファイルを個々に指定した例を示しているが、例えば３Ｄオブジェクトを描写し、力を加える姿をその都度レンダリングして表示するようにしてもよい。また、その接触と不可逆的な変形に合わせて、コンテンツに合わせた接触音（〇Ｐ．ｍｐ３）と破裂音（〇Ｑ．ｍｐ３）が音声出力デバイス７５から再生される。

【0049】

制御装置５１のアプリ６５は、制御装置５１により体感できるコンテンツとして、記憶部に触覚、視覚、聴覚の情報が一体となったコンテンツテーブルを複数保有する。図３ではボールの触感、変形した姿、接触及び破裂音がセットになったテーブルを最前部に示している。このようなコンテンツに触れた体感を再現するための情報の集まりとしてコンテンツデータベース６７として有する。コンテンツデータベース６７は制御装置５１の記憶部６２に格納しておくとよい。具体的にはテーブルの値とともに、テーブル内で指定される画像ファイルと音声ファイルもセットで呼び出し可能であるように格納されているとよい。アプリ６５のインストール時点で格納されていない場合は、サーバ８１から呼び出しておき、即座に各々のデバイスに送信できる状態で格納されておくことが望ましい。ｍｓ単位の遅延時間に対応するため、サーバから呼び出していたのでは間に合わないためである。

【0050】

さらに、制御装置５１の記憶部６２には、触覚と視覚と聴覚のそれぞれのコンテンツについて、この発明で用いる遅延時間のテーブルを有している。この遅延時間のテーブルの値に基づいて、制御部６１（「聴覚制御部７１」兼「視覚制御部７２」）及び触覚制御部２１からの送信を遅延させる。

【0051】

このコンテンツテーブルに従って触覚、視覚、聴覚が合わさったコンテンツを利用者に体感させるため、選択されたコンテンツ（ここでは例としてボール）のコンテンツテーブルのうち触覚に関する部分、すなわちここでは回転位置と電流値のテーブル（触覚テーブル）を、制御装置５１から触覚出力装置１１に送信しておく（Ｓ１）。触覚出力装置１１では、触覚信号記憶部２２にその触覚テーブルを格納しておく。また、併せてこの触覚テーブルを触覚制御部２１から出力する際に指定する遅延時間（ここでは４５ｍｓ）も送信しておく。この遅延時間も触覚信号記憶部２２に格納しておく。光学出力デバイス７６では、コンテンツの初期状態にあたる画像ファイル（〇Ａ．ｊｐｇ）を予め表示させておく。以上で利用者がコンテンツを体感する準備が整う。

【0052】

利用者が操作を開始すると、触覚制御部２１では、回転位置である角度θをセンサ１６により取得して、それが所定量（例えば１°単位）変化した際にこれを制御装置５１に送信する（Ｓ２）。それと同時に、触覚信号記憶部２２を参照して、その回転位置における抵抗を触覚効果として出力させるための電流値を、触覚テーブルを参照して読み出し、その電流量を遅延時間分遅延させたタイミングで触覚出力デバイス１４に送信する（Ｓ３）。このＳ３と並行して、制御部では触覚出力装置１１から送信された回転位置の変化した値を受信する（Ｓ４）。選択されたコンテンツのコンテンツテーブルのうち、この変化した回転位置に対応する音声ファイルと画像ファイルを読み出して、画像ファイルを光学出力デバイス７６に送信して表示を入れ替えるとともに、音が出るタイミングであれば音声ファイルを音声出力デバイス７５から出力させる。この表示の入れ替えと音声の出力するタイミングについても、遅延時間のテーブルに合わせて遅延させる。この遅延時間をカウントするにあたって、制御部６１と触覚制御部２１との遅延のタイミングの基準時が同期されているとよい。すなわち、触覚制御部２１から制御部６１に送信され、Ｓ４とＳ５とが処理される所要時間を見越して、その視覚及び聴覚の遅延時間と合わせた基準時点から触覚制御部２１の出力も遅延時間をカウントする。

【0053】

この触覚制御部２１と制御部６１とのタイミングを同期させる形態例について、図６とともに説明する。初期時点では何も接触していない画像ファイルが表示されており、回転位置は０°である。利用者が触覚出力デバイス１４に力を掛けて回転位置が動き、１°に到達する。このタイミングを遅延時間をカウントする基準時として取り扱う。回転位置が１°に到達すると、触覚出力デバイス１４に掛ける電流値が０．１Ａに増大し、画像ファイルは〇Ｂ．ｊｐｇに差し替えられ、音声ファイル〇Ｐ．ｍｐ３が再生される。この発信を制御部６１と触覚制御部２１が送信（信号発信）するまでに、触覚、視覚、聴覚のそれぞれの遅延時間で指定される分だけ基準時から遅延させる。すなわちここでは、光学出力デバイス７６への画像ファイルの差し替えが最も早く発信され、それより４０ｍｓ遅れて触覚出力デバイス１４に電流値が発信され、それよりさらに１０ｍｓ遅れて音声出力デバイス７５へ音声ファイル〇Ｐ．ｍｐ３の発音が発信される。発信されたそれぞれの情報は、利用者の人体の限界による知覚時間に応じて、実際に知覚されるまでの時間にずれが生じる。その遅延時間と、利用者の知覚時間とを合わせたタイミング（利用者知覚時）がちょうど合うように遅延時間が調整されていると、利用者は知覚時間による影響をうけることなく、視覚と聴覚と触覚から受けるタイミングがちょうど合った、好適な体感を味わうことができる。なお、この時点で既に実際の利用者の操作は次の回転位置２°に到達しているということもありうる。その場合、２°の状況に合わせた画像ファイルや音声ファイルの指定と電流値の指定を、同じ分の遅延時間だけ遅らせて発信して、利用者は次の体感を味わうことになる。

【0054】

この発明に掛かる感覚提示装置１０を利用者が利用する際の処理例を図７，８のフローとともに説明する。まず（Ｓ１０１）、制御装置５１であるスマートフォンでアプリ６５を起動する（Ｓ１０２）。次に触覚出力装置１１であるタップユニットの電源を入れ（Ｓ１０３）、スマートフォンとタップユニットとをＢｌｕｅｔｏｏｔｈでペアリングして無線接続する（Ｓ１０４）。なお、アプリの起動（Ｓ１０２）はＳ１０４の後に行う実施形態であってもよい。また、アプリ６５は初期状態で触覚、視覚、聴覚についての遅延時間のテーブルを保有しており、それを読み出しておく（Ｓ１０５）。

【0055】

アプリ６５を入力デバイス７８から操作した利用者は、触覚を体感しようとするオブジェクトを、モニタに映し出された中から選択する（Ｓ１１１）。モニタへの表示例を図９に示す。ここでは左のボールオブジェクトを選ぶものとする（Ｓ１１２）。選択の指示をうけた制御部６１は、その選択されたオブジェクトに紐づけられたコンテンツテーブルを、コンテンツデータベース６７から呼び出す（Ｓ１１３）。同時に、テーブルで指定された画像ファイルおよび音声ファイルがあればそれも呼び出して記憶部６２に格納する（Ｓ１１４）。次に、コンテンツテーブルから回転位置及び電流量のテーブルを抽出し、タップユニットに送信する（Ｓ１１５）。このとき同時に、触覚についての遅延時間も送信する。タップユニットでは触覚信号記憶部２２に、送信されてきた触覚テーブルと遅延時間を格納する（Ｓ１１６）。準備が完了したら、制御装置５１は光学出力デバイス７６の画面に、選択されたコンテンツであるボールオブジェクトの初期状態の画像ファイルと、選択用カーソルとを表示する（Ｓ１１７）。

【0056】

触覚制御部２１は、角度センサであるセンサ１６から回転位置となる角度を取得する（Ｓ１２１）。その角度が、触覚信号記憶部２２に格納された触覚テーブルで定義された、電流値を変更する次の回転位置に到達しているか否かを監視する（Ｓ１２２）。到達していなければ（Ｓ１２２→Ｎｏ）引き続き角度センサから角度を取得し続ける（Ｓ１２２）。次の回転位置にまで到達していたら（Ｓ１２２→Ｙｅｓ）、これを基準時として（Ｓ１２３）、その基準時から触覚の遅延時間だけ待機し（Ｓ１２４）、待機後に触覚効果を実現するための電流値を触覚出力デバイス１４に掛ける（Ｓ１２５）。掛けた後、人間の知覚時間のタイムラグを経て、利用者は触覚効果を体感する。

【0057】

一方、基準時（Ｓ１２３）の設定と並行して、触覚制御部２１は制御装置５１に回転位置が変位したことを通知する（Ｓ１３０）。制御装置５１の制御部６１は、基準時からの視覚遅延時間と聴覚遅延時間とをカウントし始める（Ｓ１３１、Ｓ１４１）。制御部６１（視覚制御部７２）は視覚の遅延時間だけ待機したら（Ｓ１３１）光学出力デバイス７６に画像ファイルを出力する（Ｓ１３２）。また、制御部６１（聴覚制御部７１）は聴覚の遅延時間だけ待機したら（Ｓ１４１）音声出力デバイス７５に音声ファイルを出力する（Ｓ１４２）。これにより、ボールに接触した画像ファイルが表示されたことを利用者が知覚するのとタイミングを合わせて、ボールに接触した感触となる抵抗を利用者が触覚から知覚し、なおかつそれに合わせてボールに接触した音を聞いて知覚する（Ｓ１５０）。

【0058】

利用者が同じオブジェクトについて、続いてさらに回転位置を進めて体感を続ける場合は（Ｓ１５１→Ｙｅｓ）、センサによる回転位置の監視に戻る（Ｓ１２２）。回転位置が進むと、別の画像ファイルが表示されるようになる。例えば接触状態から、ボールが破裂した画像への差し替えに合わせて、ボールを握った感触が消滅して触覚出力デバイス１４に掛ける抵抗がなくなり、破裂する音が表示されるといった状態に変化するが、これもそれぞれの感覚の遅延時間に合わせて出力することで、ボールの破裂を触覚と聴覚と視覚とのそれぞれで知覚するタイミングが一致する（Ｓ１５０）。

【0059】

別のオブジェクト（例えば左のグミ状オブジェクト）を選択して、利用者が別の感触を体感する場合には（Ｓ１６１→Ｙｅｓ）、Ｓ１１１の工程へと戻る（Ｓ１６２）。このときにはその選んだ別のオブジェクトに紐づけられたコンテンツテーブル（触覚テーブル）が呼び出される。利用者が体感を終了する場合には（Ｓ１６１→Ｎｏ）、アプリ６５を終了する（Ｓ１７１）。

【符号の説明】

【0060】

１０ 感覚提示装置
１１ 触覚出力装置
１４ 触覚出力デバイス
１６ センサ
２１ 触覚制御部
２２ 触覚信号記憶部
２５ 電源
３１ ケーシング
３２ 円板
３４ ヨーク
３５ ヨーク
３７ コイル
３８ 磁気粘性流体
３９ 軸受
４０ 基部
４１ 回転軸
４２ パーツ
４３ 支点部
４４ 第一リンク材
４５ 第二リンク材
４６ ピン
５１ 制御装置
６１ 制御部
６２ 記憶部
６５ アプリ
６７ コンテンツデータベース
６９ ネットワークインターフェース
７１ 聴覚制御部
７２ 視覚制御部
７５ 音声出力デバイス
７６ 光学出力デバイス
７８ 入力デバイス
８１ サーバ
８２ ネットワーク

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】