特開 2022-190705 触覚デバイス、制御装置、及びそのプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2022190705

(43)【公開日】2022-12-27

(54)【発明の名称】触覚デバイス、制御装置、及びそのプログラム

(51)【国際特許分類】

   G06F 3/01 20060101AFI20221220BHJP

【ＦＩ】

G06F3/01 560

【審査請求】未請求

【請求項の数】10

【出願形態】ＯＬ

(21)【出願番号】P 2021099073

(22)【出願日】2021-06-15

(71)【出願人】

【識別番号】000004352

【氏名又は名称】日本放送協会

(74)【代理人】

【識別番号】100143568

【弁理士】

【氏名又は名称】英 貢

(72)【発明者】

【氏名】東 真希子

【テーマコード（参考）】

5E555

【Ｆターム（参考）】

5E555AA08

5E555AA76

5E555BA02

5E555BA08

5E555BA38

5E555BB02

5E555BB08

5E555BB38

5E555CA10

5E555CA41

5E555CA44

5E555CB21

5E555DA24

5E555FA00

(57)【要約】

【課題】ユーザの使い勝手がよく、三人称視点でも汎用性が高く容易に振動刺激及び温度刺激を含む複数種の触覚刺激を編集可能な態様で、当該複数種の触覚刺激を同時、且つ多重して提示可能とする触覚デバイス、触覚デバイスを制御する制御装置、及びそのプログラムを提供する。
【解決手段】本発明の触覚デバイス１は、把持可能な多面体の外形を有し、当該多面体の外形によって定まる全ての面のうち複数の面を触覚面とし、複数種の触覚刺激を独立して提示可能とする熱伝導性硬質材料で形成された複数の触覚提示板１１と、複数の触覚提示板１１の各々における触覚面とは反対の裏面に固着される振動子１２及びペルチェ素子１３と、所定の制御コマンドに基づいた通信により各振動子１２及び各ペルチェ素子１３を独立して駆動する駆動装置３０と、を備える。本発明の制御装置５は、触覚デバイス１を当該所定の制御コマンドにより制御する。
【選択図】図５

【特許請求の範囲】

【請求項1】

把持可能な多面体の外形を有し、複数種の触覚刺激を提示可能とする触覚デバイスであって、
当該多面体の外形によって定まる全ての面のうち複数の面を触覚面とし、それぞれの触覚面で振動刺激及び温度刺激を含む複数種の触覚刺激を独立して提示可能とする、熱伝導性硬質材料で形成された複数の触覚提示板と、
前記複数の触覚提示板の各々における触覚面とは反対の裏面に固着される、振動刺激を提示するための振動子、及び温度刺激を提示するためのペルチェ素子と、
所定の制御コマンドに基づいた通信により前記複数の触覚提示板の各々に固着される振動子及びペルチェ素子を独立して駆動して、これにより振動刺激及び温度刺激を含む複数種の触覚刺激を同時、且つ多重して提示可能とする駆動装置と、
を備えることを特徴とする触覚デバイス。

【請求項2】

前記ペルチェ素子は、前記複数の触覚提示板の各々における触覚面とは反対の裏面に、各触覚提示板の中心を基準に回転対称で配置された複数が固着されており、
前記駆動装置は、前記複数の触覚提示板の各々における複数のペルチェ素子について、前記所定の制御コマンドに基づいた通信により前記複数の触覚提示板の各々における触覚面の温度を一様とすること、及び温度勾配を持たせることを選択的に駆動する手段を有することを特徴とする、請求項１に記載の触覚デバイス。

【請求項3】

前記複数の触覚提示板の各々に、又は前記ペルチェ素子に、ヒートシンク部材が取着されていることを特徴とする、請求項２に記載の触覚デバイス。

【請求項4】

当該触覚デバイス内に、前記ペルチェ素子の温度を検知するための温度センサ、或いは前記ペルチェ素子の過剰電流又は過剰電圧を検知する保護回路又は保護センサを備え、
前記駆動装置は、当該温度センサ、或いは保護回路又は保護センサの検出信号に基づいて前記ペルチェ素子を目標温度に保つようにフィードバック制御を行う手段と、前記ペルチェ素子の異常動作を検出し、当該触覚デバイスにおける全てのペルチェ素子の供給電力を強制停止する手段のうちいずれか一方又は双方を有することを特徴とする、請求項１から３のいずれか一項に記載の触覚デバイス。

【請求項5】

前記駆動装置に電力供給するためのバッテリー電源と、
当該触覚デバイスの持ち上げ検知、及び／又は当該触覚デバイスの姿勢検知のための三軸加速度センサ、及び前記複数の触覚提示板の各々の把持による接触の有無を示す接触センサとして用いる振動検知センサのうちのいずれか一方又は双方と、を更に備え、
前記駆動装置は、当該三軸加速度センサ又は振動検知センサにより特定される触覚提示板についてのみ振動刺激及び温度刺激を提示するように動的に判別して前記振動子及び前記ペルチェ素子を駆動して、前記バッテリー電源を省電力化する手段を有することを特徴とする、請求項１から４のいずれか一項に記載の触覚デバイス。

【請求項6】

請求項１から３のいずれか一項に記載の触覚デバイスを、当該所定の制御コマンドにより制御する制御装置であって、
映像コンテンツの映像又は音声の信号、収録音声の信号、並びに、圧力及び温度に関する所定のセンサ信号のうち１以上の信号を触覚提示対象信号として入力し、ルールベース又は機械学習により前記触覚提示対象信号の所定時刻単位のフレーム毎に前記触覚提示対象信号の信号解析を行って触覚提示のための特徴量を抽出し、抽出した特徴量を基にイベント情報を検出し、前記イベント情報に応じた振動刺激及び温度刺激に関する触覚情報を当該触覚提示対象信号のタイムラインに自動的に付与し、当該触覚提示対象信号と触覚情報とを対応付けたプロジェクトファイルを生成して編集可能に保持し、自動生成又は編集されたプロジェクトファイルから得られる触覚情報を基に、当該触覚提示対象信号のタイムラインに同期して、当該触覚情報に対応する前記触覚デバイスにおける振動子及びペルチェ素子の固有の識別子に基づいた制御キーによる当該所定の制御コマンドを生成し、直接又は間接的な通信により、前記触覚デバイスへ送信する実行制御部と、
所定の表示装置に前記実行制御部により自動生成されたプロジェクトファイルについて編集可能とするユーザインターフェースを表示させるように制御するＵＩ提示制御部と、
を備えることを特徴とする制御装置。

【請求項7】

前記実行制御部は、当該触覚デバイスから制御の実行状況をリアルタイムに示す情報をフィードバックさせて、当該触覚デバイスの制御の実行のずれ時間を検知し、当該所定の制御コマンドの送信タイミングの時間修正を自動的に行って、当該触覚提示対象信号のタイムラインとの同期精度を高めるようにフィードバック同期制御を行う機能を有することを特徴とする、請求項６に記載の制御装置。

【請求項8】

前記所定の制御コマンドは、当該触覚デバイスを識別するデバイス識別子、当該触覚デバイスにおける複数の振動子のうち振動させる振動子の識別子、その振動振幅及び振動周波数並びに振動提示期間を示す音信号ファイルを示す制御キー、当該触覚デバイスにおける複数のペルチェ素子のうち温度変化させるペルチェ素子の識別子、その温度変化させるための電圧方向及び電圧を温度提示期間に示す制御キーを含むことを特徴とする、請求項６又は７に記載の制御装置。

【請求項9】

前記ユーザインターフェースは、当該触覚デバイスの制御の実行をずらす時間について、当該実行前に予め設定、又は当該実行中に変更設定する機能を有することを特徴とする、請求項６から８のいずれか一項に記載の制御装置。

【請求項10】

コンピュータを、請求項６から９のいずれか一項に記載の制御装置として機能させるためのプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、複数種の触覚刺激を提示可能とする触覚デバイス、触覚デバイスを制御する制御装置、及びそのプログラムに関する。

【背景技術】

【0002】

テレビやインターネットには、様々な映像コンテンツが存在している。しかしながら、これらの映像コンテンツの多くは、主に視覚・聴覚によるものであり、これらの感覚に障害がある者にとっては、アクセシビリティの低い映像コンテンツとなってしまっているのが現状である。近年、ＡＲ（Augmented Reality）／ＶＲ（Virtual Reality）技術の発展とともに、映像コンテンツを楽しむ際の臨場感や迫力をより向上させる手段として触覚情報も同期して提示する技術が知られている（例えば、特許文献１，２参照）。触覚情報の提示は映像コンテンツにおける臨場感や迫力を増すだけでなく、触覚刺激による新たな体験を提供できるほか、前述のような視覚や聴覚に障害のある方に映像や音声で伝えられない情報を触覚で伝える手段（感覚代行器）にもなる。

【0003】

様々な映像コンテンツに対応して、臨場感や迫力の向上に加え、感覚代行器として情報を伝えるために適切な触覚情報を提示するには、複数種の触覚刺激（振動や温度等）を多次元で同時に提示できる汎用的な形状の触覚デバイスが有効である。触覚デバイスとしては、映像コンテンツにおける多様なシーンでより多くの人が扱えるようにするために、大がかりだったり使用方法が繁雑だったりせず、持ち上げ可能な非接地型、且つ小型で手軽に扱える構成とするのが好ましい。

【0004】

そこで、１つの触覚デバイスで複数種の触覚刺激を提示する従来技術としては、温度刺激とともに、電気刺激や振動刺激を提示するものが開示されている（例えば、特許文献３，４参照）。

【0005】

また、円筒型の触覚デバイスで振動・温度等を提示する「ハプティックトリガープラス」と称される技術も開示されている（例えば、非特許文献１参照）。

【先行技術文献】

【特許文献】

【0006】

【特許文献1】特開２０２０－０７７０９４号公報

【特許文献2】特開２０１９－０１２２５２号公報

【特許文献3】国際公開第２０１７／１７５８６８号公報

【特許文献4】特開２０１９－００３４７０号公報

【非特許文献】

【0007】

【非特許文献1】“ハプティックトリガープラス”、[online]、アルプスアルパイン株式会社、［令和３年５月１４日検索］、インターネット〈ＵＲＬ：https://tonkachiworks.com/archives/7939591.html〉

【発明の概要】

【発明が解決しようとする課題】

【0008】

現在、特定の映像コンテンツをターゲットにして臨場感や迫力を高める触覚提示が可能な触覚デバイスは複数存在する。しかしながら、様々なジャンルの映像コンテンツに対応するため、複数種の触覚刺激を多次元で提示でき、臨場感や迫力の向上に加え、触覚刺激による新たな体験の提供、感覚代行器としての情報提供といった機能も有する手軽な触覚デバイスが望まれる。

【0009】

更に、触覚デバイスを制御する制御装置としては、様々なジャンルの触覚情報つき映像コンテンツを効率的に制作するために、対象とする映像コンテンツに対して、映像コンテンツ制作者が簡単に複数種の触覚刺激を付与・編集できるように構成された制御装置とすることも望まれる。

【0010】

上述したように、従来技術として、特許文献３，４には、１つの触覚デバイスで複数種の触覚刺激を提示する技術が開示されているが、これらの技術は、グローブ型の触覚デバイスを想定しており、ユーザ毎にサイズを合わせることが必要であることから、手軽な触覚デバイスとしては改善の余地がある。また、特許文献３，４に開示される技術は、錯覚を用いて複数種の触覚刺激を同一部位からの刺激と感じさせる技術であり、触覚の分解能（弁別閾）には個体差（年齢などによるもの）があることから、このような錯覚を利用した技術では、ユーザ毎にチューニングが必要となる可能性があり、複数種の触覚刺激を全ユーザに向けて狙い通りに提示するのが容易ではない。

【0011】

また、上述したように、非特許文献１には、円筒型の触覚デバイスで振動・温度等を提示する「ハプティックトリガープラス」と称される技術が開示されているが、この技術では、刺激提示部位が限定されてしまい、把持方法が決まっているため、汎用性という観点で手軽な触覚デバイスとしては改善の余地がある。

【0012】

そして、特許文献３，４、及び非特許文献１に開示されるこれらの技術は、一人称視点での触覚刺激の提示に適しているが、テレビドラマやスポーツ番組といった、三人称視点の映像について、三人称視点で複数種の触覚刺激を同時、且つ多重して提示するものではない。三人称視点での触覚刺激提示は、触覚刺激による新たな体験を提供できるだけでなく、視覚障害者に映像の情景を伝える手段にもなることから、三人称視点での触覚刺激提示をも可能とする触覚デバイス、及びその制御装置が望まれる。

【0013】

従って、本発明の目的は、上述の問題に鑑みて、ユーザの使い勝手がよく、三人称視点でも汎用性が高く容易に振動刺激及び温度刺激を含む複数種の触覚刺激を編集可能な態様で、当該複数種の触覚刺激を同時、且つ多重して提示可能とする触覚デバイス、触覚デバイスを制御する制御装置、及びそのプログラムを提供することにある。

【課題を解決するための手段】

【0014】

本発明の触覚デバイスは、把持可能な多面体の外形を有し、複数種の触覚刺激を提示可能とする触覚デバイスであって、当該多面体の外形によって定まる全ての面のうち複数の面を触覚面とし、それぞれの触覚面で振動刺激及び温度刺激を含む複数種の触覚刺激を独立して提示可能とする、熱伝導性硬質材料で形成された複数の触覚提示板と、前記複数の触覚提示板の各々における触覚面とは反対の裏面に固着される、振動刺激を提示するための振動子、及び温度刺激を提示するためのペルチェ素子と、所定の制御コマンドに基づいた通信により前記複数の触覚提示板の各々に固着される振動子及びペルチェ素子を独立して駆動して、これにより振動刺激及び温度刺激を含む複数種の触覚刺激を同時、且つ多重して提示可能とする駆動装置と、を備えることを特徴とする。

【0015】

また、本発明の触覚デバイスにおいて、前記ペルチェ素子は、前記複数の触覚提示板の各々における触覚面とは反対の裏面に、各触覚提示板の中心を基準に回転対称で配置された複数が固着されており、前記駆動装置は、前記複数の触覚提示板の各々における複数のペルチェ素子について、前記所定の制御コマンドに基づいた通信により前記複数の触覚提示板の各々における触覚面の温度を一様とすること、及び温度勾配を持たせることを選択的に駆動する手段を有することを特徴とする。

【0016】

また、本発明の触覚デバイスにおいて、前記複数の触覚提示板の各々に、又は前記ペルチェ素子に、ヒートシンク部材が取着されていることを特徴とする。

【0017】

また、本発明の触覚デバイスにおいて、当該触覚デバイス内に、前記ペルチェ素子の温度を検知するための温度センサ、或いは前記ペルチェ素子の過剰電流又は過剰電圧を検知する保護回路又は保護センサを備え、前記駆動装置は、当該温度センサ、或いは保護回路又は保護センサの検出信号に基づいて前記ペルチェ素子を目標温度に保つようにフィードバック制御を行う手段と、前記ペルチェ素子の異常動作を検出し、当該触覚デバイスにおける全てのペルチェ素子の供給電力を強制停止する手段のうちいずれか一方又は双方を有することを特徴とする。

【0018】

また、本発明の触覚デバイスにおいて、前記駆動装置に電力供給するためのバッテリー電源と、当該触覚デバイスの持ち上げ検知、及び／又は当該触覚デバイスの姿勢検知のための三軸加速度センサ、及び前記複数の触覚提示板の各々の把持による接触の有無を示す接触センサとして用いる振動検知センサのうちのいずれか一方又は双方と、を更に備え、前記駆動装置は、当該三軸加速度センサ又は振動検知センサにより特定される触覚提示板についてのみ動的に判別して振動刺激及び温度刺激を提示するように前記振動子及び前記ペルチェ素子を駆動して、前記バッテリー電源を省電力化する手段を有することを特徴とする。

【0019】

更に、本発明の制御装置は、本発明の触覚デバイスを、当該所定の制御コマンドにより制御する制御装置であって、映像コンテンツの映像又は音声の信号、収録音声の信号、並びに、圧力及び温度に関する所定のセンサ信号のうち１以上の信号を触覚提示対象信号として入力し、ルールベース又は機械学習により前記触覚提示対象信号の所定時刻単位のフレーム毎に前記触覚提示対象信号の信号解析を行って触覚提示のための特徴量を抽出し、抽出した特徴量を基にイベント情報を検出し、前記イベント情報に応じた振動刺激及び温度刺激に関する触覚情報を当該触覚提示対象信号のタイムラインに自動的に付与し、当該触覚提示対象信号と触覚情報とを対応付けたプロジェクトファイルを生成して編集可能に保持し、自動生成又は編集されたプロジェクトファイルから得られる触覚情報を基に、当該触覚提示対象信号のタイムラインに同期して、当該触覚情報に対応する前記触覚デバイスにおける振動子及びペルチェ素子の固有の識別子に基づいた制御キーによる当該所定の制御コマンドを生成し、直接又は間接的な通信により、前記触覚デバイスへ送信する実行制御部と、所定の表示装置に前記実行制御部により自動生成されたプロジェクトファイルについて編集可能とするユーザインターフェースを表示させるように制御するＵＩ提示制御部と、を備えることを特徴とする。

【0020】

また、本発明の制御装置において、前記実行制御部は、当該触覚デバイスから制御の実行状況をリアルタイムに示す情報をフィードバックさせて、当該触覚デバイスの制御の実行のずれ時間を検知し、当該所定の制御コマンドの送信タイミングの時間修正を自動的に行って、当該触覚提示対象信号のタイムラインとの同期精度を高めるようにフィードバック同期制御を行う機能を有することを特徴とする。

【0021】

また、本発明の制御装置において、前記所定の制御コマンドは、当該触覚デバイスを識別するデバイス識別子、当該触覚デバイスにおける複数の振動子のうち振動させる振動子の識別子、その振動振幅及び振動周波数並びに振動提示期間を示す音信号ファイルを示す制御キー、当該触覚デバイスにおける複数のペルチェ素子のうち温度変化させるペルチェ素子の識別子、その温度変化させるための電圧方向及び電圧を温度提示期間に示す制御キーを含むことを特徴とする。

【0022】

また、本発明の制御装置において、前記ユーザインターフェースは、当該触覚デバイスの制御の実行をずらす時間について、当該実行前に予め設定、又は当該実行中に変更設定する機能を有することを特徴とする。

【0023】

更に、本発明のプログラムは、コンピュータを、本発明の制御装置として機能させるためのプログラムとして構成する。

【発明の効果】

【0024】

本発明によれば、ユーザの使い勝手を向上させ、様々なジャンルの映像コンテンツの映像又は音声の信号、収録音声の信号、並びに、圧力及び温度に関する所定のセンサ信号を触覚提示対象として適応できるものとし、振動刺激及び温度刺激を含む複数種の触覚刺激を適切に同時、且つ多重して提示可能とする触覚デバイス、及びその制御装置を構成しているので、臨場感や迫力の向上に加え、三人称視点でも、触覚刺激による新たな体験の提供、感覚代行器として触覚情報を伝えることができるようになる。

【図面の簡単な説明】

【0025】

【図1】本発明による一実施例の触覚デバイスの概略構成を示す斜視図である。

【図2】（ａ）は本発明による一実施例の触覚デバイスにおける各触覚提示板の配置を概略的に示す正面図であり、（ｂ）は本発明による一実施例の触覚デバイスにおける外枠及び内箱の概略構成を示す斜視図である。

【図3】（ａ）は本発明による一実施例の触覚デバイスにおける触覚提示板の周辺構成を概略的に示す斜視図であり、（ｂ）はその触覚提示板の周辺構成の断面図である。

【図4】（ａ）は本発明による一実施例の触覚デバイスにおける触覚提示板に配設される振動子及びペルチェ素子の配置例を概略図示する平面図であり、（ｂ），（ｃ）はそれぞれその変形例１，２の配置例を概略図示する平面図である。

【図5】本発明による一実施例の触覚デバイス及び制御装置を備える触覚情報提示システムの概略構成を示すブロック図である。

【図6】本発明による一実施例の制御装置の制御例を示すフローチャートである。

【図7】（ａ）は本発明による一実施例の制御装置における振動提示用の音信号（ｍｐ３ファイル）毎の振動子の制御を識別する識別記号と、対応する制御キーの割り当てを示す図であり、（ｂ）は対象物（イベント検出した特定の部位）の温度毎のペルチェ素子の制御を識別する識別記号と、対応する制御キーの割り当てを示す図である。

【図8】本発明による一実施例の触覚情報提示システムに係る触覚提示対象信号（一般的なカメラやサーモカメラによる映像等）における対象物（イベント検出した特定の部位）の温度と、ペルチェ素子の温度刺激及びその制御（電圧方向とその電圧）との対応関係を示す図である。

【図9】本発明による一実施例の触覚情報提示システムに係る表示装置上に提示されたＵＩ（ユーザインターフェース）の画面例を示す図である。

【発明を実施するための形態】

【0026】

以下、図面を参照して、本発明による一実施例の触覚デバイス１、及びその触覚デバイス１を制御する制御装置５を備える触覚情報提示システム６について、詳細に説明する。

【0027】

（触覚デバイス）
図１は、本発明による一実施例の触覚デバイス１の概略構成を示す斜視図である。ここで、本発明に係る触覚デバイス１は、把持可能な多面体の外形を有し、複数の面を触覚面とし、それぞれの触覚面で振動刺激及び温度刺激を含む複数種の触覚刺激を独立して提示可能となっている。即ち、本発明に係る触覚デバイス１は、正多面体（正四面体、正六面体、正八面体、正十二面体、正二十面体等）又は長方体を含む多面体型とすることができ、図１に示す本実施例では、立方体（正六面体、キューブ）型を例示している。

【0028】

図１に例示する触覚デバイス１は、立方体の外枠２０によって定まる６面のうち、或る１面には四角板状の回路基板で構成された駆動基板（駆動装置）３０が嵌め込まれ、他の５面は四角板状の触覚提示板１１‐１，１１‐２，１１‐３，１１‐４，１１‐５（以下、個々を区別せずに説明するときは「触覚提示板１１」とも称する。）が配設されている。触覚提示板１１における表面（立方体の外面）はユーザの把持による触覚面とし、それぞれの触覚提示板１１の触覚面にユーザの指等が接触することで振動刺激及び温度刺激を含む複数種の触覚刺激を独立して提示可能となっている。ここで、説明の便宜上、駆動基板３０が嵌め込まれている立方体の面を正面とすると、触覚提示板１１‐１，１１‐２，１１‐３，１１‐４，１１‐５は、それぞれ立方体の上面、右面、下面、左面、及び背面に配設されている。ただし、駆動基板（駆動装置）３０を外枠２０の内部に収容して、当該立方体の６面の全てに触覚提示板１１を配設する形態としてもよい。

【0029】

図１に示す触覚提示板１１‐１における触覚面とは反対の裏面（触覚デバイス１の内部側の面）には、振動による触覚刺激（以下、「振動刺激」とも称する。）を提示するための振動子１２‐１と、温度による触覚刺激（以下、「温度刺激」とも称する。）を提示するために触覚提示板１１‐１の中心を基準に回転対称で配置された複数のペルチェ素子１３‐１，１３‐２が固着されている（本例の場合、対角線上に２個のペルチェ素子１３‐１，１３‐２が設置されるものであるため、点対称でもある。）。また、触覚提示板１１‐２の裏面には、振動子１２‐１と、触覚提示板１１‐２の中心を基準に回転対称で配置された複数のペルチェ素子１３‐３，１３‐４が固着されている。触覚提示板１１‐３，１１‐４，１１‐５についても同様に、振動子（以下、個々を区別せずに説明するときは「振動子１２」とも称する。）及び複数のペルチェ素子（以下、個々を区別せずに説明するときは「ペルチェ素子１３」とも称する。）が固着されている。尚、後述する図２（ａ）では、触覚提示板１１‐３の裏面には振動子１２‐３と複数のペルチェ素子１３‐５，１３‐６が固着され、触覚提示板１１‐４の裏面には振動子１２‐４と複数のペルチェ素子１３‐７，１３‐８が固着された様子を示しており、触覚提示板１１‐５については図示されていないが、その裏面には振動子１２‐５と複数のペルチェ素子１３‐９，１３‐１０が固着されている。

【0030】

即ち、図１に示す触覚提示板１１の各々における触覚面とは反対の裏面には、振動刺激を提示するための振動子１２と、温度刺激を提示するための複数のペルチェ素子１３が固着されており、それぞれの振動子１２及びペルチェ素子１３は、個別に、固有の識別子（ＩＤ）で識別できるようになっている。また、各触覚提示板１１は、独立して、一様に振動刺激及び温度刺激を提示可能とするため、熱伝導率・放熱性能の高く、振動伝達能力も高い、例えばグラファイト、アルミニウム、銅等による熱伝導性硬質材料で形成される。

【0031】

駆動基板３０は、図５を参照して後述するが、通信マイコンモジュール３１１として構成されるコンピュータを有しており、振動子１２及びペルチェ素子１３の固有の識別子に基づいた制御キーによる制御コマンドを制御装置５から直接又は間接的な通信により受信できる。そして、駆動基板３０は、通信マイコンモジュール３１１の制御によって、受信した制御コマンドに基づいて各触覚提示板１１の振動子１２及びペルチェ素子１３を独立して駆動する駆動回路３０２を有している。従って、駆動基板３０は、制御装置５から送信された制御コマンドに基づいて、各触覚提示板１１の振動子１２及びペルチェ素子１３を独立して駆動し、振動刺激及び温度刺激を含む複数種の触覚刺激を同時、且つ多重して提示可能とする駆動装置として構成されている。

【0032】

図２及び図３を参照して、図１に例示する触覚デバイス１の構造について、より具体的に説明する。厳格に図示するものではないが、図２（ａ）は本実施例の触覚デバイス１における正面から視認できる各触覚提示板１１の配置を概略的に示す正面図であり、図２（ｂ）は本実施例の触覚デバイス１における外枠２０及び内箱２１の概略構成を示す斜視図である。そして、図３（ａ）は、代表して触覚提示板１１‐１の周辺構成を概略的に示す斜視図であり、図３（ｂ）はその触覚提示板１１‐１の周辺構成の断面図である。

【0033】

まず、図２（ａ）に示すように、駆動基板３０と触覚提示板１１‐１，１１‐２，１１‐３，１１‐４，１１‐５は、図１に例示する触覚デバイス１の立方体を構成する各面に対して配設される（尚、触覚提示板１１‐５は、駆動基板３０を正面としてその背面側に平行配置されているため図示されていない。）。

【0034】

そして、図２（ｂ）に示すように、本実施例の触覚デバイス１として立方体を構成する外枠２０は、その立方体の各辺を棒体で連結した構造を有し、これにより立方体を構成する外枠２０の各面には開口部２０１，２０２，２０３，２０４，２０５，２０６が形成され、外枠２０自体は中空状となっている。そして、外枠２０の内部には内箱２１が収容されており、内箱２１は図示するように或る一面（図示上で上面）に開口部２１０が形成された立方体の箱形状を有し、開口部２１０とは対向する面（図示上で底面）の４隅が、外枠２０の内部で内方突起する突起部２００により固定されている。

【0035】

外枠２０の開口部２０６には駆動基板（駆動装置）３０が嵌め込まれ、外枠２０の各開口部２０１，２０２，２０３，２０４，２０５にはそれぞれ触覚提示板１１‐１，１１‐２，１１‐３，１１‐４，１１‐５が配設されて、図１に示すような立方体（正六面体、キューブ）型の触覚デバイス１が形成される。

【0036】

ところで、図２（ｂ）に示すように、内箱２１の開口部２１０を除く各面には、丸孔２１１とスリット２１２が設けられ、内箱２１の図示上で底面以外のスリット２１２は、開口部２１０と連なるように形成されている。

【0037】

そして、各触覚提示板１１は、代表して触覚提示板１１‐１について図３（ａ）,（ｂ）に示すように、その裏面の中央に円柱状の支持部材１１１の図示上端が固着されている。そして、図３（ｂ）に示すように、触覚提示板１１‐１の裏面に対して法線方向に延びた支持部材１１１の図示下端が、内箱２１の対応する面に設けられた丸孔２１１に係合固定される軸受け２１３により支持されている。本例の軸受け２１３は、ボールベアリングを用いた玉軸受けにより構成され、触覚提示板１１の振動が支持部材１１１を経由して内箱２１に伝達しないように支持部材１１１を支持する形態としている。ただし、軸受け２１３は、触覚提示板１１‐１の振動を支持部材１１１経由で内箱２１に伝達させないようにする構造のものであれば、種々のものを利用できる。例えば、軸受け２１３は、支持部材１１１を磁気浮上によって支持する磁気軸受け、薄い液体又は気体の膜を利用して支持する流体軸受け、或いは単に振動を吸収する振動吸収ゴム材で構成した軸受けとすることができる。また、どのような軸受けを使用するとしても、温度伝達についても低いものとするのが好適である。これにより、本実施例の触覚デバイス１において、各触覚提示板１１における一の触覚面での振動が他の触覚面に伝導しないため、それぞれ独立して振動刺激及び温度刺激を提示させることができ、３次元的に触覚情報をユーザに提示することができる。

【0038】

また、図３（ｂ）に示すように、内箱２１のスリット２１２には、触覚提示板１１‐１の裏面に固着されている振動子１２‐１及びペルチェ素子１３‐１，１３‐２を駆動させるためのハーネスが通され、駆動基板（駆動装置）３０へと接続されるようにして配線されている。本例の内箱２１には、上述したように開口部２１０が設けられているために、各触覚提示板１１における支持部材１１１を内箱２１に支持させる組み付けを容易に行うことができ、振動子１２及びペルチェ素子１３を駆動させるためのハーネスについても容易に配線できるようになっており、組み立て性が優れたものとなっている。

【0039】

このように配設される各触覚提示板１１は、図３（ｂ）から理解されるように、外枠２０が構成する立方体の面上で過剰に突出することなく、更には過剰に凹むことなく、外枠２０に対してがたつきを抑制しつつ分離した状態で、支持部材１１１を介して内箱２１に支持されるものとなっており、過剰に突出することなく、更には過剰に凹むことのない把持しやすい触覚デバイス１を構成している。

【0040】

尚、振動子１２は、図５を参照して後述するが、制御装置５から制御コマンドとして入力された音信号に応じた振動を行うアクチュエータであればよい。例えば、振動子１２は、アルプスアルパイン社製のハプティック（登録商標）リアクタ（インターネット＜ＵＲＬ；https://www.alps.com/prod/info/J/HTML/Haptic/＞）等を利用できるし、或いは音信号に基づく振動を行うスピーカユニット（振動板）等でもよい。これにより、振動子１２を用いて、音信号に応じた振動刺激をユーザに提示することができる。

【0041】

また、ペルチェ素子１３を触覚提示板１１に固着して温度刺激を提示する場合、ユーザの持ち方や触る場所によって感じ方が変化せずに同等になるようにするのが好ましい。このため、駆動基板（駆動装置）３０は、触覚提示板１１の触覚面の温度を一様とすること、及び温度勾配を持たせることを選択的に駆動する機能を有し、制御装置５からの制御コマンドに基づいて制御できる構造となっている。このような制御を実現するため、本実施例では、１つの触覚提示板１１に対して、温度提示素子としてペルチェ素子１３を使用し、更に、複数のペルチェ素子１３を用いる構造としている。

【0042】

即ち、単に触覚提示板１１の触覚面の温度を一様とすることを考慮したときは、触覚提示板１１の触覚面の面積と同等のペルチェ素子１３を触覚提示板１１の裏面に装着する、若しくは触覚提示板１１自体をペルチェ素子１３で構成するという方法が考えられる。しかしながら、この方法では、振動子１２の固着スペースが無くなるという問題があり、少なくとも高精度の振動刺激を提示するのが困難になる。また、ペルチェ素子１３自体に振動子１２を装着するという実装方法も考えられるが、その場合のペルチェ素子１３の振動子装着面が高温になった場合に振動子１２にも熱が伝わり高温になってしまうことから品質上の問題が懸念される。

【0043】

これらの問題を回避するために、本実施例では、触覚提示板１１について熱伝導率・放熱性能の高く、振動伝達能力も高い熱伝導性硬質材料（例えばグラファイト、アルミニウム、銅等）で構成し、その触覚提示板１１の裏面に、触覚提示板１１の中心を基準に回転対称で配置された複数のペルチェ素子１３を固着するものとしている。これにより、その触覚提示板１１に固着された複数のペルチェ素子１３に電流を流したときに提示される温度刺激が素早くその触覚面に一様に伝わるようにすることができる。この構成であれば、触覚提示板１１における空いたスペースに振動子１２を固着することができる。

【0044】

図４（ａ）は本実施例の触覚デバイス１における触覚提示板１１に配設される振動子１２及びペルチェ素子１３の配置例を概略図示する平面図であり、図４（ｂ），（ｃ）はそれぞれその変形例１，２の配置例を概略図示する平面図である。

【0045】

本実施例では、触覚提示板１１の素材が熱伝導率・放熱性能の高い材質で形成しており、図４（ａ）に例示するように、触覚提示板１１の触覚面の略１／４から１／５程度の面積に相当するペルチェ素子１３を対角線上に２個設置し、ペルチェ素子１３を設置していない部分に振動子１２を装着している。振動は伝搬していくので、この構造であれば、ユーザが或る触覚提示板１１の触覚面上のどの場所を触っても、提示された振動刺激と温度刺激を提示させることができる。また、図４（ｂ）の変形例１、或いは図４（ｃ）の変形例２として例示するように、触覚提示板１１の触覚面の略１／４から１／９程度の面積のペルチェ素子１３を用いて、１枚の触覚提示板１１に固着するペルチェ素子１３の数として、３個、或いは４個、更にはそれ以上の数としてもよく、上述した理由から、１枚の触覚提示板１１に対する複数のペルチェ素子１３の配置は、触覚提示板１１の中心を基準に回転対称とするのが好ましい。

【0046】

また、平板状のペルチェ素子１３に電流を流すと、その一方の面が冷たく、他方の面が熱くなる。例えば、ペルチェ素子１３の触覚提示板１１側の一方の面に冷覚刺激を提示したとき、ペルチェ素子１３の他方の面は熱くなる。この際に、適切な放熱ができていないと、十分な冷覚刺激が提示できなくなる可能性や、冷覚刺激の提示を停止した（電流を流すのを停止した）際に、ペルチェ素子１３の当該他方の面の熱が冷覚刺激を提示していた触覚面側となる当該一方の面に移動し、意図しない温覚刺激の提示を引き起こす可能性がある。これらの問題を回避するために、本実施例では、触覚提示板１１自体を熱伝導率・放熱性能の高い熱伝導性硬質材料で形成しており、触覚提示板１１自体にペルチェ素子１３に対するヒートシンク機能を持たせることができるようにしている。尚、ペルチェ素子１３と触覚提示板１１との間にヒートシンク部材を挟み込む、或いは覆うように取着して、ペルチェ素子１３の放熱性をより高めるようにすると、より効果的である。或いは、単に、触覚提示板１１に対して固着する面とは反対側のペルチェ素子１３の面（触覚デバイス１の内側の面）に、ヒートシンク部材を取着することで放熱性を高めるようにすることも有効である。また、内箱２１を放熱性の高い材質とするか、又は内箱２１を放熱性の高い材質で包み込み、ペルチェ素子１３の面（触覚デバイス１の内側の面）と内箱２１とを放熱性の高い部材で接続することで、ヒートシンク機能を持たせることも有効である。

【0047】

そして、ペルチェ素子１３は、その駆動電圧を反転させることにより、極性を変えることができる。触覚提示板１１の触覚面側又は裏面側の一方の面に温覚刺激を提示すると、触覚提示板１１の他方の面は冷たくなる。このため、触覚提示板１１を熱伝導率・放熱性能の高い熱伝導性硬質材料で形成しヒートシンク機能を持つようにしているため、温覚刺激の提示を停止した際に、急に冷たくなるような意図しない温度刺激の提示を避けることができる。

【0048】

図１に示す本実施例の触覚デバイス１のサイズは、ユーザが手軽に扱えるように、把持可能な小型のサイズとし、自由な持ち方で把持できるようにしている。即ち、本実施例の触覚デバイス１は、従来のウェアラブル型の触覚デバイスのように着脱の必要がなく、展示やその他の使用シーンにおいて効率的に使用でき、使い勝手がよいという利点がある。更に、本実施例の触覚デバイス１は、把持型としているため、ユーザが触覚面とする触覚提示板１１から離脱したいときには、当該触覚デバイス１の停止制御を行うことなく、手放すだけで直ちに離脱できるという利点がある。また、触覚デバイス１における任意の触覚提示板１１に振動刺激や温度刺激を提示し、その任意の触覚提示板１１をユーザが自由に触れるようにすることで、その触る場所を常に固定する従来の触覚デバイスと比較して、汎用性が向上し、様々なジャンルの映像コンテンツへの応用や複数のユースケースへの適応性が高くなる。本実施例の触覚デバイス１は、従来のような錯覚を用いずに、物理的に指等の触れた箇所から、振動刺激及び温冷覚の温度刺激を含む複数種類の刺激を提示できるため、個人差の影響も小さくなるという利点がある。

【0049】

（制御装置）
次に、図５を参照して、本実施例の触覚デバイス１を制御する制御装置５について説明する。図５は、本発明による一実施例の触覚デバイス１及び制御装置５を備える触覚情報提示システム６の概略構成を示すブロック図である。

【0050】

本実施例の制御装置５は、実行制御部５１及びＵＩ提示制御部５２を備える。制御装置５は、表示装置４と接続された汎用のパーソナルコンピュータ（ＰＣ）に、実行制御部５１及びＵＩ提示制御部５２を機能させるプログラムを実行させることにより構成される。

【0051】

そして、実行制御部５１は、入力部５１０、信号解析・イベント検出部５１１、特徴量ルールデータベース５１２、特徴量学習データベース５１３、触覚情報付与部５１４、デバイス情報データベース５１５、触覚情報付与ルールデータベース５１６、デバイス制御部５１７、デバイス制御プログラム格納部５１８、及びプロジェクトファイル生成・格納部５１９を備える。

【0052】

入力部５１０は、様々なジャンルの映像コンテンツの映像又は音声（この映像にはアニメーションや汎用カメラやサーモカメラなどにより撮影したものを含む。）の信号、マイクにより収録される収録音声の信号、並びに、圧力及び温度に関する所定のセンサ信号のうち１以上の信号を触覚提示対象信号として入力し、信号解析・イベント検出部５１１に出力する。尚、入力部５１０に入力する触覚提示対象信号は、プロジェクトファイル生成・格納部５１９にも同期して入力される。

【0053】

信号解析・イベント検出部５１１は、特徴量ルールデータベース５１２に格納される特徴量ルールに基づくルールベース、或いは特徴量学習データベース５１３に格納される機械学習データに基づく機械学習により、入力部５１０から得られる触覚提示対象信号の信号解析を行って触覚提示を行う特徴量を抽出し、抽出した特徴量を基にイベントを検出し、イベント情報として触覚情報付与部５１４に出力する。

【0054】

特徴量ルールデータベース５１２は、触覚提示対象信号から特徴量を抽出する特徴量ルールを格納するデータベースである。

【0055】

特徴量学習データベース５１３は、触覚提示対象信号から特徴量を抽出する機械学習データを格納するデータベースである。

【0056】

ここで、信号解析・イベント検出部５１１は、特徴量の抽出として、入力した触覚提示対象信号の所定時刻単位のフレーム毎に行い、抽出した特徴量のうち、直前のフレームで抽出された特徴量に対する変化の大きさに基づいて閾値判定により触覚提示用のイベントをイベント情報として検出する。

【0057】

例えば、信号解析・イベント検出部５１１は、入力した触覚提示対象信号における触覚提示の対象物について、フレーム毎に、動物体であればその移動量を計測し、収録音声であれば特定の波長域にある音声を抽出し、特定の部位における温度がサーモカメラやセンサ信号で得られるときはその温度を測定する信号解析を行い、この信号解析によって得られた数値情報が所定の閾値以上となるものについてイベント情報として検出し、触覚情報付与部５１４に出力する。

【0058】

この信号解析は、ルールベースや機械学習により、触覚提示の対象物の特徴量（動き量、音声、温度など）を学習して行うことができる。尚、物体の動き量に関する特徴量は、物体の移動量、速度ベクトル、加速度ベクトル等の予め定めたものとする。物体の動き量の検出には、『被写体追跡可能なスポーツグラフィックスシステムの試作 －複数の可動カメラを利用したボールの三次元リアルタイム追跡－ ITE technical report, vol.41, No.26, pp.9-12, Aug. 2017』に記載された方法等を用いることができる。

【0059】

触覚情報付与部５１４は、予め指定されているデバイス情報に従う振動子１２及びペルチェ素子１３について、触覚情報付与ルールデータベース５１６を参照して得られる予め定められた触覚情報付与ルール（図７及び図８を参照して後述する。）に基づいて、信号解析・イベント検出部５１１から得られるイベント情報に応じた振動刺激及び温度刺激に関する触覚情報を、当該触覚提示対象信号のタイムラインに自動的に付与するように動作し、当該触覚提示対象信号のタイムラインに自動的に付与した触覚情報をプロジェクトファイル生成・格納部５１９に出力する。

【0060】

ここで、触覚情報付与部５１４は、ＵＩ提示制御部５２によるユーザインターフェース（ＵＩ）経由で事前に予め指定されたデバイス情報（本実施例では、図１に示す触覚デバイス１のデバイス識別子と、振動子１２及びペルチェ素子１３の識別子の情報）をデバイス情報データベース５１５から抽出している。

【0061】

図７及び図８を参照して後述するが、触覚情報付与ルールは、振動子１２の触覚情報については、多様な振動振幅及び振動周波数の信号（以下では、振動振幅及び振動周波数を指定する信号を音信号という。）が振動提示期間別の音信号ファイル（ｍｐ３ファイル）を指定する識別記号で識別可能に自動付与するものとなっている。また、ペルチェ素子１３の触覚情報については、ペルチェ素子１３を駆動する電圧方向及び電圧の素子制御信号が温度提示期間別に識別記号で識別可能に自動付与するものとなっている。また、振動子１２の触覚情報は、識別記号で識別可能とするとともに、その識別記号に対応する制御キーが割り当てられる。同様に、ペルチェ素子１３の触覚情報についても、識別記号で識別可能とするとともに、その識別記号に対応する制御キーが温度提示期間別に割り当てられる。

【0062】

デバイス情報データベース５１５は、種々の触覚デバイスの情報を格納しており、本実施例では、図１に示す触覚デバイス１を作動させるものとして、触覚デバイス１のデバイス識別子と、振動子１２及びペルチェ素子１３の識別子の情報が、ＵＩ提示制御部５２によるユーザインターフェース（ＵＩ）経由で事前に予め指定されている。

【0063】

触覚情報付与ルールデータベース５１６は、イベント情報と触覚情報との対応関係について予め定めた触覚情報付与ルールを格納するデータベースである。

【0064】

尚、触覚情報付与部５１４は、入力部５１０経由で入力した触覚提示対象信号についてリアルタイムに図１に示す触覚デバイス１を制御するときは、当該触覚提示対象信号のタイムラインに自動的に付与した触覚情報をデバイス制御部５１７に出力することでリアルタイム実行できるようになっている。

【0065】

プロジェクトファイル生成・格納部５１９は、触覚情報付与部５１４から当該触覚提示対象信号のタイムラインに自動的に付与した触覚情報を取得すると、当該触覚提示対象信号と触覚情報とを対応付けたプロジェクトファイルを生成し編集可能に保持する機能部である。

【0066】

この自動生成されたプロジェクトファイルは、ＵＩ提示制御部５２によって、プロジェクトファイル生成・格納部５１９から読み出して、表示装置４に提示されるユーザインターフェース（ＵＩ）上に当該触覚提示対象信号及びそのタイムラインに自動付与されている触覚情報を表示させることができる。そして、ＵＩ提示制御部５２の機能として、そのＵＩ上で、当該触覚提示対象信号に対して自動的に付与した触覚情報について編集し、新たなプロジェクトファイルを生成してプロジェクトファイル生成・格納部５１９に保持することができる。更には、ＵＩ提示制御部５２の機能として、そのＵＩ上で、編集した新たなプロジェクトファイルを実行して、プロジェクトファイル生成・格納部５１９から当該触覚提示対象信号のタイムラインに編集して付与した触覚情報をデバイス制御部５１７に出力することで編集実行できるようになっている。また、ＵＩ提示制御部５２の機能として、そのＵＩ上で、リアルタイム実行とするか編集実行とするかについても指定できるようになっている。

【0067】

即ち、プロジェクトファイル生成・格納部５１９は、同一の触覚提示対象信号に対して複数種の触覚デバイス１の同期制御を実現するために、その複数種を個別にプロジェクトとして管理するようにファイル化されたプロジェクトファイルを保持している。

【0068】

デバイス制御部５１７は、リアルタイム実行時に触覚情報付与部５１４から得られる触覚情報、又は編集実行時にプロジェクトファイル生成・格納部５１９から得られる触覚情報を入力すると、当該触覚提示対象信号のタイムラインに同期して、その触覚情報に対応する振動子１２及びペルチェ素子１３の固有の識別子に基づいた制御キーによる制御コマンドを生成し、直接又は間接的な通信により、例えば直接的な通信としては近距離無線通信（Bluetooth（登録商標），zigbee（登録商標），Wifi，無線LAN等）又は有線通信により、間接的な通信としてはこれらの近距離無線通信又は有線通信等を利用したインターネット経由とする通信により、触覚デバイス１へ送信する。

【0069】

また、デバイス制御部５１７は、触覚デバイス１から制御の実行状況をリアルタイムに示す情報をフィードバックさせて、触覚デバイス１の制御の実行のずれ時間を検知し、制御コマンドの送信タイミングの前倒し等による時間修正を自動的に行って、当該触覚提示対象信号のタイムラインとの同期精度を高めるようにフィードバック同期制御を行う機能を有する。尚、触覚デバイス１の制御の実行をずらす時間は、ＵＩ上で当該実行前に予め設定、又は当該実行中に変更設定することもできるようになっている。

【0070】

デバイス制御部５１７が触覚デバイス１を駆動するために送信する制御コマンドには、触覚デバイス１を識別するデバイス識別子、複数の振動子１２のうち振動させる振動子１２の識別子、その振動振幅（振動強度）及び振動周波数並びに振動提示期間を示す音信号ファイルを示す制御キー、複数のペルチェ素子１３のうち温度変化させるペルチェ素子１３の識別子、その温度変化させるための電圧方向及び電圧を温度提示期間に示す制御キーが含まれる。

【0071】

ここで、デバイス制御部５１７は、触覚デバイス１の制御の実行前に、ＵＩ提示制御部５２によるユーザインターフェース（ＵＩ）経由で、当該事前に予め指定されたデバイス情報に対応するデバイス制御プロフラムをデバイス制御プログラム格納部５１８から読み出して、触覚デバイス１に送信する機能を有する。デバイス制御プログラムは、制御キーによる制御コマンドを受け付けて触覚デバイス１を駆動させるためのファームウェアであり、制御キーに応じた振動子１２用の音信号ファイルをデータとして含んでいる。触覚デバイス１は、デバイス制御プログラムを受信すると更新記憶して、以後、そのデバイス制御プログラムに従って作動するようになっている。

【0072】

デバイス制御プログラム格納部５１８は、種々の触覚デバイスに対応するデバイス制御プロフラムを格納する機能部である。尚、触覚デバイス１に対するデバイス制御プログラムの送信（書き込み）は、制御装置５からではなく別の端末から行う形態としてもよいし、触覚デバイス１内の通信マイコンモジュール３０１内の記憶部（図示略）に予め書き込んでおく形態としてもよい。また、デバイス制御プログラムは、使用する通信方式ごとに用意されている。ここで、振動子１２用の音信号ファイルなどは、通信方式によって、触覚デバイス側に内蔵されているｍｉｃｒｏＳＤカードなどの記録媒体にファイルとして記録しておいたものを再生する制御を行い振動子１２に入力する、という形態としてもよいし、音信号ファイル自体を別の端末から取得して振動子１２を駆動する形態としてもよい。

【0073】

ＵＩ提示制御部５２は、当該自動生成されたプロジェクトファイルについて、プロジェクトファイル生成・格納部５１９から読み出して、読み出したプロジェクトファイルにおける当該触覚提示対象信号及びそのタイムラインに自動付与されている触覚情報を編集可能とするユーザインターフェース（ＵＩ）を表示装置４に表示させるように制御する機能部である。

【0074】

（触覚デバイスの駆動装置）
次に、触覚デバイス１の駆動装置（制御基板）３０について具体的に説明する。図５に示すように、触覚デバイス１の駆動装置（制御基板）３０は、通信マイコンモジュール３０１、及び駆動回路３０２を備える。

【0075】

通信マイコンモジュール３０１は、デバイス制御プログラムを格納する記憶部（図示略）と、制御装置５と相互に直接又は間接的な通信（インターネット経由で通信接続する形態を含む）を行う通信部（図示略）と、デバイス制御プログラムを読み込んで実行する機能を有するマイクロコンピュータ（図示略）とを備えるモジュールである。より具体的には、通信マイコンモジュール３０１は、振動子１２及びペルチェ素子１３の固有の識別子に基づいた制御キーによる制御コマンドを制御装置５から直接又は間接的な通信により受信すると、受信した制御コマンドに基づいて、駆動回路３０２を制御して各触覚提示板１１の振動子１２及びペルチェ素子１３を独立して駆動させて、振動刺激及び温度刺激を含む複数種の触覚刺激を同時、且つ多重して提示する制御を行う機能部である。

【0076】

駆動回路３０２は、通信マイコンモジュール３０１の制御により、各触覚提示板１１の振動子１２及びペルチェ素子１３を独立して駆動する回路である。

【0077】

図１に示したように、本実施例の触覚デバイス１における駆動基板（駆動装置）３０は、立方体の外枠２０によって定まる６面のうち、或る１面に嵌め込む形態としているが、上述したように、外枠２０の内部（より正確には内箱２１の内部）に収容して、当該立方体の６面の全てに触覚提示板１１を配設する形態としてもよい。

【0078】

そして、図５に示すように、駆動装置３０は、本実施例では、バッテリー電源１４から電力供給を受ける形態としている。バッテリー電源１４は内箱２１の内部に収容される。

【0079】

以下、このように構成される本実施例の触覚デバイス１、及びその触覚デバイス１を制御する制御装置５を備える触覚情報提示システム６において、より具体的に、図６乃至図８を参照して、制御装置５の制御例を基に動作を説明する。

【0080】

（制御装置の制御例）
図６は、本発明による一実施例の制御装置５の制御例を示すフローチャートである。また、図７（ａ）は本実施例の制御装置５における振動提示用の音信号（ｍｐ３ファイル）毎の振動子１２の制御を識別する識別記号と、対応する制御キーの割り当てを示す図であり、図７（ｂ）は対象物（イベント検出した特定の部位）の温度毎のペルチェ素子１３の制御を識別する識別記号と、対応する制御キーの割り当てを示す図である。そして、図８は、本発明による一実施例の触覚情報提示システム６に係る触覚提示対象信号（一般的なカメラやサーモカメラによる映像等）における対象物（イベント検出した特定の部位）の温度と、ペルチェ素子１３の温度刺激及びその制御（電圧方向とその電圧）との対応関係を示す図である。

【0081】

本実施例の制御装置５は、上述したように、表示装置４と接続された汎用のパーソナルコンピュータ（ＰＣ）に、実行制御部５１及びＵＩ提示制御部５２を機能させるプログラムを実行させることにより構成され、表示装置４には、ＵＩ提示制御部５２により、図８を参照して後述するユーザインターフェース（ＵＩ）が表示される。

【0082】

図６を参照するに、制御装置５の動作開始にあたって、ＵＩ提示制御部５２の機能により、ユーザインターフェース（ＵＩ）上で、ユーザにより制御装置５の初期設定を行う（ステップＳ１）。この初期設定には、図１に示す触覚デバイス１を作動させるものとして、触覚デバイス１のデバイス識別子と、振動子１２及びペルチェ素子１３の識別子の情報が、ＵＩ提示制御部５２によるユーザインターフェース（ＵＩ）経由で事前に予め指定され、当該指定されたデバイス情報に対応するデバイス制御プロフラムが、デバイス制御部５１７の機能により触覚デバイス１に送信される。触覚デバイス１は、デバイス制御プログラムを受信すると更新記憶して、以後、そのデバイス制御プログラムに従って作動するようになっている。また、ユーザインターフェース（ＵＩ）上で、「リアルタイム実行」とするか「編集実行」とするかについて初期設定として指定され、この指定に基づいて実行制御部５１が作動する。尚、上述したプロジェクトファイルが存在しないときは、ユーザは、ユーザインターフェース（ＵＩ）上で「リアルタイム実行」から開始するよう指定する。

【0083】

そして、制御装置５は、実行制御部５１により、当該初期設定に従い、「リアルタイム実行」で動作するか「編集実行」で動作するかを判別し（ステップＳ２）、「リアルタイム実行」であればステップＳ３に移行し（ステップＳ２：Ｙｅｓ）、「編集実行」であればステップＳ１０に移行する（ステップＳ２：Ｎｏ）。

【0084】

「リアルタイム実行」で動作させる際、制御装置５は、実行制御部５１の入力部５１０により、触覚デバイス１を連動させる触覚提示対象信号（一般的なカメラやサーモカメラによる映像等）を入力する（ステップＳ３）。

【0085】

続いて、制御装置５は、実行制御部５１の信号解析・イベント検出部５１１により、ルールベース、或いは機械学習により、当該触覚提示対象信号の信号解析を行って触覚提示を行う特徴量を抽出し、イベントを検出する（ステップＳ４）。ここで、信号解析・イベント検出部５１１は、特徴量の抽出として、入力した触覚提示対象信号の所定時刻単位のフレーム毎に行い、抽出した特徴量のうち、直前のフレームで抽出された特徴量に対する変化の大きさに基づいて閾値判定により触覚提示用のイベントをイベント情報として検出する。

【0086】

ここで、制御装置５は、実行制御部５１の信号解析・イベント検出部５１１により、或るフレームにおいて新たなイベントを検出した場合には（ステップＳ５：Ｙｅｓ）、ステップＳ６に移行し、そのフレームにおいて新たなイベントを検出しなかった場合には（ステップＳ５：Ｎｏ）、次フレームについてステップＳ４のイベント検出の処理に移行し、新たなイベントを検出するまでこの動作を繰り返す。

【0087】

或るフレームにおいて新たなイベントを検出した場合に、制御装置５は、実行制御部５１の触覚情報付与部５１４により、デバイス情報に従う振動子１２及びペルチェ素子１３について、予め定められた触覚情報付与ルールに基づいて、当該イベント情報に応じた振動刺激及び温度刺激に関する触覚情報を、当該触覚提示対象信号のタイムラインに自動的に付与するように動作する（ステップＳ６）。このとき、制御装置５は、実行制御部５１のプロジェクトファイル生成・格納部５１９により、当該触覚提示対象信号のタイムラインに自動的に付与した触覚情報について、当該触覚提示対象信号と触覚情報とを対応付けたプロジェクトファイルを生成し編集可能に保持する。

【0088】

触覚情報付与ルールは、振動子１２の触覚情報については、多様な振動振幅及び振動周波数の信号（音信号）が振動提示期間別の音信号ファイル（ｍｐ３ファイル）を指定する識別記号で識別可能に自動付与するものとなっており、その識別記号に対応する制御キーが割り当てられる（図７（ａ）参照）。また、ペルチェ素子１３の触覚情報については、ペルチェ素子１３を駆動する電圧方向及び電圧の素子制御信号が温度提示期間別に識別記号で識別可能に自動付与するものとなっており、その識別記号に対応する制御キーが温度提示期間別に割り当てられる（図７（ｂ）参照）。尚、図７（ｂ）では、或る温度提示期間における素子制御信号の識別記号及び制御キーを示している。

【0089】

例えば図８に例示する対応テーブルのように、対象物（イベント検出した特定の部位）の温度によって提示する温度刺激を変える触覚情報付与ルールを独自に予め定めておくことで、ペルチェ素子１３の素子制御信号により、温覚又は冷覚、或いは温度刺激なしとする制御が容易、且つ高精度に実現される。尚、この温度提示に関する触覚情報付与ルールは、図８に例示する対応テーブルのように対象物（イベント検出した特定の部位）の温度条件で指定する形態とする以外にも、温度、電圧方向、及び電圧の各パラメータを基に数式演算する形態とすることもできる。本実施例では、対象物（イベント検出した特定の部位）の温度のみで温度提示に関する触覚情報付与ルールを定めたものとしているが、ここに、室温や部位ごとの相対温度などの別の条件を加え、その温度差を基準に提示する温度刺激を変えるものとするルールとしてもよい。

【0090】

また、図７及び図８に例示する触覚情報付与ルールは、触覚情報付与ルールデータベース５１６に格納されているが、その触覚情報付与ルールについても、ユーザは、ユーザインターフェース（ＵＩ）上で編集できるようになっている。

【0091】

続いて、リアルタイム実行時では、制御装置５は、実行制御部５１のデバイス制御部５１７により、当該触覚提示対象信号のタイムラインに同期して、その自動付与された触覚情報に対応する振動子１２及びペルチェ素子１３の固有の識別子に基づいた制御キーによる制御コマンドを生成し（ステップＳ７）、直接又は間接的な通信により、触覚デバイス１へ送信する（ステップＳ８）。デバイス制御部５１７は、触覚デバイス１から制御の実行状況をリアルタイムに示す情報をフィードバックさせて、触覚デバイス１の制御の実行のずれ時間を検知し、制御コマンドの送信タイミングの前倒し等による時間修正を自動的に行って、当該触覚提示対象信号のタイムラインとの同期精度を高めるようにフィードバック同期制御を行う。尚、触覚デバイス１の制御の実行をずらす時間は、ＵＩ上で当該実行前に予め設定することができ、更には当該実行中に変更設定することもできるようになっている。また、制御装置５は、制御キーによる制御コマンドを基に触覚デバイス１を制御するようになっているため、リアルタイム実行中であっても、容易に制御キーを設定変更することができる。

【0092】

続いて、制御装置５は、実行制御部５１の制御として、当該或るフレームにおいて検出した新たなイベントに関する制御コマンドの送信が完了すると、触覚提示対象信号（一般的なカメラやサーモカメラによる映像等）の入力が続いているか否かを判別し（ステップＳ９）、その入力が続いていれば次フレームにおける新たなイベントの検出を行うべくステップＳ４に移行し（ステップＳ９：Ｙｅｓ）、その入力が続いていなければ実行制御部５１の制御を終了する（ステップＳ９：Ｎｏ）。

【0093】

一方、ステップＳ２において「編集実行」で動作させる際、ユーザ操作によって、ＵＩ上で、当該触覚提示対象信号のタイムラインに自動的に付与した触覚情報を基に自動生成されたプロジェクトファイルの読み出しが行われる（ステップＳ１０）。

【0094】

そして、制御装置５は、ＵＩ提示制御部５２の機能として、そのＵＩ上で、当該触覚提示対象信号に対して自動的に付与した触覚情報について編集し、新たなプロジェクトファイルを生成してプロジェクトファイル生成・格納部５１９に保持することができ、更にはそのＵＩ上で、編集した新たなプロジェクトファイルを実行して、プロジェクトファイル生成・格納部５１９から当該触覚提示対象信号のタイムラインに編集して付与した触覚情報をデバイス制御部５１７に出力することで編集実行できるようになっている（ステップＳ１１）。

【0095】

続いて、編集実行時では、制御装置５は、実行制御部５１のデバイス制御部５１７により、当該触覚提示対象信号の一連のフレームのタイムラインに同期して、その編集された触覚情報に対応する振動子１２及びペルチェ素子１３の固有の識別子に基づいた制御キーによる制御コマンドを生成し（ステップＳ１２）、直接又は間接的な通信により、触覚デバイス１へ送信する（ステップＳ１３）。編集実行時においても、デバイス制御部５１７は、触覚デバイス１から制御の実行状況をリアルタイムに示す情報をフィードバックさせて、触覚デバイス１の制御の実行のずれ時間を検知し、制御コマンドの送信タイミングの前倒し等による時間修正を自動的に行って、当該触覚提示対象信号のタイムラインとの同期精度を高めるようにフィードバック同期制御を行う。尚、触覚デバイス１の制御の実行をずらす時間は、編集実行時ではＵＩ上で個々に編集することができる。

【0096】

このように、制御装置５は、当該触覚提示対象信号について、自動付与した触覚情報に基づくプロジェクトファイルや、編集した触覚情報に基づく新たなプロジェクトファイルを個別に保持できるようになっており、ＵＩ上で読み出したプロジェクトファイルに基づいて触覚デバイス１の制御を実行できるようになっている。

【0097】

（ユーザインターフェース（ＵＩ））
図９は、本発明による一実施例の触覚情報提示システム６に係る表示装置４上に提示されたＵＩの画面例を示す図である。

【0098】

制御装置５は、様々なジャンルの映像コンテンツの映像又は音声（この映像にはアニメーションや汎用カメラやサーモカメラなどにより撮影したものを含む。）の信号、マイクにより収録される収録音声の信号、並びに、圧力及び温度に関する所定のセンサ信号のうち１以上の信号を触覚提示対象信号として入力できるようになっているが、図９では、当該触覚提示対象信号としてアニメーションの映像を対象とした例を示している。

【0099】

ＵＩ上では、ユーザによるカーソルＣＳの操作で「ファイル」（図示“Ｕ４”）の指定から、触覚提示対象信号毎のプロジェクトファイルを格納するプロジェクトフォルダを提示させて、そのプロジェクトフォルダ内の所望のプロジェクトファイルを指定して読み出すことができるようになっている。

【0100】

図９では、触覚提示対象信号として「アニメーションの映像」に関するプロジェクトファイルが指定して読み出された例を示しており、その「アニメーションの映像」のタイムライン上の指定された時刻のフレームの映像が表示される（図示“Ｕ１”）。また、ＵＩ上では、当該触覚提示対象信号に関する所定フレーム期間分のタイムライン（時間情報）が表示される（図示“Ｕ２”）。フレームの時刻指定は、ＵＩ上のタイムバー（図示“Ｕ１８”）で指定することができ、その時刻（図示“Ｕ１５”）やタイムライン上の位置（図示“Ｕ６”）も表示される。つまり、図示“Ｕ１”には、当該触覚提示対象信号について指定した時刻のフレームが表示される。尚、収録音声の信号、或いは圧力及び温度に関する所定のセンサ信号を当該触覚提示対象信号としているときは、図示“Ｕ１”上には所定フレーム期間分の波形データと指定時刻を示すフレーム枠が表示される。また、触覚提示対象信号を複数とし、その数に応じて図示“Ｕ１”上に表示されるフレーム枠の数を変えて表示することもできる。

【0101】

タイムライン上では、「リアルタイム実行」により自動付与された触覚情報に対応する各振動子１２及び各ペルチェ素子１３がそれぞれの識別子に対応して個別に表示され、この表示例では「振動子１」（図示“Ｕ７”）、「振動子２」（図示“Ｕ８”）、「振動子３」（図示“Ｕ９”）、「振動子４」（図示“Ｕ１０”）、「ペルチェ素子１」（図示“Ｕ１１”）が表示されているが、その他の振動子１２及び各ペルチェ素子１３についても、このタイムラインを図示上下方向にスクロールして表示できるようになっている。

【0102】

尚、プロジェクトファイルが存在しない「リアルタイム実行」時も、図９に示す画面例とほぼ同様であり、その「リアルタイム実行」の制御中の当該触覚提示対象信号が図示“Ｕ１”上に表示され、タイムライン上では、図示“Ｕ２”上に「リアルタイム実行」の制御中の触覚情報に対応する各振動子１２及び各ペルチェ素子１３がそれぞれの識別子に対応して個別にほぼリアルタイム表示される。従って、「リアルタイム実行」時では、触覚情報がどのように自動付与されるかを確認することができ、その「リアルタイム実行」中に、特定の各振動子１２及び各ペルチェ素子１３の動作選択や動作制限を加えるといった実行中の編集も可能となっている。

【0103】

また、「ファイル」（図示“Ｕ４”）の指定から、図５に示す各データベース内の情報について新たに作成したり編集したりできる設定メニューが提示され、この設定メニューでは、図７（ａ），（ｂ）に例示する触覚情報付与ルールについても編集できるようになっている。

【0104】

また、ＵＩ上では、「ファイル」（図示“Ｕ４”）の指定から提示される設定メニューにより、振動子１２に関する動作確認用のプレビュー制御欄（図示“Ｕ３”）を提示可能となっている。図９に示す例では、振動子１２に関する図７（ａ）に示す識別記号に対応するプレビュー制御欄（図示“Ｕ３”）のみが提示されている様子を示しているが、ペルチェ素子１３に関する図７（ｂ）に示す識別記号に対応するプレビュー制御欄（図示略）も、「ファイル」（図示“Ｕ４”）の指定から提示される設定メニューにより提示させることができる。振動子１２に関するプレビュー制御欄（図示“Ｕ３”）では、「番号」、「再生」及び「選択」のメニューが示され、この「番号」が図７（ａ）に示す識別記号に対応している。また、「選択」のメニューから予め保持されている多様な振動振幅及び振動周波数の信号（音信号）が振動提示期間別の音信号ファイル（ｍｐ３ファイル）を選択して、タイムライン上の振動刺激に関する触覚情報を編集できるようになっており、「再生」ボタンの選択で、その音信号を示す制御コマンドを触覚デバイス１へ送信して試し動作させるプレビュー動作が可能となっている。同様に、ＵＩ上に、ペルチェ素子１３に関する図７（ｂ）に示す識別記号に対応するプレビュー制御欄（図示略）を提示させたときは、ペルチェ素子１３に関するプレビュー動作も可能となっている。また、「ファイル」（図示“Ｕ４”）の指定から「プレビューモード」に切り替えることで、タイムライン上の任意のタイミングでの触覚情報提示を確認することができるようになっている。

【0105】

タイムライン上で自動付与又は編集されている触覚情報は、図９に示すように、振動子１２及びペルチェ素子１３毎に、図７（ａ），（ｂ）に示す識別記号を用いて、それぞれの振動提示期間及び温度提示期間でトラック表示（尺表示）される。そして、タイムライン上の触覚情報は、ユーザの操作で自由に削除、追加、変更することができるようになっている。

【0106】

例えば「振動子３」（図示“Ｕ９”）に関してタイムライン上の或る触覚情報（図示“Ｕ１３”）について編集するときは、カーソルＣＳを当該触覚情報（図示“Ｕ１３”）上に位置させて、そのカーソルＣＳを操作するコンピュータマウスの右ボタンのクリックで提示される編集メニューから「削除」を選択すると削除でき、追加したいときは図示Ｕ１２で示す位置にカーソルＣＳを合わせてコンピュータマウスの左ボタンを押した状態で、（追加したいタイムライン上の所望位置で左ボタンを離すドラッグ＆ドロップ操作で追加でき、この削除及び追加の一例の操作で変更することができる。また、例えば「ペルチェ素子１」（図示“Ｕ１１”）に関してタイムライン上の或る触覚情報（図示“Ｕ１４”）について編集するときも同様に、カーソルＣＳを合わせたコンピュータマウスの操作で、削除、追加、変更することができる。

【0107】

本例では、ＵＩ上のトラックの単位を振動子１２及びペルチェ素子１３の各素子単位（例：ペルチェ素子１：＋１．０Ｖ）としているが、触覚提示板１１の触覚面と触覚刺激の種類を単位（例：触覚面１：冷覚（１５℃））としてＵＩ上に提示して編集できるようにしてもよい。技術職でない映像コンテンツ制作者が使用する場合などは、後者の方が触覚情報の編集が容易になると推測される。この後者の場合、指定された触覚刺激を提示するための振動子１２及びペルチェ素子１３の各素子の制御法は、予め定めたルール（『冷覚（１５℃）』＝『ペルチェ素子：＋１．０Ｖ』）に従うようにすればよく、このルールはテーブル等により触覚デバイス１側が保持する形態とすればよい。

【0108】

このように編集した新たなプロジェクトファイルは、ＵＩ提示制御部５２による制御として、プロジェクトファイル生成・格納部５１９内に保存して格納したり読み出したりすることができ、図９に示す「実行」ボタン（図示“Ｕ５”）の押下操作（コンピュータマウスの左ボタンのクリック）により、当該触覚提示対象信号（本例では、「アニメーションの映像」）の先頭から触覚デバイス１の制御を実行させることができる。

【0109】

また、触覚デバイス１の制御の実行をずらす時間は、ＵＩ上の時間数値指定（図示“Ｕ１６”）で、当該実行前に予め設定することや当該実行中に変更設定することもできるようになっている。

【0110】

このように、編集結果通りに触覚提示対象信号（本例では、「アニメーションの映像」）と同期させて触覚デバイス１を制御するため、プロジェクトファイルは、触覚提示対象信号のタイムライン（時間情報）に振動子１２及びペルチェ素子１３の各素子の触覚情報が付与された状態で保存される。このため、同一の触覚提示対象信号に対して複数のプロジェクトファイルを作成することができ、視覚障害者用や聴覚障害者用など、対象とするユーザごとのプロジェクトファイルを作成することができる。また、プロジェクトファイルは、使用する触覚デバイス１を通信制御するためのデバイス識別子（物理アドレスやＩＰアドレス）や通信用のＣＯＭポート番号（図９に示す図示“Ｕ１７”）も併せて関連付けて保存して管理できるようになっている。

【0111】

以上のように、本発明に係る触覚情報提示システム６によれば、例えば立方体のような把持可能とする小型の多面体の任意の面に設けられる触覚提示板１１を用いて選択的に振動刺激や温度刺激を互いに干渉せずに高精度に提示する触覚デバイス１が構成され、且つ振動刺激や温度刺激を容易に編集可能とする制御装置５が構成される。これにより、ユーザの使い勝手を向上させ、様々なジャンルの映像コンテンツの映像又は音声の信号、収録音声の信号、並びに、圧力及び温度に関する所定のセンサ信号を触覚提示対象として適応できるようになる。また、触覚提示対象信号に対して振動刺激及び温度刺激を含む複数種の触覚刺激を適切に同時、且つ多重して提示可能となり、臨場感や迫力の向上に加え、三人称視点でも、触覚刺激による新たな体験の提供、感覚代行器として触覚情報を伝えることができるようになる。

【0112】

以上、特定の実施例を挙げて本発明を説明したが、本発明は前述の実施例に限定されるものではなく、その技術思想を逸脱しない範囲で種々変形可能である。例えば、上述した実施例では、四角板状の触覚提示板１１を例に説明したが、丸板状又は楕円板状、或いは多角板状の触覚提示板１１とすることができる。

【0113】

また、触覚デバイス１内に、触覚デバイス１が持ち上げられたことを検知したり、触覚デバイス１の姿勢を検知したりするための三軸加速度センサを設けてもよい。この場合、当該三軸加速度センサの検出信号に基づく触覚デバイス１による自律制御、若しくは制御装置５に当該検出信号を送信して制御装置５のフィードバック制御による制御コマンドで、触覚デバイス１のデバイス情報（サイズや形状）と共に姿勢検知に基づいて把持個所を推定決定し、この把持個所に基づいて触覚提示する触覚提示板１１を決定し、触覚刺激を提示する手段を有する形態とすることができる。また、触覚デバイス１が持ち上げられたことを検知して初めて触覚刺激の提示が作動する手段を有する形態とすることもできる。更に、触覚デバイス１内の各触覚提示板を支持する支持部材１１１上に、加速度センサや変位センサ等による振動検知センサを設け、この振動検知センサを触覚提示板１１の把持による接触の有無を示す接触センサとして用いて把持個所を検出し、この把持個所に基づいて触覚提示する触覚提示板１１を決定し、触覚刺激を提示する手段を有する形態とすることができる。そして、上述した三軸加速度センサと振動検知センサとを併用して、触覚刺激を提示する手段を有する形態とすることもできる。このように、上述した三軸加速度センサと振動検知センサのうちのいずれか一方又は双方を備えるようにして、駆動装置３０は、これらのセンサによって特定される触覚提示板１１についてのみ振動刺激及び温度刺激を提示するように動的に判別して振動子１２及びペルチェ素子１３を駆動して、バッテリー電源１４を省電力化する手段を有する形態とすることができる。これにより、ユーザが動作中に触覚デバイス１を持ち替えた場合でも、三軸加速度センサや振動検知センサによって特定される振動子１２及びペルチェ素子１３を動的に変更して効率よく駆動させることができる。

【0114】

また、触覚デバイス１内に、ペルチェ素子１３の温度を検知するための温度センサ、或いはペルチェ素子１３の過剰電流又は過剰電圧を検知する保護回路又は保護センサを設けてもよい。この場合、当該温度センサ、或いは保護回路又は保護センサの検出信号に基づいてペルチェ素子１３の異常動作を検出する触覚デバイス１による自律制御、若しくは制御装置５に当該検出信号を送信して制御装置５によりペルチェ素子１３の異常動作を検出し、制御装置５のフィードバック制御による制御コマンドで、駆動装置３０は、触覚デバイス１におけるペルチェ素子１３の供給電力を強制停止する手段を有する形態とすることができる。また、駆動装置３０は、ペルチェ素子１３を目標温度に保つようにフィードバック制御を行う手段を有する形態とすることができ、これにより、より正確な温度コントロールが可能となる。

【0115】

従って、本発明は、上述の実施例によって制限するものと解するべきではなく、特許請求の範囲によってのみ制限される。

【産業上の利用可能性】

【0116】

本発明によれば、ユーザの使い勝手を向上させ、様々なジャンルの映像コンテンツの映像又は音声の信号、収録音声の信号、並びに、圧力及び温度に関する所定のセンサ信号を触覚提示対象として適応でき、高精度で容易に編集可能に触覚情報を伝えることができるようになるので、触覚デバイスを用いて複数種の触覚刺激を同時、且つ多重して提示可能とする触覚情報提示システムの用途に有用である。

【符号の説明】

【0117】

１ 触覚デバイス
４ 表示装置
５ 制御装置
６ 触覚情報提示システム
１１ 触覚提示板
１２ 振動子
１３ ペルチェ素子
１４ バッテリー電源
２０ 外枠
２１ 内箱
３０ 駆動基板（駆動装置）
５１ 実行制御部
５２ ＵＩ提示制御部
１１１ 支持部材
２００ 突起部
２０１，２０２，２０３，２０４，２０５，２０６ 外枠の開口部
２１０ 内箱の開口部
２１１ 内箱の丸孔
２１２ 内箱のスリット
２１３ 支持部材の軸受け
３０１ 通信マイコンモジュール
３０２ 駆動回路
５１０ 入力部
５１１ 信号解析・イベント検出部
５１２ 特徴量ルールデータベース
５１３ 特徴量学習データベース
５１４ 触覚情報付与部
５１５ デバイス情報データベース
５１６ 触覚情報付与ルールデータベース
５１７ デバイス制御部
５１８ デバイス制御プログラム格納部
５１９ プロジェクトファイル生成・格納部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】