特開 2024-135766 触覚提示システム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024135766

(43)【公開日】2024-10-04

(54)【発明の名称】触覚提示システム

(51)【国際特許分類】

   G06F 3/01 20060101AFI20240927BHJP

【ＦＩ】

G06F3/01 560

【審査請求】未請求

【請求項の数】6

【出願形態】ＯＬ

(21)【出願番号】P 2023046623

(22)【出願日】2023-03-23

【公序良俗違反の表示】

（特許庁注：以下のものは登録商標）

１．ＨＤＭＩ

(71)【出願人】

【識別番号】000142595

【氏名又は名称】株式会社栗本鐵工所

(74)【代理人】

【識別番号】100130513

【弁理士】

【氏名又は名称】鎌田 直也

(74)【代理人】

【識別番号】100074206

【弁理士】

【氏名又は名称】鎌田 文二

(74)【代理人】

【識別番号】100130177

【弁理士】

【氏名又は名称】中谷 弥一郎

(74)【代理人】

【識別番号】100161746

【弁理士】

【氏名又は名称】地代 信幸

(72)【発明者】

【氏名】赤岩 修一

(72)【発明者】

【氏名】木野井 慶介

【テーマコード（参考）】

5E555

【Ｆターム（参考）】

5E555AA08

5E555BA02

5E555BA04

5E555BA20

5E555BB02

5E555BB04

5E555BB20

5E555BC04

5E555BD01

5E555BE17

5E555DA21

5E555DA24

5E555DB32

5E555DC31

5E555DC37

5E555FA00

(57)【要約】

【課題】ディスプレイに仮想空間を写しだし、仮想空間の一部のオブジェクトについてユーザに触覚を体感させることができる触覚出力装置を有するシステムで、触覚を設定されていないオブジェクトに触れようとするユーザに装置故障の疑念を抱かせないようにする。
【解決手段】仮想空間８０に表示されるオブジェクトのうち、触覚出力装置によってユーザが触覚を体感可能な可触オブジェクト８１ａと体感できない不触オブジェクト８１ｂとを識別可能にさせるユーザ認識手段を実行する。
【選択図】図５

【特許請求の範囲】

【請求項1】

ディスプレイに仮想空間を出力する画像出力部を有し、
ユーザに触覚を体感させる触覚出力装置と接続され、
前記仮想空間にオブジェクトを表示し、前記触覚出力装置によってユーザが触覚を体感可能な可触オブジェクト、又は前記触覚を体感不可能な不触オブジェクトをユーザが識別可能にさせるユーザ認識手段を実行可能な、触覚提示システム。

【請求項2】

前記ユーザ認識手段が、視覚で認識できる情報を表示する、請求項１に記載の触覚提示システム。

【請求項3】

前記ユーザ認識手段が、ユーザがオブジェクトを選択したときに、聴覚で認識できる情報を出力する、請求項１に記載の触覚提示システム。

【請求項4】

サーバと、ユーザが操作する制御装置とを有し、
前記サーバが仮想空間におけるオブジェクトと、前記制御装置を操作するユーザのアバターとの位置を管理し、
前記制御装置が前記画像出力部と前記触覚出力装置とを有し、
前記制御装置は、前記サーバから受け取った情報に従い、前記ユーザ認識手段を実行する、請求項１に記載の触覚提示システム。

【請求項5】

仮想空間をディスプレイに出力して、表示されるオブジェクトのうちの一部について、触覚出力装置によってユーザに当該オブジェクトに接触した触覚を体感させる方法であって、
前記仮想空間に表示されるオブジェクトのうち、ユーザが触覚を体感可能に設定されている可触オブジェクト、又は触覚を体感不可能に設定されている不触オブジェクトを、ユーザに識別可能にさせるステップと、
前記ユーザによるアバターが前記可触オブジェクトを選択して接触した際に、当該前記可触オブジェクトについて設定されている触覚を、前記触覚出力装置によって提示するステップと、
を実行する、触覚提示方法。

【請求項6】

前記画像出力部を有し、前記触覚出力装置と接続されるコンピュータを、請求項１から３のいずれかに記載の前記触覚提示システムとして動作させ、前記ユーザ認識手段を実行させるためのプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

この発明は、仮想空間上のオブジェクトの触覚を利用者に提示するシステムに関する。

【背景技術】

【0002】

コンテンツと連動して利用者に触感による効果を味わわせる触覚提示装置が様々な形で提案されている。触感としては例えば振動や圧迫、風、湿気、熱などの、利用者が止まっていても実感できる能動的な触覚効果を映画などの映像コンテンツに合わせて提供することが既に行われている。また、人の動作を受けるインターフェースデバイスでは、固さや柔らかさといった手にして握ったときにかかる抵抗などの、利用者の動作に対して実感される受動的な触覚効果を与えることが検討されている。

【0003】

一方で、仮想空間においてユーザ同士がアバターを操作して交流するＶＲ（Ｖｉｒｔｕａｌ Ｒｅａｌｉｔｙ）システムが普及しつつある。現時点においてＶＲで再現する仮想空間の感覚は視覚と聴覚が中心である。さらに現実味を向上させるために、触覚提示装置と連動してオブジェクトなどと接触した感触をユーザに体験させることが検討されている。

【0004】

特許文献１には、ヘッドマウントディスプレイを用い、ディスプレイ内に表示した仮想オブジェクトの触覚をユーザに提示する触覚提示装置が提案されている。ユーザが視線で仮想オブジェクトを選択した際、そのオブジェクトに対応した触覚を端末機器に出力し、ユーザが仮想オブジェクトの触感として触覚での体験をする。

【先行技術文献】

【特許文献】

【0005】

【特許文献1】特開２０２０－０１７１５９号公報

【発明の概要】

【発明が解決しようとする課題】

【0006】

しかしながら、仮想空間を構成するオブジェクト全てに触覚の情報を付与しようとすると、データ量が膨大になり、処理負荷が大きくなりやすいので、オブジェクトの一部にのみ触覚を設定することが現実的な対応として考えられる。しかし、一部のオブジェクトのみに触感が付与されていると、ユーザがオブジェクトを触っても、その設定によっては触覚を出力されず、ユーザの落胆に繋がってしまうおそれがある。また、ユーザはそもそもオブジェクトに触覚が設定されているかわからないため、元から触感が感じられないオブジェクトに触れてしまった場合に、触覚を提示する装置の不具合やプログラムのエラーなどを疑わざるを得ず、没入感が妨げられてしまう。

【0007】

そこでこの発明は、ユーザに触覚が設定されているオブジェクトか予め認識させ、無駄な確認行動をとらせないようにし、機器不調などの疑いを回避することを目的とする。

【課題を解決するための手段】

【0008】

この発明は、
ディスプレイに仮想空間を出力する画像出力部を有し、
ユーザに触覚を体感させる触覚出力装置と接続され、
前記仮想空間にオブジェクトを表示し、前記触覚出力装置によってユーザが触覚を体感可能な可触オブジェクト、又は前記触覚を体感不可能な不触オブジェクトをユーザが識別可能にさせるユーザ認識手段を実行可能な
触覚提示システムにより、上記の課題を解決したのである。

【0009】

この発明にかかる触覚提示システムは、前記ユーザ認識手段が、前記可触オブジェクト、又は前記不触オブジェクトを、視覚で認識できる情報を表示する実施形態を採用できる。例えば、当該オブジェクトに仮想空間上で触れることができる条件下において、前記可触オブジェクトのみ点滅表示されたり、前記可触オブジェクトのみ所定の色調で光ったり、前記可触オブジェクトと前記不触オブジェクトとが異なる色調で光ったり、前記不触オブジェクトのみ半透明表示されたりといった表示による実施形態が挙げられる。

【0010】

この発明にかかる触覚提示システムは、前記ユーザ認識手段が、ユーザが選択したオブジェクトを選択したときに、前記可触オブジェクトと前記不触オブジェクトとを、聴覚で認識できる情報を出力する実施形態が採用できる。例えば、前記可触オブジェクトを選択していた場合は、触覚提示可能であることを示す音声を再生し、前記不触オブジェクトを選択していた場合は、音声を再生しないか又は触覚提示できないことを示す音声を再生する。

【0011】

この発明にかかる触覚提示システムは、サーバと、ユーザが操作する制御装置とを有し、
前記サーバが仮想空間におけるオブジェクトと、前記制御装置を操作するユーザのアバターとの位置を管理し、
前記制御装置が前記画像出力部と前記触覚出力装置とを有し、
前記制御装置は、前記サーバから受け取った情報に従い、前記ユーザ認識手段を実行する実施形態が採用できる。

【0012】

この発明にかかる触覚提示方法は、
仮想空間をディスプレイに出力して、表示されるオブジェクトのうちの一部について、触覚出力装置によってユーザに当該オブジェクトに接触した触覚を体感させる方法であって、
前記仮想空間に表示されるオブジェクトのうち、ユーザが触覚を体感可能に設定されている可触オブジェクト、又は触覚を体感不可能に設定されている不触オブジェクトを、ユーザに識別可能にさせるステップと、
前記ユーザによるアバターが前記可触オブジェクトを選択して接触した際に、当該前記可触オブジェクトについて設定されている触覚を、前記触覚出力装置によって提示するステップと、
を実行する。

【0013】

この発明にかかるプログラムは、前記触覚提示システムにおいて、前記画像出力部を有し、前記触覚出力装置と接続されるコンピュータにおいて、前記ユーザ認識手段を実行させるためのプログラムである。

【発明の効果】

【0014】

この発明により、ユーザが触覚提示装置により触覚を体験できる仮想空間において、いちいち全てのオブジェクトに対してアバターで接触して触覚が体験できるものであるか否かを手作業で判定する必要が無くなる。つまり、触覚が体験できるオブジェクトを視覚や聴覚などで接触する前から検知でき、ユーザが触覚を体験しようとして触覚が設定されていないオブジェクトに触れてしまい落胆する事態を回避でき、仮想空間における体験のユーザビリティが向上する。

【図面の簡単な説明】

【0015】

【図1】この発明にかかる触覚提示システムの第一の実施形態例の機能ブロック図

【図2】この発明で利用する触覚提示装置の例であるＭＲＦデバイスの概念図

【図3】この発明で利用する触覚提示装置（タップユニット）の概念図

【図4】この発明で利用する触覚データの例を示すテーブル

【図5】（ａ）この発明を実行して発光の有無でオブジェクトを識別可能にした仮想空間における第一の表示形態例、（ｂ）この発明を実行してテキスト表示の有無でオブジェクトを識別可能にした仮想空間における第二の表示形態例

【図6】この発明を実行して触覚を体感するユーザと装置とのイメージ図

【図7】この発明にかかる触覚提示システムの第二の実施形態例の機能ブロック図

【図8】この発明にかかる触覚提示システムの第一の実施形態の実行フロー例図

【発明を実施するための形態】

【0016】

以下、この発明について詳細に説明する。この発明は、仮想空間におけるオブジェクトに触れる感触をユーザに体感させるにあたり、触覚を体感可能なオブジェクトを認識可能とする触覚提示システムである。

【0017】

この発明において触覚とは、五感のうちの一つであり直接的又は間接的に肌や筋肉、神経などによって体感できる感覚をいい、特に断りがない場合は広義の意味で用いる。狭義の触覚とは皮膚で感じる感覚として知られる触覚、圧覚、痛覚、冷覚、温覚のうちの一つであるが、この発明においての触覚とは狭義の触覚だけでなく、圧覚などその他の感覚も含む。本発明はこれらの感覚について、体感する度合いの強弱が味わえるものを好適に調整する。押されて圧力の強弱の違いとして感じられる圧感のような利用者の動作によらずに体感する能動的な触覚効果だけでなく、抵抗や手ごたえ、足ごたえといった利用者の動作に対して体感する受動的な触覚効果も対象となる。

【0018】

この発明で用いる前記触覚出力装置は、それらを利用する利用者に対して前記の触覚を体感させる装置である。前記触覚出力装置は、その触覚を体感させる挙動を、電気信号を受けて実現する触覚出力デバイスを有する。この発明で用いる触覚出力デバイスとしては、電気信号の単なるオンオフだけではなく、電気信号の電流量や電圧に応じて、強度が異なる触覚による体感を実現させるものが用いられる。この触覚出力デバイスとしては、例えば、電気信号を受けて装置を駆動するモーターなどのアクチュエータや、電気信号を受けて装置を加熱して気体を膨らませるバルーンや、電気信号を受けて回転翼を回転させて気流を発生させる扇風機や、電気信号を受けて装置の回転抵抗を上昇させる磁気粘性流体デバイスなどが挙げられる。この他、電気信号を受けて装置が有する直動体（ピストン）の抵抗を上昇させる磁気粘性ダンパーも利用可能である。

【0019】

この発明にかかる触覚提示システム１０の実施形態例である機能ブロック図を図１に示す。触覚提示システム１０は、実際に利用者に対して触覚による体感を発生させる触覚出力装置１１と接続され、触覚出力装置１１と通信してその体感させる動作を制御するとともに、ディスプレイに仮想空間を出力する画像出力部７０を有するか、又は画像出力部７０と接続される制御装置５１を有する。

【0020】

触覚出力装置１１は、電気信号に応じて触覚をユーザに提示させる触覚出力デバイス１４を有する。モーターなどのアクチュエータや加熱によるバルーンなどの直接的に利用者に接触させて触覚を体感させるものや、ファンによる風圧を利用者が受けて非接触で間接的に体感させるものといった能動的な触覚感覚を味わわせるデバイス、ＭＲＦデバイスなどの利用者の動きに対する抵抗を増減させて受動的な触覚感覚を味わわせるデバイスのどちらも利用できる。

【0021】

触覚出力装置１１は、触覚出力デバイス１４に電気信号を送信する又は送信させるなどの演算やコマンドなどの制御を行う触覚制御部２１と、触覚制御部２１が利用するメモリであるデータ記憶部２２を有する。データ記憶部２２は、信号の一時的な記録や触覚制御部２１による演算に必要な情報及び結果、命令等を格納するものである。データ記憶部２２のメモリは揮発性メモリであってよいが、不揮発性メモリも有しているとさらに好ましい。不揮発性メモリを有していると、高性能な触覚出力装置１１では個人向けの出力変更の記録や履歴などを保存して、出力のさらなる好適化のために参照することができる。なお図示しないが、触覚制御部２１を動作されるプログラムは、データ記憶部２２が不揮発性メモリである場合はそこに格納されていてもよいし、別途格納されていてもよい。ここではこれらが行う触覚出力装置１１の制御を担う部分をまとめて出力装置制御部２０とする。出力装置制御部２０の構成は触覚制御部２１とデータ記憶部２２以外の要素を含んでいてもよい。

【0022】

また、触覚出力装置１１は装置自体を作動させるために必要な電源２５を有する。バッテリでもよいし、外部電源と接続されていてもよい。バッテリの場合は、触覚出力装置１１が必要とする電流量が小さい場合は交換可能な一次電池でよいが、必要とする電流量が多い場合は、外部電源から充電される二次電池であると運用しやすい。また、後述する通信部２６を有線ケーブルが担う場合には、制御装置５１を外部電源として給電されるものでもよい。

【0023】

触覚出力装置１１は、制御装置５１の通信部６３との間で通信できる通信部２６を有する。少なくとも制御装置５１からの通信を受信できるものである必要があり、相互通信できるものであると制御装置５１による制御がより多様にできるため好ましい。通信部２６で受信したデータや命令は出力装置制御部２０に送られ、それを用いて触覚出力装置１１が動作する。また、センサ等によるデータや履歴、ログなどを出力装置制御部２０から通信部２６を介して制御装置５１に送ってもよい。また、触覚出力装置１１はデータの一部を制御装置５１に送信し、その返信として結果を受け取ってもよい。

【0024】

通信部２６と通信部６３との通信は有線通信でもよいし、無線通信でもよい。有線通信の場合は、有線ケーブルを介して電源を供給するものでもよい。規格は特に限定されず、本発明出願時点においてはＵＳＢケーブル、Ｌｉｇｈｔｎｉｎｇ（登録商標）ケーブル、Ｔｈｕｎｄｅｒｂｏｌｔ（登録商標）ケーブルなどが選択可能であるが、同様の又は上位互換の通信が可能である規格であればよい。無線通信の場合は、近距離無線通信規格であれば利用でき、種々の無線ＬＡＮ規格や、Ｂｌｕｅｔｏｏｔｈ（登録商標。以下略）、Ｂｌｕｅｔｏｏｔｈ ＬＥ、ワイヤレスＵＳＢなどが挙げられる。ただし、少なくともこの発明における調整自体を実現するために必要とするデータ量は小さいため、ＢｌｕｅｔｏｏｔｈやＢｌｕｅｔｏｏｔｈ ＬＥなどの比較的低速かつ使用電力の少ない規格が好適に用いられる。もちろん、本発明で必要とする以外の動作のために大量のデータを必要とし、高速の通信規格を採用するものでもよい。

【0025】

触覚出力装置１１は、触覚出力デバイス１４が体感させる触覚のためのデバイス自体の変位や、触覚出力デバイス１４を利用者が操作した際の位置や変位、荷重などを測定するセンサ１６を有すると好ましい。

【0026】

制御装置５１は、通信部６３を介して触覚出力装置１１と通信し、触覚出力装置１１に対してコンテンツの一環としての感触を利用者に提供させるように制御するコンピュータである装置である。具体的には、利用者が利用するパソコン、ゲーム機、スマートフォン、スマートウォッチ、テレビ、ルータ、ネットワークスピーカーなどの端末が例として挙げられる。また、ルータや端末を介して接続されるネットワーク９２の先に設けられたサーバ９１が後述する制御装置５１の機能の一部を担っていてもよい。そのために、制御装置５１は有線ＬＡＮ機能、無線ＬＡＮ機能や移動体通信網への接続機能といったネットワークインターフェース（ＮＷＩＦ）６９を有していると好ましい。なお、ネットワークインターフェース６９は通信部６３と兼用でもよいし、独立していてもよい。通信量が大きく異なるため、独立している方が好適である場合が多い。図では独立している例を示す。

【0027】

制御装置５１は、入出力装置５４を有する。入出力装置５４は利用者とのインターフェースであり、入力を受け付け、触覚以外の要素を出力する。図ではまとめているが、一つの装置である必要はなく、複数個の装置によって構成されていてよい。また、入出力装置５４そのものが制御装置５１の筐体の中にまとまっている必要はなく、接続される他の装置と接続できるインターフェースだけを有していてもよい。

【0028】

入出力装置５４のうち出力装置としては、画像出力部７０が挙げられる。画像出力部７０には映像出力装置であるディスプレイ７２が接続され、画像出力部７０からの出力に応じて仮想空間を画像として出力する。ディスプレイ７２は筐体に組み込まれたディスプレイだけでなく、ＨＤＭＩやＤｉｓｐｌａｙＰｏｒｔケーブルで接続されたディスプレイやプロジェクター、ヘッドマウントディスプレイなどが挙げられる。この中でも特に没入感の高いヘッドマウントディスプレイが望ましい。筐体に組み込まれたディスプレイとしては、スマートフォンやタブレットのタッチパネルが他の入出力を受け付ける入出力装置５４を兼ねて採用されていてもよい。

【0029】

また、出力装置として音声を出力するための音声出力装置も有していると好ましい。音声出力装置としては、筐体が有するスピーカー、有線又は無線接続されたヘッドホンやイヤホン、スピーカーなどの装置や、これらと接続されるインターフェース（音声出力部（図示せず））が挙げられる。

【0030】

入出力装置５４のうち操作に用いる入力装置としては、筐体に組み込まれたディスプレイと一体化したタッチパネルの他、ＵＳＢケーブルで接続されたマウスやトラックボール、コントローラ、キーボードなどの装置や、これらと接続されるインターフェース（入力部（図示せず））であってもよい。また、入力装置の一部が触覚出力装置１１と兼用されていてもよい。

【0031】

制御装置５１は、演算などを行う制御部６１を有する。具体的にはＣＰＵやＧＰＵなどの演算装置であり、コンテンツの読み込み、演算、入出力装置５４への出力や入力の受付、触覚出力装置１１との通信などの装置の挙動を制御する。また、特にこの実施形態では、アプリ６５の一部として後述するユーザ認識手段７１を実行する。

【0032】

制御装置５１は、データやプログラムを保持する記憶部６２を有する。記憶部６２としては、ストレージとして用いられる不揮発性メモリや磁気ディスクと、演算に用いる揮発性メモリとの両方を有していることが好ましい。図では読み込まれているか否かを区別せずに記載している。

【0033】

記憶部６２には、利用者が触覚の出力をコンテンツの一部として体感できる仮想空間を操作、表示するアプリケーションソフト（図中「アプリ６５」）が記録される。上記の制御装置５１にプリインストールされたものであってもよいし、ネットワーク９２を介したサーバ９１からダウンロードされてインストールされたものであってもよい。

【0034】

アプリ６５は、映像としての仮想空間を提供するとともに、その映像で表示されたオブジェクトのうちの一部について、触覚の出力を触覚出力装置１１に行わせて、利用者に触覚による体感を提供するプログラムである。

【0035】

アプリ６５は、仮想空間の視覚や聴覚での体感を、入出力装置５４と通信部６３とを介して提供するために、それを再現するためのプログラムを含む音声信号や映像信号などのメディア信号を含むメディアデータのメディアデータベース６６を記憶部６２に有する。このメディアデータとは、たとえば仮想空間を構成する座標、テクスチャ、エフェクトなどの情報、前記仮想空間内に設置されるオブジェクトの形状についての３Ｄデータやグラフィック、声やセリフ、効果音などであり、触覚出力装置１１で触覚を体感させようとするオブジェクトごとに紐付されていると好ましい。なお、メディアデータベース６６は全ての必要なメディアデータを記憶部６２内に保持している必要はなく、ネットワーク経由で必要に応じて適宜ダウンロードして一時的に、または永続的に追加されるものでもよい。

【0036】

またアプリ６５は、前記の仮想空間とその中にあるオブジェクトの触感を、入出力装置５４への出力と並行して触覚出力装置１１を介して提供するために、それを再現するための触覚データを含む触覚データベース６７を記憶部６２に有する。この触覚データとは、触覚出力装置１１が触覚出力デバイス１４をどのような状況でどのような値で動作させるかについての値の集合や関数などの設定である。触覚データは、その複数記録される中から前記の仮想空間の中でユーザが能動的に触れようとするオブジェクト、または受動的に触覚で体感することになるオブジェクトごとに選択されるものである。制御装置５１は、入出力装置５４からの操作や再生しているコンテンツにおけるトリガーなどから、体感させようとするオブジェクトを選択し、又は自動的に選択されると、そのオブジェクトに紐づけられた触覚データを、触覚データベース６７から読み出して、通信部６３と通信部２６を介して触覚出力装置１１へ送信する。

【0037】

触覚出力装置１１では、ユーザにより選択されたオブジェクトが触覚を体感可能な可触オブジェクトである場合に、デフォルト値として送られてきた触覚データを、データ記憶部２２に記録し、この触覚データを参照した出力で触覚出力デバイス１４を制御して、具体的に利用者に触覚を体感させる。

【0038】

以下、触覚出力デバイス１４として具体的なデバイスを用いた例を挙げて説明する。以下の説明では、触覚出力デバイス１４として、磁気粘性流体（ＭＲＦ：Magneto Rheological Fluid）デバイス（以下、「ＭＲＦデバイス」と略記する。）を有するタップユニットである触覚出力装置１１を例にとり説明する。ここで具体例として用いるＭＲＦデバイスは、回転軸４１、円板３２、ヨーク３４，３５、コイル３７，磁気粘性流体３８、ケーシング３１，３６などで構成されている。図２に示すように回転軸４１に取り付けられた円板３２の周囲に、ヨーク３４，３５に挟まれた空間が設けられ、その空間に、置かれた磁場の強さによって粘性が変化する磁気粘性流体３８が導入されている。また、ヨーク３５に支えられて磁界（図中矢印）を発生させるコイル３７が格納されている。回転軸４１は軸受３９に支えられ、磁気粘性流体３８に囲まれた円板３２と一体化されている。磁気粘性流体３８は、回転軸４１を回転させる際の抵抗を、磁場を発生させるコイル３７に供給される電流量によって調節できる。この回転軸４１を回転させようとする力を加えた利用者に対して、磁気粘性流体３８の粘性を増減させることで、回転軸４１と一体化している円板３２に対する抵抗を増減させて、回転軸４１の「回動させにくさ」として能動的な触覚効果を体感させるものである。この例では、円板３２が、触覚出力デバイス１４において磁気粘性流体３８と接する前記回転体にあたる。センサ１６は、この円板３２そのものの角度を検知するか、円板３２と連動して回転する回転軸４１の角度を検知するように取り付けられているとよい。

【0039】

このようなＭＲＦデバイスを用いた触覚出力装置１１であるタップユニットを図３（ａ）（ｂ）に示す。指や手のひらにより挟持される基部４０と、基部４０に設けられたＭＲＦデバイスの回転軸４１に連動して回動する指当てパーツ４２とを有する。指当てパーツ４２は人差し指、中指、薬指、小指のいずれかまたはそれらの全てに対応しており、指を曲げて握ろうとすると、支点部４３を中心にして回動する。すなわち、この指当てパーツ４２が、利用者が直接に接触して操作する部位にあたる。指当てパーツ４２が押されると、第一リンク材４４と、ピン４６を介してリンクされた第二リンク材４５が図３（ｃ）のように回動する。この動きにより、第二リンク材４５と連結された回転軸４１が基部４０に対して回動される。この回動の際の抵抗が、ＭＲＦデバイスの磁気粘性流体３８によって増減される。

【0040】

このＭＲＦデバイスに付属するセンサ１６としては、指当てパーツ４２の回転中心に対する角度として変位を測定する角度センサや、指当てパーツ４２にかかる荷重を測定するトルクセンサなどを搭載するとよい。これらセンサ１６のデータに応じてその状況における適切な電流量が加えられて、適切な抵抗が生じ、状況に応じた触覚を出力する。

【0041】

このＭＲＦデバイスの触覚データの例を図４のテーブルに示す。選択したオブジェクトごとに定められたテーブルで、指当てパーツ４２がデフォルト状態から押込まれることで第二リンク材４５が何度回転した回転位置で、どの程度電流を流して回転軸にかかる抵抗を上昇させるかを配列としたものである。このようなテーブルが、利用しようとするオブジェクトごとに設定され、触覚データベース６７にまとめて記録されている。なお、このようなテーブルでなくても、回転位置に応じた関数で定義したものであってもよい。例えば、オブジェクトが小さいものであれば、回転位置が大きく進んで触れると表現されるところまでは抵抗がなく、回転位置が進んで触れたと表現されるところから抵抗を増やすように電流値が上がる。あるいは、グミ状のオブジェクトを握る触感を仮想的に実現するなら、最初からグミを変形させる感触を模してある程度の抵抗が加わるが、グミが変形してこれ以上は変形しないと表現される角度から急激に抵抗があがり、それ以上は回転位置が進まないように電流値を最大値に設定する。

【0042】

利用者が触覚を体感しようとするオブジェクトが選択されたら、そのオブジェクトに紐づけられた触覚データを、触覚データベース６７に蓄積された中から呼び出して選択する。仮にそのオブジェクトに紐づけられた触覚データが触覚データベース６７に無ければ、制御装置５１はネットワーク９２を介してサーバ９１から該当する触覚データをダウンロードして選択してもよい。制御装置５１は選択された触覚データを、触覚出力装置１１に送信する。

【0043】

利用者がタップユニットを握って指当てパーツ４２が押し込まれ、連動して第二リンク材４５が回動し、回転軸４１及び円板３２の回転位置が変化したら、角度センサであるセンサ１６がそれを検知する。回転位置が２度に到達したときの、触覚制御部２１がＭＲＦデバイスに流す電流値をデータ記憶部２２に格納した触覚データのテーブルを参照して確認する。触覚制御部２１はこの電流値に対応する電圧をＭＲＦデバイスに掛けて、想定した手ごたえとなる触覚を利用者に体感させるように触覚提示手段を実行する。回転位置がさらに変化したことをセンサ１６が検知したら、その新たな回転位置に対応した電流値を参照し、信号を計算し、触覚を体感させる。

【0044】

制御装置５１で実行するアプリ６５において、仮想空間でユーザが選択するオブジェクトが変更になったら、制御装置５１は触覚データベース６７から、新たなオブジェクトに紐づけられた触覚データを呼び出し、触覚出力装置１１へ送信して新たなオブジェクトに対応した触覚を提供する。

【0045】

この発明において、ユーザは制御装置５１が有する画像出力部７０に接続された、ディスプレイ７２に出力される仮想空間を観測する。仮想空間８０の例を図５（ａ）（ｂ）に示す。仮想空間８０の内部には少なくとも複数のオブジェクト８１が表示される。また、仮想空間８０内にはユーザのアバター８２の一部が少なくとも表示されると好ましい。特に前記触覚出力装置１１が装着される部位に相当する人体のパーツが表示に含まれているのが好ましい。特に腕や手に相当するパーツが表示されているのが好ましい。ユーザは入出力装置５４の操作用デバイスを操作し、制御装置５１はその操作に応じてアバター８２を仮想空間８０内で移動させたり姿勢変更させたりする。また、アバター８２の操作以外にも、選択やボタンの押下などの操作も受け付ける。

【0046】

仮想空間８０に表示されるオブジェクトのうち、一部のオブジェクトは触覚を体感可能な可触オブジェクト８１ａであり、残りのオブジェクトは触覚を体感不可能な不触オブジェクト８１ｂである。可触オブジェクト８１ａには、触覚データが登録又は紐づけられている。ユーザが当該可触オブジェクト８１ａを選択して触覚を体感しようとすると、触覚出力装置１１の触覚出力デバイス１４により、当該可触オブジェクト８１ａの触感として定義されている触覚データにより触覚が出力されてユーザは体感できる。一方、不触オブジェクト８１ｂには、触覚データが登録又は紐づけられていない。ユーザが当該不触オブジェクト８１ｂを選択して触覚を体感しようとしても特段の出力がされないか、または選択が不可能となっている。

【0047】

これらの可触オブジェクト８１ａと不触オブジェクト８１ｂとを区別する接触可否設定は、メディアデータベース６６において各オブジェクトの設定として登録されており、オブジェクトを表示しようとする際にその接触可否設定も読み込むとよい。または、オブジェクトを表示しようとする際に、サーバ９１から個々のオブジェクトの接触可否設定を読み込むようにしてもよい。接触可否設定がメディアデータベース６６に保存されている場合、可触オブジェクト８１ａの触覚データも触覚データベース６７に登録されていると、サーバ９１への問い合わせを抑えて高速で表示できるので好ましい。

【0048】

この発明にかかる触覚提示システムでは、制御部６１が、仮想空間８０に表示されるオブジェクト８１のうち、触覚出力装置１１によってユーザが触覚を体感可能な可触オブジェクト８１ａを識別可能にさせるユーザ認識手段７１を実行する。ユーザに識別可能にさせるとは、視覚又は聴覚、触覚により識別できる情報の違いを有し、ディスプレイ上の表示または音声出力装置からの音声出力において、不触オブジェクト８１ｂとは異なることが識別できることをいう。

【0049】

具体的には、視覚により識別できる情報の違いとしては、可触オブジェクト８１ａを共通の色調にしたり、点滅させたり、オブジェクト周囲に「触覚有」のメッセージを表示させたりすることが挙げられる。逆に、不触オブジェクト８１ｂを半透明に表示したり、可触オブジェクト８１ａとは違う色調にしたりすることも挙げられる。共通の色調にするとは、例えば可触オブジェクト８１ａの本来の表示の周囲に特定の色調での発光表示をさせたり、可触オブジェクト８１ａの色調自体を特定の共通の色調に変更させたりするといったことが挙げられる。不触オブジェクト８１ｂを光らせたり色調を変えたりする場合には、可触オブジェクト８１ａより目立ちにくくするように、明度や彩度が低い色にすることが挙げられる。このような色調や透明度によって識別可能にさせる方式は、オブジェクト８１の表示される数が比較的多くても判別しやすい。

【0050】

図５（ａ）に示す例では、仮想空間８０内で表示される際に、触覚データが紐づけられた可触オブジェクト８１ａは周囲に点滅する光を放つようにし、触覚データが紐づけられていない不触オブジェクト８１ｂはそのような点滅する光を放っていないように表示する。これにより、目立つ発光を示しているオブジェクト８１が可触オブジェクト８１ａであることが、ディスプレイ７２で仮想空間８０の表示を見たユーザには容易に識別できる。このような表示

【0051】

図５（ｂ）に示す例では、可触オブジェクト８１ａに「接触可」である旨をメッセージとして表示している。また、併せて不触オブジェクト８１ｂを半透明に表示している。ここでは吹き出し型のウインドウ８３を表示させているが、オブジェクト８１に重なるようにテキストを表示してもよい。また、ウインドウ８３やテキストを点滅表示にしたりしてもよい。ウインドウ８３を表示する形式は特に可触オブジェクト８１ａが目立つので、多くの不触オブジェクト８１ｂの中に、ごく少数の可触オブジェクト８１ａが存在するような仮想空間において好適に利用できる。

【0052】

これらの視覚により識別可能にさせる方式の場合、仮想空間８０にオブジェクト８１を表示し始めるときから可触オブジェクト８１ａに識別可能な表示をさせてもよいし、ユーザが操作するアバター８２から当該オブジェクト８１までの仮想空間８０上における距離が所定の範囲内となったときから識別可能な表示をしてもよい。また、単に表示させるだけではなく、ユーザが仮想空間８０内で当該オブジェクトをポインティングデバイスなどによる操作によって選択したタイミングで識別可能な表示をしてもよい。選択したタイミングで識別可能に表示される場合、目的とするものを探索して手に取るまでは可触オブジェクト８１ａであるか不触オブジェクト８１ｂであるかが区別できないが、選択した後は触覚を体感しようとする前から識別可能となるので、以降は期待して当該可触オブジェクト８１ａの触感を体験しようとすることができる。

【0053】

この発明にかかる触覚提示システムは、ユーザ認識手段７１として、ユーザが選択したオブジェクトを選択したときに、可触オブジェクト８１ａと不触オブジェクト８１ｂとを、聴覚で認識できる情報の違いを有するように処理してもよい。可触オブジェクト８１ａに近づいていくと特定の音声の出力が強くなり、逆に遠ざかると特定の音声の出力が弱くなって、所定の距離以上離れると聞こえなくなるようにすることが挙げられる。この場合の特定の音声とは警報のような音でもよいし、可触オブジェクト８１ａの声として設定されるような言葉であってもよいし、音楽であってもよい。

【0054】

また、アバター８２を操作してオブジェクト８１を選択する際に、可触オブジェクト８１ａを選択した場合にのみ触覚提示可能であることを示す音声を再生し、不触オブジェクト８１ｂを選択した場合は、音声を再生しないか又は触覚提示できないことを示す音声を再生するという実施形態でもよい。触覚提示できないことを示す音声としては例えば警告音などが挙げられる。

【0055】

この実施形態を実行した場合のイメージ図を図６に示す。例えば可触オブジェクト８１ａがその仮想空間８０における知的存在と設定されているとする。ユーザＵのアバター８２を介して当該可触オブジェクト８１ａを選択したら、所定の色調で光るように画像出力部７０が表示するとともに、入出力装置５４であるヘッドホン７３からは「私に触ってみてよ」などのように接触を促す音声を発生する。ユーザＵは視覚では特定の色調として、聴覚では音声として、当該可触オブジェクト８１ａに触覚データが紐づけられていることを識別できる。ユーザＵは識別できたその可触オブジェクト８１ａの触覚を体感すべく、触覚出力装置１１を操作するか、または自動的に、当該可触オブジェクト８１ａに紐づけられている触覚データによる触覚を触覚出力装置１１により体感する。

【0056】

上記に示す実施形態では、仮想空間におけるオブジェクト８０とアバター８２の位置を制御装置５１のアプリ６５が管理していたが、この発明に示す触覚提示システムはこれに限定されない。複数のユーザが操作する制御装置５１が、ネットワーク９２を介してサーバ９１に接続し、サーバ９１が仮想空間におけるアバター８２とオブジェクト８１の位置を管理する実施形態でもよい。この場合、ユーザＵは入出力装置５４を介してアバター８２を仮想空間８０内で操作する信号をサーバ９１に送信し、情報を各ユーザの制御装置５１との間で同期する。サーバ９１が管理する仮想空間８０内で可触オブジェクト８１ａと不触オブジェクト８１ｂとを識別可能にしようとする場合、図７に示す実施形態のように、サーバ９１がユーザ認識手段７１を行った上で識別可能である画面表示の情報を制御装置５１に送り、制御装置５１はすでに可触オブジェクト８１ａを識別可能となったその情報をそのままディスプレイ７２やヘッドホン７３などに出力させてもよい。逆に、サーバ９１は位置の管理などの限定的な情報を管理するのみで、アバター８２とオブジェクト８１との位置が所定の条件を満たしたときに、制御装置５１のアプリ６５側でユーザ認識手段７１を実行して、識別可能にさせる視覚上又は聴覚上の効果を認識させてもよい。この場合の構成は図１に示す形態に準じる。

【0057】

この発明にかかる触覚提示システム又は触覚提示方法を実行する処理フローの例を、図８を用いて説明する。まず、ユーザＵがパソコンやゲーム機などである制御装置５１を操作して、アプリ６５を起動し、サーバ９１が提供する仮想空間８０サービスに接続する（Ｓ１０１）。この制御装置５１には、触覚出力装置１１が接続されており、ユーザＵは触覚出力装置１１を装着するなどして、触覚を提示され得る状態である。制御装置５１に接続されたディスプレイ７２に、仮想空間８０が表示される。仮想空間８０内にはユーザＵのアバター８２と、複数のオブジェクト８１とが内包されている（Ｓ１０２）。アバター８２とオブジェクト８１のグラフィックスデータはメディアデータベース６６から読み出される。ユーザＵが入出力装置５４のコントローラからの入力に応じて、アバター８２が移動したり視線が変更されたりすると、仮想空間８０の表示が更新される（Ｓ１０３）。制御装置５１の制御部６１は、更新された仮想空間８０内にあるオブジェクト８１についてチェックを行うユーザ認識手段７１を実行する（Ｓ１０４）。当該オブジェクト８１が、触覚データが登録されたり又は紐づけられたりしていない不触オブジェクト８１ｂであれば（Ｓ１０５→Ｎｏ）、その不触オブジェクト８１ｂを基本的な設定の通りに表示するものとする（Ｓ１０６）。当該オブジェクト８１が、触覚データが登録又は紐づけられている可触オブジェクト８１ａであれば（Ｓ１０５→Ｙｅｓ）、その可触オブジェクト８１ａの周囲を所定の色で発光させるエフェクトを掛けて表示するものとする（Ｓ１０７）。この判定を、表示するすべてのオブジェクト８１について行い（Ｓ１０８→Ｎｏ）、仮想空間８０内において可触オブジェクト８１ａが発光して表示される（Ｓ１０８→Ｙｅｓ，Ｓ１１０）。ユーザＵはディスプレイ７２上で表示される仮想空間８０内で、どのオブジェクト８１が可触オブジェクト８１ａであるかを、発光する光を見ることで識別できる。

【0058】

ユーザＵがアバター８２を操作して、可触オブジェクト８１ａを選択して触れようとするまでは、このユーザ認識手段７１を実行しての表示が繰り返される（Ｓ１１１→Ｎｏ）。発光により可触オブジェクト８１ａが識別可能となっているので、ユーザＵは触感を体感しようとする可触オブジェクト８１ａを把握した上で移動し、接触可能な位置までアバター８２を移動させることができる。ユーザＵは接触可能な位置まで近づいたら、アバター８２を操作して、可触オブジェクト８１ａを選択して触れようとする（Ｓ１１１→Ｙｅｓ）。この触れようとする意思をアプリ６５が判定する挙動としては、例えばアバター８２が選択可能な範囲まで近づいたことを条件としてもよいし、アバター８２の腕を伸ばして仮想空間８０上で実際に触れる位置関係となったことを条件としてもよいし、カーソルや視点表示などで可触オブジェクト８１ａをユーザが選択（ターゲット）したことを条件としてもよい。

【0059】

いずれの条件でも、ユーザＵが可触オブジェクト８１ａに接触しようとすると判定されたら、制御部６１はその可触オブジェクト８１ａに登録又は紐づけられた触覚データを触覚データベース６７から読み出し（Ｓ１１２）、触覚信号送信部６４から通信部６３へ送る（Ｓ１１３）。通信部２６を介して触覚データを受け取った触覚出力装置１１は、その触覚データに従って触覚出力デバイス１４への出力を制御する（Ｓ１１４）。これにより、ユーザＵはアバター８２として仮想空間８０内で接触している当該可触オブジェクト８１ａに設定された触覚を提示される。

【0060】

また、フロー上は現れないが、発光により可触オブジェクト８１ａと不触オブジェクト８１ｂとが触れる必要なくディスプレイ７２を見ているだけで識別できるので、ユーザＵは触覚を体感しようとして、誤って不触オブジェクト８１ｂを選択して、触覚データが読み出されずに空振りに終わるという事態を防止できる。

【符号の説明】

【0061】

１０ 触覚提示システム
１１ 触覚出力装置
１４ 触覚出力デバイス
１６ センサ
２０ 出力装置制御部
２１ 触覚制御部
２２ データ記憶部
２５ 電源
２６ 通信部
３１ ケーシング
３２ 円板
３４ ヨーク
３５ ヨーク
３７ コイル
３８ 磁気粘性流体
３９ 軸受
４０ 基部
４１ 回転軸
４２ パーツ
４３ 支点部
４４ 第一リンク材
４５ 第二リンク材
４６ ピン
５１ 制御装置
５４ 入出力装置
６１ 制御部
６２ 記憶部
６３ 通信部
６４ 触覚信号送信部
６５ アプリ
６６ メディアデータベース
６７ 触覚データベース
６９ ネットワークインターフェース
７０ 画像出力部
７１ ユーザ認識手段
７２ ディスプレイ
７３ ヘッドホン
８０ 仮想空間
８１ オブジェクト
８１ａ 可触オブジェクト
８１ｂ 不触オブジェクト
８２ アバター
８３ ウインドウ
９１ サーバ
９２ ネットワーク
Ｕ ユーザ

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】