(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024141999
(43)【公開日】2024-10-10
(54)【発明の名称】触覚提示システム、情報処理装置、触覚提示装置、触覚提示方法、コンピュータプログラム及び制御プログラム
(51)【国際特許分類】
G06F 3/01 20060101AFI20241003BHJP
A63F 13/285 20140101ALI20241003BHJP
A63F 13/5375 20140101ALI20241003BHJP
A63F 13/213 20140101ALI20241003BHJP
A63F 13/655 20140101ALI20241003BHJP
【FI】
G06F3/01 560
A63F13/285
A63F13/5375
A63F13/213
A63F13/655
【審査請求】未請求
【請求項の数】13
【出願形態】OL
(21)【出願番号】P 2023053930
(22)【出願日】2023-03-29
(71)【出願人】
【識別番号】000142595
【氏名又は名称】株式会社栗本鐵工所
(74)【代理人】
【識別番号】100114557
【弁理士】
【氏名又は名称】河野 英仁
(74)【代理人】
【識別番号】100078868
【弁理士】
【氏名又は名称】河野 登夫
(72)【発明者】
【氏名】上嶋 優矢
(72)【発明者】
【氏名】赤岩 修一
(72)【発明者】
【氏名】増田 勇貴
(72)【発明者】
【氏名】辻 仁志
(72)【発明者】
【氏名】橋田 真一朗
(72)【発明者】
【氏名】梶本 泰生
【テーマコード(参考)】
5E555
【Fターム(参考)】
5E555AA76
5E555BA04
5E555BA20
5E555BB04
5E555BB20
5E555CA21
5E555CB20
5E555DA24
5E555FA00
(57)【要約】
【課題】触覚提示装置の把持方法に応じた力覚への影響を考慮した触覚提示が可能な触覚提示システムを提供する。
【解決手段】触覚提示システムは、ユーザに触覚を提示する触覚提示装置と、情報処理装置とを備える。触覚提示装置又は前記情報処理装置は、触覚提示装置の把持態様を取得し、取得した前記把持態様に基づいて、触覚を提示するための触覚データを決定するようにしてあり、触覚提示装置は、決定した触覚データに基づいて触覚を提示する。
【選択図】
図12
【特許請求の範囲】
【請求項1】
ユーザに触覚を提示する触覚提示装置と、情報処理装置とを備える触覚提示システムであって、
前記触覚提示装置又は前記情報処理装置は、
前記触覚提示装置の把持態様を取得し、
取得した前記把持態様に基づいて、触覚を提示するための触覚データを決定するようにしてあり、
前記触覚提示装置は、
決定した触覚データに基づいて触覚を提示する
触覚提示システム。
【請求項2】
前記触覚提示装置又は前記情報処理装置は、
前記触覚提示装置の把持態様を示すモデル画像を表示して前記把持態様の選択を受け付け、
前記把持態様の確定操作が行われるまで前記把持態様の選択を受け付ける処理を継続し、
前記触覚提示装置は、
前記把持態様の確定操作が行われるまで前記把持態様が選択される都度、選択された把持態様によって決定される触覚データに基づいて触覚を提示する
請求項1に記載の触覚提示システム。
【請求項3】
前記触覚提示装置又は前記情報処理装置は、
前記把持態様が選択される都度、前記モデル画像を変更する
請求項2に記載の触覚提示システム。
【請求項4】
前記触覚提示装置の複数の異なる把持態様をそれぞれ示す複数の前記モデル画像を表示し、該複数のモデル画像を用いて、把持態様の選択を受け付ける
請求項2に記載の触覚提示システム。
【請求項5】
前記情報処理装置は、
前記触覚提示装置の把持態様に応じて、前記触覚データを補正し、補正された前記触覚データを前記触覚提示装置へ送信する
請求項1又は請求項2に記載の触覚提示システム。
【請求項6】
前記情報処理装置は、
前記触覚データを前記触覚提示装置へ送信し、
前記触覚提示装置は、
前記触覚データを受信し、受信した前記触覚データを、前記触覚提示装置の把持態様に応じて補正する
請求項1又は請求項2に記載の触覚提示システム。
【請求項7】
前記触覚提示装置又は前記情報処理装置は、
前記触覚提示装置を操作するユーザの手を撮像する撮像部にて把持態様を取得する
請求項1又は請求項2に記載の触覚提示システム。
【請求項8】
前記触覚提示装置又は前記情報処理装置は、
前記触覚提示装置に設けられた把持センサにて把持態様を取得する
請求項1又は請求項2に記載の触覚提示システム。
【請求項9】
ユーザに触覚を提示する触覚提示装置の把持態様を取得し、取得した前記把持態様に基づいて、触覚を提示するための触覚データを決定する処理部を備える
情報処理装置。
【請求項10】
ユーザに触覚を提示する触覚提示装置であって、
前記触覚提示装置の把持態様を取得し、取得した前記把持態様に基づいて、触覚を提示するための触覚データを決定し、決定した触覚データに基づいて触覚提示を制御する制御部を備える
触覚提示装置。
【請求項11】
ユーザに触覚を提示する触覚提示装置の把持態様に応じて、触覚を提示するための触覚データを決定し、
前記触覚提示装置は、決定された前記触覚データに基づいて触覚を提示する
触覚提示方法。
【請求項12】
ユーザに触覚を提示する触覚提示装置の把持態様を取得し、
取得した前記把持態様に基づいて、触覚を提示するための触覚データを決定する
処理を情報処理装置に実行させるためのコンピュータプログラム。
【請求項13】
ユーザに触覚を提示する触覚提示装置に、
前記触覚提示装置の把持態様を取得し、
取得した前記把持態様に基づいて、触覚を提示するための触覚データを決定し、
決定した触覚データに基づいて触覚提示を制御する
処理を実行させるための制御プログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、触覚提示システム、情報処理装置、触覚提示装置、触覚提示方法、コンピュータプログラム及び制御プログラムに関する。
【背景技術】
【0002】
触覚を提示する技術(ハプティクス)が種々提案されている。発明者らは、磁気粘性流体に対する知見に基づいて、ユーザが操作可能であって、対象物によって異なる感触を再現する触覚提示装置を提案した(特許文献1等)。特許文献2には、触覚提示装置による触覚提示と、視覚提示(画像出力)とを合わせて出力するシステムが開示されている。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特許第6906275号
【特許文献2】特開2020-130632号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
本開示の目的は、触覚提示装置の把持方法に応じた力覚への影響を考慮した触覚提示が可能な触覚提示システム、情報処理装置、触覚提示装置、触覚提示方法、コンピュータプログラム及び制御プログラムを提供することにある。
【課題を解決するための手段】
【0005】
本開示の一側面に係る触覚提示システムは、ユーザに触覚を提示する触覚提示装置と、情報処理装置とを備える触覚提示システムであって、前記触覚提示装置又は前記情報処理装置は、前記触覚提示装置の把持態様を取得し、取得した前記把持態様に基づいて、触覚を提示するための触覚データを決定するようにしてあり、前記触覚提示装置は、決定した触覚データに基づいて触覚を提示する。
【0006】
本開示の一側面に係る情報処理装置は、ユーザに触覚を提示する触覚提示装置の把持態様を取得し、取得した前記把持態様に基づいて、触覚を提示するための触覚データを決定する処理部を備える。
【0007】
本開示の一側面に係る触覚提示装置は、ユーザに触覚を提示する触覚提示装置であって、前記触覚提示装置の把持態様を取得し、取得した前記把持態様に基づいて、触覚を提示するための触覚データを決定し、決定した触覚データに基づいて触覚提示を制御する制御部を備える。
【0008】
本開示の一側面に係る触覚提示方法は、ユーザに触覚を提示する触覚提示装置の把持態様に応じて、触覚を提示するための触覚データを決定し、前記触覚提示装置は、決定された前記触覚データに基づいて触覚を提示する。
【0009】
本開示の一側面に係るコンピュータプログラムは、ユーザに触覚を提示する触覚提示装置の把持態様を取得し、取得した前記把持態様に基づいて、触覚を提示するための触覚データを決定する処理を情報処理装置に実行させる。
【0010】
本開示の一側面に係る制御プログラムは、ユーザに触覚を提示する触覚提示装置に、前記触覚提示装置の把持態様を取得し、取得した前記把持態様に基づいて、触覚を提示するための触覚データを決定し、決定した触覚データに基づいて触覚提示を制御する処理を実行させる。
【発明の効果】
【0011】
本開示によれば、触覚提示装置の把持方法に応じた力覚への影響を考慮した触覚提示を行うことができる。
【図面の簡単な説明】
【0012】
【
図1】本実施形態1におけるゲームシステムを示す模式図である。
【
図2】視覚提示装置の内部構成を示すブロック図である。
【
図4】触覚提示装置の構成を示すブロック図である。
【
図5】サーバ装置の内部構成を示すブロック図である。
【
図6】実施形態1に係る設定処理手順を示すフローチャートである。
【
図7】実施形態1に係る設定処理手順を示すフローチャートである。
【
図8】実施形態1に係る触覚提示装置の処理手順を示すフローチャートである。
【
図11】把持態様確認画面の第1の例を示す図である。
【
図12】把持態様確認画面の第2の例を示す図である。
【
図13】把持態様例(第1態様~第3態様)を示す図である。
【
図14】把持態様例(第4態様~第5態様)を示す図である。
【
図15】触覚等提示に係る視覚提示装置及びサーバ装置の処理手順の一例を示すフローチャートである。
【
図16】実施形態2に係る補正データテーブルを示す概念図である。
【
図17】補正係数と変位量との関係を示す図である。
【
図18】実施形態3に係る視覚提示装置の設定処理手順を示すフローチャートである。
【
図19】実施形態4に係る触覚提示装置の構成を示すブロック図である。
【
図20】実施形態4に係る視覚提示装置及び触覚提示装置の設定処理手順を示すフローチャートである。
【
図21】実施形態5に係る触覚提示装置の処理手順の一例を示すフローチャートである。
【発明を実施するための形態】
【0013】
本開示の実施形態に係る触覚提示システム、情報処理装置、触覚提示装置、触覚提示方法、コンピュータプログラム及び制御プログラムを、以下に図面を参照しつつ説明する。以下の実施形態では、本実施形態に係る触覚提示システムを適用したゲームシステムについて説明する。なお、本開示はこれらの例示に限定されるものではなく、特許請求の範囲によって示され、特許請求の範囲と均等の意味及び範囲内でのすべての変更が含まれることが意図される。また、以下に記載する実施形態の少なくとも一部を任意に組み合わせてもよい。
【0014】
(実施形態1)
図1は、本実施形態1におけるゲームシステム100を示す模式図である。ゲームシステム100は、情報処理装置の一例である視覚提示装置1と、触覚提示装置2と、サーバ装置3とを含む。視覚提示装置1と、触覚提示装置2とは近距離無線通信で通信接続され、相互にデータを授受する。視覚提示装置1と、サーバ装置3とは、ネットワークNを介して相互にデータを送受信する。ネットワークNは、インターネットN1、キャリアネットワークN2、基地局BS、及びアクセスポイントAPを含む。
【0015】
視覚提示装置1は、仮想オブジェクトであるキャラクタCを視覚的に提示する装置である。また、視覚提示装置1は、キャラクタCを聴覚的に提示する機能も有する。視覚提示装置1は、例えば表示部14及び音声出力部15を有するスマートフォンである。視覚提示装置1は、スマートフォンに限られず、タブレット端末、ラップトップ型のPC(Personal Computer)、ゲーム専用機器などであってもよい。視覚提示装置1は、触覚提示装置2と一体化されたゲーム専用機器、すなわちコントローラ部分に触覚提示装置2を含むゲーム機であってもよい。なお、視覚提示装置1と、表示部14及び音声出力部15とは、別体の構成であってもよい。
【0016】
触覚提示装置2は、ユーザが指を変位部202に沿えて持ちながら指を動かして操作できる装置である。触覚提示装置2は、ユーザが指を動かすことで変位する変位部202の位置を読み取り、内蔵するMRF(Magneto-Rheological Fluid)デバイス24をその位置に応じて制御してユーザの変位部202への操作に対する反力(回転抵抗)により力覚を生じさせ、触覚を提示する装置である。触覚提示装置2の変位部202態様は、
図1に示すようなものに限られず、ボタンであってもよいし、スティック状であってもよいし、カバーに覆われたクッション状のものであってもよい。触覚提示装置2は、MRFデバイス24に代えて、モータ、ピエゾ素子、超音波発振器などを採用し、ユーザの操作に対し回転力や振動により力覚を生じさせるアクティブ型の触覚提示装置であってもよく、変位部202の他、振動や温感、冷感、電気刺激を提示するものと組み合わされてもよい。アクティブ型と、本願のようなパッシブ型の触覚提示装置を組み合わせてもよい。地面や壁に設置し、ユーザの手のひらや足等で操作される構造でもよい。
【0017】
ゲームシステム100では、ゲームアプリケーションプログラム(以下、ゲームアプリP1という)をインストールした視覚提示装置1が、サーバ装置3と通信してゲームを実行可能とする。視覚提示装置1は、サーバ装置3のコンテンツデータベース(DB:Data Base )311から、ゲームコンテンツをネットワークN経由で取得する。ゲームコンテンツは、ゲームのキャラクタCである仮想オブジェクトを視覚的、聴覚的及び触覚的に提示するための視覚データ、聴覚データ、触覚データを含む。視覚提示装置1は、取得したゲームコンテンツに含まれる視覚データに基づき、内蔵する表示部14にキャラクタCの画像を表示する(視覚的に提示する)。また、視覚提示装置1は、取得したゲームコンテンツに含まれる聴覚データに基づき、音声出力部15からキャラクタCの音声及び効果音を出力する(聴覚的に提示する)。更に、視覚提示装置1は、取得したゲームコンテンツに含まれる触覚データを触覚提示装置2へ送信し、キャラクタCを触覚的に提示する。
より具体的には
図1に示すように、視覚提示装置1は表示部14にキャラクタCを表示させる。ユーザが触覚提示装置2の変位部202を指で押し込むと、キャラクタCの種類に応じた触覚が生じる。表示中のキャラクタCの画像は、変位部202の操作及び触覚提示とともに変化し、変化に応じた音声又は効果音が音声出力部15から出力される。
【0018】
ゲームシステム100では、操作するキャラクタCを選択することができる。視覚提示装置1は、選択されたキャラクタCに応じた触覚を触覚提示装置2によって提示する。また、視覚提示装置1は変位部202における変位に応じて画像及び音声を変更して出力する。視覚提示装置1は、ゲームシナリオに応じた触覚提示装置2の操作に従って、所定のゲームポイントを加算させたり、抽選(いわゆるガチャ)を実行したりしてゲームを進行させる。
【0019】
図2は、視覚提示装置1の内部構成を示すブロック図である。視覚提示装置1は、処理部10、記憶部11、第1通信部12、第2通信部13、表示部14、音声出力部15、操作部16及び撮像部17を備える。処理部10は、CPU(Central Processing Unit )及び/又はGPU(Graphics Processing Unit)を用いたプロセッサである。処理部10は、記憶部11が記憶するゲームアプリP1に基づき、ゲームに係る処理を実行する。
【0020】
記憶部11は、例えばフラッシュメモリ、SSD等の不揮発性メモリである。記憶部11は、ゲームアプリP1と、後述の感覚DB110と、その他、処理部10が参照するデータとを記憶する。ゲームアプリP1は、記憶媒体8に記憶されているゲームアプリP8を処理部10が読み出して記憶部11に複製したものであってもよい。ゲームアプリP1は、第1通信部12を介してサーバ装置3又は他のプログラムサーバ装置からダウンロードして実行可能に記憶したものである。
【0021】
記憶部11は、ゲームアプリP1のユーザID(触覚提示装置2のユーザを識別するID)を記憶する。記憶部11は、ユーザIDに対応付けて、ユーザがゲームアプリP1上で所有しているキャラクタC又はアイテム等を識別するコンテンツID及び個数を記憶する。記憶部11に記憶されているユーザIDとコンテンツID及び個数との関係は、サーバ装置3においてユーザIDに対応付けて記憶されているコンテンツID及び個数と同一の内容である。
【0022】
記憶部11は、キャラクタCに応じた触覚データ、視覚(画像、動画、テキスト)データ、聴覚(音声、効果音)データ、及び触覚提示装置2の把持態様に応じて触覚データを補正するための補正データを格納した感覚DB110を記憶するストレージである。感覚DB110は、これらのデータを、逐次、サーバ装置3のコンテンツDB311からキャラクタC毎に取得するものであってもよいし、予め記憶されているものであってよい。
【0023】
第1通信部12は、インターネットN1又はキャリアネットワークN2を含むネットワークNを介したサーバ装置3との通信を実現する通信回路を含む。第1通信部12は具体的には、キャリアネットワークN2と接続する無線通信デバイスであってもよいし、WiFi用の無線通信デバイスであってもよい。処理部10は、第1通信部12によってサーバ装置3との間でデータを送受信する。
【0024】
第2通信部13は、近距離無線通信、例えばBluetooth(登録商標)の通信モジュールである。通信モジュールは通信回路を含む。処理部10は、第2通信部13によって触覚提示装置2との間でデータを送受信する。
【0025】
表示部14は、液晶ディスプレイ、有機EL(Electro Luminescence)ディスプレイ等のディスプレイである。表示部14は例えば、タッチパネル内蔵型ディスプレイである。処理部10は表示部14に、ゲームアプリP1に基づき、記憶部11が記憶するゲームコンテンツ、又は、サーバ装置3から提供される画像、テキスト等のゲームコンテンツを表示する。なお、スマートフォンのディスプレイを例示したが、表示部14は、スクリーンへの投影、ユーザへの網膜投影、虚像投影などを行う投影装置であってもよい。
【0026】
音声出力部15は、スピーカ等を含む。処理部10は、ゲームアプリP1に基づき、記憶部11が記憶するゲームコンテンツ、又は、サーバ装置3から提供されるゲームコンテンツに含まれる聴覚データに応じた音声、音楽等を音声出力部15から出力させる。
【0027】
操作部16は、ユーザによる操作情報を処理部10に与えるためのユーザインタフェースである。操作部16は、例えば表示部14に内蔵されたタッチパネルである。操作部16は、物理ボタンであってもよい。操作部16は、音声入力部と兼用であってもよい。
【0028】
撮像部17は、任意の被写体を撮像するカメラであり、撮像して得た画像データを処理部10に与える。撮像画像は、間欠的に撮像された静止画像、又は動画を構成するフレーム画像である。
【0029】
図3は、感覚DB110の内容例を示す説明図である。感覚DB110は、触覚データテーブルと、補正データテーブルと、視覚データ及び聴覚データを記憶する。
【0030】
感覚DB110は、コンテンツの種類によって異なる複数の触覚データテーブルをコンテンツIDに対応付けて記憶する。触覚データテーブルは、触覚データとして、変位部202の変位量(角度)と、触覚提示装置2のMRFデバイス24に供給する電流の値とを対応付けて格納している。
【0031】
補正データテーブルは、触覚提示装置2の複数の異なる把持態様と、補正係数とを対応付けて格納している。触覚提示装置2によって提示される触覚は、ユーザによる触覚提示装置2の把持態様(
図13、
図14参照)によって変化する。具体的には、触覚提示装置2の把持態様によって、ユーザの指の力が変位部202に加わりやすいかどうか、反力を受けやすいかどうかが変わる。このため、触覚データの電流値を、触覚提示装置2の把持態様に応じて補正することが望ましい。補正データテーブルの補正係数は、例えば、キャラクタCの触覚を提示するために必要な電流値に乗算又は加減算することによって、当該電流値を補正するためのものである。補正方法の詳細は後述する。
【0032】
感覚DB110は、コンテンツの種類によって異なるキャラクタCの画像又は動画(フレーム画像)等の画像データを、視覚データとしてコンテンツIDに対応付けて格納している。感覚DB110は、一つのコンテンツIDに対応付けて、パターンα、パターンβ、…と異なる複数パターンの視覚データを格納してもよい。
図3に示す例では、パターンαの視覚データは、変位部202の変位量によって画像が変化しない画像データである。パターンβの視覚データは、変位部202の変位量に応じて画像が変化する画像データである。パターンβの視覚データは、変位部202の複数の変位量(角度)にそれぞれ対応付けられた、複数の画像データを含む。パターンα、パターンβ、及びその他のパターンの視覚データは、ランダムに選択されてもよいし、ゲームのシナリオ及び状況に応じて選択されてもよい。
【0033】
感覚DB110は、コンテンツの種類によって異なるキャラクタCの音声又は効果音の音声データを、聴覚データとしてコンテンツIDに対応付けて格納している。感覚DB110は、一つのコンテンツIDに対応付けて、パターンα、パターンβ、…と異なる複数パターンの聴覚データを格納してもよい。
図3に示す例では、パターンαの聴覚データは、変位部202の変位量によって音声が変化しない音声データである。パターンβの聴覚データは、変位部202の変位量に応じて音声が変化する音声データである。パターンβの聴覚データは、変位部202の複数の変位量(角度)にそれぞれ対応付けられた、複数の音声データを含む。
【0034】
図4は、触覚提示装置2の構成を示すブロック図である。触覚提示装置2は、
図1に示すようにユーザによって把持及び操作される把持体201と、変位部202と、結束具203と、リンク機構204と、
図4に示す制御部20と、触覚データ記憶部21と、通信部22と、電源部23と、MRFデバイス24と、変位センサ25とを備える。なお、
図2に示す制御部20、電源部23等の制御及び給電に係る回路は、把持体201と一体的に構成してもよいし、別体で構成して有線又は無線で接続してもよい。
【0035】
把持体201は、ユーザが人差し指及び親指で挟持可能な偏平形状をなす筐体201aと、平面部201bとを有する。筐体201aは、例えば中空円板状部分を有し、磁気粘性流体と、回転軸を有するロータとを収納している。ロータは円板状の部材であり、磁気粘性流体で満たされた筐体201aの内部で回転する。ロータは、磁気粘性流体による回転抵抗力を受ける。また、把持体201には、磁気粘性流体に磁場を印加するための電磁石(不図示)が設けられており、電磁石は、磁気粘性流体及びロータ等とともにMRFデバイス24を構成している。具体的には、電磁石は、すき間を空けて円板状のロータを挟むように配されたヨークと、ヨークに設けられたコイルとを有する。コイルに電流が流れると磁界が発生し、磁気粘性流体の粘度(ずり応力)が変化し、回転軸に加わる回転抵抗力が与えられる。
【0036】
変位部202は、筐体201aの周面に沿うように湾曲した帯状の部材である。変位部202はユーザに力覚を与えるための部材である。変位部202は、それ自体がたわむことが可能な素材であるが、剛性の高い素材で形成されている。変位部202の基端部は、変位部202の先端部が筐体201aから接離する方向に移動することができるように、支軸によって筐体201aの周面に回動可能に支持されている。変位部202の先端部外側の面には、ユーザの指を結束するための結束具203が設けられている。結束具203はリングをなす帯状の部材、例えば布テープである。変位部202には、その表面にシリコンラバーや毛並みを持つもの等、多様な感触を加えた素材等が取り付けられていてもよい。変位部202の先端部と、ロータの回転軸とは、リンク機構204によって連結している。リンク機構204は、筐体201aに対して接近又は離反する変位部202の運動を、回転軸の回転運動に変換して伝達する機構である。
【0037】
変位部202の基端部を支持している周面部分の反対側には、平面部201bが形成され、把持体201は全体として側面視略三角形をなしている。平面部201bは、触覚提示装置2をしっかりと把持するためのものである。具体的には、ユーザは、変位部202の基端部をユーザの手のひら側とし、人差し指を変位部202に沿わせ、結束具203に差し込み、変位部202と平面部201bとを人差し指と親指とで挟持する(
図1及び
図13A参照)。ユーザは人差し指を押し込むように変位部202を動かすことができ、また、人差し指を伸ばして把持体201から変位部202を遠ざけるように動かすことができる。このように触覚提示装置2を把持することによって、ユーザの指の力が変位部202に無駄なく伝わり、触覚提示装置2からの反力を受け、所要の触覚を得ることができる。
制御プログラムP2は、図示しない記憶媒体に記憶されている制御プログラムP2を制御部20が読み出してフラッシュメモリなどのROM20bに複製したものであってもよい。制御プログラムP2は、サーバ装置3又は他のプログラムサーバ装置からダウンロードして実行可能に記憶したものであってもよい。
【0038】
制御部20は、CPU、MPU(Micro-Processing Unit )等の制御プロセッサ20a、ROM(Read Only Memory)20b、RAM(Random Access Memory)20c等のメモリ、及びI/O20dを含む。制御部20は、例えばマイクロコントローラである。制御部20は、ROM20bに記憶されている制御プログラムP2に基づいて各構成部を制御し、触覚提示を実現する。
【0039】
触覚データ記憶部21は、制御部20に対する補助記憶メモリであり、MRFデバイス24の制御データである触覚データ及び補正データを書き換え可能に記憶する。
【0040】
通信部22は、近距離無線通信、例えばBluetooth(登録商標)の通信モジュールである。通信モジュールは通信回路を含む。制御部20は、通信部22によって視覚提示装置1との間でデータを送受信する。
【0041】
制御部20は、電源部23、MRFデバイス24及び変位センサ25とI/O20dを介して接続されており、相互に信号を授受する。
【0042】
電源部23は、充電可能なバッテリを含む。電源部23は、ON状態になると各構成部及びMRFデバイス24へ電力を供給する。
【0043】
変位センサ25は、変位部202の位置(角度)を測定して制御部20へ出力する。変位センサ25は変位部202の変位を、角度として測定して出力する。変位センサ25は、ジャイロセンサ、加速度センサ等の複数のセンサから構成されてもよい。
【0044】
図4に示すように構成される触覚提示装置2では、変位部202がユーザによって操作されると、変位部202の変位がリンク機構204を介してMRFデバイス24のロータの回転軸への回転方向に伝達される。回転軸は、MRFデバイス24が動作していない場合、すなわち制御電流がゼロである間は、自由に回転するため、変位部202は抵抗なく変動する。一方で、MRFデバイス24が動作し、制御電流が流れている場合には、MRFデバイス24へ流れる電流の大きさに応じてMRFデバイス24内部の磁気粘性流体の粘度(ずり応力)が変化する。制御部20が、MRFデバイス24への電流の大きさを連続的に変更したり、電流値を所定の周波数で振動させたりすることで、変位部202に対する抵抗の力やその出現方法を変更できる。つまり、制御部20はMRFデバイス24に流れる電流の波形及び電流値を制御することによって、あらゆる触覚を提示することができる。
【0045】
このようにして触覚提示装置2は、変位部202の押し込む量に応じて抵抗(電流値)を変動させてヌルリとした触覚を提示したり、押し込む量が大きくなるにつれて抵抗を大きくしてギュッとした固さの触覚を提示したり、抵抗の大小の繰り返しや矩形波によるON及びOFFの繰り返しによってザクザクとした触覚を提示したりすることができる。
【0046】
図5は、サーバ装置3の内部構成を示すブロック図である。サーバ装置3は、視覚提示装置1との間でデータの送受信が可能なゲームサーバである。以下の説明において、サーバ装置3は1台のゲームサーバとして説明するが、複数台のサーバコンピュータをネットワークNで通信接続して分散処理させる態様であってもよい。
【0047】
サーバ装置3は、サーバ処理部30、記憶部31、サーバ通信部32を備える。サーバ処理部30は、CPU及び/又はGPUを用いたプロセッサである。サーバ処理部30は、記憶部31に記憶されているサーバプログラムP3に基づき、ゲームサーバとしての処理を実行する。
【0048】
記憶部31は、例えばハードディスク、フラッシュメモリ、SSD(Solid State Drive )等の不揮発性メモリである。記憶部31は、サーバ処理部30が参照するデータを記憶する。記憶部31は、サーバプログラムP3を記憶する。サーバプログラムP3は、記憶媒体9に記憶されているサーバプログラムP9をサーバ処理部30が読み出して記憶部31に複製したものであってもよい。サーバプログラムP3は、サーバ通信部32を介して他のプログラムサーバ装置からサーバ処理部30がダウンロードして記憶したものであってもよい。
【0049】
記憶部31は、コンテンツDB311を構成しており、ゲームで使用されるゲームコンテンツを記憶する。記憶部31が記憶するゲームコンテンツは、キャラクタデータ、アイテムデータ等を含む。記憶部31のうち、これらのゲームコンテンツのデータを記憶する記憶領域は、ネットワークNで通信接続された外部記憶媒体であってもよい。
【0050】
キャラクタデータは、ゲーム内に登場するキャラクタCのデータである。キャラクタデータは、名称(識別データ)、感覚DB110に含まれるべき触覚データ、視覚データ(画像、動画、テキスト等)、聴覚データ(音声、効果音)及び補正データを含む。
【0051】
アイテムデータは、キャラクタC毎にキャラクタCに関連するアイテムのデータである。アイテムは特定のゲームによって得られる。アイテムデータは名称、画像データを含む。アイテムデータは、キャラクタデータ同様に触覚データを含んでもよい。アイテムデータは、レア度を含んでもよい。
【0052】
ゲームコンテンツにはその他、キャラクタC毎に、アイテム等との交換に用いられる交換用アイテム又は交換用ポイント等が含まれる。
【0053】
記憶部31は、これらのゲームコンテンツの実体(画像データ等)を、コンテンツ識別データ(以下、コンテンツIDという)に対応付けて記憶する。記憶部31は、各視覚提示装置1でユーザ毎に使用可能なゲームコンテンツのコンテンツIDを、ユーザを識別するユーザIDに対応付けて記憶する。例えば記憶部31は、ユーザIDに対応付けて、ユーザがゲームアプリP1上で使用可能なキャラクタC、アイテム等を識別するコンテンツID及び個数を記憶する。サーバ処理部30は、コンテンツIDを指定した取得要求に応じて、ゲームコンテンツのデータの複製をコンテンツテーブルから読み出して要求元に提供する。これらのユーザIDに対応付けられるデータを記憶する記憶領域は、ネットワークNで通信接続された外部記憶媒体であってもよい。
【0054】
サーバ通信部32は、ネットワークNを介した視覚提示装置1との通信を実現する通信回路を含む。サーバ通信部32は具体的には、ネットワークカードである。サーバ通信部32は、キャリアネットワークN2と接続する無線通信モジュールであってもよいし、WiFi用の無線通信モジュールであってもよい。サーバ処理部30は、サーバ通信部32によって視覚提示装置1との間でデータを送受信する。
【0055】
図6及び
図7は、実施形態1に係る設定処理手順を示すフローチャートである。設定処理は、ゲームアプリP1が起動された場合に実行される。視覚提示装置1の処理部10は、触覚提示装置2との接続画面411を表示部14に表示する(ステップS101)。処理部10は、触覚提示装置2の通信部22から発信される無線信号を、第2通信部13にて探索する(ステップS102)。処理部10は、無線信号を検知すると(ステップS103)、無線信号に含まれる触覚提示装置2それぞれの固有識別データ(例えばMACアドレス、Bluetooth接続のためのID等)を取得する(ステップS104)。処理部10は、検知した無線信号の発信元の触覚提示装置2に、識別データ(例えば番号)を割り当てる(ステップS105)。処理部10は、ステップS103にて、複数の触覚提示装置2からそれぞれ発信されている固有識別データを含む無線信号を検知した場合、検知した順に、一時的な識別データとして番号を割り当て、番号と固有識別データとを対応付けて記憶する。
【0056】
処理部10は、検知した無線信号の送信元の触覚提示装置2に割り当てた識別データを接続画面411(
図9参照)に表示し(ステップS106)、接続の選択操作を受け付ける(ステップS107)。ステップS107にて処理部10は、単数の触覚提示装置2が検知された場合、接続すること自体に対する選択を受け付ける。ステップS107において複数の触覚提示装置2が検知された場合、処理部10は、複数の触覚提示装置2のなかから接続する触覚提示装置2の選択を受け付ける。
【0057】
処理部10は、選択された単一の又は複数の触覚提示装置2の固有識別データ及び番号を記憶し(ステップS108)、選択された触覚提示装置2との間で、第2通信部13によって通信接続を確立させる(ステップS109)。複数の触覚提示装置2が選択された場合、処理部10は、ステップS109において、その複数の触覚提示装置2とそれぞれ通信接続を確立させる。
【0058】
処理部10は、感覚DB110に記憶されている触覚データから、接続される触覚提示装置2の数に応じた触覚データを読み出し(ステップS110)、番号に応じて触覚データをそれぞれの触覚提示装置2へ送信する(ステップS111)。ステップS111で触覚提示装置2で送信される触覚データは、
図3に示したような、変位量(角度)毎に対応する電流値を記憶したテーブルである。
【0059】
触覚提示装置2では、送信された触覚データに基づき、後述の
図8に示す処理手順を実行する。
【0060】
触覚提示装置2における処理が実行される間、視覚提示装置1の処理部10は、表示部14に、変位部202を押し込んで触覚が提示されることを確認させる旨のメッセージを含む触覚確認画面412(
図10参照)を表示する(ステップS112)。触覚確認画面412は、触覚が提示された場合にタップするためのボタン画像を含む。複数の触覚提示装置2が接続される場合、ボタン画像は複数表示されてもよい。触覚確認画面412の表示タイミングは、ステップS110の前であってもよい。なお、ステップS112で表示される触覚確認画面412では、後述するように、触覚提示装置2から送信される変位部202の変位量を取得できていることを示す情報を表示するようにしてもよい(
図10、ガイド表示部412a参照)。
【0061】
視覚提示装置1の処理部10は、触覚提示が確認されたか否かを判断する(ステップS113)。触覚提示が確認されていないと判断された場合(ステップS113:NO)、処理をステップS113へ戻す。
【0062】
触覚提示が確認されたと判断された場合(ステップS113:YES)、処理部10は、触覚提示装置2の把持態様を選択するための把持態様確認画面413(
図11及び
図12参照)を表示部14に表示する(ステップS114)。次いで、処理部10は、所定のキャラクタCの標準の触覚データテーブルを感覚DB110から読み出し(ステップS115)、読み出した触覚データテーブルを触覚提示装置2へ送信する(ステップS116)。
【0063】
ここで送信される触覚データテーブルは、ユーザが標準的な把持態様(
図13A参照)で触覚提示装置2を把持することを想定して作成されたデータであって、デフォルトとして選択されているデータある。触覚提示装置2は、視覚提示装置1から送信された触覚データテーブルを用いて触覚提示を行う。
【0064】
次いで、処理部10は、触覚提示装置2の持ち方(把持態様)の選択を操作部16にて受け付ける(ステップS117)。処理部10は、補正データテーブルを参照し、ステップS117で選択された把持態様に対応する補正係数を読み出し、読み出した補正係数を用いて触覚データテーブルを補正し、RAM20c又は触覚データ記憶部21に記憶する(ステップS118)。そして、処理部10は、補正後の触覚データテーブルを触覚提示装置2へ送信する(ステップS119)。
【0065】
触覚提示装置2は、補正された触覚データテーブルを受信し、受信した触覚データテーブルに基づいて触覚提示を行う(
図8参照)。つまり、ユーザによって選択された把持態様に対応した触覚提示が行われ、ユーザは把持態様に対応したキャラクタCの触覚を確認することができる。
【0066】
次いで、処理部10は、ユーザによる操作部16の操作により把持態様の選択が決定されたか否かを判定する(ステップS120)。把持態様の選択が確定していないと判定した場合(ステップS120:NO)、処理部10は、処理をステップS117へ戻し、触覚提示装置2の把持態様の選択と、把持態様に応じた触覚提示に係る処理を継続する。把持態様の選択が決定されたと判定した場合(ステップS120:YES)、処理部10は、決定された把持態様をRAM20c又は触覚データ記憶部21に記憶し(ステップS121)、メイン画面を表示部14に表示させ(ステップS122)、設定処理を終了する。
【0067】
図8は、触覚提示装置2の処理手順の一例を示すフローチャートである。触覚提示装置2の制御部20は、起動して視覚提示装置1と通信接続が確立されると、以下の処理を実行する。
【0068】
触覚提示装置2は、通信接続中の視覚提示装置1から触覚データテーブルを受信すると(ステップS201)、受信した触覚データテーブルを触覚データ記憶部21に記憶する(ステップS202)。触覚データ記憶部21にすでに触覚データテーブルが記憶されている場合は、それを新たに受信した触覚データテーブルに更新する。ステップS201で受信する触覚データは、上述した変位量毎の電流値の一覧テーブル(ステップS116の処理または、ステップS119の処理にて送信されたもの)である。
【0069】
触覚提示装置2の制御部20は、変位センサ25から出力される変位部202の変位量(角度)に対応する信号をサンプリングする(ステップS203)。制御部20は、サンプリングにより得られる変位量を、視覚提示装置1へ送信する(ステップS204)。変位量(角度)は、上端からの相対的な変位量でもよいし、変位センサ25によって検出された絶対位置でもよい。
【0070】
制御部20は、サンプリングにより得られる変位量に対応する電流値を、触覚データ記憶部21に記憶した触覚データから参照する(ステップS205)。そして、制御部20は、参照及び補正された電流値に応じた電流をMRFデバイス24へ出力する(ステップS206)。
【0071】
制御部20は、新たに他の触覚データを受信したか否かを判断し(ステップS207)、受信していないと判断された場合(ステップS207:NO)、処理をステップS203へ戻す。
【0072】
制御部20は、新たに他の触覚データを受信したと判断した場合(ステップS207:YES)、処理をステップS202へ戻して他の触覚データを触覚データ記憶部21に記憶(更新)し(ステップS202)、ステップS203~S206の処理を繰り返し実行する。
【0073】
以上の通り、本実施形態1に係るゲームシステム100によれば、仮想オブジェクトであるキャラクタCを視覚的、聴覚的及び触覚的に提示することができる。また、本実施形態1によれば、触覚提示装置2の把持態様によって異なる力の入り具合を考慮した触覚提示が可能になる。
【0074】
図9は、接続画面411の一例を示す図である。接続画面411は、上述のステップS101で表示される画面である。接続画面411は、近距離通信の通信接続のために必要な作業(電源ON)のガイドを含む。接続画面411は、無線信号の探索によって検知された触覚提示装置2のリスト411aと、選択された触覚提示装置2と接続するための決定ボタン411bとを含む。リスト411aには、触覚提示装置2を識別するテキスト(例えば「デバイス1」「デバイス2」)と、触覚提示装置2の固有識別データ(例えば「ABC-DEF」「GHI-JKL」)とが表示される。ユーザが、リスト411aから、接続を所望する触覚提示装置2のテキスト部分をタップすると、決定ボタン411bが有効になる(操作可能になる)。視覚提示装置1は、ユーザによる決定ボタン411bのタップ操作によって、接続の選択操作を受け付ける(S107)。
【0075】
図10は、触覚確認画面412の一例を示す図である。触覚確認画面412は、上述のステップS112で表示される画面である。触覚確認画面412は、触覚提示装置2によって触覚が正常に提示されていることを確認するための操作ガイドを示すガイド表示部412aと、正常な触覚提示を確認できた場合にタップする確認ボタン412bとを含む。また、触覚確認画面412は、正常な触覚を確認できなかった場合に、接続操作をやり直すための戻るボタン412cを含む。ユーザによって確認ボタン412bがタップされると、視覚提示装置1の処理部10は、触覚提示が確認されたと判断し(S113:YES)、把持態様確認画面413へ表示部14の画面を遷移させる。ユーザは、接続が確認できない場合、又は、他の触覚提示装置2との接続に切り替えたい場合、戻るボタン412cをタップする。この場合、処理部10は、通信接続を切断し、表示部14の画面を
図9に示した接続画面411に戻す(
図6では記載を省略)。
【0076】
図10中のガイド表示部412aは、触覚提示装置2から送信される変位量に応じて、変位部202に相当する箇所が動くようにアニメーション表示を行ってもよい。これにより、ユーザは、実際に操作している触覚提示装置2の変位部202の角度を、動かしながら視覚的に確認できる。言い換えると、ユーザは、触覚提示装置2の操作が視覚提示装置1によって正常に認識されていることを確認することができる。
【0077】
図11は、把持態様確認画面413の第1の例を示す図、
図12は、把持態様確認画面413の第2の例を示す図、
図13は、把持態様例(第1態様~第3態様)を示す図、
図14は、把持態様例(第4態様~第5態様)を示す図である。把持態様確認画面413は、上述のステップS114で表示される画面である。触覚提示装置2の持ち方(把持態様)を確認及び設定するための設定画面である。把持態様確認画面413は、触覚確認用のキャラクタCを表示する。また、把持態様確認画面413は、複数の把持態様をそれぞれ示した複数の把持態様アイコン413aと、把持態様の選択を確定するための決定ボタン413cとを表示する。初期段階(デフォルト)では、「標準」の把持態様アイコン413aが選択されており、
図11に示すように、後述するように把持態様イメージ表示部413dを含む場合は、「標準」に対応するイメージ画像が把持態様イメージ表示部413dに表示されている。ユーザによって一つの把持態様が選択され、確認ボタン412bがタップされると、視覚提示装置1の処理部10は、把持態様が確定したと判定し(ステップS120:YES)、確定した把持態様を記憶する。以後、触覚データテーブルは、当該確定した把持態様に適したデータに補正され、触覚提示装置2へ送信される。
【0078】
なお、処理部10は、
図11又は
図12に示すように、触覚提示装置2が接触提示を行っている場合、触覚の提示が有効であることを示すアイコン413bを表示するように構成してもよい。また、
図11に示すように、把持態様確認画面413は、現在選択されている把持態様を模したイメージ画像を表示する把持態様イメージ表示部413dを含むように構成してもよい。把持態様イメージ表示部413dに代えて、
図12に示すように把持態様アイコン413aに、それぞれの把持態様を模したイメージ画像を表示するように構成してもよい。
図11の把持態様イメージ表示部413d及び
図12の把持態様アイコン413aは、持ち方をガイダンスするための動画を表示するように構成してもよい。また、
図11の把持態様イメージ表示部413d及び
図12の把持態様アイコン413aは、フリック操作で回転する3Dモデルを表示するように構成してもよい。
図11の把持態様イメージ表示部413d又は
図12の把持態様アイコン413aをタップすることにより、拡大表示して動画や3Dモデルを表示するように構成してもよい。上記動画及び3Dモデルの表示操作、表示方法などは特に限定されるものではない。
更に、
図11及び
図12に関して、視覚提示装置1は、把持態様アイコン413aが選択された場合に、触覚を微調整するためのスライドバーを表示し、微調整を受け付けるように構成してもよい。
【0079】
把持態様には、
図13及び
図14に示すような態様がある。第1態様(標準の持ち方)は、
図13Aに示すように、変位部202の基端部をユーザの手のひら側に配して、変位部202と平面部201bとをユーザの人差し指と親指とで挟持する態様である。本実施形態1では第1態様を標準の態様としている。触覚データテーブルは、標準の持ち方である第1態様を想定して作成されているため、ユーザによって第1態様が選択された場合、処理部10は触覚データテーブルを補正することなく、触覚提示装置2へ送信する。標準である第1態様以外の把持態様が選択された場合、処理部10は触覚データテーブルの電流値を補正する。ただし、電流値0Aの値は補正しない。
【0080】
第2態様(親指を添える持ち方)は、
図13Bに示すように、筐体201aの厚み方向からユーザの親指と中指とで挟持する態様である。第2態様は、標準の第1態様に比べて力が入りにくい持ち方であるため、処理部10は、標準の触覚データから補正係数0.03を減算し、触感を標準よりも柔らかめにする。
【0081】
第3態様(机に置く持ち方)は、
図13Cに示すように、平面部201bを外部の平坦面に設置し、変位部202と平面部201bとを該平坦面とユーザの人差し指とで挟持する態様である。第3態様は、標準の第1態様に比べて力が入る持ち方であるため、処理部10は標準の触覚データに補正係数0.03を加算し、触感を標準よりも固くする。
【0082】
第4態様(反対持ち)は、
図14Aに示すように、変位部202の基端部をユーザの手のひらと反対側に配して、筐体201aの厚み方向からユーザの親指と中指とで挟持する態様である。第4態様は、第1態様及び第2態様に比べて、より力が入りにくい持ち方であるため、処理部10は、標準の触覚データから補正係数0.06を減算し、触感を標準よりも柔らかくする。
【0083】
第5態様(両手持ち)は、
図14Bに示すように、変位部202と平面部201bとを、ユーザの右手(又は左手)の手のひらと、左手(又は右手)の人差し指とで挟持する態様である。第5態様は、第1態様及び第3態様に比べて、より力が入りやすい持ち方であるため、処理部10は、標準の触覚データに補正係数0.06を加算し、触感を標準よりも固くする。
【0084】
上の例では、触覚データテーブルの電流値から補正係数を減算する例を説明したが、電流値の大きさに応じた重み付けを補正係数にかけて加減算を行ってもよい。また、電流値に補正係数を乗算し、又は除算することによって電流値を補正してもよい。
【0085】
処理部10は、第2態様又は第4態様が選択された場合、反力が小さくなるように触覚データを補正し、第3態様又は第5態様が選択された場合、反力が大きくなるように触覚データを補正する。
【0086】
次に、メイン画面を起点としたゲーム進行について説明する。
図15は、触覚等提示に係る視覚提示装置1及びサーバ装置3の処理手順の一例を示すフローチャートである。ここでは視覚提示装置1と、触覚提示装置2との通信が確立し、視覚提示装置1の表示部14にメイン画面が表示されているものとする。メイン画面は、複数のキャラクタCの画像と、各キャラクタCの選択ボタンとを含む。
【0087】
視覚提示装置1の処理部10は、メイン画面からキャラクタCの選択を受け付ける(ステップS131)。処理部10は、選択されたキャラクタCのゲームコンテンツをサーバ装置3へ要求する(ステップS132)。
【0088】
サーバ装置3のサーバ処理部30は、データ要求を受信し(ステップS301)、データ要求に応じてコンテンツDB311から、視覚提示装置1で選択されたキャラクタCのゲームコンテンツを読み出す(ステップS302)。読み出されるゲームコンテンツは、要求元の視覚提示装置1に記憶されているユーザIDが示すユーザが所有するゲームコンテンツのデータを含む。ゲームコンテンツは、ユーザIDが示すユーザが所有するキャラクタCに関する触覚データ、視覚データ及び聴覚データを含む。サーバ処理部30は、読み出したゲームコンテンツを視覚提示装置1へ送信する(ステップS303)。
【0089】
視覚提示装置1の処理部10は、ゲームコンテンツを受信する(ステップS133)。処理部10は、受信した触覚データテーブルを、設定処理で記憶した把持態様に対応する補正係数を用いて補正する(ステップS134)。そして、処理部10は、触覚データテーブルが補正されたゲームコンテンツを記憶部11に記憶させる(ステップS135)。ステップS135により、記憶部11は、対象のキャラクタCの触覚データ、視覚データ及び聴覚データを記憶する。
【0090】
処理部10は、選択されたキャラクタC用のゲーム画面を表示し(ステップS136)し、選択されたキャラクタC用の補正された触覚データテーブルを触覚提示装置2へ送信する(ステップS137)。ステップS136の処理によって、キャラクタCの画像及び指画像Fがゲーム画面に表示される。また、キャラクタCに応じた音声が音声出力部15から出力される。触覚提示装置2は、ステップS137の処理によって送信された触覚データに基づいて、触覚提示に係る処理を実行する。
【0091】
触覚提示装置2の変位部202が操作されると、触覚提示装置2から変位部202の変位量が送信される。処理部10は、触覚提示装置2から送信される変位量を受信する(ステップS138)。処理部10は、感覚DB110が記憶する視覚データ及び聴覚データを参照し、受信した変位量に対応する画像データと、音声データとを読み出す(ステップS139)。そして、処理部10は、読み出した画像データ及び音声データをそれぞれ表示部14及び音声出力部15から出力させる(ステップS140)。
【0092】
ステップS138~ステップS140を繰り返すことによって、触覚提示装置2の操作量(変位量)に応じたキャラクタCの画像及び音声を出力することができる。
なお、キャラクタCの触覚データテーブルは、通常、1つではなく、通常複数種類ある。この場合、処理部10は、複数種類のデータテーブルに対して、それぞれ同一の補正係数を用いて補正を行う。
【0093】
次いで、処理部10は、ゲームシナリオに基づいて、ゲームアプリP1を終了するか否かを判定する(ステップS141)。処理部10は、変位部202が最後まで押し込まれ、変位量が所定終了位置に到達した場合、ゲームアプリP1を終了とすると判定してもよい。ゲームアプリP1を終了しないと判定された場合(ステップS141:NO)、処理部10は処理をステップS138へ戻し、キャラクタCの画像及び音声を表示する処理を継続する。ゲームアプリP1を終了すると判定した場合(ステップS141:YES)、処理部10はゲームアプリP1を終了する。
【0094】
本実施形態1では、触覚提示装置2の把持態様に応じた力覚への影響を考慮した触覚提示を行うことができる。
【0095】
ユーザは、把持態様確認画面413で把持態様アイコン413aを選択し、把持態様イメージ表示部413dに表示される把持態様を確認して、触覚提示装置2の操作感及び触覚を試すことができる。ユーザは、所要の把持態様を把持態様アイコン413aにて選択し、決定ボタン413cを操作することによって、触覚提示装置2の把持態様を確定させることができる。以後、触覚提示装置2は、選択及び決定した把持態様に応じて補正された触覚データテーブルを用いて触覚提示を行うことができる。
【0096】
処理部10は、
図13Bに示す第2態様、又は
図14Aに示す第4態様が選択された場合、ユーザの力が触覚提示装置2に入りにくいことを考慮し、反力が小さくなるように触覚データを補正することができる。
処理部10は、
図13Cに示す第3態様、又は
図14Bに示す第5態様が選択された場合、ユーザの力が触覚提示装置2に入りやすいことを考慮し、反力が大きくなるように触覚データを補正することができる。
このように触覚データを補正することによって、触覚提示装置2は、把持態様に応じた適切な触覚提示を行うことができる。
【0097】
なお、本実施形態1では、磁気粘性流体を用いた触覚提示装置2を例示したが、触覚提示装置2の種類は特に限定されるものではない。モータ、ピエゾ素子、超音波等によって、ユーザに力覚を生じさせる触覚提示装置2においても制御値を、触覚提示装置2の把持態様に応じて補正するように構成することによって、把持態様に応じた力覚への影響を考慮した触覚提示を行うことができる。
【0098】
(実施形態2)
実施形態2におけるゲームシステム(触覚提示システム)100は、補正データテーブルの構成と、触覚データの補正方法が実施形態1と異なる。ゲームシステム100のその他の構成は、実施形態1に係るゲームシステム100と同様であるため、同様の箇所には同じ符号を付し、詳細な説明を省略する。
【0099】
図16は、実施形態2に係る補正データテーブルを示す概念図である。実施形態2に係る感覚DB110は、触覚提示装置2の把持態様によって異なる複数の補正データテーブルを記憶する。補正データテーブルは、変位部202の変位量(角度)と、触覚データの補正係数とを対応付けて格納している。補正係数は、例えば、標準の把持態様において触覚を提示するために必要な電流値に加減算し、乗算し、又は除算することによって、当該電流値を補正する係数である。実施形態1では変位部202の変位量にかかわらず、同一の補正係数を用いて触覚データを補正していたが、実施形態2では、変位量に応じた補正係数を用いて触覚データを補正する。
【0100】
図17は、補正係数と変位量との関係を示す図である。
図17Aは、触覚提示装置2の持ち方によって補正係数と変位量の関係が同じ例を示している。
図17Bは、触覚提示装置2の持ち方によって補正係数と変位量の関係が異なる例を示している。
図17A及び
図17Bに示すグラフの横軸は変位量、縦軸は電流値又は補正係数を示している。
【0101】
触覚提示装置2の持ち方によらず変位量0°~90°まで同傾向の補正係数であると、
図17Aに示すようになり、持ち方と変位量との関係が十分に考慮できない。一般的に触覚提示装置2の持ち方によって、力が入りやすい変位量(角度)と、力が入りにくい変位量(角度)は異なるものである。
図17Bは、触覚提示装置2の持ち方によって、変位量に応じた補正係数を考慮したものである。持ち方Bは、持ち方Aに比べて変位量0°~45°で力が入りにくいことが考慮されており、変位量0°~45°において持ち方Bの電流値は、持ち方Aの電流値に比べて小さくなるようになっている。このように、触覚提示装置2の把持態様によって、変位量に対応する補正係数が異なるように構成することが好ましい。
【0102】
以上の通り、本実施形態2に係るゲームシステム100によれば、実施形態1と同様にして触覚提示装置2の把持態様に応じた力覚への影響を考慮し、しかも触覚提示装置2の変位部202の変位量に応じた触覚データの補正を行い、触覚提示を行うことができる。
【0103】
(実施形態3)
実施形態3におけるゲームシステム(触覚提示システム)100は、触覚提示装置2の把持態様の特定方法が実施形態1と異なる。ゲームシステム100のその他の構成は、実施形態3に係るゲームシステム100と同様であるため、同様の箇所には同じ符号を付し、詳細な説明を省略する。
【0104】
図18は、実施形態3に係る視覚提示装置1の設定処理手順を示すフローチャートである。実施形態1のステップS101~ステップS113の処理を実行する。ステップS113において触覚提示が確認されたと判断された場合(ステップS113:YES)、処理部10は、所定のキャラクタCの標準の触覚データテーブルを感覚DB110から読み出す(ステップS151)。
【0105】
次いで、処理部10は、撮像部17にて、触覚提示装置2を操作しているユーザの手を撮像し(ステップS152)、撮像して得た画像データに基づいて、把持態様を特定する(ステップS153)。もちろん、ユーザの手と共に触覚提示装置2を撮像してもよい。把持態様の特定方法は、特に限定されるものではなく、パターンマッチングなどのルールベースの処理で把持態様を特定してもよいし、機械学習により把持態様を特定してもよい。
把持態様を特定する学習モデルは、例えば深層学習による学習済みの畳み込みニューラルネットワーク(CNN:Convolutional neural network)を含む。当該学習モデルは、触覚提示装置2を撮像して得た画像データが入力される入力層と、把持態様の特徴量を抽出する中間層と、抽出された特徴量に基づいて算出される把持態様を示すデータを出力する出力層とを有するニューラルネットワークである。
【0106】
処理部10は、補正データテーブルを参照し、ステップS152で特定された把持態様に対応する補正係数を読み出し、読み出した補正係数を用いて触覚データテーブルを補正し、RAM20c又は触覚データ記憶部21に記憶する(ステップS154)。そして、処理部10は、補正後の触覚データテーブルを触覚提示装置2へ送信する(ステップS155)。
【0107】
そして、処理部10は、ステップS153で特定された触覚提示装置2の把持態様を表示部14に表示する(ステップS156)。また、処理部10は、自身の把持態様を確定させるための決定ボタンを表示する。
【0108】
触覚提示装置2は、ステップS155で送信された補正後の触覚データテーブルを受信し、受信した触覚データテーブルに基づいて触覚提示を行う。ユーザは、表示部14に表示された把持態様を確認し、触覚提示装置2によって提示された触覚を確認することができる。
【0109】
次いで、処理部10は、ユーザによる操作部16の操作により把持態様が確定されたか否かを判定する(ステップS157)。把持態様の確定していないと判定した場合(ステップS157:NO)、処理部10は、処理をステップS152へ戻し、触覚提示装置2の把持態様の特定と、把持態様に応じた触覚提示に係る処理を継続する。把持態様の選択が決定されたと判定した場合(ステップS157:YES)、処理部10は、決定された把持態様をRAM20c又は触覚データ記憶部21に記憶し(ステップS158)、メイン画面を表示部14に表示させ(ステップS159)、設定処理を終了する。
【0110】
以上の通り、本実施形態3に係るゲームシステム100によれば、視覚提示装置1が触覚提示装置2の把持態様を自動的に認識して触覚データテーブルを補正することができる。
【0111】
また、視覚提示装置1は、ユーザによる確定操作が行われるまで、触覚提示装置2の把持態様を認識して特定し、特定された把持態様に応じて触覚データテーブルを補正する処理を繰り返す。ユーザは、触覚提示装置2の把持態様を幾つか試しながら、所望の把持態様を決定することができる。ユーザが希望しない把持態様が自動的に選択されることを避けることができる。
【0112】
実施形態3においては、触覚提示装置2を撮像して把持態様を特定する例を説明したが、実施形態1の処理と組み合わせてもよい。例えば、把持態様確認画面413を表示する際、触覚提示装置2を撮像して把持態様を特定し、特定された把持態様を自動的に初期選択するように構成するとよい。その後、ユーザは、把持態様確認画面413を操作することによって、手動で把持態様を選択できるように構成してもよい。
【0113】
(実施形態4)
実施形態4におけるゲームシステム100は、補正データテーブルの構成と、触覚データの補正方法が実施形態1と異なる。ゲームシステム100のその他の構成は、実施形態4に係るゲームシステム100と同様であるため、同様の箇所には同じ符号を付し、詳細な説明を省略する。
【0114】
図19は、実施形態4に係る触覚提示装置2の構成を示すブロック図である。実施形態4に係る触覚提示装置2は、ユーザによる触覚提示装置2の把持態様を検知するための把持センサ26を備える。把持センサ26は、例えば、ユーザの指、手のひら、机上に触れたことを検出する接触センサである。ユーザの把持態様によってユーザの指が接触する位置が異なることを考慮し、第1態様で指が接触し、第2態様で指が接触しないような位置に把持センサ26を設けるとよい。例えば、筐体201aの円板面に把持センサ26を設けるとよい。当該把持センサ26が指の接触を検出した場合、処理部10は、把持態様が第2態様(親指を添える持ち方)であると特定することができる。
【0115】
また、筐体201aの円板面と、変位部202の湾曲部それぞれに把持センサ26を設けるとよい。処理部10は、円板面及び湾曲部に対する指の接触を検出した場合、把持態様が第2態様(親指を添える持ち方)であると特定することができる。円板面に対する指の接触を検出し、湾曲部に対する指の接触を検出しなかった場合、処理部10は、第4態様(反対持ち)であると特定することができる。
【0116】
更に把持体201の平面部201bの複数箇所に把持センサ26を設けるとよい。処理部10は、平面部201bに対する圧力の加わり方(満遍なく圧力が働いているか、一部分に圧力が働いているか)を検出することによって、第1態様(標準の持ち方)、第3態様(机に置く持ち方)、第5態様(両手持ち)を判別することができる。
【0117】
図20は、実施形態4に係る視覚提示装置1及び触覚提示装置2の設定処理手順を示すフローチャートである。実施形態1のステップS101~ステップS113の処理を実行する。ステップS113において触覚提示が確認されたと判断された場合(ステップS113:YES)、処理部10は、所定のキャラクタCの標準の触覚データテーブルを感覚DB110から読み出す(ステップS171)。
【0118】
次いで、処理部10は、触覚提示装置2に把持センサ26の検出結果を要求する(ステップS172)。視覚提示装置1から検出結果の要求を受信した場合(ステップS251)、触覚提示装置2の制御部20は把持センサ26にて触覚提示装置2の把持状態を検出し(ステップS252)、把持状態の検出値を視覚提示装置1へ送信する(ステップS253)。
【0119】
視覚提示装置1は、触覚提示装置2から送信された検出値を受信し(ステップS173)、受信した検出値に基づいて、触覚提示装置2の把持態様を特定する(ステップS174)。処理部10は、補正データテーブルを参照し、ステップS174で特定された把持態様に対応する補正係数を読み出し、読み出した補正係数を用いて触覚データテーブルを補正し、RAM20c又は触覚データ記憶部21に記憶する(ステップS175)。
【0120】
処理部10は、補正後の触覚データテーブルを触覚提示装置2へ送信する(ステップS176)。触覚提示装置2は、ステップS155で送信された補正後の触覚データテーブルを受信し(ステップS254)、受信した触覚データテーブルに基づいて触覚提示を行う。
【0121】
以下、処理部10は、実施形態3のステップS156~ステップS159と同様の処理を実行する(ステップS177~ステップS180)。
【0122】
以上の通り、本実施形態4に係るゲームシステム100によれば、視覚提示装置1が触覚提示装置2の把持態様を自動的に認識して触覚データテーブルを補正することができる。
【0123】
また、視覚提示装置1は、ユーザによる確定操作が行われるまで、触覚提示装置2の把持態様を認識して特定し、特定された把持態様に応じて触覚データテーブルを補正する処理を繰り返す。ユーザは、触覚提示装置2の把持態様を幾つか試しながら、所望の把持態様を決定することができる。ユーザが希望しない把持態様が自動的に選択されることを避けることができる。
【0124】
実施形態4においては、把持センサ26にて触覚提示装置2の把持態様を特定する例を説明したが、実施形態1の処理と組み合わせてもよい。例えば、把持態様確認画面413を表示する際、触覚提示装置2把持態様を把持センサ26にて検出及び特定し、特定された把持態様を自動的に初期選択するように構成するとよい。その後、ユーザは、把持態様確認画面413を操作することによって、手動で把持態様を選択できるように構成してもよい。
また、実施形態3及び実施形態4を組み合わせて、触覚提示装置2の把持状態を撮像部17にて撮像して得た画像データと、把持センサ26の検出値とに基づいて、触覚提示装置2の把持態様を特定するように構成してもよい。より正確に触覚提示装置2の把持態様を特定することができる。更に、実施形態1、実施形態3及び実施形態4を組み合わせて、触覚提示装置2の把持状態を特定し、又はユーザによる把持態様の選択を受け付けるように構成してもよい。
【0125】
(実施形態5)
実施形態5におけるゲームシステム100は、触覚データの補正を触覚提示装置2側で行う点が実施形態1と異なる。ゲームシステム100のその他の構成は、実施形態5に係るゲームシステム100と同様であるため、同様の箇所には同じ符号を付し、詳細な説明を省略する。
【0126】
実施形態5に係る視覚提示装置1は、実施形態1と同様にして触覚提示装置2の把持態様を示す把持態様データを記憶しており、触覚データテーブルを送信する際、ユーザによる触覚提示装置2の把持態様を示す把持態様データを触覚提示装置2へ送信するようにしてある。
また、実施形態5に係る触覚提示装置2は、補正データテーブルを触覚データ記憶部21に記憶している。
【0127】
図21は、実施形態5に係る触覚提示装置2の処理手順の一例を示すフローチャートである。触覚提示装置2は、通信接続中の視覚提示装置1から送信された触覚データテーブル及び把持態様データを受信すると(ステップS271)、受信した態様データに基づいて、補正データテーブルを参照し、把持態様データが示す把持態様に対応する補正係数を読み出し、読み出した補正係数を用いて、受信した触覚データテーブルを補正する(ステップS272)。制御部20は、補正された触覚データテーブルを触覚データ記憶部21に記憶する(ステップS273)。
【0128】
以下、実施形態1で説明したステップS203~ステップS207と同様の処理を実行し、触覚提示を行う(ステップS274~ステップS278)。
【0129】
以上の通り、本実施形態5に係るゲームシステム100によれば、実施形態1と同様にして触覚提示装置2の把持態様に応じた力覚への影響を考慮し、しかも触覚提示装置2の変位部202の変位量に応じた触覚データの補正を行い、触覚提示を行うことができる。
【0130】
なお、本実施形態5では、触覚提示装置2が把持態様に応じた補正係数を記憶する例を説明したが、視覚提示装置1が触覚データテーブルと共に補正係数を触覚提示装置2へ送信するように構成してもよい。触覚提示装置2は、視覚提示装置1から送信された触覚データテーブル及び補正係数を受信し、受信した補正係数に基づいて、受信した触覚データテーブルを補正する。
【0131】
また、実施形態2~4においても、実施形態5と同様にして触覚データの補正を触覚提示装置2側で実行するように構成してもよい。
【0132】
更に、上記の各実施形態では、持ち方に応じて標準データから補正データを作成する例を説明したが、複数の把持態様に応じた触覚データテーブルを予め用意しておき、視覚提示装置1又は触覚提示装置2は、触覚提示装置2の把持態様に応じた触覚データテーブルを選択するように構成してもよい。この技術的構成は実施形態1~5のいずれにも適用することができる。
実施形態1~5及び上記説明から明らかなように、後述する付記12に記載した、把持態様に基づいて、触覚を提示するための触覚データを決定するという構成は、把持態様に応じた補正係数を用いて標準の触覚データを補正する方法と、把持態様に対応する触覚データを選択する方法とが含まれる。また、把持態様に応じた補正係数を特定し、特定された補正係数と、標準の触覚データとを関連付ける処理も、上記決定の処理に含まれる。
【0133】
更にまた、把持態様は
図13及び
図14に示すような指の添え方の相違のみを意味するのではない。例えば、上記の「標準」の把持態様としては同じであっても、結束具203への指の入れ具合によって力の入り方が違う。把持態様の相違には、結束具203への指の入れ具合も含まれ、こうした指の入れ具合を考慮して触覚データを補正又は選択することも可能である。
図13及び
図14に示す態様1~5が同じでも指の入り具合に応じた異なる把持態様として認識し、触覚データを補正等することも可能である。
【0134】
更にまた、本実施形態1~5では、主に情報処理装置の一例として視覚提示装置1を例示し、触覚データの補正を視覚提示装置1又は触覚提示装置2が行う例を説明したが、これに限定されるものではない。触覚提示以外の処理は、一又は複数の装置(触覚提示装置2、視覚提示装置1、サーバー)で分散させて実行するように構成してもよい。後述する付記12に記載の情報処理装置は、触覚提示の最終処理以外の処理を実行する広義の装置を意味する。情報処理装置は1台の装置であってもよいし、複数台の装置であってもよいし、仮想マシンが含まれてもよい。情報処理装置には、視覚提示装置1、端末装置、図示しない一又は複数の外部サーバ、その他の演算処理装置が含まれる。また、付記12は、視覚提示装置1と、情報処理装置とを備える構成であるが、必ずしも物理的には分離した装置ではなく、視覚提示装置1及び情報処理装置は一体的な外観を有していてもよいし、視覚提示装置1と情報処理装置の一部が一体的な外観を有していてもよい。
【0135】
ネットワークNの通信速度が十分である場合、情報処理装置であるサーバと、該サーバと通信可能な触覚提示装置2とで触覚提示システムを構成することが可能である。この場合、サーバで複数の触覚提示装置2を一括管理及び制御するように構成してもよい。
【0136】
更にまた、主に仮想オブジェクトであるキャラクタCの触覚提示を例に説明したが、触覚提示の主体ないしオブジェクトの内容は特に限定されるものではない。触覚提示の主体ないしオブジェクトを想定しなくてもよい。
【0137】
本開示の課題を解決するための手段を付記する。
(付記1)
仮想オブジェクトを触覚的に提示する触覚提示装置と、前記仮想オブジェクトの触覚提示に係る情報を処理する情報処理装置とを備える仮想オブジェクト触覚提示システムであって、
前記触覚提示装置又は前記情報処理装置は、
前記仮想オブジェクトを触覚的に提示するための触覚データを、前記触覚提示装置の把持態様に応じて補正するようにしてあり、
前記触覚提示装置は、
補正された前記触覚データに基づいて仮想オブジェクトを触覚的に提示する
仮想オブジェクト触覚提示システム。
(付記2)
前記情報処理装置は、
前記仮想オブジェクトを触覚的に提示するための触覚データを記憶する記憶部と、
前記触覚提示装置の把持態様に応じて、前記記憶部が記憶する前記触覚データを補正する処理部と、
前記処理部によって補正された前記触覚データを前記触覚提示装置へ送信する通信部と
を備える付記1に記載の仮想オブジェクト触覚提示システム。
(付記3)
前記情報処理装置は、
前記仮想オブジェクトを触覚的に提示するための触覚データを前記触覚提示装置へ送信するようにしてあり、
前記触覚提示装置は、
前記仮想オブジェクトを触覚的に提示するための触覚データを受信する通信部と、
受信した前記触覚データを、前記触覚提示装置の把持態様に応じて補正する制御部と
を備える付記1に記載の仮想オブジェクト触覚提示システム。
(付記4)
前記情報処理装置は、
前記触覚提示装置の把持態様を選択するための操作部を備え、
前記触覚提示装置又は前記情報処理装置は、
前記操作部にて選択された把持態様に応じて前記触覚データを補正する
付記1から付記3のいずれか1つに記載の仮想オブジェクト触覚提示システム。
(付記5)
前記情報処理装置は、
前記触覚提示装置を撮像する撮像部を備え、
前記触覚提示装置又は前記情報処理装置は、
前記撮像部にて撮像された前記触覚提示装置の画像に基づいて把持態様を特定し、特定された把持態様に応じて前記触覚データを補正する
付記1から付記4のいずれか1つに記載の仮想オブジェクト触覚提示システム。
(付記6)
前記触覚提示装置は、
前記触覚提示装置の把持態様を検知する把持センサを備え、
前記触覚提示装置又は前記情報処理装置は、
前記把持センサにて検知された把持態様に応じて前記触覚データを補正する
付記1から付記5のいずれか1つに記載の仮想オブジェクト触覚提示システム。
(付記7)
前記触覚提示装置は、
挟持可能な偏平形状をなす筐体と、
ユーザに力覚を与える湾曲した帯状の部材であり、基端部が前記筐体の周面に回動可能に支持され、先端部が前記筐体から切離する方向へ変位可能な変位部と、
前記基端部を支持する周面の反対側に形成された平面部と
を備え、
前記把持態様は、
前記基端部をユーザの手のひら側に配して、変位部と前記平面部とをユーザの人差し指と親指とで挟持する第1態様、
前記筐体の厚み方向からユーザの親指と中指とで挟持する第2態様、
前記平面部を外部の平坦面に設置し、変位部と前記平面部とを該平坦面とユーザの人差し指とで挟持する第3態様、
前記基端部をユーザの手のひらと反対側に配して、前記筐体の厚み方向からユーザの親指と中指とで挟持する第4態様、及び
変位部と前記平面部とを、ユーザの右手(又は左手)の手のひらと、左手(又は右手)の人差し指とで挟持する第5態様
の少なくとも一つを含む
付記1から付記6のいずれか1つに記載の仮想オブジェクト触覚提示システム。
(付記8)
前記触覚提示装置は、
ユーザの変位部への操作に対する反力により力覚を生じさせるデバイスを備え、
前記触覚提示装置又は前記情報処理装置は、
第2態様又は第4態様が選択された場合、反力が小さくなるように触覚データを補正する
付記7に記載の仮想オブジェクト触覚提示システム。
(付記9)
前記触覚提示装置は、
ユーザの変位部への操作に対する反力により力覚を生じさせるデバイスを備え、
前記触覚提示装置又は前記情報処理装置は、
第3態様又は第5態様が選択された場合、反力が大きくなるように触覚データを補正する。
付記7又は付記8に記載の仮想オブジェクト触覚提示システム。
(付記10)
仮想オブジェクトを触覚的に提示する触覚提示装置と通信し、前記仮想オブジェクトの触覚提示に係る情報を処理する情報処理装置であって、
前記仮想オブジェクトを触覚的に提示するための触覚データを記憶する記憶部と、
前記触覚提示装置を把持する態様に応じて、前記記憶部が記憶する前記触覚データを補正する処理部と、
前記処理部によって補正された前記触覚データを前記触覚提示装置へ送信する通信部と
を備える情報処理装置。
(付記11)
仮想オブジェクトを触覚的に提示する触覚提示装置であって、
前記仮想オブジェクトを触覚的に提示するための触覚データと、自装置の把持態様を示す把持態様データとを受信する通信部と、
受信した前記触覚データを、受信した把持態様データが示す把持態様に応じて補正し、補正された触覚データに基づいて触覚提示を制御する制御部と
を備える
触覚提示装置。
(付記12)
ユーザに触覚を提示する触覚提示装置と、情報処理装置とを備える触覚提示システムであって、
前記触覚提示装置又は前記情報処理装置は、
前記触覚提示装置の把持態様を取得し、
取得した前記把持態様に基づいて、触覚を提示するための触覚データを決定するようにしてあり、
前記触覚提示装置は、
決定した触覚データに基づいて触覚を提示する
触覚提示システム。
(付記13)
前記触覚提示装置又は前記情報処理装置は、
前記触覚提示装置の把持態様を示すモデル画像を表示して前記把持態様の選択を受け付け、
前記把持態様の確定操作が行われるまで前記把持態様の選択を受け付ける処理を継続し、
前記触覚提示装置は、
前記把持態様の確定操作が行われるまで前記把持態様が選択される都度、選択された把持態様によって決定される触覚データに基づいて触覚を提示する
付記12に記載の触覚提示システム。
(付記14)
前記触覚提示装置又は前記情報処理装置は、
前記把持態様が選択される都度、前記モデル画像を変更する
付記12又は付記13に記載の触覚提示システム。
(付記15)
前記触覚提示装置の複数の異なる把持態様をそれぞれ示す複数の前記モデル画像を表示し、該複数のモデル画像を用いて、把持態様の選択を受け付ける
付記12~付記14のいずれか1項に記載の触覚提示システム。
(付記16)
前記情報処理装置は、
前記触覚提示装置の把持態様に応じて、前記触覚データを補正し、補正された前記触覚データを前記触覚提示装置へ送信する
付記12から付記15のいずれか1つに記載の触覚提示システム。
(付記17)
前記情報処理装置は、
前記触覚データを前記触覚提示装置へ送信し、
前記触覚提示装置は、
前記触覚データを受信し、受信した前記触覚データを、前記触覚提示装置の把持態様に応じて補正する
付記12から付記16のいずれか1つに記載の触覚提示システム。
(付記18)
前記触覚提示装置又は前記情報処理装置は、
前記触覚提示装置を操作するユーザの手を撮像する撮像部にて把持態様を取得する
付記12から付記17のいずれか1つに記載の触覚提示システム。
(付記19)
前記触覚提示装置又は前記情報処理装置は、
前記触覚提示装置に設けられた把持センサにて把持態様を取得する
付記12から付記18のいずれか1つに記載の触覚提示システム。
【符号の説明】
【0138】
1 :視覚提示装置
2 :触覚提示装置
3 :サーバ装置
8 :記憶媒体
10 :処理部
11 :記憶部
12 :第1通信部
13 :第2通信部
14 :表示部
15 :音声出力部
16 :操作部
17 :撮像部
20 :制御部
21 :触覚データ記憶部
22 :通信部
23 :電源部
24 :MRFデバイス
25 :変位センサ
26 :把持センサ
100 :ゲームシステム
201 :把持体
202 :変位部
203 :結束具
204 :リンク機構
C :キャラクタ
感覚DB :110
N :ネットワーク
P1 :ゲームアプリ
P2 :制御プログラム
P3 :サーバプログラム