特開 2023-148854 制御装置、制御方法、触覚提示システム及びコンピュータプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2023148854

(43)【公開日】2023-10-13

(54)【発明の名称】制御装置、制御方法、触覚提示システム及びコンピュータプログラム

(51)【国際特許分類】

   G06F 3/01 20060101AFI20231005BHJP

【ＦＩ】

G06F3/01 560

G06F3/01 514

【審査請求】未請求

【請求項の数】6

【出願形態】ＯＬ

(21)【出願番号】P 2022057119

(22)【出願日】2022-03-30

(71)【出願人】

【識別番号】000142595

【氏名又は名称】株式会社栗本鐵工所

(74)【代理人】

【識別番号】100114557

【弁理士】

【氏名又は名称】河野 英仁

(74)【代理人】

【識別番号】100078868

【弁理士】

【氏名又は名称】河野 登夫

(72)【発明者】

【氏名】赤岩 修一

(72)【発明者】

【氏名】木野井 慶介

【テーマコード（参考）】

5E555

【Ｆターム（参考）】

5E555AA08

5E555BA04

5E555BB04

5E555BB08

5E555BC04

5E555CA27

5E555CB59

5E555CC22

5E555DA24

5E555DC30

5E555FA01

(57)【要約】

【課題】姿勢に応じた制御によって、触覚の知覚度を苦情させる制御装置、制御方法、触覚提示システム及びコンピュータプログラムを提供する。
【解決手段】制御装置は、操作者の操作に対して変位可能に設けられた変位部を有し、変位部の変位量に応じて、前記変位部への操作に対する力覚を生じさせ、表示される対象物の触覚を提示する触覚提示装置の制御装置であって、前記変位部の変位量に対応付けて、前記力覚を生じさせる制御データと、制御データによる触覚の提示内容を変更する前記触覚提示装置の姿勢のデータとを、前記対象物毎に記憶しておき、前記触覚提示装置の姿勢に応じて、前記力覚を生じさせる制御データを変更する。
【選択図】図１

【特許請求の範囲】

【請求項1】

操作者の操作に対して変位可能に設けられた変位部を有し、変位部の変位量に応じて、前記変位部への操作に対する力覚を生じさせ、表示される対象物の触覚を提示する触覚提示装置の制御装置であって、
前記変位部の変位量に対応付けて、前記力覚を生じさせる制御データと、制御データによる触覚の提示内容を変更する前記触覚提示装置の姿勢のデータとを、前記対象物毎に記憶しておき、
前記触覚提示装置の姿勢に応じて、前記力覚を生じさせる制御データを変更する
制御装置。

【請求項2】

前記触覚提示装置の姿勢が特定の姿勢である場合、前記触覚提示装置による触覚の提示を中断させる
請求項１に記載の制御装置。

【請求項3】

前記対象物毎に、前記触覚提示装置の姿勢別に、前記変位部の変位量に対応付けて前記力覚を生じさせる制御データを記憶しておき、
前記姿勢別の、制御データを前記触覚提示装置へ出力する
請求項２に記載の制御装置。

【請求項4】

操作者の操作に対して変位可能に設けられた変位部を有し、変位部の変位量に応じて、前記変位部への操作に対する力覚を生じさせ、表示される対象物の触覚を提示する触覚提示装置の制御方法であって、
前記触覚提示装置に接続されるコンピュータが、
前記変位部の変位量に対応付けて、前記力覚を生じさせる制御データと、制御データによる触覚の提示内容を変更する前記触覚提示装置の姿勢のデータとを、前記対象物毎に記憶しておき、
前記触覚提示装置の姿勢に応じて、前記力覚を生じさせる制御データを変更する
処理を含む制御方法。

【請求項5】

操作者の操作に対して変位可能に設けられた変位部を有し、変位部の変位量に応じて、前記変位部への操作に対する力覚を生じさせ、表示される対象物の触覚を提示する触覚提示装置と、
前記触覚提示装置と通信接続し、表示部を備える情報処理装置と
を含み、
前記触覚提示装置は、姿勢を検知するセンサを更に備え、
前記情報処理装置は、
前記変位部の変位量に対応付けて、前記力覚を生じさせる制御データと、制御データによる触覚の提示内容を変更する前記触覚提示装置の姿勢のデータとを、前記対象物毎に記憶しておき、
前記触覚提示装置の前記センサにて検知される姿勢に応じて、前記力覚を生じさせる制御データを変更し、
前記センサから得られる姿勢及び前記変位部の変位量に応じて前記表示部に画像を出力する
触覚提示システム。

【請求項6】

操作者の操作に対して変位可能に設けられた変位部を有し、変位部の変位量に応じて、前記変位部への操作に対する力覚を生じさせ、表示される対象物の触覚を提示する触覚提示装置に接続されるコンピュータに、
前記変位部の変位量に対応付けて、前記力覚を生じさせる制御データと、制御データによる触覚の提示内容を変更する前記触覚提示装置の姿勢のデータとを、前記対象物毎に記憶しておき、
前記触覚提示装置の姿勢に応じて、前記力覚を生じさせる制御データを変更する
処理を実行させるコンピュータプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、触覚提示装置に関し、触覚の知覚度を向上させる触覚提示装置の制御装置、制御方法、触覚提示システム及びコンピュータプログラムに関する。

【背景技術】

【0002】

人間の五感のうち、視覚及び聴覚に係る画像及び音声の伝達技術が高精度化しており、昨今では、触覚を提示する技術（ハプティクス）が種々提案されている。

【0003】

触覚の提示技術としては、タッチパネル内蔵のディスプレイに表示された物体の画像に触れた際の振動、主に三種の振動（ＥＲＭ：Eccentric Rotating Mass 、ＬＲＡ：Linear resonant Actuator、ピエゾ素子）での再現が提案されている。しかしながらタッチパネル上での触覚提示では、より深部での触覚、つまり手指の皮膚のみならず、筋や腱で生じる力覚まで再現することは困難である。

【0004】

発明者らは、磁気粘性流体に対する知見に基づいて、操作者が操作可能であって、対象物によって異なる感触を再現する触覚提示装置を提案した（特許文献１等）。

【先行技術文献】

【特許文献】

【0005】

【特許文献1】特許第６９０６２７５号

【発明の概要】

【発明が解決しようとする課題】

【0006】

触覚提示装置は、操作者の操作によって基部に対して変位可能な湾曲板等である変位部を備える。変位部は、触覚提示装置が制御されない状態では、操作者によって抵抗なく変位が可能であるが、制御中の触覚提示装置は、変位部の変位量（ポジション・角度）に応じて変位部に対し生じさせる力覚の大きさ、力覚の出力方法等を変えて感触を提示する。

【0007】

触覚提示装置は、操作者が手で把持して使用される。触覚提示装置は、手で握って持ち上げられる程度に小型なタイプで実現される場合は特に、様々な姿勢で用いられる。

【0008】

本発明は、斯かる事情を鑑みてなされたものであり、姿勢に応じた制御によって、触覚の知覚度を苦情させる制御装置、制御方法、触覚提示システム及びコンピュータプログラムを提供することを目的とする。

【課題を解決するための手段】

【0009】

本開示の一実施形態の制御装置は、操作者の操作に対して変位可能に設けられた変位部を有し、変位部の変位量に応じて、前記変位部への操作に対する力覚を生じさせ、表示される対象物の触覚を提示する触覚提示装置の制御装置であって、前記変位部の変位量に対応付けて、前記力覚を生じさせる制御データと、制御データによる触覚の提示内容を変更する前記触覚提示装置の姿勢のデータとを、前記対象物毎に記憶しておき、前記触覚提示装置の姿勢に応じて、前記力覚を生じさせる制御データを変更する。

【0010】

本開示の一実施形態の制御方法は、操作者の操作に対して変位可能に設けられた変位部を有し、変位部の変位量に応じて、前記変位部への操作に対する力覚を生じさせ、表示される対象物の触覚を提示する触覚提示装置の制御方法であって、前記触覚提示装置に接続されるコンピュータが、前記変位部の変位量に対応付けて、前記力覚を生じさせる制御データと、制御データによる触覚の提示内容を変更する前記触覚提示装置の姿勢のデータとを、前記対象物毎に記憶しておき、前記触覚提示装置の姿勢に応じて、前記力覚を生じさせる制御データを変更する処理を含む。

【0011】

本開示の一実施形態のコンピュータプログラムは、操作者の操作に対して変位可能に設けられた変位部を有し、変位部の変位量に応じて、前記変位部への操作に対する力覚を生じさせ、表示される対象物の触覚を提示する触覚提示装置に接続されるコンピュータに、前記変位部の変位量に対応付けて、前記力覚を生じさせる制御データと、制御データによる触覚の提示内容を変更する前記触覚提示装置の姿勢のデータとを、前記対象物毎に記憶しておき、前記触覚提示装置の姿勢に応じて、前記力覚を生じさせる制御データを変更する処理を実行させる。

【0012】

本開示の制御装置、制御方法及びコンピュータプログラムでは、触覚提示装置の変位部の変位量に加えて、触覚提示装置の姿勢の情報を参照して制御データが変更される。姿勢がどのようなものかに応じて、処理を中断したり、姿勢に応じた制御内容へ切り替えるといった処理が可能になる。

【0013】

本開示の一実施形態の制御装置は、前記触覚提示装置の姿勢が特定の姿勢である場合、前記触覚提示装置による触覚の提示を中断させる。

【0014】

本開示の制御装置では、姿勢が特定の姿勢である場合には、触覚提示装置における触覚提示を中断する。適切な姿勢に限定して触覚提示が可能である。

【0015】

本開示の一実施形態の制御装置は、前記対象物毎に、前記触覚提示装置の姿勢別に、前記変位部の変位量に対応付けて前記力覚を生じさせる制御データを記憶しておき、前記姿勢別の、制御データを前記触覚提示装置へ出力する。

【0016】

本開示の制御装置では、姿勢に応じて異なる触覚となるように制御することも可能である。対象物に対する接触の向きに応じた触覚の提示も可能である。

【0017】

本開示の一実施形態の触覚提示システムは、操作者の操作に対して変位可能に設けられた変位部を有し、変位部の変位量に応じて、前記変位部への操作に対する力覚を生じさせ、表示される対象物の触覚を提示する触覚提示装置と、前記触覚提示装置と通信接続し、表示部を備える情報処理装置とを含み、前記触覚提示装置は、姿勢を検知するセンサを更に備え、前記情報処理装置は、前記変位部の変位量に対応付けて、前記力覚を生じさせる制御データと、制御データによる触覚の提示内容を変更する前記触覚提示装置の姿勢のデータとを、前記対象物毎に記憶しておき、前記触覚提示装置の前記センサにて検知される姿勢に応じて、前記力覚を生じさせる制御データを変更し、前記センサから得られる姿勢及び前記変位部の変位量に応じて前記表示部に画像を出力する。

【0018】

本開示の触覚提示システムでは、触覚提示装置の変位部の変位量に加えて、触覚提示装置の姿勢の情報を参照して制御データ及び表示部における表示が変更される。姿勢がどのようなものかに応じて、処理を中断したり、姿勢に応じた制御内容へ切り替えるといった処理が可能になる。

【発明の効果】

【0019】

本開示によれば、触覚提示装置自体の姿勢に応じた制御が可能となり、触覚の知覚度を向上させることができる。

【図面の簡単な説明】

【0020】

【図1】触覚提示システムを示す模式図である。

【図2】情報処理装置の構成を示すブロック図である。

【図3】感覚ＤＢの内容例を示す説明図である。

【図4】触覚提示装置の構成を示すブロック図である。

【図5】触覚提示システムにおける触覚提示の処理手順の一例を示すフローチャートである。

【図6】触覚提示システムにおける触覚提示の処理手順の一例を示すフローチャートである。

【図7】触覚提示システムにおける触覚提示の例を示す概要図である。

【図8】第２実施形態における触覚データの内容例を示す。

【図9】第２実施形態における触覚提示の処理手順の一例を示すフローチャートである。

【図10】第２実施形態における触覚提示の処理手順の一例を示すフローチャートである。

【図11】第２実施形態における触覚提示システムにおける触覚提示の例を示す概要図である。

【図12】第３実施形態における触覚提示システムの概要図である。

【図13】第３実施形態のＨＭＤの構成を示すブロック図である。

【発明を実施するための形態】

【0021】

本開示をその実施の形態を示す図面を参照して具体的に説明する。以下の実施の形態では、触覚提示システムにおける設定方法の実施について説明する。

【0022】

（第１実施形態）
図１は、触覚提示システム１００を示す模式図である。触覚提示システム１００は、情報処理装置１と、触覚提示装置２とを含む。情報処理装置１と、触覚提示装置２とは近距離無線通信で通信接続され、相互にデータを授受する。

【0023】

情報処理装置１は、図１に示すようにスマートフォンを用いる。情報処理装置１は、スマートフォンでなく、タブレット端末であってもよいし、ラップトップ型のＰＣ（Personal Computer）であってもよい。

【0024】

触覚提示装置２は、操作者が指を変位部２０２に沿えて持ちながら指を動かして操作できる装置である。触覚提示装置２は、操作者が指を動かすことで変位する変位部２０２の位置を読み取り、内蔵するＭＲＦ（Magneto-Rheological Fluid ）デバイス２４をその位置に応じて制御して操作者の変位部２０２への操作に対する反力（回転抵抗）により力覚を生じさせ、触覚を提示する装置である。触覚提示装置２の変位部２０２の態様は、図１に示すようなものに限られず、スティック状であってもよいし、カバーに覆われたクッション状のものであってもよい。触覚提示装置２は、ＭＲＦデバイス２４に代えて、モータやピエゾ素子などを採用し、操作者の操作に対し回転力や振動により力覚を生じさせるものでもよく、変位部２０２の他、振動や温感、冷感を提示するものと組み合わされてもよい。指輪状など、操作者の指に装着され、他の指で操作する構造でもよい。

【0025】

触覚提示システム１００では、触覚提示装置２は、情報処理装置１と連携し、情報処理装置１又は他の表示装置やスピーカ等を用いて対象物の画像及び音声を出力させながら、対象物の触覚を触覚提示装置２で出力させる。図１に示す例では、情報処理装置１の表示部１３に、柔らかな物体を表示させ、操作者が触覚提示装置２の変位部２０２を指で押し込むと、触覚提示装置２がグニャリ、若しくはフワフワとした触覚を出力させつつ、表示部１３に、物体が、押し込まれたように変化する画像を表示させ、音声出力部１４にて物体が押し込まれたことに対応する「グニャリ」と聞こえるような音声を出力する。

【0026】

図２は、情報処理装置１の構成を示すブロック図である。情報処理装置１は、処理部１０、記憶部１１、通信部１２、表示部１３、音声出力部１４及び操作部１５を備える。処理部１０は、ＣＰＵ（Central Processing Unit ）及び／又はＧＰＵ（Graphics Processing Unit）を用いたプロセッサである。処理部１０は、記憶部１１に記憶されている触覚提示用の制御プログラムＰ１に基づき、後述する処理を実行する。

【0027】

記憶部１１は、フラッシュメモリ、ＳＳＤ（Solid State Drive ）等の不揮発性メモリを用いる。記憶部１１は、処理部１０が参照するデータを記憶する。制御プログラムＰ１（プログラム製品）は、通信部１２を介して情報処理装置１又は他のプログラムサーバ装置からダウンロードして実行可能に記憶したものである。記憶部１１に記憶されている制御プログラムＰ１は、コンピュータから読み取り可能な記憶媒体８に記憶されていたコンピュータプログラムＰ８を処理部１０が読み出して記憶したものであってもよい。

【0028】

記憶部１１は、出力する対象物の触覚データ、視覚データ及び聴覚データを含む感覚データベース（ＤＢ：Data Base ）１１０を記憶する。感覚ＤＢ１１０は、対象物を識別する対象物ＩＤに対応付けて、触覚提示装置２における変位部の変位データ毎に、その変位において出力すべき触覚データ、視覚データ（画像、動画）、及び聴覚データ（音声）を格納している（図３参照）。記憶部１１は更に、後述する触覚提示装置２の傾きに関する設定データを記憶する。

【0029】

通信部１２は、近距離無線通信、例えばBluetooth（登録商標）の通信モジュールである。処理部１０は、通信部１２によって触覚提示装置２との間でデータを送受信できる。

【0030】

表示部１３は、液晶ディスプレイ、有機ＥＬ（Electro Luminescence）ディスプレイ等のディスプレイである。表示部１３は例えば、タッチパネル内蔵型ディスプレイである。処理部１０は、表示部１３に、制御プログラムＰ１に基づき、触覚提示装置２で触覚を出力させるための操作画面や対象物の画像を表示する。

【0031】

音声出力部１４は、スピーカ等を含む。処理部１０は、制御プログラムＰ１に基づき、対象物の音声、音楽等を音声出力部１４から出力させる。

【0032】

操作部１５は、処理部１０との間で入出力が可能なユーザインタフェースであって、表示部１３内蔵のタッチパネルである。操作部１５は、物理ボタンであってもよい。操作部１５は、音声入力部であってもよい。

【0033】

図３は、感覚ＤＢ１１０の内容例を示す説明図である。感覚ＤＢ１１０は、図３に示すように、対象物ＩＤに対応付けて、変位部２０２の変位量（角度）毎の触覚提示装置２のＭＲＦデバイスへの電流の電流値を触覚データとして格納している。電流値に限らず、電圧値等であってもよい。対象物は複数であり、触覚を提示する物として実在する物体、例えば、ボール又は風船等の静物、グミ、野菜、又は果物等の食べ物、犬、猫又は魚等の動物を含んでもよいし、スライムやモンスター等のキャラクタを含んでもよい。

【0034】

感覚ＤＢ１１０の変位部２０２の変位量と、電流値との関係は、変位部２０２の可動範囲の実際の寸法と、対象物の寸法とに合わせて設定されている。例えば、変位部２０２の可動範囲が５０ｍｍであり、対象物が小さなグミのような破裂しない球体であって大きさが１５ｍｍに設定されている場合、触覚は最初の１５ｍｍ程度の範囲で再現され、残りの３５ｍｍの範囲は、それ以上押し込めないほどの感触となるような回転抵抗を生じさせる電流値が設定されている。又は、１２ｍｍ～１５ｍｍの範囲は押し込めなくなる大きな電流値が設定され、それ以降の電流値はゼロに設定されていてもよい。また、対象物がソファの座面のような大きな物体であって大きさが変位部２０２の可動範囲を大きく超える場合、触覚データでは、ソファの座面表面から５０ｍｍまでの感触を提示するような電流値が設定される。対象物がモンスター等の仮想的なキャラクタの場合は、そのキャラクタの設定に応じた大きさに基づいて電流値が設定される。

【0035】

感覚ＤＢ１１０は、同様に、対象物ＩＤに対応付けて、変位部２０２の変位量（角度）毎の画像（フレーム画像）を視覚データとして格納している。ここでフレーム画像は、連続して表示することでアニメーション画像として認識される、１つの静止画像である。また同様にして、対象物ＩＤに対応付けて、変位部２０２の変位量（角度）毎の音声を聴覚データとして格納している。聴覚データは、各角度によって異なる波形データであってもよい。各角度に対応する音声のタイムスタンプであってもよい。

【0036】

図４は、触覚提示装置２の構成を示すブロック図である。触覚提示装置２は、図１に示したように、扁平な有底円筒状の把持体２００に周方向に一部沿うような湾曲部を有する帯状平板の変位部２０２を設けて構成される。変位部２０２は、それ自体が撓むことが可能な素材であるが、剛性の高い素材を採用し、把持体２００と支軸を介して回動可能に支持されていてもよい。変位部２０２の先端の外側の面には、布テープ状の結束具２０３が設けられている。変位部２０２の先端の内側面は、把持体２００内部に収容されているＭＲＦデバイス２４のロータの回転軸と連結するリンク機構２０４が設けられている。

【0037】

操作者は図１に示したように、把持体２００を例えば親指と中指とで把持しつつ、人差し指等の指を変位部２０２に沿わせて結束具２０３に人差し指を差し込んで使用する。操作者は人差し指を押し込むように変位部２０２を動かすことができ、また、人差し指を伸ばして把持体２００から変位部２０２を遠ざけるように動かすことができる。

【0038】

触覚提示装置２は、図１に示すような把持体２００と、制御部２０、記憶部２１、通信部２２、電源部２３、ＭＲＦデバイス２４、センサ２５を備える。把持体２００は、ＭＲＦデバイス２４を内蔵する。制御部２０、記憶部２１、通信部２２、及び電源部２３は把持体２００と一体に設けられてもよいし、把持体２００と無線又は有線により接続される別体に設けられてもよい。

【0039】

制御部２０は、ＣＰＵ、ＭＰＵ（Micro-Processing Unit ）等のプロセッサ、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）等のメモリを含む。制御部２０は、例えばマイクロコントローラである。制御部２０は、内蔵ＲＯＭに記憶されている制御プログラムＰ２に基づいて各構成部を制御し、触覚提示を実現する。

【0040】

記憶部２１は、制御部２０に対する補助記憶メモリであり、ＭＲＦデバイス２４の制御データ（触覚データ）を書き換え可能に記憶する。

【0041】

通信部２２は、近距離無線通信、例えばBluetooth（登録商標）の通信モジュールである。制御部２０は、通信部２２によって情報処理装置１との間でデータを送受信できる。

【0042】

制御部２０は、電源部２３、ＭＲＦデバイス２４及びセンサ２５とＩ／Ｏを介して接続されており、相互に信号を授受する。

【0043】

電源部２３は、充電可能なバッテリを含む。電源部２３は、ＯＮ状態になると各構成部及びＭＲＦデバイス２４へ電力を供給する。

【0044】

ＭＲＦデバイス２４は、円板状のロータを、隙間を開けて挟むようにして設けられたヨークを有し、ヨークに設けられたコイルに制御電流を流して磁界を発生させ、隙間に封入されている磁気粘性流体の粘度（ずり応力）を制御してロータの回転抵抗を与える。制御部２０が、ＭＲＦデバイス２４への制御電流の大きさを制御すると即座に回転抵抗が変更される。

【0045】

センサ２５は、変位部２０２の変位量（角度）を測定して制御部２０へ出力する。センサ２５は、角度センサ２５１と、ジャイロセンサ２５２とを含む。角度センサ２５１は、変位部２０２の変位を角度として測定して出力する。ジャイロセンサ２５２は、三軸方向の傾きを検知し、触覚提示装置２の把持体２００の中心及び変位部２０２の先端部を結ぶ線が鉛直方向に向かう姿勢を初期姿勢として、触覚提示装置２の傾きを出力する。センサ２５は、そのほか、加速度センサを含んで構成されてもよい。

【0046】

上述のように構成される触覚提示装置２では、変位部２０２が操作者によって操作されると、変位部２０２の変位がリンク機構２０４を介してＭＲＦデバイス２４のロータの回転軸への回転方向に伝達される。回転軸は、ＭＲＦデバイス２４が動作していない場合、即ち制御電流がゼロである間は、自由に回転するため、変位部２０２は抵抗なく変動する。一方で、ＭＲＦデバイス２４が動作し、制御電流がゼロでない場合には、ＭＲＦデバイス２４へ流れる電流の大きさに応じてＭＲＦデバイス２４内部の磁気粘性流体の粘度（ずり応力）が変更される。制御部２０が、ＭＲＦデバイス２４への電流の大きさを連続的に変更したり、電流値を所定の周波数で振動させたりすることで、変位部２０２に対する抵抗の力やその出現方法を変更できる。

【0047】

このようにして触覚提示装置２は、変位部２０２の押し込む量（変位量）に応じて抵抗（電流値）を変動させてヌルリとした触覚を提示したり、押し込む量が大きくなるにつれて抵抗を大きくしてギュッとした固さの触覚を提示したり、抵抗の大小を繰り返してザクザクとした触覚を提示したりすることができる。

【0048】

また、第１実施形態における触覚提示装置２は、特定の姿勢になったことを検知すると触覚の提示処理を中断する。特定の姿勢に対応する傾きの情報を設定データとして情報処理装置１の記憶部１１に記憶しておき、情報処理装置１及び触覚提示装置２で参照して用いる。特定の姿勢は例えば、変位部２０２の幅方向（左右方向）に９０°以上倒した姿勢である。特定の姿勢はその他、変位部２０２の長さ方向に９０°以上倒した姿勢であってもよい。特定の姿勢に加えて変位部２０２の変位の仕方又は触覚提示装置２に与えられる振動との組み合わせであってもよい。

【0049】

図５及び図６は、触覚提示システム１００における触覚提示の処理手順の一例を示すフローチャートである。情報処理装置１の処理部１０は、操作者が制御プログラムＰ１を起動させ、触覚提示装置２の電源をＯＮとすると、触覚提示装置２と連携して以下の処理を開始する。

【0050】

処理部１０は、触覚を表示する対象物の候補のリストを含む操作画面を表示部に表示し（ステップＳ１０１）、対象物の選択を受け付ける（ステップＳ１０２）。処理部１０は、選択された対象物の対象物ＩＤに対応する触覚データ、視覚データ及び聴覚データを記憶部１１の感覚ＤＢ１１０から読み出して一時記憶する（ステップＳ１０３）。

【0051】

処理部１０は、触覚提示装置２と通信部１２による通信を確立させ（ステップＳ１０４）、一時記憶した補正後の触覚データを、触覚提示装置２へ送信する（ステップＳ１０５）。処理部１０は、設定データに含まれている触覚提示装置２の特定の姿勢の範囲のデータを触覚提示装置２へ送信する（ステップＳ１０６）。

【0052】

処理部１０は、表示部１３に触覚提示を開始することを表示させる（ステップＳ１０７）。

【0053】

触覚提示装置２の制御部２０は、触覚データを受信して記憶部２１に記憶し（ステップＳ２０１）、特定の姿勢の範囲のデータを受信して記憶部２１に記憶する（ステップＳ２０２）。

【0054】

制御部２０は、角度センサ２５１から出力される変位部２０２の変位量（角度）に対応する信号をサンプリングする（ステップＳ２０３）。制御部２０は、ジャイロセンサ２５２から出力させる触覚提示装置２の傾きを示す信号をサンプリングする（ステップＳ２０４）。

【0055】

制御部２０は、サンプリングにより得られた傾きが、ステップＳ２０２で記憶した特定の姿勢の範囲に含まれるか否かを判断する（ステップＳ２０５）。特定の範囲に含まれると判断された場合（Ｓ２０５：ＹＥＳ）、制御部２０は、触覚の提示を中断することを情報処理装置１へ通知し（ステップＳ２０６）、処理をステップＳ２０３へ処理を戻す。

【0056】

特定の範囲に含まれないと判断された場合（Ｓ２０５：ＮＯ）、制御部２０は、サンプリングにより得られた変位量及び傾きを、情報処理装置１へ送信し（ステップＳ２０７）、得られた変位量に対応する電流値を、記憶部２１に記憶した触覚データから参照し（ステップＳ２０８）、参照した電流をＭＲＦデバイス２４へ出力し（ステップＳ２０９）、処理をステップＳ２０３へ戻す。ステップＳ２０３－Ｓ２０９の処理は、情報処理装置１側で終了させる操作がされるまで継続する。

【0057】

ステップＳ２０９において制御部２０は、ステップＳ２０４で検知した傾きに応じて出力させる電流を変化させてもよい。例えば、姿勢が変位部２０２の長さ方向に前転するようなものとなっている場合には、出力電流を２倍にする、といった制御をしてもよい。

【0058】

情報処理装置１は、触覚提示装置２から触覚の提示の中断の通知を受信したか否かを判断する（ステップＳ１０８）。受信したと判断された場合（Ｓ１０８：ＹＥＳ）、処理部１０は、表示部１３に、触覚提示を中断することを表示し（ステップＳ１０９）、処理をステップＳ１０８へ戻す。ステップＳ１０９において処理部１０は、表示部１３をスリープ（表示の出力を消す）させるようにしてもよい。

【0059】

受信していないと判断された場合（Ｓ１０８：ＮＯ）、処理部１０は、変位量及び傾きを受信し（ステップＳ１１０）、受信した変位量に対応する画像及び音声を記憶部１１の視覚データ及び聴覚データから参照する（ステップＳ１１１）。処理部１０は、視覚データ及び聴覚データそれぞれを表示部１３及び音声出力部１４から出力させ（ステップＳ１１２）、処理をステップＳ１０８へ戻す。触覚提示装置２から変位量が送信される都度、情報処理装置１は、それに対応する画像及び音声を出力する。

【0060】

ステップＳ１１２において処理部１０は、ステップＳ１１０で受信した傾きに応じて画像や音声を変化させて出力させてもよい。

【0061】

処理部１０は、終了操作がされたか否かを判断する（ステップＳ１１３）。終了操作がされていないと判断された場合（Ｓ１１３：ＮＯ）、処理をステップＳ１０８へ戻し、ステップＳ１０８－Ｓ１１３の処理を繰り返す。

【0062】

終了操作がされたと判断された場合（Ｓ１１３：ＹＥＳ）、と処理部１０は、表示を終了して触覚提示装置２との通信を切断し（ステップＳ１１４）、処理を終了する。

【0063】

図７は、触覚提示システム１００における触覚提示の例を示す概要図である。図７には、触覚提示装置２に送信される触覚データにおける変位量に対応して表示部１３に表示される画像の変化及び音声の変化を示す。図７に示すように、変位部２０２の押し込み量に応じて、画像が変化し、触覚に対応する凹み方が変わる。図７に示すように、画像中に、操作者の指の画像を表示する場合、接触、即ちＭＲＦデバイス２４へ出力する初期位置（変位量がゼロ）の場所から、画像における対象物に接触する指の画像が表示されるようにしてもよい。

【0064】

第１実施形態では、図７中の最下部に示すように、触覚提示装置２が変位部２０２の幅方向に９０°以上倒された姿勢となると、触覚提示装置２における触覚の提示が中断されるとともに、画像及び音声の出力も中断される。操作者は、その姿勢では触覚提示装置２で触覚の提示がされないように制御されることを認識し、触覚提示がされる範囲内で自身が操作しやすい姿勢で触覚提示装置２を使用する。

【0065】

このように、触覚提示装置２から出力される触覚を、触覚提示装置２の姿勢に応じて中断することで、操作者が触覚提示装置２を適切に使用することができ、操作者による知覚度が向上する。

【0066】

（第２実施形態）
第２実施形態では、触覚提示装置２に搭載されているジャイロセンサ２５２を用い、触覚提示装置２の変位部２０２の変位量のみならず、姿勢によって触覚提示装置２にて提示される触覚を変更する。

【0067】

図８は、第２実施形態における触覚データの内容例を示す。図８に示すように、第２実施形態では、感触ＤＢ１１０における触覚データは、対象物ＩＤに対応付けて、姿勢別に、変位部２０２の変位量（角度）毎の触覚提示装置２のＭＲＦデバイスへの電流の電流値を触覚データとして格納している。視覚データ及び聴覚データについても同様に、姿勢別に記憶されているとよい。

【0068】

図８に示したような姿勢別の触覚データを用いた制御について説明する。図９及び図１０は、第２実施形態における触覚提示の処理手順の一例を示すフローチャートである。図９及び図１０のフローチャートに示す処理手順のうち、第１実施形態における図５及び図６のフローチャートに示した処理手順と共通する手順については同一のステップ番号を付して詳細な説明を省略する。

【0069】

処理部１０は、ステップＳ１０２で受け付けた対象物の対象物ＩＤに対応する姿勢別の触覚データ、視覚データ及び聴覚データを記憶部１１の感覚ＤＢ１１０から読み出して一時記憶する（ステップＳ１２３）。

【0070】

通信接続が確立されると、処理部１０は、姿勢別の触覚データを触覚提示装置２へ送信し（ステップＳ１２５）、特定の姿勢の範囲のデータも送信する（Ｓ１０６）。

【0071】

触覚提示装置２では、制御部２０が姿勢別の触覚データを受信して記憶し（ステップＳ２２１）、以後用いる。制御部２０は、変位量及び傾きをサンプリングし（Ｓ２０３，Ｓ２０４）、傾きが特定の範囲に含まれないと判断した場合（Ｓ２０５：ＮＯ）、姿勢に対応する触覚データから、検知した変位量に対応する電流値を参照する（ステップＳ２２８）。制御部２０は、参照した電流値の電流をＭＲＦデバイス２４へ出力し（Ｓ２０９）、処理をステップＳ２０３へ戻す。

【0072】

情報処理装置１において処理部１０は、変位量及び傾きを受信すると（Ｓ１０１）、受信した傾きに対応する姿勢及び変位量の視覚データ及び聴覚データを参照し（ステップＳ１３１）、参照した視覚データ及び聴覚データに基づいて画像及び音声を出力する（Ｓ１１２）。

【0073】

図１１は、第２実施形態における触覚提示システム１００における触覚提示の例を示す概要図である。図１１には、第１実施形態と同様に、触覚提示装置２に送信される触覚データにおける変位量に対応して表示部１３に表示される画像の変化及び音声の変化を示す。図１１に示すように、変位部２０２の押し込み量に応じて、画像が変化し、触覚に対応する凹み方が変わる。画像中に、操作者の指の画像を表示する場合、接触、即ちＭＲＦデバイス２４へ出力する初期位置（変位量がゼロ）の場所から、画像における対象物に接触する指の画像が表示されるようにしてもよい。

【0074】

そして第２実施形態においては、図１１に示すように、触覚提示装置２の姿勢が６０°以上傾いているか否かによって、感触及び表示される画像が変更される。図１１の例では、上から潰した感触と、横から触った感触とで変更されている。指の画像の角度も変更している。このように、触覚提示装置２の変位部２０２の変位量に、更に、触覚提示装置２自体の姿勢を組み合わせることで、触覚の知覚度をより向上させることができる。

【0075】

（第３実施形態）
第３実施形態では、ＨＭＤ（Head Mounted Display）を用い、対象物に対する視覚情報を三次元画像で提示する。図１２は、第３実施形態における触覚提示システム１００の概要図であり、図１３は、ＨＭＤ３の構成を示すブロック図である。第３実施形態における触覚提示システム１００の構成は、ＨＭＤ３を用いることと、ＨＭＤ３を用いることによる詳細な処理の内容が異なること以外は、第１実施形態における触覚提示システム１００と同様の構成である。したがって、第３実施形態の触覚提示システム１００の構成のうち、第１実施形態の触覚提示システム１００と共通する構成については同一の符号を付して詳細な説明を省略する。

【0076】

ＨＭＤ３は、表示部３１、動き検知部３２、空間検知部３３、及び接続部３４を備える。ＨＭＤ３は、本体に、表示部３１、動き検知部３２、空間検知部３３及び接続部３４を設けてもよいし、一部は別体に設けられて相互に通信媒体を介して制御信号を授受できるようにしてあってもよい。ＨＭＤ３は、情報処理装置１の機能を有して一体に構成されてもよい。

【0077】

表示部３１は例えば、小型の液晶ディスプレイ、光学レンズ及び光学系機構を備え、視野角１１０°以上で三次元画像を表示することが可能である。表示部３１は、透明又は半透明のグラス状のディスプレイであり、操作者の実際の視界に、情報処理装置１から出力される画像信号（映像信号を含む）を受け付けて重畳表示させる。表示部３１はグラス状のものに限られず、前方に向けて設けられたカメラにて実空間を撮影した画像に、情報処理装置１から出力される画像信号に基づく画像を重畳表示させるものであってもよい。

【0078】

動き検知部３２は、本体（表示部３１のカバー及び装着ベルト）の各所に、多様な向きで設けられた複数の三軸加速度センサ及びジャイロセンサと、これらのセンサ群からの信号を集約して出力する制御回路とを備える。動き検知部３２により、装着者の頭部の動きが検知される。

【0079】

空間検知部３３は、本体の外面に外向きに並設された２つ以上の赤外線カメラと、該赤外線カメラの中間位置に同様に外向きに赤外線を照射するように設けられた赤外線ＬＥＤとを用いる。空間検知部３３は、ＨＭＤ３の本体の外側に存在する物体までの距離を測定する深度センサとして機能する。空間検知部３３は、ＨＭＤ３本体から、ＨＭＤ３を装着する操作者の居場所における壁、床等の静物に対する距離を測り、出力することが可能である。空間検知部３３は同様に、ＨＭＤ３本体から操作者の腕、手、指までの距離を測定し、出力することが可能である。

【0080】

接続部３４は、情報処理装置１と接続するためのインタフェースである。ＨＭＤ３は、動き検知部３２及び空間検知部３３にて測定された結果に対応する信号をそれぞれ、情報処理装置１へ出力すると共に、情報処理装置１から出力される映像信号を取得して表示部３１に表示させる。

【0081】

ＨＭＤ３にスピーカを設け、情報処理装置１の音声出力部１４から出力される音声をスピーカにて出力させるようにしてもよい。

【0082】

上述したような構成の第３実施形態の触覚提示システム１００において情報処理装置１は、ＨＭＤ３を用い、空間検知部３３で測定された実空間における静物に対する距離を用い、仮想的な対象物の三次元画像を、動き検知部３２にて検知される操作者の動きに合わせて重畳表示し、ＡＲ表示を実現する。対象物の選択は、ＨＭＤ３の表示部３１に表示される仮想的対象物の三次元画像の画像内の座標（実空間と合致した座標）に対し、空間検知部３３により、触覚提示装置２を把持した手指を重ねたことが検知できた場合に、これを選択したものとして情報処理装置１の処理部１０が検知する。

【0083】

そして第３実施形態でも、情報処理装置１は、触覚提示装置２との間で変位量及び傾きのデータを授受して、ＡＲ表示される画像と触覚提示装置２にて出力される触覚を制御する。処理の内容は第１実施形態及び第２実施形態にて示した処理のいずれを実行してもよい。

【0084】

ＨＭＤ３を用いたＡＲ表示と触覚提示装置２とを組み合わせることにより、実空間に対象物を仮想的に配置した画像を、操作者は視覚的に観察しながら、その対象物の感触を触覚提示装置２で覚えることが可能である。その際に、第１実施形態にて説明したものと同様に、触覚提示装置２における触覚提示開始位置を、操作者それぞれに応じて補正することができることで、更に知覚度を向上させることができる。

【0085】

上述のように開示された実施の形態は全ての点で例示であって、制限的なものではない。本発明の範囲は、特許請求の範囲によって示され、特許請求の範囲と均等の意味及び範囲内での全ての変更が含まれる。

【符号の説明】

【0086】

１ 情報処理装置
１０ 処理部
１１ 記憶部
１３ 表示部
１３０ 設定画面
Ｐ１ 制御プログラム
２ 触覚提示装置
２０ 制御部
２１ 記憶部
２０２ 変位部
２４ ＭＲＦデバイス
２５ センサ
２５１ 角度センサ
２５２ ジャイロセンサ

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】