特開 2023-148749 入出力装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2023148749

(43)【公開日】2023-10-13

(54)【発明の名称】入出力装置

(51)【国際特許分類】

   G06F 3/01 20060101AFI20231005BHJP

   G06F 3/048 20130101ALI20231005BHJP

【ＦＩ】

G06F3/01 560

G06F3/01 570

G06F3/048

【審査請求】未請求

【請求項の数】6

【出願形態】ＯＬ

(21)【出願番号】P 2022056938

(22)【出願日】2022-03-30

(71)【出願人】

【識別番号】000142595

【氏名又は名称】株式会社栗本鐵工所

(74)【代理人】

【識別番号】100104444

【弁理士】

【氏名又は名称】上羽 秀敏

(72)【発明者】

【氏名】赤岩 修一

(72)【発明者】

【氏名】木野井 慶介

【テーマコード（参考）】

5E555

【Ｆターム（参考）】

5E555AA46

5E555BA01

5E555BB01

5E555BC01

5E555CA45

5E555CB66

5E555DA01

5E555DA21

5E555DA24

5E555DB53

5E555FA00

(57)【要約】

【課題】人の身体の動きに応じて、触覚を提示すると同時に、触覚と連動する音を発生する入出力装置を提供する。
【解決手段】人の身体の動きと無関係に能動的に触覚を提示する触覚提示装置を制御する入出力装置は、人の身体の動きに対応する触覚データを記憶する触覚データ記憶部と、人の身体の動きに対応する聴覚データを記憶する聴覚データ記憶部と、人の身体の動きを検知するモーションセンサにより検知された身体の動きに対応する触覚データを触覚データ記憶部から読み出し、読み出された触覚データに基づいて触覚を提示する触覚提示装置を制御する触覚制御部と、モーションセンサにより検知された身体の動きに対応する聴覚データを聴覚データ記憶部から読み出し、読み出された聴覚データに基づいてスピーカを制御する聴覚制御部とを備える。
【選択図】図１

【特許請求の範囲】

【請求項1】

人の身体の動きと無関係に能動的に触覚を提示する触覚提示装置を制御する入出力装置であって、
人の身体の動きに対応する触覚データを記憶する触覚データ記憶部と、
人の身体の動きに対応する聴覚データを記憶する聴覚データ記憶部と、
人の身体の動きを検知するモーションセンサにより検知された身体の動きに対応する触覚データを前記触覚データ記憶部から読み出し、読み出された触覚データに基づいて前記触覚提示装置を制御する触覚制御部と、
前記モーションセンサにより検知された身体の動きに対応する聴覚データを前記聴覚データ記憶部から読み出し、読み出された聴覚データに基づいてスピーカを制御する聴覚制御部とを備える、入出力装置。

【請求項2】

請求項１に記載の入出力装置であって、さらに、
人の身体の動きに対応する視覚データを記憶する視覚データ記憶部と、
前記モーションセンサにより検知された身体の動きに対応する視覚データを前記視覚データ記憶部から読み出し、読み出された視覚データに基づいて画像を表示する画像表示装置を制御する視覚制御部とを備える、入出力装置。

【請求項3】

請求項１に記載の入出力装置であって、
前記聴覚データは、前記人の身体の位置に対応し、
前記モーションセンサは、前記身体の位置を時間経過とともに計測して前記身体の動きを検知する、入出力装置。

【請求項4】

請求項１に記載の入出力装置であって、
前記聴覚データは、前記身体の動きの速度に対応し、
前記モーションセンサは、前記身体の位置を経過時間とともに計測して前記身体の動きを検知し、
前記入出力装置は、さらに、
前記モーションセンサにより計測された身体の位置及び経過時間に基づいて前記身体の動きの速度を算出する速度算出部を備え、
前記聴覚制御部は、前記速度算出部により算出された身体の動きの速度に対応する聴覚データを前記聴覚データ記憶部から読み出す、入出力装置。

【請求項5】

人の身体の動きと無関係に能動的に触覚を提示する触覚提示装置を制御する入出力方法であって、
モーションセンサにより検知された人の身体の動きを取得するステップと、
人の身体の動きに対応する触覚データを記憶する触覚データ記憶部から、前記モーションセンサにより検知された身体の動きに対応する触覚データを読み出し、読み出された触覚データに基づいて触覚を提示する触覚提示装置を制御するステップと、
人の身体の動きに対応する聴覚データを記憶する聴覚データ記憶部から、前記モーションセンサにより検知された身体の動きに対応する聴覚データを読み出し、読み出された聴覚データに基づいてスピーカを制御するステップとを含む、入出力方法。

【請求項6】

人の身体の動きと無関係に能動的に触覚を提示する触覚提示装置を制御する入出力プログラムであって、
モーションセンサにより検知された人の身体の動きを取得するステップと、
人の身体の動きに対応する触覚データを記憶する触覚データ記憶部から、前記モーションセンサにより検知された身体の動きに対応する触覚データを読み出し、読み出された触覚データに基づいて触覚を提示する触覚提示装置を制御するステップと、
人の身体の動きに対応する聴覚データを記憶する聴覚データ記憶部から、前記モーションセンサにより検知された身体の動きに対応する聴覚データを読み出し、読み出された聴覚データに基づいてスピーカを制御するステップとをコンピュータに実行させるための入出力プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、入出力装置に関し、より具体的には、人の身体の動きに応じて受動的に触覚を提示するとともに人の身体の動きと無関係に能動的に触覚を提示する触覚提示装置を制御する入出力装置に関する。

【背景技術】

【0002】

近年、仮想現実(VR; Virtual Reality)、拡張現実(AR; Augmented Reality)、複合現実(MR; Mixed Reality)等の技術を用いてメタバースと呼ばれる仮想空間を提供するサービスが始まっている。ユーザがヘッドマウントディスプレイを頭に装着すると、アバタとしてメタバースに入ることができる。メタバースでは、ユーザはヘッドマウントディスプレイで表示される３次元画像を見たり、スピーカで生成される音を聞いたりすることができる。ユーザはまた、両手に装着したコントローラを操作することにより、３次元画像として表示される仮想オブジェクトを動かすことができる。これと同時に、コントローラに対する操作に応じて特有の効果音が発生する場合もある。たとえば、ユーザがコントローラのボタンを押すと、「ピッ」という効果音が発生する。ユーザはこの効果音を聞き、ボタンを押したことを確認することができる。しかしながら、ボタンを押した量や押す速度に関わらず、操作と効果音が１対１に対応づけられているため、リアリティに欠ける。

【0003】

上記の技術は視覚と聴覚をユーザに与えるものであるが、これらに加え、触覚も与える技術もある。たとえば、ユーザがコントローラのボタンを押すと、効果音が発生すると同時に、コントローラが振動する。ユーザはこの振動を感じ、ボタンを押したことを確認することができる。しかしながら、効果音と同様に、操作と振動が１対１に対応づけられているため、リアリティに欠ける。

【0004】

一方、単純な振動ではなく、もっとリアルな触覚をユーザに提示できる装置も提案されている。

【0005】

たとえば、特開２０１７－１３８６５１号公報（特許文献１）は、映像に映し出された物体の力覚を操作者に提示する力覚提示装置に関し、複雑な制御を必要とすることなく、映像の動きと操作部において提示される力覚とを高い精度でリンクさせることが可能な力覚提示装置を開示する。しかし、この公報は、音の発生には全く言及していない。

【0006】

特開２０２０－１７１５９号公報（特許文献２）は、ディスプレイに表示される仮想オブジェクトの種類に応じた触覚をユーザの手に与えることができる仮想オブジェクト触覚提示装置を開示する。しかし、この公報も、音の発生には全く言及していない。

【0007】

特開２０１７－１７４３８１号公報（特許文献３）は、ハプティック効果を生成する方法を開示する。「ハプティック」とは、ユーザに対する力、振動、及び運動などのハプティックフィードバック効果（すなわち、「ハプティック効果」）をユーザに加えることによって、ユーザのタッチの検知を利用するハプティック及び力のフィードバック技術である。しかし、この公報も、音の発生には全く言及していない。

【0008】

ＷＯ２０１８／１１００３公報（特許文献４）は、表示部により表示される仮想オブジェクトに対するユーザのモーション情報を取得する取得部と、モーション情報と仮想オブジェクトとに応じて、オノマトペを含む画像の表示を制御する出力制御部とを備える情報処理装置を開示する。オノマトペは、例えばコミックや小説などでも利用されているように、皮膚感覚を視覚情報として提示するための有効な手法であると考えられる。オノマトペは擬音語（例えば、物体が発する音を表現した文字列）、および、擬態語（例えば、物体の状態や人間の感情などを表現した文字列）を含み得る。しかし、この公報も、音の発生には全く言及していない。

【0009】

スマートフォンを含む汎用コンピュータの分野では、マウス、キーボード、タッチパネル等の入力装置に対する操作に応じて効果音を発生する技術がある。また、コンピュータゲームの分野では、コントローラのボタンの押下に応じて効果音を発生する技術もある。しかしながら、上記と同様に、操作と効果音が１対１に対応づけられているため、リアリティに欠ける。

【先行技術文献】

【特許文献】

【0010】

【特許文献1】特開２０１７－１３８６５１号公報

【特許文献2】特開２０２０－１７１５９号公報

【特許文献3】特開２０１７－１７４３８１号公報

【特許文献4】ＷＯ２０１８／１１００３公報

【発明の概要】

【発明が解決しようとする課題】

【0011】

本開示の課題は、人の身体の動きに応じて、触覚を提示すると同時に、触覚と連動する音を発生する入出力装置を提供することである。

【課題を解決するための手段】

【0012】

本開示よる入出力装置は、人の身体の動きと無関係に能動的に触覚を提示する触覚提示装置を制御する入出力装置であって、人の身体の動きに対応する触覚データを記憶する触覚データ記憶部と、人の身体の動きに対応する聴覚データを記憶する聴覚データ記憶部と、人の身体の動きを検知するモーションセンサにより検知された身体の動きに対応する触覚データを前記触覚データ記憶部から読み出し、読み出された触覚データに基づいて触覚を提示する触覚提示装置を制御する触覚制御部と、前記モーションセンサにより検知された身体の動きに対応する聴覚データを前記聴覚データ記憶部から読み出し、読み出された聴覚データに基づいてスピーカを制御する聴覚制御部とを備える。

【図面の簡単な説明】

【0013】

【図1】図１は、第１実施形態による入出力システムの概略構成を示す機能ブロック図である。

【図2】図２は、図１に示した入出力システムの詳細な構成を示す機能ブロック図である。

【図3】図３は、図１及び図２に示した入出力システムにおけるデータベースの詳細及びその動作を示す図である。

【図4】図４は、図１～図３に示した入出力システムの動作を示すフロー図である。

【図5】図５は、図４に示したステップＳ１５，Ｓ１６で表示される仮想オブジェクト「ヨット」及び「開始ボタン」の画像を示す画面図である。

【図6】図６は、図４に示したステップＳ２０で表示される仮想オブジェクト「ヨット」の画像を示す画面図である。

【図7】図７は、図６の次に表示される画像を示す画面図である。

【図8】図８は、第２実施形態による入出力システムにおけるデータベースの詳細及びその動作を示す図である。

【図9】図９は、第３実施形態による入出力システムにおけるデータベースの詳細及びその動作を示す図である。

【発明を実施するための形態】

【0014】

＜実施形態の概要＞
本開示よる入出力装置は、人の身体の動きと無関係に能動的に触覚を提示する触覚提示装置を制御する入出力装置であって、人の身体の動きに対応する触覚データを記憶する触覚データ記憶部と、人の身体の動きに対応する聴覚データを記憶する聴覚データ記憶部と、人の身体の動きを検知するモーションセンサにより検知された身体の動きに対応する触覚データを前記触覚データ記憶部から読み出し、読み出された触覚データに基づいて触覚を提示する触覚提示装置を制御する触覚制御部と、前記モーションセンサにより検知された身体の動きに対応する聴覚データを前記聴覚データ記憶部から読み出し、読み出された聴覚データに基づいてスピーカを制御する聴覚制御部とを備える。

【0015】

この入出力装置では、人の身体の動きが検知され、その動きに対応する触覚及び聴覚データが読み出され、その触覚データに基づいて触覚が提示され、かつ、聴覚データに基づいて音が発生する。その結果、この入出力システムは、人の身体の動きに応じて、触覚を提示すると同時に、触覚と連動する音を発生することができる。

【0016】

入出力装置は、さらに、人の身体の動きに対応する視覚データを記憶する視覚データ記憶部と、前記モーションセンサにより検知された身体の動きに対応する視覚データを前記視覚データ記憶部から読み出し、読み出された視覚データに基づいて画像を表示する画像表示装置を制御する視覚制御部とを備えてもよい。

【0017】

この入出力装置では、人の身体の動きが検知され、その動きに対応する触覚及び聴覚データに加え、視覚データも読み出され、その視覚データに基づいて画像が表示される。その結果、この入出力システムは、人の身体の動きに応じて、触覚及び音と連動する画像も表示することができる。

【0018】

前記聴覚データは、前記人の身体の位置に対応してもよい。前記モーションセンサは、前記身体の位置を時間経過とともに計測して前記身体の動きを検知してもよい。この場合、時間経過とともに変化する身体の位置に応じて、発生する音も変化する。

【0019】

前記聴覚データは、前記身体の動きの速度に対応してもよい。前記モーションセンサは、前記身体の位置を経過時間とともに計測して前記身体の動きを検知してもよい。入出力装置は、さらに、前記モーションセンサにより計測された身体の位置及び経過時間に基づいて前記身体の動きの速度を算出する速度算出部を備えてもよい。前記聴覚制御部は、前記速度算出部により算出された身体の動きの速度に対応する聴覚データを前記聴覚データ記憶部から読み出してもよい。この場合、この入出力システム装置は、身体の速度に応じて、触覚と連動する音を発生することができる。

【0020】

本開示よる入出力方法は、人の身体の動きと無関係に能動的に触覚を提示する触覚提示装置を制御する入出力方法であって、モーションセンサにより検知された人の身体の動きを取得するステップと、人の身体の動きに対応する触覚データを記憶する触覚データ記憶部から、前記モーションセンサにより検知された身体の動きに対応する触覚データを読み出し、読み出された触覚データに基づいて触覚を提示する触覚提示装置を制御するステップと、人の身体の動きに対応する聴覚データを記憶する聴覚データ記憶部から、前記モーションセンサにより検知された身体の動きに対応する聴覚データを読み出し、読み出された聴覚データに基づいてスピーカを制御するステップとを含む。

【0021】

本開示よる入出力プログラムは、人の身体の動きと無関係に能動的に触覚を提示する触覚提示装置を制御する入出力プログラムであって、モーションセンサにより検知された人の身体の動きを取得するステップと、人の身体の動きに対応する触覚データを記憶する触覚データ記憶部から、前記モーションセンサにより検知された身体の動きに対応する触覚データを読み出し、読み出された触覚データに基づいて触覚を提示する触覚提示装置を制御するステップと、人の身体の動きに対応する聴覚データを記憶する聴覚データ記憶部から、前記モーションセンサにより検知された身体の動きに対応する聴覚データを読み出し、読み出された聴覚データに基づいてスピーカを制御するステップとをコンピュータに実行させるためのものである。

【0022】

＜実施形態の詳細＞
以下、添付の図面を参照しながら本実施形態を詳しく説明する。図中、同一又は相当部分には同一参照符号を付し、その説明を繰り返さない。

【0023】

＜第１実施形態＞
図１に示されるように、第１実施形態による入出力システム１０は、触覚提示装置１２と、スマートフォン（スマホ）１４とを備える。触覚提示装置１２は、人の身体の動きと無関係に能動的（アクティブ）に触覚を提示する。より具体的には、触覚提示装置１２は、人の身体が動いていないときであっても、人の身体を動かすことができる。触覚提示装置１２はさらに、人の身体の動きに応じて受動的（パッシブ）に触覚を提示することもできる。

【0024】

触覚提示装置１２は、人の指の動き（モーション）を時間経過とともに検知する位置センサ１２１と、位置センサ１２１により検知された指の動きに応じて提示すべき触覚を制御する触覚制御部１２２とを含む。位置センサ１２１は、具体的には、触覚提示装置１２を装着したユーザが人差し指で可動片１３を押したとき、可動片１３が最初の位置から回転した角度を人差し指の位置として検知する。ユーザは指をゆっくり動かす場合もあれば、素早く動かす場合もある。位置センサ１２１は、指の角度（位置）を経過時間とともに検知してもよい。この場合、検知される指の角度は時間の関数である。

【0025】

スマートフォン１４は、位置センサ１２１により検知された指の動きに応じて発生すべき音を制御する聴覚制御部１４１と、位置センサ１２１により検知された指の動きに応じて表示すべき画像を制御する視覚制御部１４２とを含む。スマートフォン１４として、電話機能を有する携帯情報端末を使用することができる。スマートフォン１４には、基本プログラムのほか、コンピュータを聴覚制御部１４１及び視覚制御部１４２として機能させるためのアプリケーションプログラムがインストールされる。

【0026】

より具体的には、図２に示されるように、触覚提示装置１２は、無線通信部１２３と、バッテリ１２４と、触覚データバッファ１２５と、触覚制御部１２２と、アクチュエータ１２６と、位置センサ１２１とを含む。スマートフォン１４は、無線通信部１４３と、ＣＰＵ（中央演算装置）１４４と、入出力装置１４５と、タッチパネル１４６と、スピーカ１４７とを含む。入出力装置１４５は、データベース（ＤＢ）１４８と、アプリケーションプログラム（アプリ）１４９とを含む。データベース１４８は、触覚データベース（触覚データ記憶部）１５０と、視覚データベース（視覚データ記憶部）１５１と、聴覚データベース（聴覚データ記憶部）１５２とを含む。アプリケーションプログラム１４９は、ＣＰＵ１４４を聴覚制御部１４１として機能させるためのプログラムと、ＣＰＵ１４４を視覚制御部１４２として機能させるためのプログラムと、ＣＰＵ１４４を触覚データ読出部１５３として機能させるためのプログラムとを含む。聴覚制御部１４１は、聴覚データベース１５２から聴覚データを読み出し、読み出した聴覚データをスピーカ１４７に送出する。視覚制御部１４２は、視覚データベース１５１から視覚データを読み出し、読み出した視覚データをタッチパネル１４６に送出する。触覚データ読出部１５３は、触覚データベース１５０から触覚データを読み出し、読み出した触覚データを触覚提示装置１２に送出する。タッチパネル１４６は、画像を表示する表示機能と、ユーザの指による操作を受け付ける入力機能とを有する。スピーカ１４７は、音（音声、音楽、効果音など）を発生する。

【0027】

無線通信部１２３及び１４３は、たとえば近距離無線モジュールを含み、触覚提示装置１２及びスマートフォン１４は相互に無線で接続される。ただし、無線に限定されることなく、触覚提示装置１２及びスマートフォン１４は相互に有線で接続されてもよい。触覚データバッファ１２５は、スマートフォン１４から送出されて来た触覚データを記憶する。詳細は後述する。触覚提示装置１２として、たとえば特開２０２０－１７１５９号公報に記載の触覚提示装置を使用することができる。ただし、触覚提示装置１２は、同公報に記載の磁気粘性流体に代えて、モータ（図示せず）を用いたアクチュエータ１２６を含む。触覚制御部１２２は、バッテリ１２４からアクチュエータ１２６のモータに供給される電流の量を制御する。これにより、アクチュエータ１２６は、触覚提示装置１２を操作する人の指に対して適切な触覚を提示する。より具体的には、ユーザが何も操作していないとき、触覚提示装置１２の可動片１３は最初の位置（０度）にある。ユーザが触覚提示装置１２を最後まで押し込むと、可動片１３は最初の位置から９０度回転する。ユーザが指で可動片１３を押すと、モータは回転させられるが、バッテリ１２４から電流が供給されると、モータは逆方向に回転し、可動片１３でユーザの指を押し返すことができる。可動片１３が指を押し返す抵抗力は、モータに供給される電流が大きいほど大きくなる。また、ユーザが指で可動片１３を全く押していない場合において、モータに電流が供給されると、可動片１３がユーザの指を押し動かすことができる。アクチュエータ１２６は、人の身体に対し、能動的に触覚を提示するだけでなく、受動的に触覚を提示することもできる。モータを用いたアクチュエータ１２６に代えて、振動素子を用いたアクチュエータを採用してもよい。

【0028】

図３に示されるように、触覚データベース１５０には、複数の仮想オブジェクトに対応する複数の触覚データが予め記憶されている。触覚データの各々は、対応する仮想オブジェクトの触覚を表現する触覚信号を含む。触覚信号の各々は、複数の指位置と、これらに対応する複数の電流値とを含む。指位置は、０度から９０度まで１度ごとの指の角度を含む。本例では、仮想オブジェクト「ヨット」に対応する触覚信号が示される。この触覚信号は、「ヨット」を進めようとしたときの触覚を表現する。

【0029】

視覚データベース１５１には、複数の仮想オブジェクトに対応する複数の視覚データが予め記憶されている。視覚データの各々は、対応する仮想オブジェクトの視覚を表現する視覚信号（画像信号）を含む。視覚信号の各々は、複数の指位置と、これらに対応する複数の画像ファイルとを含む。本例では、仮想オブジェクト「ヨット」に対応する視覚信号が示される。

【0030】

聴覚データベース１５２には、複数の仮想オブジェクトに対応する複数の聴覚データが予め記憶されている。聴覚データの各々は、対応する仮想オブジェクトの聴覚を表現する聴覚信号（音声信号）を含む。聴覚信号の各々は、複数の指位置と、これらに対応する複数の振幅と、これらに対応する周波数とを含む。本例では、仮想オブジェクト「ヨット」に対応する聴覚信号が示される。この聴覚信号は、実在する物体を操作したときに実際に聞こえるであろう音だけでなく、実在しないキャラクタや物体を操作したときに発生すると思われる仮想的な音（効果音を含む）を表現することもできる。

【0031】

次に、第１実施形態による入出力システムの動作を説明する。

【0032】

図４を参照して、ステップＳ１１で、スマートフォン１４は、ユーザの操作に応じて、アプリケーションプログラム１４９を起動する。一方、ステップＳ２１で、触覚提示装置１２は、ユーザの操作に応じて、電源をオンにする。これにより、触覚提示装置１２は、スマートフォン１４と無線で接続される。

【0033】

ステップＳ１２で、スマートフォン１４は、ユーザの操作に応じて、複数の仮想オブジェクトの中から所望の仮想オブジェクト、たとえば「ヨット」を選択する。

【0034】

スマートフォン１４において、触覚データ読出部１５３は、ステップＳ１３で、選択された仮想オブジェクトに対応する触覚データ（触覚信号）を触覚データベース１５０から読み出し、ステップＳ１４で、読み出した触覚データを触覚提示装置１２に送出する。

【0035】

一方、ステップＳ２２で、触覚提示装置１２は、スマートフォン１４から送出されて来た触覚データを触覚データバッファ１２５に保存する。

【0036】

ステップＳ２３で、触覚提示装置１２は、位置センサ１２１を起動する。

【0037】

ステップＳ２４で、触覚制御部１２２は、位置センサ１２１により検知された指の位置を取得し、取得した指の位置をスマートフォン１４に送出する。以降、触覚制御部１２２は、この動作を繰り返し続ける。これにより、触覚制御部１２２は位置センサ１２１により検知された指の位置を経過時間とともにスマートフォン１４に送出し続ける。

【0038】

ユーザが指で触覚提示装置１２を押し込むと、触覚制御部１２２は位置センサ１２１により検知された指の位置をスマートフォン１４に送出する。これに応じ、ステップＳ１５で、スマートフォン１４は、タッチパネル１４６を制御し、図５に示されるように、選択された仮想オブジェクト１６の画像を表示する。たとえば、仮想オブジェクト「ヨット」の画像が画面の右から登場する。

【0039】

ステップＳ２５で、ユーザが指で触覚提示装置１２を最後まで押し込み、検知された指の位置が９０度に達すると、ステップＳ１６で、スマートフォン１４は、タッチパネル１４６を制御し、図５に示されるように「開始ボタン」の画像を表示する。

【0040】

ステップＳ１７で、ユーザが「開始ボタン」をタップすると、触覚制御部１２２は、アクチュエータ１２６を制御し、アクチュエータ１２６はユーザに対して触覚を提示する。具体的には、触覚制御部１２２は、ステップＳ２６で、位置センサ１２１により検知された指の位置に対応する触覚データを触覚データバッファ１２５から読み出し、ステップＳ２７で、読み出した触覚データをアクチュエータ１２６に送出する。ステップＳ２８で、アクチュエータ１２６は、触覚制御部１２２から送出されて来た触覚データに基づいて、触覚提示装置１２を押し込んでいるユーザの指を押し返す。

【0041】

一方、ステップＳ１８で、視覚制御部１４２は、触覚提示装置１２から送出されて来る指の位置に対応する視覚データ（視覚信号の画像ファイル）を視覚データベース１５１から読み出す。聴覚制御部１４１は、触覚提示装置１２から送出されて来る指の位置に対応する聴覚データ（聴覚信号の振幅及び周波数）を聴覚データベース１５２から読み出す。

【0042】

ステップＳ１９で、視覚制御部１４２は、読み出した視覚データをタッチパネル１４６に送出する。聴覚制御部１４１は、読み出した聴覚データをスピーカ１４７に送出する。

【0043】

ステップＳ２０で、タッチパネル１４６は、視覚制御部１４２から送出されて来る視覚データに基づいて画像を表示する。スピーカ１４７は、聴覚制御部１４１から送出されて来る聴覚データに基づいて音を発生する。

【0044】

以上のとおり、第１実施形態による入出力システムは、経過時間とともに変化する人の身体の動きに応じて、相互に連動する画像、音及び触覚を出力することができる。たとえば図５～図７に示されるように、ユーザが指で「ヨット」を操作する場合において、「ヨット」が向かい風で押し戻されると、ユーザの指も押し戻される。ユーザが押し返してくる力に抵抗しなければ、たとえば「びゅっ」という効果音が発生し、「ヨット」は画面右に向かって速やかに移動し、画面外に消える。一方、ユーザが押し返してくる力に抵抗すると、たとえば「びゅ～」という効果音が発生し、「ヨット」は画面右に向かってゆっくりと移動し、画面外に消える。このように、聴覚、視覚及び触覚が相互に連動し、リアリティが高くなる。

【0045】

＜第２実施形態＞
第１実施形態では、聴覚信号に含まれる指位置は、０度から９０度までの指の角度を含んでいるが、０度を中心に、複数の正の角度と、複数の負の角度を含んでいてもよい。また、触覚提示装置１２に代えて、たとえば特開２０１８－５７４８６号公報に記載のスティックユニット（ジョイスティックを有するコントローラ）を採用してもよい。このスティックユニットは、モータと、その回転軸周りに傾動するスティックなどを含む。スティックは、ニュートラル状態で真っ直ぐに立っている。ユーザが指でスティックを前方に倒すと、位置センサは指位置として正の角度を検知する。他方、ユーザが指でスティックを後方（手前）に倒すと、位置センサは指位置として負の角度を検知する。

【0046】

スティックがニュートラル状態にあるとき、図６に示されるように「ヨット」が画面中央に表示され、「開始ボタン」も一緒に表示される。ユーザが「開始ボタン」をタップすると、触覚データが読み出され、０度に対応する電流がモータに流れ、スティックが前方に傾動しようとする。ユーザがこの傾動力に抵抗しないと、「びゅっ」という効果音が発生し、「ヨット」は画面右に向かって速やかに移動し、かつ、スティックは速やかに前方に傾動する。一方、ユーザがこの傾動力に抵抗すると、「びゅ～」という効果音が発生し、「ヨット」は画面右に向かってゆっくりと移動し、かつ、スティックはゆっくりと前方に傾動する。

【0047】

＜第３実施形態＞
聴覚信号は、第１実施形態では、指位置、振幅及び周波数を含んでいるが、図９に示されるように、これらの代わりに、ベースとなる音声ファイル、指速度及び再生速度を含んでいてもよい。この場合、アプリケーションプログラム１４９はさらに、ＣＰＵ１４４を速度算出部１５４として機能させるためのプログラムを含む。速度算出部１５４は、位置センサ１２１により計測された指の位置（角度）及び経過時間に基づいて指の速度（指速度）を算出する。たとえば、速度算出部１５４は、単位時間当たりの指の移動距離を算出してもよく、また、指の位置を時間で微分してもよい。聴覚制御部１４１は、速度算出部１５４により算出された指の速度に対応する聴覚データとして再生速度を聴覚データベース１５２から読み出す。この場合、この入出力システムは、仮想オブジェクトの表示が始まったら前記ベースとなる音声ファイルの再生を開始し、以降、指の速度に応じて多様な音を発生することができる。

【0048】

＜他の実施形態＞
聴覚信号は、第１及び第２実施形態では振幅及び周波数を含み、第３実施形態では指速度及び再生速度を含んでいるが、これらの代わりに、複数の指位置に対応する複数の音声ファイルを含んでいてもよい。

【0049】

モーションセンサは、指の代わりに、頭、肩、腕、胴、腰、足、又はこれらの組み合わせの動きを検知してもよい。モーションセンサはまた、身体の角度の代わりに、身体の１次元座標、２次元座標、又は３次元座標を検知してもよい。また、モーションセンサとして、カメラを用いてもよい。この場合、カメラにより撮影された身体の画像を解析し、その座標を検知してもよい。また、モーションセンサは１つだけでなく、２つ以上あってもよい。

【0050】

以上、本発明の実施形態を説明したが、本発明は上記実施形態に限定されることなく、その趣旨を逸脱しない限り、種々の改良、変形などが可能である。

【符号の説明】

【0051】

１０ ：入出力システム
１２１：位置センサ
１２２：触覚制御部
１２６：アクチュエータ
１４１：聴覚制御部
１４２：視覚制御部
１４５：入出力装置
１４６：タッチパネル
１４７：スピーカ
１４８：データベース
１４９：アプリケーションプログラム
１５０：触覚データベース
１５１：視覚データベース
１５２：聴覚データベース
１５３：触覚データ読出部
１５４：速度算出部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】