特開 2023-148748 入出力装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2023148748

(43)【公開日】2023-10-13

(54)【発明の名称】入出力装置

(51)【国際特許分類】

   G06F 3/01 20060101AFI20231005BHJP

   G06F 3/048 20130101ALI20231005BHJP

【ＦＩ】

G06F3/01 570

G06F3/048

G06F3/01 560

【審査請求】未請求

【請求項の数】8

【出願形態】ＯＬ

(21)【出願番号】P 2022056937

(22)【出願日】2022-03-30

(71)【出願人】

【識別番号】000142595

【氏名又は名称】株式会社栗本鐵工所

(74)【代理人】

【識別番号】100104444

【弁理士】

【氏名又は名称】上羽 秀敏

(72)【発明者】

【氏名】上嶋 優矢

(72)【発明者】

【氏名】榮 淳

(72)【発明者】

【氏名】辻 仁志

(72)【発明者】

【氏名】赤岩 修一

(72)【発明者】

【氏名】木野井 慶介

【テーマコード（参考）】

5E555

【Ｆターム（参考）】

5E555AA46

5E555BA01

5E555BB01

5E555BC01

5E555CA41

5E555CB66

5E555DA01

5E555DA21

5E555DA24

5E555DB53

5E555FA00

(57)【要約】

【課題】人の身体の動きに応じて多様な音を発生する入出力装置を提供する。
【解決手段】入出力装置は、人の身体の動きに対応する聴覚データを記憶する聴覚データ記憶部と、人の身体の動きを時間経過とともに検知するモーションセンサと、モーションセンサにより検知された身体の動きに対応する聴覚データを聴覚データ記憶部から読み出し、読み出された聴覚データに基づいてスピーカを制御する聴覚制御部と、を備える。
【選択図】図１

【特許請求の範囲】

【請求項1】

人の身体の動きに対応する聴覚データを記憶する聴覚データ記憶部と、
人の身体の動きを時間経過とともに検知するモーションセンサにより検知された身体の動きに対応する聴覚データを前記聴覚データ記憶部から読み出し、読み出された聴覚データに基づいてスピーカを制御する聴覚制御部とを備える、入出力装置。

【請求項2】

請求項１に記載の入出力装置であって、
前記聴覚データは、前記人の身体の位置に対応し、
前記モーションセンサは、前記身体の位置を時間経過とともに計測して前記身体の動きを検知する、入出力装置。

【請求項3】

請求項１に記載の入出力装置であって、
前記聴覚データに基づいて発生する音は、前記身体の動きに対応する効果音である、入出力装置。

【請求項4】

請求項１に記載の入出力装置であって、
前記聴覚データは、前記身体の動きの速度に対応し、
前記モーションセンサは、前記身体の位置を経過時間とともに計測して前記身体の動きを検知し、
前記入出力装置は、さらに、
前記モーションセンサにより計測された身体の位置及び経過時間に基づいて前記身体の動きの速度を算出する速度算出部を備え、
前記聴覚制御部は、前記速度算出部により算出された身体の動きの速度に対応する聴覚データを前記聴覚データ記憶部から読み出す、入出力装置。

【請求項5】

請求項１に記載の入出力装置であって、さらに、
人の身体の動きに対応する触覚データを記憶する触覚データ記憶部と、
前記モーションセンサにより検知された身体の動きに対応する触覚データを前記触覚データ記憶部から読み出し、読み出された触覚データに基づいて触覚を提示する触覚提示装置を制御する触覚制御部とを備える、入出力装置。

【請求項6】

請求項１に記載の入出力装置であって、さらに、
人の身体の動きに対応する視覚データを記憶する視覚データ記憶部と、
前記モーションセンサにより検知された身体の動きに対応する視覚データを前記視覚データ記憶部から読み出し、読み出された視覚データに基づいて画像を表示する画像表示装置を制御する視覚制御部とを備える、入出力装置。

【請求項7】

モーションセンサにより検知された人の身体の動きを時間経過とともに取得するステップと、
人の身体の動きに対応する聴覚データを記憶する聴覚データ記憶部から、前記モーションセンサにより検知された身体の動きに対応する聴覚データを読み出し、読み出された聴覚データに基づいてスピーカを制御するステップと、を含む入出力方法。

【請求項8】

モーションセンサにより検知された人の身体の動きを時間経過とともに取得するステップと、
人の身体の動きに対応する聴覚データを記憶する聴覚データ記憶部から、前記モーションセンサにより検知された身体の動きに対応する聴覚データを読み出し、読み出された聴覚データに基づいてスピーカを制御するステップとをコンピュータに実行させるための入出力プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、入出力装置に関する。

【背景技術】

【0002】

近年、仮想現実(VR; Virtual Reality)、拡張現実(AR; Augmented Reality)、複合現実(MR; Mixed Reality)等の技術を用いてメタバースと呼ばれる仮想空間を提供するサービスが始まっている。ユーザがヘッドマウントディスプレイを頭に装着すると、アバタとしてメタバースに入ることができる。メタバースでは、ユーザはヘッドマウントディスプレイで表示される３次元画像を見たり、スピーカで生成される音を聞いたりすることができる。ユーザはまた、両手に装着したコントローラを操作することにより、３次元画像として表示される仮想オブジェクトを動かすことができる。これと同時に、コントローラに対する操作に応じて特有の効果音が発生する場合もある。たとえば、ユーザがコントローラのボタンを押すと、「ピッ」という効果音が発生する。ユーザはこの効果音を聞き、ボタンを押したことを確認することができる。しかしながら、ボタンを押した量や押す速度に関わらず、操作と効果音が１対１に対応づけられているため、リアリティに欠ける。

【0003】

上記の技術は視覚と聴覚をユーザに与えるものであるが、これらに加え、触覚も与える技術もある。たとえば、ユーザがコントローラのボタンを押すと、効果音が発生すると同時に、コントローラが振動する。ユーザはこの振動を感じ、ボタンを押したことを確認することができる。しかしながら、効果音と同様に、操作と振動が１対１に対応づけられているため、リアリティに欠ける。

【0004】

一方、単純な振動ではなく、もっとリアルな触覚をユーザに提示できる装置も提案されている。

【0005】

たとえば、特開２０１７－１３８６５１号公報（特許文献１）は、映像に映し出された物体の力覚を操作者に提示する力覚提示装置に関し、複雑な制御を必要とすることなく、映像の動きと操作部において提示される力覚とを高い精度でリンクさせることが可能な力覚提示装置を開示する。しかし、この公報は、音の発生には全く言及していない。

【0006】

特開２０２０－１７１５９号公報（特許文献２）は、ディスプレイに表示される仮想オブジェクトの種類に応じた触覚をユーザの手に与えることができる仮想オブジェクト触覚提示装置を開示する。しかし、この公報も、音の発生には全く言及していない。

【0007】

特開２０１７－１７４３８１号公報（特許文献３）は、ハプティック効果を生成する方法を開示する。「ハプティック」とは、ユーザに対する力、振動、及び運動などのハプティックフィードバック効果（すなわち、「ハプティック効果」）をユーザに加えることによって、ユーザのタッチの検知を利用するハプティック及び力のフィードバック技術である。しかし、この公報も、音の発生には全く言及していない。

【0008】

ＷＯ２０１８／１１００３公報（特許文献４）は、表示部により表示される仮想オブジェクトに対するユーザのモーション情報を取得する取得部と、モーション情報と仮想オブジェクトとに応じて、オノマトペを含む画像の表示を制御する出力制御部とを備える情報処理装置を開示する。オノマトペは、例えばコミックや小説などでも利用されているように、皮膚感覚を視覚情報として提示するための有効な手法であると考えられる。オノマトペは擬音語（例えば、物体が発する音を表現した文字列）、および、擬態語（例えば、物体の状態や人間の感情などを表現した文字列）を含み得る。しかし、この公報も、音の発生には全く言及していない。

【0009】

スマートフォンを含む汎用コンピュータの分野では、マウス、キーボード、タッチパネル等の入力装置に対する操作に応じて効果音を発生する技術がある。また、コンピュータゲームの分野では、コントローラのボタンの押下に応じて効果音を発生する技術もある。しかしながら、上記と同様に、操作と効果音が１対１に対応づけられているため、リアリティに欠ける。

【先行技術文献】

【特許文献】

【0010】

【特許文献1】特開２０１７－１３８６５１号公報

【特許文献2】特開２０２０－１７１５９号公報

【特許文献3】特開２０１７－１７４３８１号公報

【特許文献4】ＷＯ２０１８／１１００３公報

【発明の概要】

【発明が解決しようとする課題】

【0011】

本開示の課題は、人の身体の動きに応じて多様な音を発生する入出力装置を提供することである。

【課題を解決するための手段】

【0012】

本開示よる入出力装置は、人の身体の動きに対応する聴覚データを記憶する聴覚データ記憶部と、人の身体の動きを時間経過とともに検知するモーションセンサにより検知された身体の動きに対応する聴覚データを前記聴覚データ記憶部から読み出し、読み出された聴覚データに基づいてスピーカを制御する聴覚制御部と、を備える。

【図面の簡単な説明】

【0013】

【図1】図１は、第１実施形態による入出力システムの概略構成を示す機能ブロック図である。

【図2】図２は、図１に示した入出力システムの詳細な構成を示す機能ブロック図である。

【図3】図３は、図１及び図２に示した入出力システムにおけるデータベースの詳細及びその動作を示す図である。

【図4】図４は、図１～図３に示した入出力システムの動作を示すフロー図である。

【図5】図５は、図４に示したステップＳ１４で表示される仮想オブジェクト及び指の画像を示す画面図である。

【図6】図６は、図４に示したステップＳ１８で表示される仮想オブジェクト及び指の画像を示す画面図である。

【図7】図７は、第２実施形態による入出力システムにおけるデータベースの詳細及びその動作を示す図である。

【図8】図８は、第３実施形態による入出力システムにおけるデータベースの詳細及びその動作を示す図である。

【発明を実施するための形態】

【0014】

＜実施形態の概要＞
本開示よる入出力装置は、人の身体の動きに対応する聴覚データを記憶する聴覚データ記憶部と、人の身体の動きを時間経過とともに検知するモーションセンサにより検知された身体の動きに対応する聴覚データを前記聴覚データ記憶部から読み出し、読み出された聴覚データに基づいてスピーカを制御する聴覚制御部と、を備える。

【0015】

この入出力装置では、人の身体の動きが時間経過とともに検知され、その動きに対応する聴覚データが読み出され、その聴覚データに基づいて音が発生する。その結果、この入出力システムは、時間経過とともに変化する人の身体の動きに応じて多様な音を発生することができる。

【0016】

前記聴覚データは、前記人の身体の位置に対応してもよい。前記モーションセンサは、前記身体の位置を計測して前記身体の動きを検知してもよい。

【0017】

前記聴覚データに基づいて発生する音は、人の動きに対応する効果音であってもよい。身体の動きに関連する音を発生することで、より身体の動きと音を連動させることができる。

【0018】

前記聴覚データは、前記身体の動きの速度に対応してもよい。

【0019】

前記モーションセンサは、前記身体の位置を経過時間とともに計測して前記身体の動きを検知してもよい。前記入出力装置は、さらに、前記モーションセンサにより計測された身体の位置及び経過時間に基づいて前記身体の動きの速度を算出する速度算出部を備えてもよい。前記聴覚制御部は、前記速度算出部により算出された身体の動きの速度に対応する聴覚データを前記聴覚データ記憶部から読み出してもよい。この場合、この入出力装置は、身体の速度に応じて多様な音を発生することができる。

【0020】

入出力装置は、さらに、人の身体の動きに対応する触覚データを記憶する触覚データ記憶部と、前記モーションセンサにより検知された身体の動きに対応する触覚データを前記触覚データ記憶部から読み出し、読み出された触覚データに基づいて触覚を提示する触覚提示装置を制御する触覚制御部とを備えてもよい。この場合、入出力システムは、時間経過とともに変化する人の身体の動きに応じて、多様な触覚を提示するとともに、触覚に連動する音を発生することができる。

【0021】

入出力装置は、さらに、人の身体の動きに対応する視覚データを記憶する視覚データ記憶部と、前記モーションセンサにより検知された身体の動きに対応する視覚データを前記視覚データ記憶部から読み出し、読み出された視覚データに基づいて画像を表示する画像表示装置を制御する視覚制御部とを備えてもよい。この場合、この入出力装置は、時間経過とともに変化する人の身体の動きに応じて、多様な画像を表示するとともに、画像に連動する音を発生することができる。

【0022】

本開示による入出力方法は、モーションセンサにより検知された人の身体の動きを時間経過とともに取得するステップと、人の身体の動きに対応する聴覚データを記憶する聴覚データ記憶部から、前記モーションセンサにより検知された身体の動きに対応する聴覚データを読み出し、読み出された聴覚データに基づいてスピーカを制御するステップと、を含む。

【0023】

この入出力方法では、人の身体の動きが時間経過とともに検知され、その動きに対応する聴覚データが読み出され、その聴覚データに基づいて音が発生する。その結果、この入出力方法は、時間経過とともに変化する人の身体の動きに応じて多様な音を発生することができる。

【0024】

本開示による入出力プログラムは、モーションセンサにより検知された人の身体の動きを時間経過とともに取得するステップと、人の身体の動きに対応する聴覚データを記憶する聴覚データ記憶部から、前記モーションセンサにより検知された身体の動きに対応する聴覚データを読み出し、読み出された聴覚データに基づいてスピーカを制御するステップとをコンピュータに実行させるためのものである。

【0025】

この入出力プログラムでは、人の身体の動きが時間経過とともに検知され、その動きに対応する聴覚データが読み出され、その聴覚データに基づいて音が発生する。その結果、この入出力プログラムは、時間経過とともに変化する人の身体の動きに応じて多様な音を発生することができる。

【0026】

＜実施形態の詳細＞
以下、添付の図面を参照しながら本実施形態を詳しく説明する。図中、同一又は相当部分には同一参照符号を付し、その説明を繰り返さない。

【0027】

＜第１実施形態＞
図１に示されるように、第１実施形態による入出力システム１０は、タップユニット１２と、スマートフォン（スマホ）１４とを備える。

【0028】

タップユニット１２は、人の指の動き（モーション）を時間経過とともに検知する角度センサ１２１と、角度センサ１２１により検知された指の動きに応じて提示すべき触覚を制御する触覚制御部１２２とを含む。タップユニット１２として、たとえば特開２０２０－１７１５９号公報に記載の触覚提示装置を使用することができる。角度センサ１２１は、具体的には、タップユニット１２を装着したユーザが人差し指で可動片１３を押したとき、可動片１３が最初の位置から回転した角度を人差し指の位置として検知する。ユーザは指をゆっくり動かす場合もあれば、素早く動かす場合もある。角度センサ１２１は、指の角度（位置）を経過時間とともに検知してもよい。この場合、検知される指の角度は時間の関数である。

【0029】

スマートフォン１４は、角度センサ１２１により検知された指の動きに応じて発生すべき音を制御する聴覚制御部１４１と、角度センサ１２１により検知された指の動きに応じて表示すべき画像を制御する視覚制御部１４２とを含む。スマートフォン１４として、電話機能を有する携帯情報端末を使用することができる。スマートフォン１４には、基本プログラムのほか、コンピュータを聴覚制御部１４１及び視覚制御部１４２として機能させるためのアプリケーションプログラムがインストールされる。

【0030】

より具体的には、図２に示されるように、タップユニット１２は、無線通信部１２３と、バッテリ１２４と、触覚データバッファ１２５と、触覚制御部１２２と、ＭＲＦデバイス１２６と、角度センサ１２１とを含む。スマートフォン１４は、無線通信部１４３と、ＣＰＵ（中央演算装置）１４４と、入出力装置１４５と、タッチパネル１４６と、スピーカ１４７とを含む。入出力装置１４５は、データベース（ＤＢ）１４８と、アプリケーションプログラム（アプリ）１４９とを含む。データベース１４８は、触覚データベース（触覚データ記憶部）１５０と、視覚データベース（視覚データ記憶部）１５１と、聴覚データベース（聴覚データ記憶部）１５２とを含む。アプリケーションプログラム１４９は、ＣＰＵ１４４を聴覚制御部１４１として機能させるためのプログラムと、ＣＰＵ１４４を視覚制御部１４２として機能させるためのプログラムと、ＣＰＵ１４４を触覚データ読出部１５３として機能させるためのプログラムとを含む。聴覚制御部１４１は、聴覚データベース１５２から聴覚データを読み出し、読み出した聴覚データをスピーカ１４７に送出する。視覚制御部１４２は、視覚データベース１５１から視覚データを読み出し、読み出した視覚データをタッチパネル１４６に送出する。触覚データ読出部１５３は、触覚データベース１５０から触覚データを読み出し、読み出した触覚データをタップユニット１２に送出する。タッチパネル１４６は、画像を表示する表示機能と、ユーザの指による操作を受け付ける入力機能とを有する。スピーカ１４７は、音（音声、音楽、効果音など）を発生する。

【0031】

無線通信部１２３及び１４３は、たとえば近距離無線モジュールを含み、タップユニット１２及びスマートフォン１４は相互に無線で接続される。ただし、無線に限定されることなく、タップユニット１２及びスマートフォン１４は相互に有線で接続されてもよい。触覚データバッファ１２５は、スマートフォン１４から送出されて来た触覚データを記憶する。詳細は後述する。ＭＲＦデバイス１２６は、磁気粘性流体(Magneto-rheological fluid)（図示せず）と、磁気粘性流体の周りに巻かれるコイル（図示せず）とを含む。触覚制御部１２２は、バッテリ１２４からＭＲＦデバイス１２６のコイルに供給される電流の量を制御する。これにより、ＭＲＦデバイス１２６は、タップユニット１２を操作する人の指に対して適切な触覚を提示する。ＭＲＦデバイス１２６の他に、モータや振動素子などのアクチュエータも採用できる。電流の量に応じたアクチュエータの動作により、触覚を提示できる。

【0032】

図３に示されるように、触覚データベース１５０には、複数の仮想オブジェクトに対応する複数の触覚データが予め記憶されている。触覚データの各々は、対応する仮想オブジェクトの触覚を表現する触覚信号を含む。触覚信号の各々は、複数の指位置と、これらに対応する複数の電流値とを含む。指位置は、０度から９０度まで１度ごとの指の角度を含む。本例では、仮想オブジェクト「ゴム風船」に対応する触覚信号が示される。この触覚信号は、「ゴム風船」に触れたときの触覚を表現する。実在する物体に触れたときに実際に感じるであろう触覚だけでなく、メタバースにおけるアバタや、アニメ、ゲーム上の実在しないキャラクタの頬、手のひら、腕などに触れたときの仮想的な触覚を表現することもできる。

【0033】

視覚データベース１５１には、複数の仮想オブジェクトに対応する複数の視覚データが予め記憶されている。視覚データの各々は、対応する仮想オブジェクトの視覚を表現する視覚信号（画像信号）を含む。視覚信号の各々は、複数の指位置と、これらに対応する複数の画像ファイルとを含む。本例では、仮想オブジェクト「ゴム風船」に対応する視覚信号が示される。

【0034】

聴覚データベース１５２には、複数の仮想オブジェクトに対応する複数の聴覚データが予め記憶されている。聴覚データの各々は、対応する仮想オブジェクトの聴覚を表現する聴覚信号（音声信号）を含む。聴覚信号の各々は、複数の指位置と、これらに対応する複数の振幅と、これらに対応する周波数とを含む。本例では、仮想オブジェクト「ゴム風船」に対応する聴覚信号が示される。この聴覚信号は、実在する物体に触れたときに実際に聞こえるであろう音だけでなく、実在しないキャラクタや物体に触れたときに発生すると思われる仮想的な音（効果音を含む）を表現することもできる。

【0035】

次に、第１実施形態による入出力システムの動作を説明する。

【0036】

図４を参照して、ステップＳ１１で、スマートフォン１４は、ユーザの操作に応じて、アプリケーションプログラム１４９を起動する。一方、ステップＳ２１で、タップユニット１２は、ユーザの操作に応じて、電源をオンにする。これにより、タップユニット１２は、スマートフォン１４と無線で接続される。

【0037】

ステップＳ１２で、スマートフォン１４は、ユーザの操作に応じて、複数の仮想オブジェクトの中から所望の仮想オブジェクト、たとえば「ゴム風船」を選択する。

【0038】

スマートフォン１４において、触覚データ読出部１５３は、ステップＳ１３で、選択された仮想オブジェクトに対応する触覚データ（触覚信号）を触覚データベース１５０から読み出し、ステップＳ１４で、読み出した触覚データをタップユニット１２に送出する。

【0039】

ステップＳ１５で、スマートフォン１４は、タッチパネル１４６を制御し、図５に示されるように、選択された仮想オブジェクト１６及び指１８の画像を表示する。最初、指１８は仮想オブジェクト１６から離れて表示される。

【0040】

一方、ステップＳ２２で、タップユニット１２は、スマートフォン１４から送出されて来た触覚データを触覚データバッファ１２５に保存する。

【0041】

ステップＳ２３で、タップユニット１２は、角度センサ１２１を起動する。

【0042】

ステップＳ２４で、触覚制御部１２２は、角度センサ１２１により検知された指の位置を取得し、取得した指の位置をスマートフォン１４に送出する。以降、触覚制御部１２２は、この動作を繰り返し続ける。これにより、触覚制御部１２２は角度センサ１２１により検知された指の位置を経過時間とともにスマートフォン１４に送出し続ける。

【0043】

一方、ステップＳ１６で、視覚制御部１４２は、タップユニット１２から送出されて来る指の位置に対応する視覚データ（視覚信号の画像ファイル）を視覚データベース１５１から読み出す。聴覚制御部１４１は、タップユニット１２から送出されて来る指の位置に対応する聴覚データ（聴覚信号の振幅及び周波数）を聴覚データベース１５２から読み出す。

【0044】

ステップＳ１７で、視覚制御部１４２は、読み出した視覚データをタッチパネル１４６に送出する。聴覚制御部１４１は、読み出した聴覚データをスピーカ１４７に送出する。

【0045】

ステップＳ１８で、タッチパネル１４６は、視覚制御部１４２から送出されて来る視覚データに基づいて画像を表示する。スピーカ１４７は、聴覚制御部１４１から送出されて来る聴覚データに基づいて音を発生する。

【0046】

一方、ステップＳ２７で、触覚制御部１２２は、取得した指の位置が特定の位置に到達したか否か、つまり図６に示されるように、表示される指１８が仮想オブジェクト１６に接触するか否かを判断する。指の位置が特定の位置に到達した場合、ステップＳ２６で、触覚制御部１２２は、ＭＲＦデバイス１２６の制御を開始する。触覚制御部１２２は、取得した指の位置に対応する触覚データ（触覚信号の電流値）を触覚データバッファ１２５から読み出す。

【0047】

ステップＳ２７で、触覚制御部１２２は、読み出した触覚データ（触覚信号の電流値）に基づいて特定の電流をＭＲＦデバイス１２６のコイルに供給（つまり、特定の電流が流れるように必要な電圧をコイルに印加）する。これにより、ＭＲＦデバイス１２６は、指の位置に応じた触覚を提示する。

【0048】

以上のとおり、第１実施形態による入出力システムは、経過時間とともに変化する人の身体の動きに応じて、相互に連動する画像、音及び触覚を出力することができる。たとえば、ユーザが指で仮想オブジェクト「ゴム風船」を潰す場合、早く潰すと、「ぷにゅ」という効果音が発生し、ゆっくり潰すと、「ぷーにゅー」という効果音が発生する。しかも、この効果音に連動した画像及び触覚も出力される。その結果、聴覚、視覚及び触覚が相互に連動し、リアリティが高くなる。

【0049】

＜第２実施形態＞
第１実施形態では、聴覚信号は、振幅及び周波数を含んでいるが、図７に示されるように、これらの代わりに、音声ファイルを含んでいてもよい。

【0050】

＜第３実施形態＞
聴覚信号は、第１実施形態では、指位置、振幅及び周波数を含み、第２実施形態では、指位置及び音声ファイルを含んでいるが、図８に示されるように、これらの代わりに、ベースとなる音声ファイルと、指速度及び再生速度を含んでいてもよい。この場合、アプリケーションプログラム１４９はさらに、ＣＰＵ１４４を速度算出部１５４として機能させるためのプログラムを含む。速度算出部１５４は、角度センサ１２１により計測された指の位置（角度）及び経過時間に基づいて指の速度（指速度）を算出する。たとえば、速度算出部１５４は、単位時間当たりの指の移動距離を算出してもよく、また、指の位置を時間で微分してもよい。聴覚制御部１４１は、速度算出部１５４により算出された指の速度に対応する聴覚データとして再生速度を聴覚データベース１５２から読み出す。この場合、この入出力システムは、開始位置に到達したら前記ベースとなる音声ファイルの再生を開始し、以降、指の速度に応じて多様な音を発生することができる。

【0051】

＜他の実施形態＞
モーションセンサは、指の代わりに、頭、肩、腕、胴、腰、足、又はこれらの組み合わせの動きを検知してもよい。モーションセンサはまた、身体の角度の代わりに、身体の１次元座標、２次元座標、又は３次元座標を検知してもよい。また、モーションセンサとして、カメラを用いてもよい。この場合、カメラにより撮影された身体の画像を解析し、その座標を検知してもよい。また、モーションセンサは１つだけでなく、２つ以上あってもよい。

【0052】

以上、本発明の実施形態を説明したが、本発明は上記実施形態に限定されることなく、その趣旨を逸脱しない限り、種々の改良、変形などが可能である。

【符号の説明】

【0053】

１０ ：入出力システム
１２１：角度センサ
１２２：触覚制御部
１２６：ＭＲＦデバイス
１４１：聴覚制御部
１４２：視覚制御部
１４５：入出力装置
１４６：タッチパネル
１４７：スピーカ
１４８：データベース
１４９：アプリケーションプログラム
１５０：触覚データベース
１５１：視覚データベース
１５２：聴覚データベース
１５３：触覚データ読出部
１５４：速度算出部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】