特開 2023-150607 入出力装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2023150607

(43)【公開日】2023-10-16

(54)【発明の名称】入出力装置

(51)【国際特許分類】

   G06F 3/01 20060101AFI20231005BHJP

   G06F 3/16 20060101ALI20231005BHJP

【ＦＩ】

G06F3/01 560

G06F3/01 570

G06F3/16 690

【審査請求】未請求

【請求項の数】8

【出願形態】ＯＬ

(21)【出願番号】P 2022059806

(22)【出願日】2022-03-31

(71)【出願人】

【識別番号】000142595

【氏名又は名称】株式会社栗本鐵工所

(74)【代理人】

【識別番号】100104444

【弁理士】

【氏名又は名称】上羽 秀敏

(72)【発明者】

【氏名】赤岩 修一

(72)【発明者】

【氏名】木野井 慶介

【テーマコード（参考）】

5E555

【Ｆターム（参考）】

5E555AA08

5E555AA46

5E555BA05

5E555BA06

5E555BB05

5E555BB06

5E555BC04

5E555BC09

5E555BD07

5E555CA44

5E555CB66

5E555DA21

5E555DA24

5E555DB57

5E555DC84

5E555EA19

5E555FA00

(57)【要約】

【課題】触覚に適した音を発生する入出力装置を提供する。
【解決手段】入出力装置は、入力された触覚データに対応する聴覚データを出力する学習済みモデルと、触覚データを取得し、取得した触覚データを学習済みモデルに入力し、学習済みモデルから出力された聴覚データに基づいてスピーカを制御する聴覚制御部とを備える。
【選択図】図２

【特許請求の範囲】

【請求項1】

入力された触覚データに対応する聴覚データを出力する学習済みモデルと、
触覚データを取得し、取得した触覚データを前記学習済みモデルに入力し、前記学習済みモデルから出力された聴覚データに基づいてスピーカを制御する聴覚制御部とを備える、入出力装置。

【請求項2】

複数の触覚データをクラスタリングすることにより得られた複数のクラスに対応する複数の聴覚データを記憶する聴覚データ記憶部と、
触覚データを取得し、取得した触覚データに対応するクラスを判別し、判別したクラスに対応する聴覚データを前記聴覚データ記憶部から読み出し、読み出した聴覚データに基づいてスピーカを制御する聴覚制御部とを備える、入出力装置。

【請求項3】

請求項１又は２に記載の入出力装置であって、さらに、
前記触覚データに基づいて触覚を提示する触覚提示装置を制御する触覚制御部を備える、入出力装置。

【請求項4】

請求項１～３のいずれか１項に記載の入出力装置であって、
前記入出力装置は、第１コンピュータに含まれ、
前記聴覚制御部は、第２コンピュータから送信された触覚データを受信する、入出力装置。

【請求項5】

触覚データを取得するステップと、
入力された触覚データに対応する聴覚データを出力する学習済みモデルに、前記取得した触覚データを入力し、前記学習済みモデルから出力された聴覚データに基づいてスピーカを制御するステップとを含む、入出力方法。

【請求項6】

触覚データを取得するステップと、
入力された触覚データに対応する聴覚データを出力する学習済みモデルに、前記取得した触覚データを入力し、前記学習済みモデルから出力された聴覚データに基づいてスピーカを制御するステップとをコンピュータに実行させるための入出力プログラム。

【請求項7】

触覚データを取得するステップと、
前記取得した触覚データに対応するクラスを判別するステップと、
複数の触覚データをクラスタリングすることにより得られた複数のクラスに対応する複数の聴覚データを記憶する聴覚データ記憶部から、前記判別したクラスに対応する聴覚データを読み出し、読み出した聴覚データに基づいてスピーカを制御するステップとを含む、入出力方法。

【請求項8】

触覚データを取得するステップと、
前記取得した触覚データに対応するクラスを判別するステップと、
複数の触覚データをクラスタリングすることにより得られた複数のクラスに対応する複数の聴覚データを記憶する聴覚データ記憶部から、前記判別したクラスに対応する聴覚データを読み出し、読み出した聴覚データに基づいてスピーカを制御するステップとをコンピュータに実行させるための入出力プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、入出力装置に関する。

【背景技術】

【0002】

近年、仮想現実(VR; Virtual Reality)、拡張現実(AR; Augmented Reality)、複合現実(MR; Mixed Reality)等の技術を用いてメタバースと呼ばれる仮想空間を提供するサービスが始まっている。ユーザがヘッドマウントディスプレイを頭に装着すると、アバタとしてメタバースに入ることができる。メタバースでは、ユーザはヘッドマウントディスプレイで表示される３次元画像を見たり、スピーカで生成される音を聞いたりすることができる。ユーザはまた、両手に装着したコントローラを操作することにより、３次元画像として表示される仮想オブジェクトを動かすことができる。これと同時に、コントローラに対する操作に応じて特有の効果音が発生する場合もある。たとえば、ユーザがコントローラのボタンを押すと、「ピッ」という効果音が発生する。ユーザはこの効果音を聞き、ボタンを押したことを確認することができる。しかしながら、ボタンを押した量や押す速度に関わらず、操作と効果音が１対１に対応づけられているため、リアリティに欠ける。

【0003】

上記の技術は視覚と聴覚をユーザに与えるものであるが、これらに加え、触覚も与える技術もある。たとえば、ユーザがコントローラのボタンを押すと、効果音が発生すると同時に、コントローラが振動する。ユーザはこの振動を感じ、ボタンを押したことを確認することができる。しかしながら、効果音と同様に、操作と振動が１対１に対応づけられているため、リアリティに欠ける。

【0004】

一方、単純な振動ではなく、もっとリアルな触覚をユーザに提示できる装置も提案されている。

【0005】

たとえば、特開２０１７－１３８６５１号公報（特許文献１）は、映像に映し出された物体の力覚を操作者に提示する力覚提示装置に関し、複雑な制御を必要とすることなく、映像の動きと操作部において提示される力覚とを高い精度でリンクさせることが可能な力覚提示装置を開示する。しかし、この公報は、音の発生には全く言及していない。

【0006】

特開２０２０－１７１５９号公報（特許文献２）は、ディスプレイに表示される仮想オブジェクトの種類に応じた触覚をユーザの手に与えることができる仮想オブジェクト触覚提示装置を開示する。しかし、この公報も、音の発生には全く言及していない。

【0007】

特開２０１７－１７４３８１号公報（特許文献３）は、ハプティック効果を生成する方法を開示する。「ハプティック」とは、ユーザに対する力、振動、及び運動などのハプティックフィードバック効果（すなわち、「ハプティック効果」）をユーザに加えることによって、ユーザのタッチの検知を利用するハプティック及び力のフィードバック技術である。しかし、この公報も、音の発生には全く言及していない。

【0008】

ＷＯ２０１８／１１００３公報（特許文献４）は、表示部により表示される仮想オブジェクトに対するユーザのモーション情報を取得する取得部と、モーション情報と仮想オブジェクトとに応じて、オノマトペを含む画像の表示を制御する出力制御部とを備える情報処理装置を開示する。オノマトペは、例えばコミックや小説などでも利用されているように、皮膚感覚を視覚情報として提示するための有効な手法であると考えられる。オノマトペは擬音語（例えば、物体が発する音を表現した文字列）、および、擬態語（例えば、物体の状態や人間の感情などを表現した文字列）を含み得る。しかし、この公報も、音の発生には全く言及していない。

【0009】

スマートフォンを含む汎用コンピュータの分野では、マウス、キーボード、タッチパネル等の入力装置に対する操作に応じて効果音を発生する技術がある。また、コンピュータゲームの分野では、コントローラのボタンの押下に応じて効果音を発生する技術もある。しかしながら、上記と同様に、操作と効果音が１対１に対応づけられているため、リアリティに欠ける。

【0010】

また、操作に対する反動で返ってくる感触は操作の対象物や態様によって異なることが多い。そのため、操作に応じて発生する又は発生するであろう音も異なることが多い。しかしながら、触覚に適した音を発生する技術はない。

【0011】

特開２００３－３４５４９６号公報（特許文献５）は、触覚を呈示することによりコミュニケーションを行う情報処理システムを開示する。

【0012】

特開２０１９－１６９１９５号公報（特許文献６）は、１以上の触覚効果を推奨する触覚設計オーサリングツールを開示する。このツールは、人間の触覚設計者のスタイルを学習することによって生成される触覚化モデルを用い、音声、映像、及びイベントを含む入力を受信し、イベントに関連付けるための一の種類の触覚効果を推奨する。

【先行技術文献】

【特許文献】

【0013】

【特許文献1】特開２０１７－１３８６５１号公報

【特許文献2】特開２０２０－１７１５９号公報

【特許文献3】特開２０１７－１７４３８１号公報

【特許文献4】ＷＯ２０１８／１１００３公報

【特許文献5】特開２００３－３４５４９６号公報

【特許文献6】特開２０１９－１６９１９５号公報

【発明の概要】

【発明が解決しようとする課題】

【0014】

本開示の課題は、触覚に適した音を発生する入出力装置を提供することである。

【課題を解決するための手段】

【0015】

本開示による入出力装置は、入力された触覚データに対応する聴覚データを出力する学習済みモデルと、触覚データを取得し、取得した触覚データを前記学習済みモデルに入力し、前記学習済みモデルから出力された聴覚データに基づいてスピーカを制御する聴覚制御部とを備える。

【0016】

本開示によるもう１つの入出力装置は、複数の触覚データをクラスタリングすることにより得られた複数のクラスに対応する複数の聴覚データを記憶する聴覚データ記憶部と、触覚データを取得し、取得した触覚データに対応するクラスを判別し、判別したクラスに対応する聴覚データを前記聴覚データ記憶部から読み出し、読み出した聴覚データに基づいてスピーカを制御する聴覚制御部とを備える。

【図面の簡単な説明】

【0017】

【図1】図１は、第１実施形態による入出力システムの概略構成を示す機能ブロック図である。

【図2】図２は、図１に示した入出力システムの詳細な構成を示す機能ブロック図である。

【図3】図３は、図１及び図２に示した入出力システムの動作を示す図である。

【図4】図４は、図３に示した学習用聴覚データセットの一例を示す図である。

【図5】図５は、図３に示した学習用聴覚データセットの他の例を示す図である。

【図6】図６は、図１及び図２に示した入出力システムの動作を示すフロー図である。

【図7】図７は、第２実施形態による入出力システムの詳細な構成を示す機能ブロック図である。

【図8】図８は、図７に示した入出力システムの動作を示す図である。

【図9】図９は、図８に示した学習用聴覚データセットの一例を示す図である。

【図10】図１０は、図８に示した学習用聴覚データセットの他の例を示す図である。

【発明を実施するための形態】

【0018】

＜実施形態の概要＞
本実施形態による入出力装置は、入力された触覚データに対応する聴覚データを出力する学習済みモデルと、触覚データを取得し、取得した触覚データを学習済みモデルに入力し、学習済みモデルから出力された聴覚データに基づいてスピーカを制御する聴覚制御部とを備える。

【0019】

この入出力装置では、取得した触覚データを学習済みモデルに入力すると、学習済みモデルから出力された聴覚データに基づいてスピーカが制御される。その結果、この入出力装置は、触覚に適した音を発生することができる。

【0020】

本実施形態によるもう１つの入出力装置は、複数の触覚データをクラスタリングすることにより得られた複数のクラスに対応する複数の聴覚データを記憶する聴覚データ記憶部と、触覚データを取得し、取得した触覚データに対応するクラスを判別し、判別したクラスに対応する聴覚データを前記聴覚データ記憶部から読み出し、読み出した聴覚データに基づいてスピーカを制御する聴覚制御部とを備える。

【0021】

この入出力装置では、取得した触覚データに対応するクラスが判別され、そのクラスに対応する聴覚データが聴覚データ記憶部から読み出され、その聴覚データに基づいてスピーカが制御される。その結果、この入出力装置は、触覚に適した音を発生することができる。

【0022】

入出力装置は、さらに、触覚データに基づいて触覚を提示する触覚提示装置を制御する触覚制御部を備えてもよい。この場合、入出力装置は、触覚に適した音を発生するだけでなく、触覚も提示することができる。

【0023】

入出力装置は、第１コンピュータに含まれてもよい。聴覚制御部は、第２コンピュータから送信された触覚データを受信してもよい。この場合、入出力装置は、他のユーザから送られて来た触覚に適した音を発生することができる。

【0024】

本実施形態による入出力方法は、触覚データを取得するステップと、入力された触覚データに対応する聴覚データを出力する学習済みモデルに、取得した触覚データを入力し、学習済みモデルから出力された聴覚データに基づいてスピーカを制御するステップとを含む。

【0025】

本実施形態による入出力プログラムは、触覚データを取得するステップと、入力された触覚データに対応する聴覚データを出力する学習済みモデルに、取得した触覚データを入力し、学習済みモデルから出力された聴覚データに基づいてスピーカを制御するステップとをコンピュータに実行させるためのものである。

【0026】

本実施形態によるもう１つの入出力方法は、触覚データを取得するステップと、取得した触覚データに対応するクラスを判別するステップと、複数の触覚データをクラスタリングすることにより得られた複数のクラスに対応する複数の聴覚データを記憶する聴覚データ記憶部から、判別したクラスに対応する聴覚データを読み出し、読み出した聴覚データに基づいてスピーカを制御するステップとを含む。

【0027】

本実施形態によるもう１つの入出力プログラムは、触覚データを取得するステップと、取得した触覚データに対応するクラスを判別するステップと、複数の触覚データをクラスタリングすることにより得られた複数のクラスに対応する複数の聴覚データを記憶する聴覚データ記憶部から、判別したクラスに対応する聴覚データを読み出し、読み出した聴覚データに基づいてスピーカを制御するステップとをコンピュータに実行させるためのものである。

【0028】

＜実施形態の詳細＞
以下、添付の図面を参照しながら本実施形態を詳しく説明する。図中、同一又は相当部分には同一参照符号を付し、その説明を繰り返さない。

【0029】

＜第１実施形態＞
図１に示されるように、第１実施形態による入出力システム１０は、タップユニット１２と、スマートフォン（スマホ）１４とを備える。

【0030】

タップユニット１２は、人の指の動き（モーション）を時間経過とともに検知する角度センサ１２１と、角度センサ１２１により検知された指の動きに応じて提示すべき触覚を制御する触覚制御部１２２とを含む。角度センサ１２１は、具体的には、タップユニット１２を装着したユーザが人差し指で可動片１３を押したとき、可動片１３が最初の位置から回転した角度を人差し指の位置として検知する。ユーザは指をゆっくり動かす場合もあれば、素早く動かす場合もある。角度センサ１２１は、指の角度（位置）を経過時間とともに検知してもよい。この場合、検知される指の角度は時間の関数である。

【0031】

スマートフォン１４は、角度センサ１２１により検知された指の動きに応じて発生すべき音を制御する聴覚制御部１４１と、角度センサ１２１により検知された指の動きに応じて表示すべき画像を制御する視覚制御部１４２とを含む。スマートフォン１４として、電話機能を有する携帯情報端末を使用することができる。スマートフォン１４には、基本プログラムのほか、コンピュータを聴覚制御部１４１及び視覚制御部１４２として機能させるためのアプリケーションプログラムがインストールされる。

【0032】

より具体的には、図２に示されるように、タップユニット１２は、無線通信部１２３と、バッテリ１２４と、触覚データ記憶部１２５と、触覚制御部１２２と、ＭＲＦデバイス（触覚提示装置）１２６と、角度センサ１２１とを含む。スマートフォン１４は、無線通信部１４３と、ＣＰＵ（中央演算装置）１４４と、入出力装置１４５と、タッチパネル１４６と、スピーカ１４７とを含む。入出力装置１４５は、人工知能（ＡＩ）１６０と、データベース（ＤＢ）１４８と、アプリケーションプログラム（アプリ）１４９とを含む。人工知能（ＡＩ）１６０は、学習済みモデル１６１を含む。データベース１４８は、視覚データベース１５１を含む。アプリケーションプログラム１４９は、ＣＰＵ１４４を聴覚制御部１４１として機能させるためのプログラムと、ＣＰＵ１４４を視覚制御部１４２として機能させるためのプログラムと、ＣＰＵ１４４を触覚制御部１５３として機能させるためのプログラムとを含む。学習済みモデル１６１は、入力された触覚データに対応する聴覚データを出力する。視覚データベース１５１には、複数の仮想オブジェクトに対応する複数の視覚データが予め記憶されている。視覚データの各々は、対応する仮想オブジェクトの視覚を表現する視覚信号（画像信号）を含む。聴覚制御部１４１は、触覚データを取得し、取得した触覚データを学習済みモデル１６１に入力し、学習済みモデル１６１から出力された聴覚データに基づいてスピーカ１４７を制御する。触覚制御部１５３は、取得した触覚データをタップユニット１２に送出することにより、触覚データに基づいてＭＲＦデバイス１２６を制御する。タッチパネル１４６は、画像を表示する表示機能と、ユーザの指による操作を受け付ける入力機能とを有する。スピーカ１４７は、音（音声、音楽、効果音など）を発生する。

【0033】

無線通信部１２３及び１４３は、たとえば近距離無線モジュールを含み、タップユニット１２及びスマートフォン１４は相互に無線で接続される。ただし、無線に限定されることなく、タップユニット１２及びスマートフォン１４は相互に有線で接続されてもよい。触覚データ記憶部１２５は、スマートフォン１４から送出されて来た触覚データを記憶する。ＭＲＦデバイス１２６は、磁気粘性流体(Magneto-rheological fluid)（図示せず）と、磁気粘性流体の周りに巻かれるコイル（図示せず）とを含む。触覚制御部１２２は、バッテリ１２４からＭＲＦデバイス１２６のコイルに供給される電流の量を制御する。これにより、ＭＲＦデバイス１２６は、タップユニット１２を操作する人の指に対して適切な触覚を提示する。ＭＲＦデバイス１２６の他に、モータや振動素子などのアクチュエータも採用できる。電流の量に応じたアクチュエータの動作により、触覚を提示できる。

【0034】

スマートフォン１４はさらに、ウェブ方式等の通信部１５５を含む。スマートフォン１４は、通信部１５５を介して他のスマートフォン１５に接続される。スマートフォン１５は、ユーザの操作に応じて選択された触覚データを触覚データ記憶部１５６から読み出し、スマートフォン１４に送信することができる。

【0035】

図３に示されるように、学習済みモデル１６１は、ディープラーニング等の機械学習により予め作成される。具体的には、大量の学習用触覚データセットを準備する。このセットは、複数の学習用触覚データを含む。学習用触覚データの各々は、触覚データと、これに対応する聴覚（音）データとを含む。触覚データは、たとえば人の身体の位置に対する触覚力の関数であり、位置と触覚力との相関関係の波形で表わされる。

【0036】

学習用触覚データの各々は、たとえば図４又は図５に示されるように、複数の触覚データと、これらに対応する複数の聴覚データとを含む。触覚データの各々は、対応する触覚を表現する触覚信号を含む。触覚データは、触覚の長さ、初期値、最大値、最大値からの勾配等の特徴を表現する。聴覚データの各々は、対応する聴覚（音）を表現するオノマトペ（擬音語、擬声語、擬態語など）と、オノマトペを表現する音声信号（音声ファイル）とを含む。

【0037】

図４に示されるように、人の身体の動きに対する反作用の触覚を表現する場合、触覚信号の各々は、複数の指位置と、これらに対応する複数の電流値とを含む。指位置は、０度から９０度まで１度ごとの指の角度を含む。触覚信号の各々は、複数の通電時間と、これらに対応する複数の電流値を含んでもよい。

【0038】

一方、図５に示されるように、人の身体を動かすときの触覚を表現する場合、触覚信号の各々は、複数の通電時間と、これらに対応する複数の電流値とを含む。通電時間は、０ミリ秒から１０００ミリ秒まで１ミリ秒ごとの通電時間を含む。触覚信号は、たとえばユーザごとに作成され、各ユーザの特徴や感情等を表現してもよい。あるいは、触覚信号は、たとえば仮想空間内における現象（イベント）ごとにＡＩ等で自動的に生成され、アバタの衝突や仮想オブジェクトの崩壊等の現象を表現してもよい。また、触覚信号の各々は、複数の指位置と、これらに対応する複数の電流値とを含んでも良い。

【0039】

図３に示されるように、ＡＩ１６０は、所定の教師あり学習処理を実行し、準備された学習用触覚データセットを使用して学習済みモデル１６１を生成する。学習済みモデル１６１は、入力された触覚データに対応する聴覚データを出力する。具体的には、ＡＩ１６０は、所定の推論処理を実行し、未知の聴覚データに対応する聴覚データを算出する。

【0040】

次に、第１実施形態による入出力システムの動作を説明する。

【0041】

図６を参照して、ステップＳ１１で、スマートフォン１４は、ユーザの操作に応じて、アプリケーションプログラム１４９を起動する。一方、ステップＳ２１で、タップユニット１２は、ユーザの操作に応じて、電源をオンにする。これにより、タップユニット１２は、スマートフォン１４と無線で接続される。

【0042】

ステップＳ１２で、スマートフォン１４において、聴覚制御部１４１は、他のスマートフォン１５から送信されて来た触覚データを受信（取得）する。

【0043】

ステップＳ１３で、聴覚制御部１４１は、取得した触覚データを学習済みモデル１６１に入力し、学習済みモデル１６１から出力される聴覚データを読み出す。

【0044】

ステップＳ１４で、触覚制御部１５３は、取得した触覚データをタップユニット１２に送出する。

【0045】

一方、ステップＳ２２で、タップユニット１２は、スマートフォン１４から送出されて来た触覚データを触覚データ記憶部１２５に保存する。

【0046】

ステップＳ２３で、タップユニット１２は、角度センサ１２１を起動する。

【0047】

ステップＳ２４で、触覚制御部１２２は、角度センサ１２１により検知された指の位置を取得し、取得した指の位置をスマートフォン１４に送出する。以降、触覚制御部１２２は、この動作を繰り返し続ける。これにより、触覚制御部１２２は角度センサ１２１により検知された指の位置を時間経過とともにスマートフォン１４に送出し続ける。

【0048】

ステップＳ２７で、触覚制御部１２２は、ＭＲＦデバイス１２６を制御し、ＭＲＦデバイス１２６はユーザに対して触覚を提示する。具体的には、触覚制御部１２２は、ステップＳ２５で、角度センサ１２１により検知された指の位置に対応する触覚データを触覚データ記憶部１２５から読み出し、ステップＳ２６で、読み出した触覚データをＭＲＦデバイス１２６に送出する。ステップＳ２７で、ＭＲＦデバイス１２６は、触覚制御部１２２から送出されて来た触覚データに基づいて、タップユニット１２を押し込んでいるユーザの指に触覚を与える。

【0049】

一方、ステップＳ１５で、視覚制御部１４２は、タップユニット１２から送出されて来る指の位置に対応する視覚データ（視覚信号の画像ファイル）を視覚データベース１５１から読み出す。

【0050】

ステップＳ１６で、視覚制御部１４２は、読み出した視覚データをタッチパネル１４６に送出することにより、視覚データに基づいてタッチパネル１４６を制御する。また、聴覚制御部１４１は、学習済みモデル１６１から出力された聴覚データをスピーカ１４７に送出することにより、聴覚データに基づいてスピーカ１４７を制御する。

【0051】

ステップＳ１７で、タッチパネル１４６は、視覚制御部１４２から送出されて来る視覚データに基づいて画像を表示する。また、スピーカ１４７は、聴覚制御部１４１から送出されて来る聴覚データに基づいて音を発生する。

【0052】

以上のとおり、第１実施形態による入出力システム１０は、取得した触覚データを学習済みモデル１６１に入力し、学習済みモデル１６１から出力される聴覚データに基づいてスピーカ１４７を制御する。その結果、入出力システム１０は、触覚に適した音を発生することができる。また、入出力システム１０は、触覚データに基づいてＭＲＦデバイス１２６を制御する。その結果、入出力システム１０は、音だけでなく、触覚も同時に提示することができる。さらに、入出力システム１０は、視覚データに基づいてタッチパネル１４６を制御する。その結果、入出力システム１０は、音や触覚だけでなく、触覚に適した画像も同時に表示することができる。このように、聴覚、触覚及び視覚が相互に連動し、リアリティが高くなる。

【0053】

＜第２実施形態＞
第２実施形態による入出力装置１４５は、図７に示されるように、人工知能（ＡＩ）１６０に代えて、データベース（ＤＢ）１４８を含む。データベース１４８は、視覚データベース１５１に加えて、聴覚データベース（聴覚データ記憶部）１５２を含む。聴覚データベース１５２は、複数の触覚データをクラスタリングすることにより得られた複数のクラスに対応する複数の聴覚データを記憶する。聴覚制御部１４１は、触覚データを取得し、取得した触覚データに対応するクラスを判別し、判別したクラスに対応する聴覚データを聴覚データベース１５２から読み出し、読み出した聴覚データに基づいてスピーカ１４７を制御する。

【0054】

図８に示されるように、聴覚データベース１５２は、ディープラーニング等の機械学習により予め作成される。学習用触覚データの各々は、たとえば図９又は図１０に示されるように、複数の触覚データを含む。触覚データの各々は、対応する触覚を表現する触覚信号を含む。図９に示されるように、人の身体の動きに対する反作用の触覚を表現する場合、触覚信号の各々は、複数の指位置と、これらに対応する複数の電流値とを含む。一方、図１０に示されるように、人の身体を動かすときの触覚を表現する場合、触覚信号の各々は、複数の通電時間と、これらに対応する複数の電流値とを含む。

【0055】

図８に示されるように、ＡＩ１６０は、所定の教師なし学習処理、より具体的にはクラスタリング処理を実行し、準備された学習用触覚データセットを使用し、複数の触覚データをクラスタリングし、複数の触覚データを複数のクラスに分類する。各クラスに適した聴覚データ（音声信号を含む）を手動又は自動で割り当て、これにより聴覚データベース１５２を構築する。聴覚制御部１４１は、取得した触覚データに対応するクラスを判別し、判別したクラスに対応する聴覚データを聴覚データベース１５２から読み出す。

【0056】

次に、第２実施形態による入出力システムの動作を説明する。ただし、以下では、再び図６を参照して、第１実施形態と異なるステップのみを説明する。

【0057】

ステップＳ１３で、聴覚制御部１４１は、取得した触覚データに対応するクラスを判別し、判別したクラスに対応する聴覚データを聴覚データベース１５２から読み出す。

【0058】

ステップＳ１６で、聴覚制御部１４１は、聴覚データベース１５２から読み出した聴覚データをスピーカ１４７に送出することにより、聴覚データに基づいてスピーカ１４７を制御する。

【0059】

ステップＳ１７で、スピーカ１４７は、聴覚制御部１４１から送出されて来る聴覚データに基づいて音を発生する。

【0060】

以上のとおり、第２実施形態による入出力システム１０は、取得した触覚データに対応するクラスを判別し、そのクラスに対応する聴覚データを聴覚データベース１５２から読み出し、その聴覚データに基づいてスピーカ１４７を制御する。その結果、入出力システム１０は、触覚に適した音を発生することができる。

【0061】

＜他の実施形態＞
本発明は、スマートフォン同士の通信だけでなく、家庭用ゲーム機やＶＲゴーグル等、ユーザ同士が相互通信可能な機器にも適用可能である。また、本発明は、機器間の直接通信に限定されることなく、サーバやホストコンピュータを経由した通信にも利用できる。

【0062】

以上、本発明の実施形態を説明したが、本発明は上記実施形態に限定されることなく、その趣旨を逸脱しない限り、種々の改良、変形などが可能である。

【符号の説明】

【0063】

１０ ：入出力システム
１２１：角度センサ
１２２，１５３：触覚制御部
１４１：聴覚制御部
１４２：視覚制御部
１４５：入出力装置
１４６：タッチパネル
１４７：スピーカ
１４８：データベース
１４９：アプリケーションプログラム
１５１：視覚データベース
１５２：聴覚データベース

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】