特開 2019-220168 スピーチコマンドを使用して触覚をデザインするシステムと方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】特開2019-220168(P2019-220168A)

(43)【公開日】2019年12月26日

(54)【発明の名称】スピーチコマンドを使用して触覚をデザインするシステムと方法

(51)【国際特許分類】

   G06F 3/01 20060101AFI20191129BHJP

   G06F 3/16 20060101ALI20191129BHJP

   H04M 1/00 20060101ALI20191129BHJP

   G06F 3/041 20060101ALI20191129BHJP

【ＦＩ】

   G06F3/01 560

   G06F3/16 630

   G06F3/16 650

   H04M1/00 R

   G06F3/041 480

【審査請求】未請求

【請求項の数】20

【出願形態】ＯＬ

【外国語出願】

【全頁数】21

(21)【出願番号】特願2019-106722(P2019-106722)

(22)【出願日】2019年6月7日

(31)【優先権主張番号】16/004,510

(32)【優先日】2018年6月11日

(33)【優先権主張国】US

(71)【出願人】

【識別番号】500390995

【氏名又は名称】イマージョン コーポレーション

【氏名又は名称原語表記】ＩＭＭＥＲＳＩＯＮ ＣＯＲＰＯＲＡＴＩＯＮ

(74)【代理人】

【識別番号】100083806

【弁理士】

【氏名又は名称】三好 秀和

(74)【代理人】

【識別番号】100095500

【弁理士】

【氏名又は名称】伊藤 正和

(74)【代理人】

【識別番号】100111235

【弁理士】

【氏名又は名称】原 裕子

(72)【発明者】

【氏名】サボーネ、 ジャマール

(72)【発明者】

【氏名】クルス−エルナンデス、 ファン マヌエル

【テーマコード（参考）】

5E555

5K127

【Ｆターム（参考）】

5E555AA08

5E555AA46

5E555BA04

5E555BB04

5E555BC04

5E555CA13

5E555CA47

5E555CB12

5E555CB64

5E555CC01

5E555DA24

5E555DB41

5E555DC13

5E555DD06

5E555DD08

5E555EA23

5E555FA00

5K127BA03

5K127CB38

5K127DA11

5K127EA33

5K127GA12

5K127GA29

5K127GB24

5K127JA02

5K127JA04

5K127KA04

5K127KA14

5K127MA06

(57)【要約】      （修正有）

【課題】スピーチコマンドを使用して触覚効果をデザインするシステム及び方法を提供する。
【解決手段】システムが、音声ユーザ相互作用に関連付けられるオーディオ信号をオーディオキャプチャデバイスから受信することと、オーディオ信号に部分的に基づいて触覚効果を決定することであって、触覚効果は、触覚出力デバイスにより出力されるように構成されることと、触覚効果をデータストアに格納することとを行うべく構成されたプロセッサを含む。
【選択図】図４

【特許請求の範囲】

【請求項1】

システムであって、
音声ユーザ相互作用に関連付けられるオーディオ信号をオーディオキャプチャデバイスから受信することと、
前記オーディオ信号に部分的に基づいて触覚効果を決定することであって、前記触覚効果は、触覚出力デバイスにより出力されるべく構成されることと、
前記触覚効果をデータストアに格納することと
を行うべく構成されたプロセッサを含む、システム。

【請求項2】

前記音声ユーザ相互作用は、話された言葉を含み、
前記プロセッサはさらに、前記話された言葉のコンテンツを決定するべく構成される、請求項１のシステム。

【請求項3】

前記話された言葉のコンテンツは、所望された触覚効果の特徴の記述を含み、
前記触覚効果を決定することは、前記所望された触覚効果の特徴を有する触覚信号を決定することを含む、請求項２のシステム。

【請求項4】

前記所望された触覚効果は、波形、周波数、強度、タイプ又は持続時間の一つ以上を含む、請求項３のシステム。

【請求項5】

前記話された言葉のコンテンツは、所望された触覚効果に関連付けられる概念を含み、
前記触覚効果を決定することは、複数の触覚効果に関連付けられるデータを含むデータベースを、前記概念に関連付けられる格納された触覚効果を求めて検索することを含む、請求項２のシステム。

【請求項6】

前記音声ユーザ相互作用は、所望された触覚効果を模倣する音を含み、
前記触覚効果を決定することは、前記所望された触覚効果を模倣する音に関連付けられる触覚効果を決定することを含む、請求項１のシステム。

【請求項7】

前記プロセッサはさらに、前記触覚効果に関連付けられる触覚信号を前記触覚出力デバイスに出力するべく構成される、請求項１のシステム。

【請求項8】

前記プロセッサはさらに、前記触覚効果を前記データストアに格納するのに先立って、前記触覚効果を確認するユーザ相互作用に関連付けられる入力信号を受信するべく構成される、請求項７のシステム。

【請求項9】

前記触覚出力デバイスは、圧電アクチュエータ、電気モータ、電磁アクチュエータ、ボイスコイル、形状記憶合金、電気活性ポリマー、ソレノイド、偏心回転質量モータ（ＥＲＭ）又は線形共振アクチュエータ（ＬＲＡ）の一つ以上を含む、請求項７のシステム。

【請求項10】

方法であって、
音声ユーザ相互作用に関連付けられるオーディオ信号をオーディオキャプチャデバイスから受信することと、
前記オーディオ信号に部分的に基づいて触覚効果を決定することであって、前記触覚効果は、触覚出力デバイスにより出力されるべく構成されることと、
前記触覚効果をデータストアに格納することと
を含む、方法。

【請求項11】

前記音声ユーザ相互作用は、話された言葉を含み、前記方法さらに、前記話された言葉のコンテンツを決定することを含む、請求項１０の方法。

【請求項12】

前記話された言葉のコンテンツは、所望された触覚効果の特徴の記述を含み、
前記触覚効果を決定することは、前記所望された触覚効果の特徴を有する触覚信号を決定することを含む、請求項１１の方法。

【請求項13】

前記所望された触覚効果は、波形、周波数、強度、タイプ又は持続時間の一つ以上を含む、請求項１２の方法。

【請求項14】

前記話された言葉のコンテンツは、所望された触覚効果に関連付けられる概念を含み、
前記触覚効果を決定することは、複数の触覚効果に関連付けられるデータを含むデータベースを、前記概念に関連付けられる格納された触覚効果を求めて検索することを含む、請求項１１の方法。

【請求項15】

前記音声ユーザ相互作用は、所望された触覚効果を模倣する音を含み、
前記触覚効果を決定することは、前記所望された触覚効果を模倣する音に関連付けられる触覚効果を決定することを含む、請求項１０の方法。

【請求項16】

前記触覚効果に関連付けられる触覚信号を前記触覚出力デバイスに出力することをさらに含む、請求項１０の方法。

【請求項17】

前記触覚効果を前記データストアに格納するのに先立って、前記触覚効果を確認するユーザ相互作用に関連付けられる入力信号を受信することをさらに含む、請求項１６の方法。

【請求項18】

非一時的コンピュータ可読媒体であって、
プロセッサにより実行されると前記プロセッサに、
音声ユーザ相互作用に関連付けられるオーディオ信号をオーディオキャプチャデバイスから受信することと、
前記オーディオ信号に部分的に基づいて触覚効果を決定することであって、前記触覚効果は、触覚出力デバイスにより出力されるべく構成されることと、
前記触覚効果をデータストアに格納することと
を行わせるプログラムコードを含む、非一時的コンピュータ可読媒体。

【請求項19】

前記音声ユーザ相互作用は、話された言葉を含み、
前記プロセッサはさらに、前記話された言葉のコンテンツを決定するべく構成される、請求項１８の非一時的コンピュータ可読媒体。

【請求項20】

前記話された言葉のコンテンツは、所望された触覚効果の特徴の記述を含み、
前記触覚効果を決定することは、前記所望された触覚効果の特徴を有する触覚信号を決定することを含む、請求項１９の非一時的コンピュータ可読媒体。

【発明の詳細な説明】

【技術分野】

【0001】

本願は、触覚効果をデザインすることに関し、詳しくは、スピーチコマンドを使用して触覚効果をデザインするシステム及び方法に関する。

【背景技術】

【0002】

触覚対応デバイスが、触覚対応環境と同様に益々一般的になっている。例えば、携帯型デバイス及び他のデバイスを、ユーザがタッチセンシティブディスプレイの複数部分に触れることによって入力を与えることができるように、タッチセンシティブ表面を有する構成にすることができる。代替的に、触覚対応のデバイス又は環境のためのジェスチャ入力及び他の入力もまた、ウェアラブル、ＶＲ又はＡＲデバイス、自動車、ゲーミング、ライブイベント、グループイベント及び他の環境にとって一般的になりつつある。同様に、電子デバイスを音声で認識及び制御するシステム及び方法も一般的になりつつある。したがって、触覚効果をデザインする付加的なシステムが必要とされている。

【発明の概要】

【0003】

一実施形態において、本開示に係るシステムは、オーディオキャプチャデバイスからオーディオ信号を受信することであって、当該オーディオ信号は音声ユーザ相互作用に関連付けられることと、当該オーディオ信号に部分的に基づいて触覚効果を決定することであって、当該触覚効果は、触覚出力デバイスにより出力されるように構成されることと、当該触覚効果をデータストアに格納することとを行うように構成されたプロセッサを含む。

【0004】

他実施形態において、本開示に係る方法は、オーディオキャプチャデバイスからオーディオ信号を受信することであって、当該オーディオ信号は、音声ユーザ相互作用に関連付けられることと、当該オーディオ信号に部分的に基づいて触覚効果を決定することであって、当該触覚効果は、触覚出力デバイスにより出力されるように構成されることと、当該触覚効果をデータストアに格納することとを含む。

【0005】

さらなる他実施形態において、非一時的コンピュータ可読媒体が、プロセッサが実行すると当該プロセッサに、オーディオキャプチャデバイスから、音声ユーザ相互作用に関連付けられるオーディオ信号を受信することと、当該オーディオ信号に部分的に基づいて、触覚出力デバイスが出力するべく構成された触覚効果を決定することと、当該触覚効果をデータストアに格納することとを行わせるように構成されたプログラムコードを含み得る。

【0006】

これらの具体的な実施形態は、本主題を限定し又はその限定を画定することなく、その理解を補助する例を与えるべく言及される。具体的な実施形態が詳細な説明に説明され、そこには、さらなる記載も与えられる。様々な実施形態により提供される利点が、本明細書を精査することにより、及び／又は請求項に記載される主題の一つ以上の実施形態を実施することにより、さらに理解される。

【図面の簡単な説明】

【0007】

完全かつ実施可能な開示が、本明細書の残り部分に詳細に記載される。本明細書は、以下の添付図面を参照する。

【0008】

【図1A】本開示の一実施形態に係るスピーチコマンドを使用して触覚効果をデザインする具体的なシステムを示す。

【図1B】図１Ａに示されるシステムの一実施形態の外観図を示す。

【図1C】図１Ａに示されるシステムの他実施形態の外観図を例示する。

【図2】図２Ａは、本開示の一実施形態に係るスピーチコマンドを使用して触覚効果をデザインする実施形態の一例を例示する。図２Ｂは、本開示の一実施形態に係るスピーチコマンドを使用して触覚効果をデザインする実施形態の他例を例示する。

【図3】図３Ａは、本開示の一実施形態に係るスピーチコマンドを使用して触覚効果をデザインする実施形態の他例を例示する。図３Ｂは、本開示の一実施形態に係るスピーチコマンドを使用して触覚効果をデザインする実施形態の他例を例示する。

【図4】本開示の一実施形態に係るスピーチコマンドを使用して触覚効果をデザインする方法ステップのフローチャートである。

【図5】本開示の一実施形態に係るスピーチコマンドを使用して触覚効果をデザインする方法ステップのフローチャートである。

【発明を実施するための形態】

【0009】

ここで、様々なかつ代替の具体的な実施形態を及び添付の図面を詳細に参照する。説明を介するが、制限としてではなく、各例が与えられる。当業者にわかることだが、修正及び変形を行うことができる。例えば、一実施形態の一部として示され又は記載される特徴が、他実施形態において、なおもさらなる実施形態を得るべく使用することができる。すなわち、添付の特許請求の範囲及びその均等物の範囲内に入る修正及び変形が本開示に含まれることが意図される。

【0010】

スピーチコマンドを使用して触覚効果をデザインするシステムの具体的な例

【0011】

本開示の一つの具体的な実施形態は、タブレット、電子リーダ、携帯電話機、ラップトップ若しくはデスクトップコンピュータのようなコンピュータ、ウェアラブルデバイス、又は仮想現実（ＶＲ）若しくは拡張現実（ＡＲ）用のインタフェイスを含む。電子デバイスは、ディスプレイ（例えばタッチ画面ディスプレイ）、メモリ、及びこれらの要素相互と通信するプロセッサを含む。具体的な実施形態において、電子デバイスは、触覚効果を出力するべく構成された触覚出力デバイスを含む。さらに、具体的な電子デバイスは、例えば、タッチ画面、マウス、ジョイスティック、多機能コントローラ等の一つ以上のような従来型インタフェイスデバイスとのユーザ相互作用を受信するように構成することができる。

【0012】

具体的な実施形態において、電子デバイスはさらに、例えばマイクロホンを介して音声ユーザ相互作用を受信するように構成される。電子デバイスはさらに、マイクロホンから受信したオーディオを処理して当該音声ユーザ相互作用に関連付けられる情報を決定するようにプログラムされたプロセッサを含む。例えば、具体的な電子デバイスは、例えば、隠れマルコフモデル（ＨＭＭ）、ガウス混合モデル（ＧＭＭ）、ディープラーニング等のような自動音声認識（ＡＳＲ）技術又はスピーチテキスト変換のような、話された言葉を理解するためにプログラミングを含み得る。具体的な実施形態において、電子デバイスはさらに、音声ユーザ相互作用に基づいて触覚効果を決定するべく構成される。

【0013】

具体的な実施形態において、音声ユーザ相互作用は、任意の人工音を含み得る。一実施形態において、音声ユーザ相互作用は、所望された触覚効果を記述するスピーチを含む。例えば、スピーチは、触覚効果の特徴の記述を含み得る。例えば、波形、周波数、強度、タイプ又は持続時間の一つ以上のような、所望された波形を記述するスピーチである。具体的な電子デバイスは、この音声ユーザ相互作用を使用して、所望された特徴に整合する触覚信号を生成することができる。さらに、具体的な実施形態において、音声ユーザ相互作用は、例えば衝撃、爆発又は雨のような、所望された触覚効果に関連付けられる概念の記載を含み得る。かかる実施形態において、電子デバイスは、その概念を模擬する特徴を有する触覚効果を決定する。さらなる他例において、音声ユーザ相互作用は、所望された触覚効果を模倣する音を含み得る。かかる実施形態において、電子デバイスは、当該音に関連付けられる触覚効果を決定する。

【0014】

いくつかの実施形態において、可聴相互作用は、上述した実施形態の混合を含み得る。例えば、ユーザは、「フル振幅かつ周波数５０Ｈｚで２００ｍｓのドカーンという爆発効果を与えて」と言うことにより、効果を記述することができる。かかる実施形態において、電子デバイスは、ユーザが与えた記述に整合する触覚効果を決定する。

【0015】

具体的な実施形態において、電子デバイスは、触覚効果に関連付けられる新たな波形を生成するソフトウェアを含み得る。さらに、電子デバイスは、既存の触覚効果を修正するように構成することができる。例えば、ユーザは、高い周波数の雨の効果を記述することができ、電子デバイスは、例えば触覚信号の周波数及び／又は振幅を増加させることにより、雨に関連付けられる触覚効果の周波数を増加させることができる。電子デバイスは、所望された特徴を有する効果を特定するべくリモート又はローカルのデータベースを検索するように構成することができる。代替的に、いくつかの実施形態において、データベースがオーディオ及び／又はビデオファイルを含み得る結果、システムがオーディオ及び／又は視覚入力と比較して類似性を決定し、ひいては当該入力とファイルとの類似性に基づいて触覚効果を選択することができる。

【0016】

具体的な実施形態において、電子デバイスは、既存の触覚信号を受信して当該触覚信号を、所望された効果に整合するように修正するべく構成される。例えば、電子デバイスは、触覚効果を特定するべくデータベースを検索することができる。このデータベースは、タグによって整理された多数の触覚効果を含み得る。プロセッサは、例えば特定の言葉に関連付けられるタグのような、決定されたスピーチに関連付けられるタグを抽出し、当該決定されたスピーチのタグに整合する触覚効果を特定するように構成することができる。例えば、ユーザは、雨に関連付けられる触覚効果を記述することができるので、電子デバイスは、雨に関連付けられるタグを有する触覚効果を求めて触覚効果のデータベースを検索することができる。

【0017】

いくつかの実施形態において、電子デバイスはさらに、ユーザが触覚効果をデータベースに格納することができるように構成することができる。例えば、ユーザが新たな触覚効果を作り出し又は既存の触覚効果を修正するとき、ユーザはその後、その触覚効果をデータベースに保存することができる。さらに、ユーザは、データベースに関連付けられるタグを作り出すことができる。例えば、「爆発」、「自動車事故」、「建物解体用の鉄球」等のようなタグである。これらの触覚効果は、例えばオーディオアプリケーション、ビデオアプリケーション、ゲーミングアプリケーション、及び／又はＶＲ若しくはＡＲ用のアプリケーションのようなソフトウェアアプリケーションでの使用を目的として事象に関連付けることができる。さらに、ユーザは、既存の触覚効果のために新たなタグを作り出すことによってデータベースを増強することができる。例えば、ユーザが触覚効果を経験するとき、ユーザは、当該触覚効果に関連付けられる新たなタグを作り出すことができる。この新たなタグは、例えば「激しい衝突」、「割れるガラスびん」等のような、触覚効果を記述するものとなり、データベースを容易かつ効率的に検索できるようにし得る。さらに、いくつかの実施形態において、ユーザは、触覚効果に関連付けられるビデオ及び／又はオーディオのセグメントにタグを適用することにより、データベースの検索機能さらに増強することができる。

【0018】

具体的な実施形態において、ひとたび触覚効果が決定されると、それを、例えばローカル又はリモートのデータストアのようなメモリに格納することができる。代替的又は付加的に、電子デバイスは、触覚出力デバイスを介して触覚効果を出力することができる。いくつかの実施形態において、触覚効果は、オーディオ及び／又はビデオの効果とともに出力することができる。これらの効果は、ＡＲ若しくはＶＲ体験の現実性を増強し、又はオーディオ若しくはビデオの効果とともに出力され得る。さらに、具体的な実施形態において、ユーザは、電子デバイスが所望された触覚効果を生成したことを確認するオプションを得ることができる。具体的な実施形態において、触覚効果は、ユーザがこの確認を与えない限り格納されない。

【0019】

この具体的な例は、ここに説明される一般的な主題を読み手に紹介するべく与えられ、本開示がこの例に限定されることはない。以下のセクションに、本開示の様々な付加的非限定例が記載される。

【0020】

スピーチコマンドを使用して触覚効果をデザインする具体的なシステム

【0021】

図１Ａは、スピーチコマンドを使用して触覚効果をデザインする具体的なシステム１００を示す。特に、この例において、システム１００は、バス１０６を介して他のハードウェアとのインタフェイスをなすプロセッサ１０２を有するコンピューティングデバイス１０１を含む。ＲＡＭ、ＲＯＭ、ＥＥＰＲＯＭ等のような任意の適切な有体的な（かつ非一時的な）コンピュータ可読媒体を含み得るメモリ１０４により、コンピューティングデバイス１０１の動作を構成するプログラムコンポーネントが具体化される。この例において、コンピューティングデバイス１０１はさらに、一つ以上のネットワークインタフェイスデバイス１１０、入力／出力（Ｉ／Ｏ）インタフェイスコンポーネント１１２、及び付加的ストレージ１１４を含む。

【0022】

ネットワークデバイス１１０は、ネットワーク接続を容易にする任意のコンポーネントの一つ以上を代表し得る。例としては、イーサネット（登録商標）、ＵＳＢ、ＩＥＥＥ１３９４のような有線インタフェイス、及び／又はＩＥＥＥ８０２．１１、ブルートゥース（登録商標）、若しくはセルラ電話ネットワークにアクセスするための無線インタフェイス（例えばＣＤＭＡ、ＧＳＭ（登録商標）、ＵＭＴＳ、又は他の移動通信ネットワークにアクセスするためのトランシーバ／アンテナ）のような無線インタフェイスを含むがこれらに限られない。

【0023】

Ｉ／Ｏコンポーネント１１２は、一つ以上のディスプレイ、（例えばＶＲ又はＡＲ用の）ディスプレイを含むヘッドセット、湾曲ディスプレイ（例えば、ディスプレイは、画像が表示され得るコンピューティングデバイス１０１の一つ以上の側部へと延びる角度付き表面を含む）、キーボード、マウス、スピーカ、マイクロホン、カメラ（例えば携帯型デバイスの前面及び／又は背面カメラ）、及び／又はデータ入力若しくはデータ出力のために使用される他のハードウェアのようなデバイスとの接続を容易にするべく使用することができる。ストレージ１１４は、デバイス１０１に含まれる磁気、光又は他のストレージ媒体のような不揮発性ストレージを代表する。

【0024】

オーディオ／ビジュアル出力デバイス１１５は、プロセッサ１０２から信号を受信してオーディオ又はビジュアル出力をユーザに与えるべく構成された一つ以上のデバイスを含む。例えば、いくつかの実施形態において、オーディオ／ビジュアル出力デバイス１１５は、タッチ画面ディスプレイ、ＬＣＤディスプレイ、プラスズマディスプレイ、ＣＲＴディスプレイ、プロジェクションディスプレイ、（例えばＶＲ又はＡＲで使用される）各眼のためのディスプレイを含むヘッドセット、又は業界周知の他の何らかのディスプレイのようなディスプレイを含み得る。さらに、オーディオ／ビジュアル出力デバイスは、オーディオをユーザに出力するべく構成された一つ以上のスピーカを含み得る。

【0025】

システム１００はさらに、この例においてデバイス１０１に統合されたタッチ表面１１６を含む。タッチ表面１１６は、ユーザのタッチ入力を感知するべく構成された任意表面を代表する。いくつかの実施形態において、タッチ表面１１６は、タッチ入力に関連付けられる付加的情報を検出するべく構成される。当該情報は例えば、圧力、動きの速度、動きの加速度、ユーザの皮膚温度、又はタッチ入力に関連付けられる他の何らかの情報である。一つ以上のセンサ１０８は、オブジェクトがタッチ表面と接点してプロセッサ１０２により使用される適切なデータを与えるときに、タッチエリアにおけるタッチを検出するべく構成することができる。任意の適切な数、タイプ又は配列のセンサを使用することができる。例えば、抵抗性及び／又は容量性のセンサをタッチ表面１１６に埋め込んで使用し、圧力のようなタッチ及び他の上方の位置を決定することができる。他例として、タッチ位置を決定するべく、タッチ表面を視野とする光センサを使用してよい。

【0026】

さらに、いくつかの実施形態において、タッチ表面１１６及び／又はセンサ１０８は、タッチセンサに頼ることなくユーザ相互作用を検出するセンサを含み得る。例えば、一実施形態において、センサは、ユーザが一表面に適用する圧力を、筋電図検査（ＥＭＧ）信号を使用して検出するべく構成されたセンサを含み得る。さらに、いくつかの実施形態において、センサは、ＲＧＢ又はサーマルカメラを含み、これらのカメラによりキャプチャされた画像を使用してユーザが一表面に及ぼしている圧力の量を推定することができる。

【0027】

いくつかの実施形態において、センサ１０８及びタッチ表面１１６は、タッチ画面ディスプレイ又はタッチパッドを含み得る。例えば、いくつかの実施形態において、タッチ表面１１６及びセンサ１０８は、ディスプレイ信号を受信してユーザに画像を出力するべく構成されたディスプレイの頂面に搭載されたタッチ画面を含み得る。他実施形態において、センサ１０８は、ＬＥＤ検出器を含み得る。例えば、一実施形態において、タッチ表面１１６は、ディスプレイの側部に搭載されたＬＥＤ指検出器を含み得る。いくつかの実施形態において、プロセッサは、一つのセンサ１０８と通信し、他の実施形態において、プロセッサは、複数のセンサ１０８、例えば第１タッチ画面及び第２タッチ画面と通信する。

【0028】

いくつかの実施形態において、一つ以上のセンサ１０８はさらに、携帯型デバイス（例えば加速度計、ジャイロスコープ、カメラ、ＧＰＳ又は他のセンサ）の動きを検出するべく構成された一つ以上のセンサを含む。これらのセンサは、Ｘ、Ｙ又はＺ平面においてデバイスを動かすユーザ相互作用を検出するべく構成することができる。センサ１０８は、ユーザ相互作用を検出し、当該ユーザ相互作用に基づいてプロセッサ１０２に信号を送信するべく構成される。いくつかの実施形態において、センサ１０８は、ユーザ相互作用の多側面を検出するべく構成される。例えば、センサ１０８は、ユーザ相互作用の速度及び圧力を検出してこの情報をインタフェイス信号に組み入れることができる。さらに、いくつかの実施形態において、ユーザ相互作用は、デバイスから離れる多次元ユーザ相互作用を含む。例えば、いくつかの実施形態において、デバイスに関連付けられるカメラを、ユーザの動き、例えば手、指、身体、頭、眼若しくは脚の動き、又は他の人若しくはオブジェクトとの相互作用、を検出するべく構成することができる。

【0029】

コンピューティングデバイスはさらに、オーディオキャプチャデバイス１１７を含む。オーディオキャプチャデバイス１１７は、音声ユーザ相互作用を検出して当該音声ユーザ相互作用に関連付けられる信号をプロセッサ１０２に送信するべく構成された一つ以上のコンポーネントを含む。いくつかの実施形態において、オーディオキャプチャデバイス１１７は一つ以上のマイクロホンを含む。例えば、オーディオキャプチャデバイス１１７は、ダイナミックマイクロホン、コンデンサーマイクロホン、圧電マイクロホン、ＭＥＭＳ（微小電気機械システム）マイクロホン、レーザマイクロホン又は光ファイバマイクロホンの一つ以上を含み得る。さらに、いくつかの実施形態において、オーディオキャプチャデバイス１１７及びオーディオ出力デバイスは、一つのコンポーネントに組み入れることができる。

【0030】

この例において、プロセッサ１０２と通信する触覚出力デバイス１１８は、タッチ表面１１６に結合される。いくつかの実施形態において、触覚出力デバイス１１８は、触覚信号に応答して、タッチ表面のコンプライアンスを模擬する触覚効果を出力するように構成することができる。付加的又は代替的に、触覚出力デバイス１１８は、制御された態様でタッチ表面を動かす振動触覚の触覚効果を与えてよい。いくつかの触覚効果は、デバイスのハウジングに結合されたアクチュエータを利用することができ、いくつかの触覚効果は、連続して及び／又は同時に、多数のアクチュエータを使用することができる。例えば、いくつかの実施形態において、表面テクスチャを、当該表面を異なる周波数で振動させることによって模擬することができる。かかる実施形態において、触覚出力デバイス１１８は、例えば圧電アクチュエータ、電気モータ、電磁アクチュエータ、ボイスコイル、形状記憶合金、電気活性ポリマー、ソレノイド、偏心回転質量モータ（ＥＲＭ）、又は線形共振アクチュエータ（ＬＲＡ）の一つ以上を含み得る。いくつかの実施形態において、触覚出力デバイス１１８は、例えばＥＲＭ及びＬＲＡのような複数のアクチュエータを含み得る。さらなる他実施形態において、触覚出力デバイス１１８は、粗い表面を伝える手段として抵抗を与える非作動触覚（例えば空気、流体又は超音波出力）を使用してよい。

【0031】

いくつかの実施形態において、触覚効果は、例えば、仮想環境における両手の相対位置、ＶＲ／ＡＲ環境でのオブジェクトの位置、オブジェクトの変形、ＧＵＩ、ＵＩ、ＡＲ、ＶＲ等における相対的なオブジェクト相互作用のような、ユーザ相互作用についての他の感知された情報に基づいて変調することができる。さらなる他実施形態において、触覚効果を作り出す方法が、短い持続時間の効果のバリエーションを含む。ここで、効果の振幅は、感知された信号値（例えばユーザ相互作用に関連付けられる信号値）の関数として変化する。いくつかの実施形態において、効果の周波数が変わり得る場合、固定された認識される振幅を選択し、当該効果の周波数を、感知された信号値の関数として変化させることができる。

【0032】

一つの触覚出力デバイス１１８がここに示されるにもかかわらず、実施形態は、触覚効果を出力するべくそれと同じ又は異なるタイプの多数の触覚出力デバイスを使用することができる。例えば、一実施形態において、圧電アクチュエータを使用することができる。タッチ表面１１６のいくつか又はすべてを、例えば、いくつかの実施形態においては２０〜２５ｋＨｚよりも大きな周波数で動くアクチュエータを使用することにより、超音波周波数において垂直及び／又は水平に配置することができる。いくつかの実施形態において、偏心回転質量モータ及び線形共振アクチュエータのような多数のアクチュエータを、異なるテクスチャ及び他の触覚効果を与えるべく単独で又は同時に使用することができる。

【0033】

さらなる他実施形態において、触覚出力デバイス１１８は、タッチ表面１１６の表面上にテクスチャを模擬するべく、例えば静電気表面アクチュエータを使用することによって静電気力を使用することができる。同様に、いくつかの実施形態において、触覚出力デバイス１１８は、静電気力を使用して、ユーザがタッチ表面１１６の表面上で感じる摩擦を変えることができる。例えば、一実施形態において、触覚出力デバイス１１８は、触覚効果を生成するべく機械的動きの代わりに電圧及び電流を適用する静電気ディスプレイ又は任意の他のデバイスを含み得る。かかる実施形態において、静電気アクチュエータが、導電層及び絶縁層を含み得る。かかる実施形態において、導電層は、銅、アルミニウム、金又は銀のような任意の半導体又は他の導電性材料としてよい。そして、絶縁層は、ガラス、プラスチック、高分子、又は任意の他の絶縁性材料としてよい。

【0034】

プロセッサ１０２は、電気信号を導電層に適用することによって静電気アクチュエータを動作させることができる。電気信号は、いくつかの実施形態において、タッチ表面１１６の近くの又はタッチ表面１１６に触れるオブジェクトに導電層を容量結合するＡＣ信号としてよい。いくつかの実施形態において、ＡＣ信号は、高電圧増幅器によって生成することができる。他実施形態において、容量結合により、タッチ表面１１６の表面上の摩擦係数又はテクスチャを模擬することができる。例えば、一実施形態において、タッチ表面１１６の表面は滑らかであってよいが、容量結合は、タッチ表面１１６の表面近くの物体との間に引力をもたらし得る。いくつかの実施形態において、オブジェクトと導電層との間の引力レベルを変えることにより、タッチ表面１１６の表面にわたって動くオブジェクト上に模擬されるテクスチャを変えること、又はオブジェクトがタッチ表面１１６の表面にわたってうごくときに感じられる摩擦係数を変えることができる。さらに、いくつかの実施形態において、タッチ表面１１６の表面上に模擬されるテクスチャを変えるべく、静電気アクチュエータを、伝統的なアクチュエータと併用して使用することができる。例えば、アクチュエータがタッチ表面１１６の表面のテクスチャの変化を模擬するべく振動するのと同時に、静電気アクチュエータが、タッチ表面１１６の表面上に、又はコンピューティングデバイス１０１の他の部分（例えばそのハウジング又は他の入力デバイス）上に、異なるテクスチャ又は他の効果を模擬することができる。

【0035】

いくつかの実施形態において、タッチ表面１１６近くの又はタッチ表面１１６に接する身体部分を刺激するように触覚効果を生成するべく静電気アクチュエータを使用することができる。例えば、いくつかの実施形態において、静電気アクチュエータにより、ユーザの指の皮膚における神経終末、又は当該静電気アクチュエータに応答可能なスタイラスにおけるコンポーネントを、刺激することができる。皮膚の神経終末は、例えば、刺激を受けて静電気アクチュエータ（例えば容量結合）を、振動又は何らかのより特定的な感覚として感知することができる。例えば、一実施形態において、静電気アクチュエータの導電層が、ユーザの指の導電性部分と結合するＡＣ電圧信号を受信することができる。ユーザがタッチ表面１１６に触れて自身の指を当該タッチ表面上で動かすと、ユーザは、とげ、粒、でこぼこ、ざらつき、べとつき又は何らかの他のテクスチャを感知することができる。

【0036】

メモリ１０４を参照すると、いくつかの実施形態において、どのようにしてデバイスを、スピーチコマンドを使用して触覚効果をデザインすることができるのかを例示するべく、典型的なプログラムコンポーネント１２４、１２６及び１２８が描かれる。この例において、検出モジュール１２４により、プロセッサ１０２が、音声ユーザ相互作用が受信されたか否かを決定するべく、オーディオキャプチャデバイス１１７から受信した信号をモニタリングするように構成される。例えば、モジュール１２４は、音声ユーザ相互作用、例えば触覚効果を記述するスピーチの存在又は不存在を決定するべく、オーディオキャプチャデバイス１１７をサンプリングしてよい。さらに、いくつかの実施形態において、検出モジュール１２４はさらに、センサ１０８からの入力をモニタリングすることができる。当該入力は、音声ユーザ相互作用のモニタリングをアクティブにするグラフィカルユーザインタフェイス上の相互作用を代表し得る。さらに、いくつかの実施形態において、検出モジュール１２４は、触覚効果を記述するスピーチのモニタリングを開始するトリガワードの存在を決定するべく、オーディオキャプチャデバイス１１７からの入力をモニタリングすることができる。例えば、一実施形態において、かかるトリガワードは、「触覚効果を作って」のようなフレーズを含み得る。

【0037】

検出要素１２４が、例えば隠れマルコフモデル（ＨＭＭ）、ガウス混合モデル（ＧＭＭ）、ディープラーニング等のような自動スピーチ認識（ＡＳＲ）技術又はスピーチテキスト変換のような、可聴効果において話されたワードを理解するためのプログラミングを含み得る。さらに、他実施形態において、すべてのワードを抽出するよりもむしろ、検出要素１２４は、その代わりに、例えば低レベルの音声特徴、メル周波数ケプストラム（ＭＦＣ）、メル周波数分析、ゼロ交差率（ＺＣＲ）等、及び／又は事前に訓練されたディープラーニングネットワーク（ＶＧＧｉｓｈ、ＡｌｅｘＮｅｔ、ＬＳＴＭ、ＲＮＮ等）を使用して抽出された高レベルの特徴のような、可聴入力の特徴のみを抽出するべく構成され得る。検出要素１２４はさらに、データベース検索を容易にするタグをテキストに適用する機能を含み得る。例えば、タグは、例えば、「周波数」のような触覚効果に関連付けられるワード、又は、例えば「爆発」のような効果のタイプに関連付けられるワードのような、特定の既知のワードに適用してよい。

【0038】

いくつかの実施形態において、データベース及びコンピューティングデバイス１０１は、ユーザが触覚効果を格納することを可能にする機能を含み得る。さらに、ユーザは、新たなタグを触覚効果に適用することによってデータベースを増強し、検索を高速かつ高効率にすることができる。例えば、ユーザが触覚効果を経験するとき、ユーザは、当該触覚効果に関連付けられる新たなタグを作り出すことができる。この新たなタグは、例えば「ハードバン（ｈａｒｄ ｂａｎｇ）付きの５０Ｈｚの方形波」、「スペースシャトルの発射」等のように触覚効果を記述することにより、データベースの検索を容易かつ効率的にすることができる。さらに、いくつかの実施形態において、ユーザは、触覚効果に関連付けられるビデオ及び／又はオーディオのセグメントにタグを適用することにより、データベースの検索機能さらに増強することができる。

【0039】

さらなる他実施形態において、触覚効果は、コンテンツ（オーディオ及び／又はビデオ）に関連させることができ、コンテンツ自体にキーワードをタグ付けすることができる。さらなる他実施形態において、システムは、タグ／ラベルを触覚効果及びオーディオコンテンツに関連付けるべく、事前に訓練された機械学習モデルを使用することができる。例えば、かかる実施形態において、データベースに関連付けられるデータベース又はコンピューティングシステムは、触覚効果、画像、ビデオ又はオーディオファイルに関連付けられる特徴を、タグ付き効果を有する他の触覚効果、画像、ビデオ又はオーディオファイルと対比することにより、触覚効果、画像、ビデオ又はオーディオファイルを自動的にタグ付けすることができる。さらに、いくつかの実施形態において、効果間の関係を、一つのオブジェクト、例えば「列車」、「飛行機」、「爆発」等に関連付けることができる。代替的に、タグは、効果の特徴（例えば「鋭く短い触覚効果」、「泥のような中程度の効果」）を含み得る。さらに、例えば「２０％の振幅で３０Ｈｚ」のような別々の特性の場合、タグ付けはまた、単純なヒューリスティック法を使用して適用することができる。

【0040】

触覚効果決定モジュール１２６は、オーディオキャプチャデバイス１１７から受信したオーディオデータを分析して生成すべき触覚効果を選択することができるプログラムコンポーネントを代表する。例えば、一実施形態において、モジュール１２６は、可聴相互作用に基づいて生成すべき触覚効果を決定するコードを含む。例えば、モジュール１２６は、可聴相互作用に部分的に基づいて、触覚信号に対する周波数、振幅、波のタイプ、デューティーサイクル、粒子サイズ、粒子密度、サイクル当たりの最大粒子、及び／又は粒子の振幅の一つ以上を決定するべく構成されたプログラムコードを含み得る。代替的に、いくつかの実施形態において、触覚効果決定モジュール１２６は、一つ以上の事前ロードされた触覚効果、例えばＶＲ又はＡＲ環境において特定のオブジェクトに関連付けられる触覚効果を含み得る。これらの触覚効果は、触覚出力デバイス１１８により生成が可能な任意のタイプの触覚効果を含み得る。

【0041】

いくつかの実施形態において、触覚効果決定モジュール１２６は、所定の触覚効果のデータベースを含み、又は当該データベースへのアクセス権を有し、若しく所定の触覚効果のローカル若しくはリモートデータベースにアクセスするコードを有する。かかる実施形態において、触覚効果決定モジュール１２６は、触覚効果の所望された特徴に整合する触覚効果を求めてデータベースを検索するべく構成することができる。触覚効果のデータベースは、オブジェクト及びアクションへの効果の関連付けを容易にするタグ付きキーワードを含み得る。これらのキーワードは、決定モジュール１２４に関して上述されたキーワードに整合し、ひいてはデータベース検索を容易にすることができる。例えば、決定モジュール１２６は、決定モジュール１２４が決定したタグに整合する触覚効果を求めてデータベースを検索することができる。かかる実施形態において、多くのタグが識別された場合、触覚効果決定モジュール１２６は、より多数のタグを有する触覚効果を求めて検索をすることができる。さらに、触覚効果決定モジュール１２６は、少なくとも一つの整合タグを有する触覚効果を識別するが、より多数のタグを有する触覚効果を優先させることができる。例えば、いくつかの実施形態において、システムは、特徴間の距離ベクトルを計算することによって、特徴間の距離を決定することができる。いくつかの実施形態において、かかる距離ベクトルは、ユークリッド距離またはマハラノビス距離として推定することができる。他実施形態において、入力の特徴は、（例えばＫＮＮ、ＳＶＭ等を使用して）ＤＢ要素の特徴に対してクラス分けすることができる。

【0042】

さらに、いくつかの実施形態において、モジュール１２６は、例えば効果の強度、周波数、持続時間、デューティーサイクル、又は触覚効果に関連付けられる任意の他の特性のような、触覚効果の特徴を操作するべく構成されたプログラムコードを含み得る。いくつかの実施形態において、モジュール１２６は、これらの特徴の操作をユーザに許容するプログラムコードを含み得る。この相互作用は、例えば、オーディオキャプチャデバイス１１７からの可聴相互作用、ボタン、タッチ画面及び／又はグラフィカルユーザインタフェイスのようなユーザインタフェイスとの相互作用を介して行われる。

【0043】

触覚効果生成モジュール１２８は、プロセッサ１０２に触覚信号を生成させて当該触覚信号を触覚出力デバイス１１８に送信させるプログラミングを代表する。これにより、触覚出力デバイス１１８は、選択された触覚効果を生成する。例えば、生成モジュール１２８は、触覚出力デバイス１１８に送信される格納された波形又はコマンドにアクセスすることができる。他例として、触覚効果生成モジュール１２８は、所望されたタイプの効果を受信し、触覚出力デバイス１１８に送信される適切な信号を生成するべく信号処理アルゴリズムを利用することができる。さらなる例として、所望された効果を、触覚効果を与える表面（及び／又は他のデバイスコンポーネント）の適切な変位を生成するべく、触覚効果のための標的座標、及び一つ以上のアクチュエータに送信される適切な波形とともに示すことができる。いくつかの実施形態は、触覚効果を出力するのと同時に多数の触覚出力デバイスを利用することができる。

【0044】

タッチ表面は、コンピューティングシステムの特定構成に応じてディスプレイに重ねる（又はそうでない場合は対応する）ことができる。図１Ｂにおいて、コンピューティングシステム１００Ｂの外観図が示される。コンピューティングデバイス１０１は、タッチ表面と当該デバイスのディスプレイとを組み合わせるタッチ有効ディスプレイ１１６を含む。タッチ表面１１６は、外部のディスプレイに対応してよく、又は実際のディスプレイコンポーネントの上にある一つ以上の材料層に対応してよい。

【0045】

図１Ｃは、タッチ表面がディスプレイに重ならないタッチ有効コンピューティングシステム１００Ｃの他例を例示する。この例において、コンピューティングデバイス１０１は、タッチ表面１１６を特徴とする。タッチ表面１１６は、デバイス１０１とのインタフェイスをなすコンピューティングシステム１２０に含まれたディスプレイ１２２に与えられるグラフィカルユーザインタフェイスにマッピングされる。例えば、コンピューティングデバイス１０１が、マウス、トラックパッド又は他のデバイスを含み得る一方、コンピューティングシステム１２０は、デスクトップ又はラップトップコンピュータ、セットトップボックス（例えばＤＶＤプレーヤ、ＤＶＲ、ケーブルテレビジョンボックス）、又は他のコンピューティングシステムを含んでよい。他例として、タッチ表面１１６及びディスプレイ１２２は、ラップトップコンピュータに特徴的なディスプレイ１２２におけるタッチ有効トラックパッドのような同じデバイスに配置されてよい。ディスプレイに統合されてもそうでなくても、ここでの例における平面タッチ表面の記載は、制限を意味しない。他実施形態は、触覚効果を与えるべくさらに構成された湾曲又は不規則性のタッチ有効表面を含む。

【0046】

図２Ａ〜２Ｂは、スピーチコマンドを使用して触覚効果をデザインするデバイスの実施形態の一例を例示する。図２Ａは、タッチ対応ディスプレイ２０２と特徴とするコンピューティングデバイス２０１を含むシステム２００の外観図を例示する図である。図２Ｂは、デバイス２０１の断面図を示す。デバイス２０１は、図１Ａのデバイス１０１と同様に構成されるが、プロセッサ、メモリ、センサ等のようなコンポーネントは、明確性を目的として、図において示されない。

【0047】

図２Ｂに見えるように、デバイス２０１は、複数の触覚出力デバイス２１８及び付加的な触覚出力デバイス２２２を特徴とする。触覚出力デバイス２１８−１は、ディスプレイ２０２に垂直力を与える一方で２１８−２がディスプレイ２０２を側方に動かすことができるアクチュエータを含み得る。この例において、触覚出力デバイス２１８、２２２は、ディスプレイに直接結合されるが、触覚出力デバイス２１８、２２２は、ディスプレイ２０２上の材料層のような他のタッチ表面に結合され得ることも理解すべきである。さらに、触覚出力デバイス２１８又は２２２の一つ以上が、上述された静電気アクチュエータを含み得ることも理解すべきである。さらに、触覚出力デバイス２２２は、デバイス２０１のコンポーネントを包含するハウジングに結合され得る。図２Ａ〜２Ｂの例において、ディスプレイ２０２のエリアは、タッチエリアに対応する。ただし、その原理は、ディスプレイとは完全に分離されたタッチ表面にも当てはまり得る。

【0048】

一実施形態において、触覚出力デバイス２１８それぞれが圧電アクチュエータを含む一方、触覚出力デバイス２２２は、偏心回転質量モータ、線形共振アクチュエータ、又は他の圧電アクチュエータを含む。触覚出力デバイス２２２は、プロセッサからの触覚信号に応答して振動触覚の触覚効果を与えるように構成することができる。振動触覚の触覚効果を、表面系の触覚効果と併用して及び／又は他の目的のために、利用することができる。

【0049】

いくつかの実施形態において、触覚出力デバイス２１８−１及び２１８−２のいずれか又はその双方が、圧電アクチュエータとは別のアクチュエータを含み得る。これらのアクチュエータはいずれも、例えば、圧電アクチュエータ、電磁アクチュエータ、電気活性高分子、形状記憶合金、可撓性複合圧電アクチュエータ（例えば可撓性材料を含むアクチュエータ）、静電アクチュエータ及び／又は磁歪アクチュエータを含み得る。付加的に、触覚出力デバイス２２２が示されるにもかかわらず、多数の他の触覚出力デバイスを、デバイス２０１のハウジングに結合してもよく、及び／又は触覚出力デバイス２２２を他の箇所に結合してもよい。デバイス２０１は、異なる箇所においても同様にタッチ表面に結合された多数の触覚出力デバイス２１８−１／２１８−２を特徴としてよい。

【0050】

ここで図３Ａを参照すると、図３Ａは、本開示の一実施形態に係るスピーチコマンドを使用して触覚効果をデザインする実施形態の他例を例示する。図３Ａは、スマートフォン又はタブレットを含み得る電子デバイス３００を含む。電子デバイス３００は、タッチ画面ディスプレイ３０２及びオーディオ入力デバイスを含む。図３Ａに示されるように、電子デバイス３００は、オーディオ入力を受信し、当該オーディオ入力に関連付けられるグラフィック３０４を表示している。いくつかの実施形態において、グラフィック３０４は、オーディオ信号を測定するオシロスコープが表示する波のパターンを含み得る。代替的に、グラフィック３０４は、すべての触覚効果のために使用される既存のアイコンを含み得る。ひとたびオーディオ信号が受信されると、電子デバイス３００は、当該オーディオ信号を処理して当該オーディオ信号に関連付けられる触覚効果を決定するべく構成される。

【0051】

一実施形態において、オーディオ入力は、触覚効果が関連付けられるべき特定タイプのオブジェクトの記述を含み得る。例えば、ユーザは、特定のオブジェクト又は概念（例えば雨）若しくはアクション（例えばボールを打つ男）に関連する触覚効果を作り出すべく、電子デバイス３００に告げることができる。かかる実施形態において、電子デバイス３００は、ユーザのスピーチ入力を認識し、その後、ユーザコマンドにおいて識別されたキーワードが与えられたローカル又はリモートデータベースから適切な効果を取得する。上述のように、データベースにおける触覚効果は、キーワード又はタグによりタグ付けすることができる。これにより、オブジェクト又はアクションに関連付けられるデータとの効果の関連付けが高速かつ高効率となる。

【0052】

他実施形態において、ユーザは、効果の高レベルの記述を与えることができる。例えば、ユーザは、例えば波形／リズム（例えばランプアップ）、強度（例えば強い）、タイプ（例えばテクスチャ）、持続時間（例えば短い）等の点で触覚効果を記述することができる。かかる実施形態において、電子デバイス３００は、スピーチ入力を認識してデータベースから、ユーザが記述した特徴又はタグを有する触覚効果を取得する。他実施形態において、システムは、特徴を認識し、ユーザが与えた記述に整合する触覚効果又は触覚信号を作り出す。

【0053】

さらなる他実施形態において、デザイナーは、アクションを模倣する音を使用して触覚効果を記述する。かかる実施形態において、電子デバイス３００は、例えば「ドカーン」のような音をキャプチャし、その特徴及び／又はその本質（例えば爆発）を識別する。システム３００はその後、これらの特性を触覚効果の形態で複製し、及び／又は適切なタグ若しくは記述を有する効果を取得する。さらなる他実施形態において、電子デバイス３００は、音をキャプチャし、同様の音を求めてデータベースを検索し、この音に関連付けられる触覚効果を当該データベースから返す。

【0054】

ここで図３Ｂを参照すると、図３Ｂは、本開示の一実施形態に係るスピーチコマンドを使用して触覚効果をデザインする実施形態の他例を例示する。図３Ｂに示されるように、電子デバイス３００は、一つ以上の触覚出力デバイスを使用して触覚効果を出力する。その後、電子デバイスは、触覚効果３０６を受け入れるオプションをユーザに与える。ユーザはその後、電子デバイスとのインタフェイスを使用すること、又は、例えば当該触覚効果の受け入れを確認するフレーズを話すことのような、オーディオ入力を使用することのいずれかにより、当該触覚効果を受け入れる。システム３００に示される言語及びデザインは実施形態の一例である。触覚効果の受け入れを確認するべく、触覚効果を受け入れる他の言語も表示又は使用してよい。

【0055】

いくつかの実施形態において、ユーザは、当該触覚効果を拒否し、触覚効果を作り出すプロセスを再開してよい。さらに、いくつかの実施形態において、ユーザは、作り出された触覚効果を修正してよい。例えば、ユーザは、例えば「高い周波数」、「低い振幅」、「終わりにハードストップを含めて」等の音声コマンドを使用して、当該作り出された触覚効果を修正することができる。システム３００は、このオーディオ入力を受信し、認識し、ユーザの記述に従って触覚効果を修正するべく構成される。

【0056】

スピーチコマンドを使用して触覚効果をデザインする具体的な方法

【0057】

図４及び５は、一実施形態に係るスピーチコマンドを使用して触覚効果をデザインする方法を行うステップのフローチャートである。いくつかの実施形態において、図４及び５におけるステップは、例えば汎用コンピュータ、携帯型デバイス、仮想現実制御システム、又はサーバにおけるプロセッサのようなプロセッサにより実行されるプログラムコードに実装することができる。いくつかの実施形態において、これらのステップは、一群のプロセッサに実装してよい。いくつかの実施形態において、図４又は５に示される一つ以上のステップは、省略してよく、又は異なる順序で行ってよい。同様に、いくつかの実施形態において、図４又は５に示されない付加的なステップも行うことができる。以下のステップは、図１Ａに示されるコンピュータデバイス１０１に関して上述されたコンポーネントを参照して記載される。

【0058】

方法４００は、プロセッサ１０２がオーディオ信号を受信するステップ４０２から開始する。オーディオ信号は、オーディオキャプチャデバイス１１７により検出される可聴ユーザ入力を含む。オーディオキャプチャデバイス１１７はその後、可聴ユーザ入力に関連付けられる信号をプロセッサ１０２に送信する。可聴ユーザ入力は、所望された触覚効果に関連付けられる。例えば、可聴ユーザ入力は、所望された波形の記述（例えば波形、周波数、強度、タイプ（例えば振動、摩擦、変形等）又は持続時間の一つ以上を記述するスピーチ）、所望された触覚効果に関連付けられる概念又はオブジェクトの記述（例えば衝撃、爆発又は雨）、又は所望された触覚効果を模倣する音（例えばドカーン、バタン等）の一つ以上を記述し得る。さらに、いくつかの実施形態において、可聴相互作用は、上述した実施形態の混合を含み得る。例えば、ユーザは、「フル振幅かつ周波数５０Ｈｚで２００ｍｓのドカーンという爆発効果を与えて」と言うことにより、効果を記述することができる。

【0059】

ステップ４０４において、プロセッサ１０２は、上述したオーディオ相互作用に基づいて触覚効果を決定する。プロセッサ１０２は、ステップ４０２において検出された音声ユーザ相互作用に整合する触覚効果を決定するべく構成することができる。いくつかの実施形態において、プロセッサ１０２は、新たな触覚効果を決定し、既存の触覚効果を識別し（例えばデータベースを検索することにより）、又は既存の触覚効果への修正を決定することができる。触覚効果を決定するべくプロセッサ１０２がとり得る付加的なステップが、方法５００に関して以下に説明される。

【0060】

ステップ４０６において、プロセッサ１０２は、触覚信号を触覚出力デバイス１１８に出力する。触覚出力デバイス１１８は触覚効果を出力する。触覚信号は、一つ以上の触覚出力デバイス１１８に出力される一つ以上の信号を含み得る。触覚出力デバイス１１８は、触覚信号を受信し、所望された触覚効果に対応する触覚効果を出力するべく構成される。

【0061】

ステップ４０８において、プロセッサ１０２はユーザ入力を受信する。例えば、いくつかの実施形態において、プロセッサ１０２は、決定された触覚効果が正しいことを確認することがユーザに許容されるように構成することができる。かかる実施形態において、プロセッサ１０２は、触覚信号を触覚出力デバイス１１８に出力することができる。触覚出力デバイス１１８は、触覚効果を出力する。その後、プロセッサ１０２は、触覚効果が正しいことを確認するユーザ入力を受信するべく構成することができる。このユーザ入力は、オーディオ入力デバイス１１７が検出する音声ユーザ相互作用を含み、又は例えばタッチ画面のような伝統的なユーザインタフェイスを介するユーザ相互作用を含み得る。さらに、触覚効果が間違いであることをユーザ入力が示す場合、プロセッサ１０２は、当該ユーザ入力に基づいて触覚効果を修正するべく構成することができる。例えば、ユーザは、触覚効果の一つ以上の特徴を変更するべく、例えば、当該効果の強度、周波数、持続時間、デューティーサイクル、又は触覚効果に関連付けられる任意の他の特徴を変更するべく、入力を与えることができる。プロセッサ１０２は、この変化を行って、修正された触覚信号を触覚出力デバイス１１８に出力するべく構成することができる。

【0062】

ステップ４１０において、プロセッサ１０２は触覚効果を格納する。プロセッサは、触覚効果をローカルメモリ１０４に格納するべく構成することができる。代替的に、プロセッサ１０２は、触覚効果を、リモートデータストア及び／又は触覚効果データベースに格納するべく構成することができる。さらに、いくつかの実施形態において、プロセッサ１０２は、タグ又は他の記述を触覚効果に適用するべく構成することができる。このタグは、効果の高レベル記述（例えば激しい雨、柔らかい衝突、卓球の玉等）、又は触覚効果の低レベル記述（例えば効果のタイプ、周波数及び振幅）を含み得る。いくつかの実施形態において、このタグにより、他のデバイスによる触覚効果の検索を容易に行うことができる。

【0063】

ここで図５を参照する。図５は、触覚効果を決定する付加的なステップの方法５００を描く。方法５００は、プロセッサ１０２がオーディオ信号のコンテンツを決定するステップ５０２から開始する。例えば、プロセッサ１０２は、例えば、隠れマルコフモデル（ＨＭＭ）、ガウス混合モデル（ＧＭＭ）、ディープラーニング等のような自動音声認識（ＡＳＲ）技術又はスピーチテキスト変換を使用して、音声ユーザ相互作用において話される言語を理解するべく構成することができる。さらに、他実施形態において、すべてのワードを抽出するよりもむしろ、プロセッサ１０２は、その代わりに、例えば低レベルの音声特徴、メル周波数ケプストラム（ＭＦＣ）、メル周波数分析、ゼロ交差率（ＺＣＲ）等、及び／又は事前に訓練されたディープラーニングネットワーク（ＶＧＧｉｓｈ、ＡｌｅｘＮｅｔ、ＬＳＴＭ、ＲＮＮ等）を使用して抽出された高レベルの特徴のような、可聴入力の特徴のみを抽出するべく構成され得る。

【0064】

ステップ５０４において、プロセッサ１０２は、触覚効果を識別するべくデータベースを検索する。データベースは、リモート又はローカルデータベースを含み得る。データベースは触覚効果を含み得る。プロセッサ１０２は、音声ユーザ相互作用に整合する適切な触覚効果を求めてデータベースを検索することができる。代替的に、データベースは、関連付けられる触覚効果を含むオーディオ及び／又はビデオファイルを含み得る。かかる実施形態において、プロセッサ１０２は、音声ユーザ相互作用に対応するファイルを求めてデータベースを検索することができる。プロセッサ１０２はその後、当該対応ファイルに関連付けられる触覚効果が、整合する触覚効果であることを決定することができる。さらに、いくつかの実施形態において、プロセッサ１０２は、データベースにおける触覚効果への、ユーザの記述に整合させる修正を決定するべく構成することができる。例えば、プロセッサ１０２は、データベースにおいて爆発に関連付けられる触覚効果を識別することができる。プロセッサ１０２はその後、この触覚効果を修正し、７０％デューティーサイクルの方形波による大爆発のユーザの記述に整合させることができる。

【0065】

スピーチコマンドを使用して触覚効果をデザインすることには多数の利点が存在する。ここに開示される実施形態により、触覚効果をデザインするプロセスを容易にすることができる。例えば、デザイナーは、触覚効果をデザインする専門的な知識を必要としなくてよい。さらに、ここに記載される実施形態により、既存の触覚効果のデータベースを作り出して検索することが与えられる。これにより、触覚効果のデザイン及び実装が効率的になる。これにより、触覚効果を含むデバイスの数が増加し得る。これにより、ユーザにとって引き付けられる触覚体験、及びデザイナーにとって効率的なプロセスがもたらされる。

【0066】

一般的な考慮事項

【0067】

上述した方法、システム及びデバイスは例である。様々な構成は、適切な場合には、様々な手順又は部品を省略し、置換し、又は追加することができる。例えば、代替構成において、方法は、上述されたものとは異なる順序で行うことができ、並びに／又は、様々なステージを追加、省略、及び／若しくは結合することができる。また、所定の構成に関して記載された特徴は、様々な他構成に結合される。当該構成のための異なる側面及び要素を、同様の態様で結合することができる。また、技術は進化するので、要素の多くは例であって本開示又は特許請求の範囲を制限することはない。

【0068】

構成例（実装形態を含む）の完全な理解を与えるべく、本記載において特定の詳細が与えられる。しかしながら、構成は、これら特定の詳細なしに実施することができる。例えば、当該構成が曖昧になるのを避けるべく、不要な詳細なしに周知の回路、プロセス、アルゴリズム、構造及び技法が示されてきた。本記載は、構成例のみを与え、請求項の範囲、適用性又は構成を制限することがない。むしろ、当該構成の先の記載は、当業者に対し、記載の技法を実装する実施可能な説明を与える。本開示の要旨又は範囲から逸脱することなく、要素の機能及び配列において様々な変更がなし得る。

【0069】

また、構成は、フロー図又はブロック図として描かれるプロセスとして記載することができる。それぞれが順次プロセスとして動作を記載し得るにもかかわらず、当該動作の多くは並行して又は同時に行うこともできる。加えて、当該動作の順序は再配列してよい。プロセスは、図面に含まれない付加的なステップを有してよい。さらに、方法の例は、ハードウェア、ソフトウェア、ファームウェア、ミドルウェア、マイクロコード、ハードウェア記述言語、又はこれらの任意の組み合わせにより実装してよい。ソフトウェア、ファームウェア、ミドルウェア又はマイクロコードで実施されるとき、必要なタスクを実行するためのプログラムコード又はコードセグメントは、格納媒体のような非一時的コンピュータ可読媒体に格納することができる。プロセッサが、上記タスクを行い得る。

【0070】

いくつかの構成例が記載されてきたが、本開示の要旨から逸脱することなく、様々な修正、代替構造及び均等物を使用することができる。例えば、上記要素は、大きなシステムのコンポーネントとしてよく、ここで、他のルールが本発明の適用よりも優先され、そうでなければ本発明の適用を修正してよい。また、上記要素が考慮される前に、間に、又は上記要素が考慮された後に、一定数のステップを行うことができる。したがって、上記記載は、特許請求の範囲を拘束しない。

【0071】

ここでの「〜するべく適合され」又は「〜するべく構成され」との使用は、付加的なタスク又はステップを行うべく適合され又は構成されたデバイスを排除しないオープンかつ包括的な言語を意味する。加えて、「〜に基づいて」の使用も、一つ以上の記載条件「に基づいて」のプロセス、ステップ、計算又は他の動作が、実際のところ、記載されたものを超える付加的な条件又は値に基づき得る点で、オープンかつ包括的な意味である。ここに含まれる見出し、リスト及び番号付けは、説明の容易のみを目的とし、制限を意味しない。

【0072】

本主題の側面に係る実施形態は、デジタル電子回路に、コンピュータハードウェア、ファームウェア、ソフトウェアに、又は前述の組み合わせに実装することができる。一実施形態において、コンピュータは、一つのプロセッサ又は複数のプロセッサを含んでよい。プロセッサは、当該プロセッサに結合されたランダムアクセスメモリ（ＲＡＭ）のようなコンピュータ可読媒体を含み、又はこれへのアクセスを有する。プロセッサは、上述の方法を行うためのセンササンプリングルーチン、選択ルーチン、及び他のルーチンを含む一つ以上のコンピュータプログラムの実行のような、メモリに格納されたコンピュータ実行可能プログラム命令を実行する。

【0073】

かかるプロセッサは、マイクロプロセッサ、デジタル信号プロセッサ（ＤＳＰ）、特定用途向け集積回路（ＡＳＩＣ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）及び状態機械を含み得る。かかるプロセッサはさらに、例えばＰＬＣ、プログラマブル割り込みコントローラ（ＰＩＣ）、プログラマブルロジック装置（ＰＬＤ）、プログラマブルリードオンリーメモリ（ＰＲＯＭ）、電子的プログラム可能リードオンリーメモリ（ＥＰＲＯＭ又はＥＥＰＲＯＭ）又は他の同様の装置のようなプログラマブル電子装置を含み得る。

【0074】

かかるプロセッサは、例えば有体コンピュータ可読媒体のような媒体を含み又はこれと通信する。媒体は、プロセッサにより実行されると、プロセッサにより実行され又は補助されるここに記載のステップを、当該プロセッサに行わせることができる命令を格納する。コンピュータ可読媒体の実施形態は、ウェブサーバにおけるプロセッサのようなプロセッサにコンピュータ可読命令を与えることができるすべての電子、光、磁気又は他の格納装置を含むがこれらに限られない。他の例の媒体は、フロッピーディスク（登録商標）、ＣＤ−ＲＯＭ、磁気ディスク、メモリチップ、ＲＯＭ、ＲＡＭ、ＡＳＩＣ、構成プロセッサ、すべての光媒体、すべての磁気テープ若しくは他の磁気媒体、又はコンピュータプロセッサが読み取り可能な任意の他の媒体を含むがこれらに限られない。また、ルータ、プライベート若しくはパブリックネットワーク、又は他の送信デバイスのような様々な他のデバイスは、コンピュータ可読媒体を含み得る。記載されたプロセッサ及び処理は一以上の構造にあり、及び一つ以上の構造に分散させることもできる。プロセッサは、ここに記載された方法（又は方法の部分）の一以上を実行するコードを含み得る。

【0075】

本主題を特定の実施形態について詳細に述べたが、前述したことを理解すれば、当業者が、かかる実施形態の改変、変形及び均等物を容易にもたらし得ることは明かである。したがって、理解すべきことだが、本開示は、限定ではなく例示を目的として提示されており、当業者にとって容易に明らかとなる本主題のそのような修正、変形及び／又は付加を含むことを排除しない。

【図1A】

【図1B】

【図1C】

【図2】

【図3】

【図4】

【図5】

【外国語明細書】

2019220168000001.pdf