特開 2019-32823 内部マイクロホンを使用してデバイスの加速度を決定するためのシステム及び方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】特開2019-32823(P2019-32823A)

(43)【公開日】2019年2月28日

(54)【発明の名称】内部マイクロホンを使用してデバイスの加速度を決定するためのシステム及び方法

(51)【国際特許分類】

   G06F 3/01 20060101AFI20190201BHJP

   H04R 1/00 20060101ALI20190201BHJP

   H04R 3/00 20060101ALI20190201BHJP

【ＦＩ】

   G06F3/01 560

   H04R1/00 310G

   H04R3/00 320

【審査請求】未請求

【請求項の数】25

【出願形態】ＯＬ

【外国語出願】

【全頁数】24

(21)【出願番号】特願2018-120406(P2018-120406)

(22)【出願日】2018年6月26日

(31)【優先権主張番号】15/636,440

(32)【優先日】2017年6月28日

(33)【優先権主張国】US

【公序良俗違反の表示】

（特許庁注：以下のものは登録商標）

１．ＡＮＤＲＯＩＤ

(71)【出願人】

【識別番号】500390995

【氏名又は名称】イマージョン コーポレーション

【氏名又は名称原語表記】ＩＭＭＥＲＳＩＯＮ ＣＯＲＰＯＲＡＴＩＯＮ

(74)【代理人】

【識別番号】100083806

【弁理士】

【氏名又は名称】三好 秀和

(74)【代理人】

【識別番号】100095500

【弁理士】

【氏名又は名称】伊藤 正和

(74)【代理人】

【識別番号】100111235

【弁理士】

【氏名又は名称】原 裕子

(72)【発明者】

【氏名】サボーネ、 ジャマール

(72)【発明者】

【氏名】クルス−エルナンデス、 ファン マヌエル

【テーマコード（参考）】

5D017

5D220

5E555

【Ｆターム（参考）】

5D017AA11

5D220BA30

5E555AA08

5E555BA05

5E555BA06

5E555BB05

5E555BB06

5E555BC01

5E555CA44

5E555CA47

5E555DA24

5E555DB41

5E555DD07

5E555EA14

5E555FA00

(57)【要約】      （修正有）

【課題】携帯型コンピュータデバイスの内部マイクロホンを使用することにより振動時の携帯型コンピュータデバイスの加速度を推定するためのデバイス、システム及び方法を提供する。
【解決手段】携帯型コンピュータデバイス１００は、携帯型コンピュータデバイスを振動させる触覚効果を出力する触覚出力デバイスを有する。触覚効果が出力されるために携帯型コンピュータデバイスが振動している間に、携帯型コンピュータデバイスのマイクロホンからオーディオ信号がキャプチャされる。オーディオ信号は、触覚効果の出力により引き起こされる携帯型コンピュータデバイスの加速度を推定するために使用される。
【選択図】図１Ｂ

【特許請求の範囲】

【請求項1】

触覚出力デバイスと、
マイクロホンと、
メモリと、
前記触覚出力デバイス、前記マイクロホン及び前記メモリと通信し、且つ前記メモリから実行可能命令を受信するように構成されるプロセッサと
を備え、前記実行可能命令は、前記プロセッサによって実行されると、
前記触覚出力デバイスに触覚効果を出力させるように構成される触覚信号を生成すること、
前記触覚出力デバイスに前記触覚効果を出力させるために前記触覚信号を前記触覚出力デバイスに出力すること、
前記触覚効果の少なくとも一部が前記触覚出力デバイスによって出力されている間に前記マイクロホンを使用してオーディオ信号をキャプチャすること、及び
前記オーディオ信号に基づいて前記触覚効果が出力されるときの携帯型コンピュータデバイスの加速度を推定すること
を前記プロセッサに行わせる、携帯型コンピュータデバイス。

【請求項2】

前記携帯型コンピュータデバイスは、加速度計を備えない、請求項１に記載の携帯型コンピュータデバイス。

【請求項3】

前記携帯型コンピュータデバイスは、加速度計を更に備え、前記マイクロホンに対応する最大サンプリングレートが、前記加速度計に対応する最大サンプリングレートよりも大きい、請求項１に記載の携帯型コンピュータデバイス。

【請求項4】

オーディオドライバが、前記マイクロホンに対応する最大サンプリングレートを指定し、加速度計ドライバが、前記加速度計に対応する最大サンプリングレートを指定する、請求項３に記載の携帯型コンピュータデバイス。

【請求項5】

前記携帯型コンピュータデバイスは、スマートフォン、ファブレット又はタブレットの少なくとも１つである、請求項４に記載の携帯型コンピュータデバイス。

【請求項6】

前記加速度計に対応する前記最大サンプリングレートは、１，０００Ｈｚより低い、請求項４に記載の携帯型コンピュータデバイス。

【請求項7】

前記マイクロホンに対応する前記最大サンプリングレートは、少なくとも２０，０５０Ｈｚである、請求項６に記載の携帯型コンピュータデバイス。

【請求項8】

前記触覚出力デバイスは、線形共振アクチュエータ（ＬＲＡ）又は偏心回転質量（ＥＲＭ）モータである、請求項１に記載の携帯型コンピュータデバイス。

【請求項9】

前記プロセッサは、前記メモリから更に実行可能命令を受信するように構成され、前記実行可能命令は、前記プロセッサによって実行されると、
前記加速度を推定する前に、前記触覚出力デバイスの振動周波数に対応しない周波数を前記オーディオ信号から除去するために前記オーディオ信号に少なくとも１つのフィルタを適用すること
を前記プロセッサに行わせる、請求項１に記載の携帯型コンピュータデバイス。

【請求項10】

前記プロセッサは、前記メモリから更に実行可能命令を受信するように構成され、前記実行可能命令は、前記プロセッサによって実行されると、
前記加速度を推定する前にオーディオ信号にローパスフィルタ又はバンドパスフィルタの少なくとも１つを適用すること
を前記プロセッサに行わせる、請求項１に記載の携帯型コンピュータデバイス。

【請求項11】

前記プロセッサは、前記メモリから更に実行可能命令を受信するように構成され、前記実行可能命令は、前記プロセッサによって実行されると、
推定された加速度が前記触覚効果のための既定の加速度に一致するまでリアルタイムで前記触覚効果の少なくとも１つの特徴を調節すること
を前記プロセッサに行わせる、請求項１に記載の携帯型コンピュータデバイス。

【請求項12】

前記携帯型コンピュータデバイスは前記プロセッサと通信するディスプレイを更に備え、前記プロセッサは、前記メモリから更に実行可能命令を受信するように構成され、前記実行可能命令は、前記プロセッサによって実行されると、
前記ディスプレイに表示信号を出力することであって、前記表示信号は、推定された加速度を前記ディスプレイ上に示すことを前記ディスプレイに行わせるように構成されること
を前記プロセッサに行わせる、請求項１に記載の携帯型コンピュータデバイス。

【請求項13】

携帯型コンピュータデバイスのプロセッサによって、前記携帯型コンピュータデバイスのセンサからセンサ信号を受信するステップであって、前記センサ信号は前記携帯型コンピュータデバイスの動きを示すステップと、
前記プロセッサによって、前記携帯型コンピュータデバイスの動きを示すセンサ信号を受信することに応答して、前記携帯型コンピュータデバイスのマイクロホンからオーディオ信号をキャプチャするステップと、
前記プロセッサによって、前記オーディオ信号に基づいて前記携帯型コンピュータデバイスの加速度を推定するステップと
を含む、方法。

【請求項14】

前記プロセッサによって、前記加速度を推定する前に前記オーディオ信号に少なくとも１つのフィルタを適用するステップを更に含む、請求項１３に記載の方法。

【請求項15】

前記プロセッサによって、前記携帯型コンピュータデバイスの触覚出力デバイスに触覚効果を出力させるように構成される触覚信号を生成するステップと、
前記プロセッサによって、前記触覚出力デバイスに前記触覚効果を出力させるために前記触覚信号を前記触覚出力デバイスに出力するステップと
を更に含み、
前記触覚効果の出力は、前記携帯型コンピュータデバイスの前記センサによって、前記携帯型コンピュータデバイスの動きを示す前記センサ信号を前記携帯型コンピュータデバイスの前記プロセッサへ送信させる、請求項１３に記載の方法。

【請求項16】

前記プロセッサによって、推定された加速度が前記触覚効果のための既定の加速度に一致するまでリアルタイムで前記触覚効果の少なくとも１つの特徴を調節するステップを更に含む、請求項１５に記載の方法。

【請求項17】

前記プロセッサによって、前記携帯型コンピュータデバイスのディスプレイに表示信号を出力するステップであって、前記表示信号は推定された加速度を前記ディスプレイ上に示すことを前記ディスプレイに行わせるように構成されるステップを更に含む、請求項１３に記載の方法。

【請求項18】

前記オーディオ信号は、生パルス符号変調（ＰＣＭ）信号である、請求項１３に記載の方法。

【請求項19】

前記オーディオ信号は、前記携帯型コンピュータデバイスの加速度計に対応する最大サンプリングレートよりも大きなサンプリングレートを含み、前記最大サンプリングレートは前記加速度計に対応し且つ前記加速度計を制御するように構成される加速度計ドライバによって指定される、請求項１３に記載の方法。

【請求項20】

前記加速度計が前記センサである、請求項１９に記載の方法。

【請求項21】

前記マイクロホンが前記センサである、請求項１３に記載の方法。

【請求項22】

プロセッサによって実行されるように構成される１つ以上のソフトウェアアプリケーションを含む非一時的なコンピュータ可読媒体であって、前記１つ以上のソフトウェアアプリケーションは、
携帯型コンピュータデバイスの触覚出力デバイスに触覚効果を出力させるように構成される触覚信号を生成すること、
前記触覚出力デバイスに前記触覚効果を出力させるために前記触覚信号を前記触覚出力デバイスに出力すること、
前記触覚効果の少なくとも一部が前記触覚出力デバイスによって出力されている間に前記携帯型コンピュータデバイスのマイクロホンからオーディオ信号をキャプチャすること、及び
前記オーディオ信号に基づいて振動時の前記携帯型コンピュータデバイスの加速度を推定すること
を行うように構成される、非一時的なコンピュータ可読媒体。

【請求項23】

前記１つ以上のソフトウェアアプリケーションは、
前記加速度を推定する前に前記オーディオ信号に少なくとも１つのフィルタを適用することを行うように更に構成される、請求項２２に記載の非一時的なコンピュータ可読媒体。

【請求項24】

前記１つ以上のソフトウェアアプリケーションは、
推定された加速度が前記触覚効果のための既定の加速度に一致するまでリアルタイムで前記触覚効果の少なくとも１つの特徴を調節することを行うように更に構成される、請求項２２に記載の非一時的なコンピュータ可読媒体。

【請求項25】

前記１つ以上のソフトウェアアプリケーションは、
前記携帯型コンピュータデバイスのディスプレイに表示信号を出力することであって、前記表示信号は推定された加速度を前記ディスプレイ上に示すことを前記ディスプレイに行わせるように構成されることを行うように更に構成される、請求項２２に記載の非一時的なコンピュータ可読媒体。

【発明の詳細な説明】

【技術分野】

【0001】

本願は、一般に、振動している間に携帯型デバイスの加速度を決定することに関する。

【背景技術】

【0002】

携帯型デバイスのアクチュエータが作動されると、携帯型デバイスは、多くの場合、振動することで携帯型デバイスを動かす。従来、携帯型デバイスが振動するときに生成される加速度信号を測定するために、外部加速度計が携帯型デバイスに取り付けられていた。勿論、これは、特定の状況において非効率的且つ非実際的で有り得る外部加速度計の使用を必要とする。例えば、携帯型デバイスに定常的に取り付けられる外部加速度計を有することは非効率的且つ非実際的である。携帯型デバイスが振動するときに生成される加速度信号を測定するために、携帯型デバイスの内部加速度計も使用されてきた。しかしながら、これは振動するときの携帯型デバイスの加速度を推定するために多くの反復を必要とする。加えて、携帯型デバイスの内部加速度計は、一般に、振動するときの携帯型デバイスの加速度を効率的且つ効果的に推定するためには低過ぎるサンプリングレートを有する。更に、全ての携帯型デバイスが内部加速度計を有するわけではない。高サンプリングレートを有するそれ自身の内部マイクロホンを使用することにより、振動するときのそれ自身の加速度を推定することができる携帯型コンピュータデバイスが必要とされている。

【発明の概要】

【0003】

内部マイクロホンを使用して振動時のデバイスの加速度をキャプチャするためのデバイス、システム及び方法に関する様々な例が記載されている。

【0004】

開示された携帯型コンピュータデバイスの一例は、触覚出力デバイス、マイクロホン、メモリ、及び触覚出力デバイス及びマイクロホンと通信するプロセッサを含む。この例では、プロセッサは、プロセッサによって実行されると、プロセッサに、触覚出力デバイスに触覚効果を出力させるように構成される触覚信号を生成すること、触覚出力デバイスに触覚効果を出力させるための触覚信号を触覚出力デバイスに出力すること、触覚出力デバイスによって触覚効果の少なくとも一部が出力されている間にマイクロホンを使用してオーディオ信号をキャプチャすること、オーディオ信号に基づいて触覚効果が出力されるときの携帯型コンピュータデバイスの加速度を推定することを行わせる実行可能命令をメモリから受信するように構成される。

【0005】

一部の例では、オーディオ信号は、生ＰＣＭ信号を含む。オーディオ信号は、少なくとも８，０００Ｈｚ（８ｋＨｚ）のサンプリングレートを有してもよい。オーディオ信号は、少なくとも２２，０５０Ｈｚ及び／又は少なくとも２２ｋＨｚのサンプリングレートを有してもよい。一部の例では、オーディオ信号は、少なくとも４４，１００Ｈｚ（４４．１ｋＨｚ）のサンプリングレートを有する。複数の例において、オーディオ信号は、外部マイクロホン又は外部加速度計等の任意の外部センサを使用せずにキャプチャされ得る。このような例では、触覚効果が出力されるときの携帯型コンピュータデバイスの加速度は、任意の外部センサを使用せずにオーディオ信号に基づいて推定され得る。

【0006】

一部の例では、携帯型コンピュータデバイスは、加速度計を有さない。他の例では、携帯型コンピュータデバイスは、加速度計を有する。複数の例において、オーディオ信号は、加速度計に対応する最大サンプリングレートよりも大きなサンプリングレートを有する。例えば、オーディオ信号は、４４，１００Ｈｚ（４４．１ｋＨｚ）のサンプリングレートを有してもよく、携帯型コンピュータデバイスの加速度計ドライバは、加速度計に対して２００Ｈｚの最大サンプリングレートを指定してもよい。

【0007】

複数の例において、マイクロホンに対応する最大サンプリングレートは、加速度計に対応する最大サンプリングレートよりも大きくてもよい。例えば、携帯型コンピュータデバイスのドライバは、加速度計を制御するように構成されてもよく、加速度計に対して最大サンプリングレートを指定する。この例示では、携帯型コンピュータデバイスのドライバは、マイクロホンを制御するように構成されてもよく、マイクロホンに対して最大サンプリングレートを指定する。

【0008】

一例では、携帯型コンピュータデバイスの加速度計ドライバは、加速度計に対して１００Ｈｚ（０．１ｋＨｚ）以下である最大サンプリングレートを指定する。別の例では、携帯型コンピュータデバイスの加速度計ドライバ、加速度計に対して１，０００Ｈｚ（１ｋＨｚ）以下である最大サンプリングレートを指定する。一部の例では、携帯型コンピュータデバイスのマイクロホンドライバは、マイクロホンに対して少なくとも２０，０５０Ｈｚ（２０．０５ｋＨｚ）である最大サンプリングレートを指定する。他の例では、携帯型コンピュータデバイスのマイクロホンドライバは、マイクロホンに対して少なくとも４４，１００Ｈｚ（４４．１ｋＨｚ）である最大サンプリングレートを指定する。

【0009】

触覚出力デバイスは、一例では、線形共振アクチュエータ（ＬＲＡ）である。一部の例では、触覚出力デバイスは、偏心回転質量（ＥＲＭ）モータである。一部の例では、触覚出力デバイスは、単一アクチュエータである。他の例では、触覚出力デバイスは、２つ以上のアクチュエータであり得る。一部の例では、携帯型コンピュータデバイスは、スマートフォン、ファブレット又はタブレットの少なくとも１つである。

【0010】

一部の例では、携帯型コンピュータデバイスのプロセッサは、プロセッサによって実行されると、プロセッサに、加速度を推定する前に触覚出力デバイスの振動周波数に対応しない周波数をオーディオ信号から除去するために少なくとも１つのフィルタをオーディオ信号に適用することを行わせる実行可能命令をメモリから受信するように更に構成される。一部の例では、携帯型コンピュータデバイスのプロセッサは、プロセッサによって実行されると、プロセッサに、加速度を推定する前にオーディオ信号にローパスフィルタ又はバンドパスフィルタの少なくとも１つを適用することを行わせる実行可能命令をメモリから受信するように更に構成される。

【0011】

様々なの例では、携帯型コンピュータデバイスのプロセッサは、プロセッサによって実行されると、プロセッサに、推定された加速度が触覚効果のための既定の加速度と一致するまでリアルタイムで触覚効果の少なくとも１つの特徴を調節することを行わせる実行可能命令をメモリから受信するように更に構成される。一例では、携帯型コンピュータデバイスは、プロセッサと通信するディスプレイを有する。ディスプレイは、超ねじれネマチック（ＳＴＮ）ディスプレイ、カラー超ねじれネマチック（ＣＳＴＮ）ディスプレイ、薄膜トランジスタ（ＴＦＴ）ディスプレイ、薄膜ダイオード（ＴＦＤ）ディスプレイであり得る。ディスプレイは、有機発光ダイオード（ＯＬＥＤ）ディスプレイ又はアクティブマトリクス有機発光ダイオード（ＡＭＯＬＥＤ）であってもよい。ディスプレイは、容量性タッチスクリーンディスプレイ又は抵抗性タッチスクリーンディスプレイであってもよい。複数の例において、プロセッサによって実行されると、プロセッサに、表示信号をディスプレイに出力することを行わせる実行可能命令をメモリから受信するように更に構成される。表示信号は、推定された加速度をディスプレイ上に示すことをディスプレイに行わせるように構成されてもよい。

【0012】

開示された方法の一例は、携帯型コンピュータデバイスのプロセッサによって、携帯型コンピュータデバイスのマイクロホンからオーディオ信号をキャプチャするステップと、プロセッサによって、オーディオ信号に基づいて携帯型コンピュータデバイスの加速度を推定するステップとを含む。一部の例では、方法は、プロセッサによって、携帯型コンピュータデバイスのセンサからセンサ信号を受信するステップであって、センサ信号は携帯型コンピュータデバイスの動きを示すステップと、携帯型コンピュータデバイスの動きを示すセンサ信号を受信することに応答してオーディオ信号をキャプチャするステップとを更に含む。一部の例では、方法は、プロセッサによって、加速度を推定する前にオーディオ信号に少なくとも１つのフィルタを適用するステップを更に含む。

【0013】

一部の例では、方法は、プロセッサによって、携帯型コンピュータデバイスの触覚出力デバイスに触覚効果を出力させるために触覚信号を生成するステップと、プロセッサによって、触覚出力デバイスに触覚効果を出力させるための触覚信号を触覚出力デバイスに出力するステップとを更に含み、触覚効果の出力は、携帯型コンピュータデバイスのセンサによって、携帯型コンピュータデバイスの動きを示すセンサ信号を携帯型コンピュータデバイスのプロセッサへと送信させる。

【0014】

一部の例では、方法は、プロセッサによって、推定された加速度が触覚効果のための既定の加速度と一致するまでリアルタイムで触覚効果の少なくとも１つの特徴を調節するステップを更に含む。一部の例では、方法は、プロセッサによって、携帯型コンピュータデバイスのディスプレイに表示信号を出力するステップであって、表示信号は推定された加速度をディスプレイに表示することをディスプレイに行わせるように構成されるステップを更に含む。オーディオ信号は、生パルス符号変調（ＰＣＭ）信号であってもよい。オーディオ信号は、携帯型コンピュータデバイスの加速度計に対応する最大サンプリングレートよりも大きなサンプリングレートを含み得る。最大サンプリングレートは、加速度計に対応し得る。最大サンプリングレートは、加速度計を制御するように構成される加速度計ドライバによって指定されてもよい。加速度計は、センサであり得る。マイクロホンは、センサであり得る。

【0015】

開示された方法の一例は、携帯型コンピュータデバイスのプロセッサによって、携帯型コンピュータデバイスの触覚出力デバイスに触覚効果を出力させるように構成される触覚信号を生成するステップと、プロセッサによって、触覚出力デバイスに触覚効果を出力させるために触覚出力デバイスに触覚信号を出力するステップと、プロセッサによって、触覚効果の少なくとも一部が触覚出力デバイスによって出力されている間に携帯型コンピュータデバイスのマイクロホンからオーディオ信号をキャプチャするステップと、プロセッサによって、オーディオ信号に基づいて触覚効果が出力されるときの携帯型コンピュータデバイスの加速度を推定するステップとを含む。

【0016】

一部の例では、方法は、プロセッサによって、加速度を推定する前にオーディオ信号に少なくとも１つのフィルタを適用するステップを更に含む。方法は、プロセッサによって、推定された加速度が触覚効果のための既定の加速度に一致するまでリアルタイムで触覚効果の少なくとも１つの特徴を調節するステップを更に含み得る。一部の例では、例えば、触覚効果の（複数の）特徴がリアルタイムで調節されない場合、方法は、プロセッサによって、携帯型コンピュータデバイスのディスプレイに表示信号を出力するステップを更に含む。表示信号は、推定された加速度をディスプレイ上に示すことをディスプレイに行わせるように構成され得る。

【0017】

複数の例では、オーディオ信号は、生パルス符号変調（ＰＣＭ）信号である。オーディオ信号は、携帯型コンピュータデバイスの加速度計に対応する最大サンプリングレートよりも大きなサンプリングレートを有し得る。

【0018】

本開示の非一時的なコンピュータ可読媒体の一例は、プロセッサによって実行されるように構成される１つ以上のソフトウェアアプリケーションを含む。この例では、１つ以上のソフトウェアアプリケーションは、携帯型コンピュータデバイスの触覚出力デバイスに触覚効果を出力させるように構成される触覚信号を生成すること、触覚効果を触覚出力デバイスに出力させるために触覚信号を触覚出力デバイスに出力すること、触覚効果の少なくとも一部が触覚出力デバイスによって出力されている間に携帯型コンピュータデバイスのマイクロホンからオーディオ信号をキャプチャすること、及びオーディオ信号に基づいて振動時に携帯型コンピュータデバイスの加速度を推定することを行うように構成される。

【0019】

一部の例では、１つ以上のソフトウェアアプリケーションは、 加速度を推定する前にオーディオ信号に少なくとも１つのフィルタを適用するように更に構成される。様々な例では、１つ以上のソフトウェアアプリケーションは、推定された加速度が触覚効果のための既定の加速度と一致するまでリアルタイムで触覚効果の少なくとも１つの特徴を調節するように更に構成される。一部の例では、１つ以上のソフトウェアアプリケーションは、携帯型コンピュータデバイスのディスプレイに表示信号を出力するように更に構成される。表示信号は、推定された加速度を示すことをディスプレイに行わせるように構成されてもよい。

【0020】

こうした例示は、本開示の範囲を限定又は定義するために言及されるのではなく、その理解を支援するための例示を提供するものである。詳細な説明において例示が検討されており、そこには更なる説明が提供されている。様々な例によってもたらされる利点は、本明細書を吟味することにより更に理解され得る。

【図面の簡単な説明】

【0021】

本特許又は出願ファイルは、カラーで作成された少なくとも１つの図面を含む。カラー図面を有する本特許又は特許出願のコピーは、要求及び必要な手数料の支払いに応じて庁により提供されるであろう。

【0022】

本明細書に組み込まれてその一部を構成する添付の図面は、１つ以上の所定の例示を示しており、例示の説明と共に、所定の例示の原理及び実装を説明する役割を果たす。

【0023】

【図1A】一例に従って、コンピュータデバイスの内部触覚出力デバイスが加速度を推定する際にコンピュータデバイスの内部マイクロホンを使用することにより触覚効果を出力するときにコンピュータデバイスの加速度を推定するための例示的なコンピュータデバイスを示す。

【図1B】一例に従って、コンピュータデバイスの内部触覚出力デバイスが加速度を推定する際にコンピュータデバイスの内部マイクロホンを使用することにより触覚効果を出力するときにコンピュータデバイスの加速度を推定するための例示的なコンピュータデバイスを示す。

【0024】

【図2】一例に従って、コンピュータデバイスの内部触覚出力デバイスがコンピュータデバイスの内部マイクロホンを使用することにより触覚効果を出力するときにコンピュータデバイスの加速度を推定する例示的な方法を示す。

【0025】

【図3】一例に従って、線形共振アクチュエータ（ＬＲＡ）を有するＳａｍｓｕｎｇ Ｇａｌａｘｙ Ｓ６のスマートフォンが、図２に示された方法２００によりＳａｍｓｕｎｇ Ｇａｌａｘｙ Ｓ６のスマートフォンの内部マイクロホンを使用して測定される推定正規化加速度と比較して特定の触覚効果を出力するときに外部加速度計により測定される正規化加速度を示す。

【0026】

【図4】一例に従って、線形共振アクチュエータ（ＬＲＡ）を有するＳａｍｓｕｎｇ Ｇａｌａｘｙ Ｓ７のスマートフォンが、図２に示された方法２００によりＳａｍｓｕｎｇ Ｇａｌａｘｙ Ｓ７のスマートフォンの内部マイクロホンを使用して測定される推定正規化加速度と比較して特定の触覚効果を出力するときに外部加速度計により測定される正規化加速度を示す。

【0027】

【図5】一例に従って、線形共振アクチュエータ（ＬＲＡ）を有するＳａｍｓｕｎｇ Ｇａｌａｘｙ Ｓ６ Ｅｄｇｅのスマートフォンが、図２に示された方法２００によりＳａｍｓｕｎｇ Ｇａｌａｘｙ Ｓ６ Ｅｄｇｅのスマートフォンの内部マイクロホンを使用して測定される推定正規化加速度と比較して特定の触覚効果を出力するときに外部加速度計により測定される正規化加速度を示す。

【0028】

【図6】一例に従って、コイン偏心回転質量（ＥＲＭ）モータを有するＳａｍｓｕｎｇ Ｇｒａｎｄｅのスマートフォンが、図２に示された方法２００によりＳａｍｓｕｎｇ Ｇｒａｎｄｅのスマートフォンの内部マイクロホンを使用して測定される推定正規化加速度と比較して特定の触覚効果を出力するときに外部加速度計により測定される正規化加速度を示す。

【0029】

【図7】一例に従って、バー偏心回転質量（ＥＲＭ）モータを有するＨＴＣ Ｏｎｅ Ｍ９のスマートフォンが、図２に示された方法２００によりＨＴＣ Ｏｎｅ Ｍ９のスマートフォンの内部マイクロホンを使用して測定される推定正規化加速度と比較して特定の触覚効果を出力するときに外部加速度計により測定される正規化加速度を示す。

【0030】

【図8】一例に従って、バー偏心回転質量（ＥＲＭ）モータを有するＸｉａｏｍｉ ＲｅｄＭｉ Ｎｏｔｅ ３のスマートフォンが、図２に示された方法２００によりＸｉａｏｍｉ ＲｅｄＭｉ Ｎｏｔｅ ３のスマートフォンの内部マイクロホンを使用して測定される推定正規化加速度と比較して特定の触覚効果を出力するときに外部加速度計により測定される正規化加速度を示す。

【0031】

【図9】一例に従って、コイン偏心回転質量（ＥＲＭ）モータを有するＬＧ Ｎｅｘｕｓ ５のスマートフォンが、図２に示された方法２００によりＬＧ Ｎｅｘｕｓ ５のスマートフォンの内部マイクロホンを使用して測定される推定正規化加速度と比較して特定の触覚効果を出力するときに外部加速度計により測定される正規化加速度を示す。

【発明を実施するための形態】

【0032】

本明細書の例示は、デバイスの内部マイクロホンを使用することにより振動するときのデバイスの加速度をキャプチャするためのデバイス、システム及び方法の文脈で記載される。当業者であれば、以下の記載は例示目的であり、如何なる限定も意図していないことを理解するであろう。次に、添付の図面に示された例示的な実装を詳細に参照する。同じ参照記号が同じ又は同様の項目を参照するために図面及び以下の記載を通じて使用される。

【0033】

明確のため、本明細書に記載の例示の定型的な特徴の全てが示され且つ記載されているわけではない。勿論、このような実際の実装の開発において、アプリケーション及びビジネス関連の制約の遵守等の多くの実装固有の決定が開発者の特定の目的を達成するために行われなければならず、こうした特定の目的は実装ごとに又は開発者ごとに変化することが理解されるであろう。

【0034】

（デバイスの内部マイクロホンを使用することにより振動するときのデバイスの加速度をキャプチャする例示）
１つの例示では、携帯型コンピュータデバイス（例えば、スマートフォン、ファブレット、タブレット等）は、内部触覚出力デバイス（例えば、線形共振アクチュエータ及び／又は偏心回転質量モータ）及び内部マイクロホンを有する。この例示では、携帯型コンピュータデバイスは、触覚効果が出力されている間に携帯型コンピュータデバイスを加速させる触覚効果を出力するときに振動する。携帯型コンピュータデバイスの内部マイクロホンは、携帯型コンピュータデバイスの内部触覚出力デバイスが触覚効果を出力している間にオーディオ信号（例えば、生パルス符号変調（ＰＣＭ）オーディオ信号）をキャプチャするために使用される。

【0035】

次に、キャプチャされたオーディオ信号はフィルタリングされて、触覚効果が内部触覚出力デバイスによって出力されている間に携帯型コンピュータデバイスの加速度を推定するために使用され得る。複数の例において、推定加速度は、触覚効果が出力されるときの携帯型コンピュータデバイス全体の加速度を推定する。携帯型コンピュータデバイス全体の推定加速度は、触覚効果を出力するときに内部触覚出力デバイスによって生成される推定加速度と相関し且つこれを示し得る。一部の例では、推定加速度は、触覚効果、携帯型コンピュータデバイス、及び／又は内部触覚出力デバイスの特徴（例えば、立ち上がり時間、停止／減衰時間、最大振幅、パルス周波数等）を推定するために使用され得る。立ち上がり時間は、それが静止していると仮定して、その定常状態に達するためにアクチュエータが必要とする時間に対応してもよい。減衰時間は、それが定常状態に有ると仮定して、その静止状態に達するためにアクチュエータが必要とする時間に対応してもよい。

【0036】

他の例では、推定加速度は、推定加速度が触覚効果のための既定の加速度に一致するまで、リアルタイムで触覚効果に対応する強度特性を増加又は減少させるように、リアルタイムで携帯型コンピュータデバイスにより分析されて連続的に又は周期的に更新される。このようにして、設計者は、触覚効果のための意図した加速度を指定することができ、触覚効果に対応する１つ以上の特徴が、触覚効果のための意図した加速度に推定加速度が一致するまでリアルタイムで携帯型コンピュータデバイスにより調節され得る。複数の例において、これは、設計者が触覚効果のための意図した加速度を指定することを可能にし、触覚効果は、様々なタイプの内部触覚出力デバイス（例えば、線形共振アクチュエータ、偏心回転質量モータ等）を有する様々なタイプの携帯型コンピュータデバイス（例えば、スマートフォン、ファブレット、タブレット等）における意図した加速度で一貫して出力され得る。

【0037】

この例示の実施形態は本明細書で検討される一般的な主題を読者に紹介するために与えられており、本開示はこの例示に限定されない。以下の節では、様々な追加の非限定的な例示を説明する。

【0038】

次に図１Ａ及び１Ｂを参照すると、こうした図面は、触覚出力デバイス１１８が加速度を推定する際に内部マイクロホン１４２を使用することにより触覚効果を出力するときに携帯型コンピュータデバイス１００の加速度を推定するための例示的な携帯型コンピュータデバイス１００を示している。図１Ａは、携帯型コンピュータデバイス１００の前面を示し、図１Ｂは、携帯型コンピュータデバイス１００のコンポーネントを示す。

【0039】

携帯型コンピュータデバイス１００は、例えば、スマートフォン、ファブレット、タブレット、Ｅリーダ、デジタルカメラ、携帯型ゲームデバイス、携帯型医療デバイス、又はゲームコントローラを含んでもよい。一部の例では、コンピュータデバイス１００は、腕時計、ブレスレット、ネックレス、ベルト、仮想現実（ＶＲ）ヘッドセット又はヘッドホン等のウェアラブルコンピュータデバイスを含んでもよい。コンピュータデバイス１００は図１Ａ及び１Ｂにおいて単一のデバイスとして示されているが、他の例では、携帯型コンピュータデバイス１００は複数のデバイスを含んでもよい。

【0040】

例示の携帯型コンピュータデバイス１００は、バス１０６を介して他のハードウェアとインターフェース接続されるプロセッサ１０２を含む。ＲＡＭ、ＲＯＭ又はＥＥＰＲＯＭ等の任意の適切な有形の（及び非一時的な）コンピュータ可読媒体を含み得るメモリ１０４が、携帯型コンピュータデバイス１００の動作を構成するプログラムコンポーネントを具現化してもよい。一部の例では、携帯型コンピュータデバイス１００は、１つ以上のネットワークインターフェースデバイス１１０、入力／出力（Ｉ／Ｏ）インターフェースコンポーネント１１２、及び追加の記憶装置１１４を更に備えてもよい。他の例では、携帯型コンピュータデバイス１００は、ネットワークインターフェースデバイス１１０、インターフェースコンポーネント１１２、及び／又は追加の記憶装置１１４を有さない。

【0041】

ネットワークインターフェースデバイス１１０は、ネットワーク接続を容易にする１つ以上の任意のネットワークコンポーネントを表し得る。限定されないが、例示には、Ｅｔｈｅｒｎｅｔ（登録商標）、ＵＳＢ、ＩＥＥＥ１３９４等の有線インターフェース、及び／又はＩＥＥＥ８０２．１１、Ｂｌｕｅｔｏｏｔｈ（登録商標）等の無線インターフェース、又は携帯電話ネットワークにアクセスするための無線インターフェース（例えば、ＣＤＭＡ、ＧＳＭ（登録商標）、ＵＭＴＳ又は他の移動通信ネットワーク）が含まれる。

【0042】

Ｉ／Ｏコンポーネント１１２は、１つ以上のディスプレイ、キーボード、カメラ、マウス、スピーカ、ボタン、ジョイスティック、及び／又はデータの入力又は出力に使用される他のハードウェア等のデバイスへの接続を容易にするために使用されてもよい。追加の記憶装置１１４は、読み取り専用メモリ、フラッシュメモリ、ランダムアクセスメモリ（ＲＡＭ）、強誘電性ＲＡＭ（Ｆ−ＲＡＭ）、磁気、光学、又は携帯型コンピュータデバイス１００に含まれ若しくはプロセッサ１０２に結合される他の記憶媒体等の不揮発性記憶装置を表す。

【0043】

携帯型コンピュータデバイス１００は、タッチセンサ面１１６を含む。図１Ｂに示される例では、タッチセンサ面１１６は、携帯型コンピュータデバイス１００に組み込まれる。他の例では、携帯型コンピュータデバイス１００は、タッチセンサ面１１６を含まなくてもよい。タッチセンサ面１１６は、ユーザの触覚入力を感知するように構成される任意の表面を表す。一部の例では、タッチセンサ面１１６は、丸め可能、折り曲げ可能、折り畳み可能、伸縮可能、捻り可能、絞り可能、又はそれ以外の変形が可能であってもよい。例えば、タッチセンサ面１１６は、折り曲げ可能電子ペーパー又はタッチセンサ式ディスプレイデバイスを含んでもよい。

【0044】

１つ以上のタッチセンサ１０８は、一部の例では、物体がタッチセンサ面１１６に接触する場合に接触領域における接触を検出して、プロセッサ１０２によって使用される適切なデータを提供するように構成される。任意の適切な数、タイプ、又は配置のセンサが使用され得る。例えば、抵抗性及び／又は容量性のセンサが、タッチセンサ面１１６に組み込まれて、タッチの場所及び圧力、速さ、及び／又は方向等の他の情報を検出するために使用されてもよい。別の例示として、タッチ位置を決定するために、タッチセンサ面１１６のビューを備える光学センサが使用されてもよい。

【0045】

他の例では、タッチセンサ１０８は、ＬＥＤ（Ｌｉｇｈｔ Ｅｍｉｔｔｉｎｇ Ｄｉｏｄｅ）検出器を含んでもよい。例えば、一部の例では、タッチセンサ面１１６は、ディスプレイの側部に取り付けられるＬＥＤ指検出器を含んでもよい。一部の例では、プロセッサ１０２は、単一のタッチセンサ１０８と通信する。他の例では、プロセッサ１０２は複数のタッチセンサ１０８、例えば、第１のタッチスクリーン及び第２のタッチスクリーンに関係付けられるタッチセンサと通信する。タッチセンサ１０８は、ユーザ相互作用を検出し、ユーザ相互作用に基づいて、プロセッサ１０２に信号を送信するように構成される。一部の例では、タッチセンサ１０８は、ユーザ相互作用の複数の態様を検出するように構成されてもよい。例えば、タッチセンサ１０８は、ユーザ相互作用の速度及び圧力を検出して、この情報を信号に組み込んでもよい。一部の例では、携帯型コンピュータデバイス１００は、タッチセンサ面及び／又はタッチセンサを含まない。

【0046】

一部の例では、携帯型コンピュータデバイス１００は、タッチセンサ面１１６及びディスプレイを組み合わせたタッチ可能ディスプレイを含んでもよい。タッチセンサ面１１６は、ディスプレイ外部又はディスプレイのコンポーネント上の１つ以上の材料レイヤに対応してもよい。他の例では、携帯型コンピュータデバイス１００の特定の構成によっては、タッチセンサ面１１６はディスプレイを含まなくてもよい（そうでない場合、ディスプレイに対応する）。一部の例では、携帯型コンピュータデバイス１００は、ディスプレイを含まない。

【0047】

また、携帯型コンピュータデバイス１００は、１つ以上の追加のセンサ１３０も備える。（複数の）センサ１３０は、プロセッサ１０２にセンサ信号を送信するように構成される。一部の例では、（複数の）センサ１３０は、例えば、カメラ、湿度センサ、周辺光センサ、ジャイロスコープ、ＧＰＳユニット、距離センサ又は深度センサ、バイオリズムセンサ、又は温度センサを含んでもよい。図１Ｂに示された例ではセンサ１３０が携帯型コンピュータデバイス１００の内部に有るように描かれているが、一部の例では、センサ１３０は携帯型コンピュータデバイス１００の外部に有ってもよい。例えば、一部の例では、１つ以上のセンサ１３０が、ゲームシステムを含むコンピュータデバイス１００で使用されるゲームコントローラに関係付けられてもよい。一部の例では、プロセッサ１０２は単一のセンサ１３０と通信し、他の例では、プロセッサ１０２は複数のセンサ１３０、例えば、温度センサ及び湿度センサと通信してもよい。一部の例では、携帯型コンピュータデバイス１００は、（複数の）センサ１３０を含まない。

【0048】

携帯型コンピュータデバイス１００は、プロセッサ１０２と通信する触覚出力デバイス１１８を更に含む。触覚出力デバイス１１８は、触覚信号に応答して触覚効果を出力するように構成される。一部の例では、触覚出力デバイス１１８は、例えば、振動、知覚される摩擦係数の変化、シミュレートされるテクスチャ、温度の変化、ストロークの感覚、電気触覚効果、又は表面変形（例えば、携帯型コンピュータデバイス１００に関係付けられる表面の変形）を含む触覚効果を出力するように構成される。本明細書には単一の触覚出力デバイス１１８が示されているが、一部の例では、触覚効果を生ずるために連続して又は同時に作動され得る同じ又は異なるタイプの複数の触覚出力デバイス１１８を含んでもよい。

【0049】

図１Ｂに示される例では、触覚出力デバイス１１８は、携帯型コンピュータデバイス１００の内部に有る。一部の例では、触覚出力デバイス１１８は、振動を含む触覚効果を出力するように構成されてもよい。一部のこのような例では、触覚出力デバイス１１８は、圧電アクチュエータ、電気モータ、電磁アクチュエータ、音声コイル、形状記憶合金、電気活性ポリマ、ソレノイド、偏心回転質量 （ＥＲＭ）モータ又は線形共振アクチュエータ（ＬＲＡ）の１つ以上を含んでもよい。一部の例では、ＥＲＭモータは、バーＥＲＭモータ又はコインＥＲＭモータであり得る。

【0050】

様々な例において、触覚出力デバイス１１８等の触覚出力でデバイスは、１つ以上の触覚効果を出力することが可能な任意のコンポーネント又はコンポーネントの集合であり得る。例えば、触覚出力デバイスは、限定されないが、偏心回転質量（ＥＲＭ）アクチュエータ、線形共振アクチュエータ（ＬＲＡ）、圧電性アクチュエータ、音声コイルアクチュエータ、電気活性ポリマ（ＥＡＰ）アクチュエータ、形状記憶合金、ページャ、ＤＣモータ、ＡＣモータ、可動磁石アクチュエータ、Ｅコアアクチュエータ、スマートゲル、静電アクチュエータ、電気触覚アクチュエータ、変形可能表面、静電摩擦（ＥＳＦ）装置、超音波摩擦（ＵＳＦ）装置、又は触覚出力デバイスの機能を実行する若しくは触覚効果を出力ことができる任意の他の触覚出力デバイス若しくは構成要素の集合を含む様々な種類の１つであり得る。複数の触覚出力デバイス又は異なる大きさの触覚出力デバイスが、所定範囲の振動周波数を提供するために使用されてもよく、個々に又は同時に作動されてもよい。様々な例示が、単一又は複数の触覚出力デバイスを含んでもよく、同じタイプの又は異なるタイプの触覚出力デバイスの組み合わせを有してもよい。

【0051】

一部の例では、触覚出力デバイス１１８は、例えば、触覚信号に応じて携帯型コンピュータデバイス１００の表面に知覚される摩擦係数を調節する触覚効果を出力するように構成されてもよい。一部のこのような例では、触覚出力デバイス１１８は、超音波アクチュエータを含んでもよい。超音波アクチュエータは、圧電材料を含んでもよい。超音波アクチュエータは、所定の超音波周波数、例えば、２０ｋＨｚで振動して、タッチセンサ面１１６の表面において知覚される係数を増加又は減少してもよい。

【0052】

また、携帯型コンピュータデバイス１００は前面カメラ１３４も含む。例えば、図１Ａに示された前面カメラ１３４は、ユーザによって携帯型コンピュータデバイス１００が使用されるときに、携帯型コンピュータデバイス１００のユーザの方に向く又は面する。前面カメラ１３４は、映像信号をプロセッサ１０２に伝達するように構成される。一部の例では、プロセッサ１０２は、バス１０６を介して前面カメラ１３４と通信する。一部の例では、携帯型コンピュータデバイス１００は、前面カメラを含まない。

【0053】

また、携帯型コンピュータデバイス１００は後面カメラ１４０も含む。例えば、図１Ｂにされた後面カメラ１４０は、ユーザによって携帯型コンピュータデバイス１００が使用されるときに、携帯型コンピュータデバイス１００のユーザから離れた方に向く又は面する。後面カメラ１４０は、映像信号をプロセッサ１０２に伝達するように構成される。一部の例では、プロセッサ１０２は、バス１０６を介して後面カメラ１４０と通信する。一部の例では、携帯型コンピュータデバイス１００は、後面カメラを含まない。複数の例では、携帯型コンピュータデバイス１００は、カメラを含まない。

【0054】

また、携帯型コンピュータデバイス１００は内部マイクロホン１４２も含む。一部の例では、生パルス符号変調（ＰＣＭ）信号フォーマットのオーディオ信号が、内部マイクロホン１４２を使用してキャプチャされ得る。複数の例において、少なくとも８，０００Ｈｚのサンプリングレートを有するオーディオ信号が、内部マイクロホン１４２を使用してキャプチャされ得る。複数の例において、少なくとも２２，０５０Ｈｚのサンプリングレートを有するオーディオ信号が、内部マイクロホン１４２を使用してキャプチャされ得る。複数の例において、少なくとも４４，１００Ｈｚのサンプリングレートを有するオーディオ信号が、内部マイクロホン１４２を使用してキャプチャされ得る。一部の例では、１，０００Ｈｚから４４，１００Ｈｚの間のサンプリングレートを有するオーディオ信号が、内部マイクロホン１４２を使用してキャプチャされ得る。例えば、携帯型コンピュータデバイスにおけるソフトウェアが、内部マイクロホン１４２からオーディオ信号をキャプチャするためのサンプリングレートの選択を可能にしてもよい。様々な例において、任意の適切なサンプリングレートが使用され得る。しかしながら、内部マイクロホン１４２を使用して携帯型コンピュータデバイス１００の加速度を推定する際の精度は、一般に、サンプリングレートが大きいほど増加する。

【0055】

図１Ｂに示される例では、携帯型コンピュータデバイス１００は、内部加速度計１４４を有する。複数の例において、内部マイクロホン１４２に対応する最大サンプリングレートは、内部加速度計１４４に対応する最大サンプリングレートよりも大きい。例えば、携帯型コンピュータデバイスのオーディオドライバは、内部マイクロホン１４２を制御するように構成されてもよく、内部マイクロホン１４２に対して４４，１００Ｈｚの最大サンプリングレートを指定してもよい。この例示では、携帯型コンピュータデバイスの加速度計ドライバは、内部加速度計１４４を制御するように構成されてもよく、内部加速度計１４４に対して１，０００Ｈｚの最大サンプリングレート指定してもよい。一例では、内部マイクロホン１４２に対応する最大サンプリングレートは、最小の２２，０５０Ｈｚであり、内部加速度計１４４に対応する最大サンプリングレートは３００ Ｈｚよりも小さい。一部の例では、内部加速度計１４４に対応する最大サンプリングレートは、１００Ｈｚ又は約１００Ｈｚである。他の例では、内部加速度計１４４に対応する最大サンプリングレートは、２００Ｈｚ又は約２００Ｈｚである。他の例では、携帯型コンピュータデバイス１００は、加速度計を有さない。

【0056】

また、携帯型コンピュータデバイス１００はメモリ１０４も含む。複数の例において、メモリ１０４は、内部触覚出力デバイス１１８が触覚効果を出力するときに内部マイクロホン１４２によってキャプチャされるオーディオ信号に基づいて携帯型コンピュータデバイス１００の加速度を推定するように構成される１つ以上のプログラムコンポーネントを含む。例えば、メモリ１０４は、様々な例による図２の方法２００の一部又は全てを行う１つ以上のプログラムコンポーネントを含む。

【0057】

次に図２を参照すると、この図面は、携帯型コンピュータデバイスの内部触覚出力デバイス（例えば、図１Ｂに示された触覚出力デバイス１１８）が携帯型コンピュータデバイスの内部マイクロホン（例えば、図１Ｂに示されたマイクロホン１４２）を使用することにより触覚効果を出力するときに、携帯型コンピュータデバイス（例えば、図１Ａ及び１Ｂに示された携帯型コンピュータデバイス１００）の加速度を推定する例示的な方法２００を示す。図１Ａ及び／又は１Ｂが参照されるが、様々な例示による携帯型コンピュータデバイスの内部マイクロホンを使用することにより内部触覚出力デバイスが触覚効果を出力するときに、携帯型コンピュータデバイスの加速度を推定するために本開示による任意の適切な携帯型コンピュータデバイスが利用されてもよい。

【0058】

方法２００はブロック２１０で開始し、触覚信号が生成される。例えば、携帯型コンピュータデバイスのプロセッサは、携帯型コンピュータデバイスの内部触覚出力デバイスに触覚効果を出力させるように構成される触覚信号を生成することができる。一例において、プロセッサ１０２は触覚信号を生成し、触覚信号は触覚出力デバイス１１８に触覚効果を生成させるように構成される。例えば、触覚信号は、触覚出力デバイス１１８を振動させるように構成され得る。一部の例では、触覚効果は、触覚パターンを含む。一部の例では、触覚信号は、触覚出力デバイス１１８の最大振幅で触覚出力デバイス１１８に触覚効果を出力させるように構成される。

【0059】

ブロック２２０において、触覚信号が出力される。例えば、携帯型コンピュータデバイスのプロセッサは、触覚信号の受信に応答して、内部触覚出力デバイスに触覚効果を出力させる触覚信号を携帯型コンピュータデバイスの内部触覚出力デバイスに出力し得る。一例において、プロセッサ１０２は、ブロック２１０で生成された触覚信号を触覚出力デバイス１１８に出力する。この例示では、触覚出力デバイス１１８は、プロセッサ１０２から触覚信号を受信することに応答して触覚効果を出力する。

【0060】

ブロック２３０において、内部マイクロホンからオーディオ信号がキャプチャされる。例えば、携帯型コンピュータデバイスのプロセッサは、触覚効果の少なくとも一部が出力されている間に、携帯型コンピュータデバイスの内部マイクロホンからオーディオ信号をキャプチャし得る。一例において、プロセッサ１０２は、触覚出力デバイス１１８が少なくとも一部の触覚効果を出力している間に、内部マイクロホン１４２からオーディオ信号をキャプチャする。

【0061】

一部の例では、オーディオ信号は、生パルス符号変調（ＰＣＭ）信号である。一例では、オーディオ信号は、少なくとも８，０００Ｈｚのサンプリングレートを有する。別の例では、オーディオ信号は、少なくとも２２，０５０Ｈｚのサンプリングレートを有する。一部の例では、オーディオ信号は、少なくとも４４，１００Ｈｚのサンプリングレートを有する。一部の例では、オーディオ信号は、少なくとも１，０００Ｈｚから４４，１００Ｈｚの間のサンプリングレートを有する。様々な例では、オーディオ信号は任意の適切なサンプリングレートを有し得るが、内部マイクロホン１４２を使用してコンピュータデバイス１００の加速度を決定する際の精度は、一般に、オーディオ信号のサンプリングレートを大きくするほど大きくなる。一部の例では、オーディオ信号は、内部加速度計１４４に対応する最大サンプリングレートよりも大きなサンプリングレートを有する。

【0062】

図１Ｂに関して検討されたように、一部の例では、携帯型コンピュータデバイスは内部加速度計を有さない。他の例では、携帯型コンピュータデバイスは、内部加速度計を有する。一部の例では、オーディオ信号は、内部加速度計１４４に対応する最大サンプリングレートよりも大きなサンプリングレートを有する。例えば、内部加速度計１４４のドライバは、内部加速度計１４４に対して１００Ｈｚ以下の最大サンプリングレートを指定してもよく、オーディオ信号は、１００Ｈｚよりも高いサンプリングレートを有してもよい。別の例示として、内部加速度計１４４のドライバは、内部加速度計１４４に対して１，０００Ｈｚ以下の最大サンプリングレートを指定してもよく、オーディオ信号は、１，０００Ｈｚよりも高いサンプリングレートを有してもよい。オーディオ信号が内部加速度計１４４に対応する最大サンプリングレートよりも高いサンプリングレートを有する例において、内部マイクロホン１４２を使用することにより携帯型コンピュータデバイス１００の加速度を推定する際の精度は、内部加速度計１４４を使用することによりコンピュータデバイス１００の加速度を推定する際の精度よりも高い。同様に、携帯型コンピュータデバイス１００の推定加速度は、一般に、触覚効果を出力しているときに触覚出力デバイス１１８によって生成される推定加速度と相関し且つこれを示すので、触覚効果を出力しているときの触覚出力デバイス１１８の加速度を推定する際の精度は、オーディオ信号のサンプリングレートが内部加速度計１４４に対応する最大サンプリングレートよりも大きい場合により高い。

【0063】

一部の例では、触覚信号がブロック２１０で生成される前に及び／又は触覚信号がブロック２２０で出力される前に、テープ及び／又はユーザの指等で携帯型コンピュータデバイスのマイクロホン用の穴が塞がれる。複数の例において、携帯型コンピュータデバイスのマイクロホン用の穴を塞ぐことは、携帯型コンピュータデバイスの内部マイクロホンによって検出され得る周囲ノイズを減らすことでよりクリーンな信号を提供する。従って、アプリケーション開発者（例えば、プログラマ）は、携帯型コンピュータデバイス１００用の触覚効果を構成するために、触覚効果が出力されるときに内部マイクロホン１４２を使用してデバイスの加速度をより正確に決定するために、携帯型コンピュータデバイス１００のマイクロホン用の穴を塞いでもよい。従って、アプリケーション開発者は、例えば、触覚効果が出力されるときにデバイスの内部マイクロホンを使用して様々なコンピュータデバイスの様々なモデルのための加速度を決定することができ、こうしたデバイスによって同じ触覚効果が出力される場合に、デバイスの加速度が同じになるように触覚効果を構成するか又は他のやり方で調整することができ、これにより様々なコンピュータデバイスにわたって一貫した触覚体験を提供することができる。

【0064】

図１Ｂに関して検討されたように、一部の例では、携帯型コンピュータデバイス１００は内部加速度計１４４を備える。こうした例において、内部加速度計１４４は、触覚効果の少なくとも一部が出力されている間に加速度を測定することができる。例えば、プロセッサ１０２がマイクロホン１４２からオーディオ信号をキャプチャすると同時に、プロセッサ１０２は内部加速度計１４４から測定された加速度をキャプチャすることができる。

【0065】

ブロック２４０において、ブロック２３０でキャプチャされたオーディオ信号がフィルタリングされる。例えば、携帯型コンピュータデバイスのプロセッサは、ブロック２３０でキャプチャされたオーディオ信号をフィルタリングすることができる。一例では、携帯型コンピュータデバイス１００のプロセッサ１０２は、オーディオ信号をフィルタリングする。例えば、高周波ノイズを除去するためにオーディオ信号にローパスフィルタが適用され得る。別の例示として、高周波及び超長波ノイズを除去するためにオーディオ信号にバンドパスフィルタが適用され得る。一例において、触覚出力デバイス１１８に対応する振動周波数帯域を除く任意の信号を除去するために１つ以上のバンドパスフィルタがオーディオ信号に適用され得る。

【0066】

ブロック２５０において、内部触覚出力デバイスが触覚効果の少なくとも一部を出力している間の携帯型コンピュータデバイスの加速度が、オーディオ信号に少なくとも部分的に基づいて推定される。一部の例では、携帯型コンピュータデバイスの加速度は、ブロック２３０でキャプチャされたオーディオ信号等のフィルタリングされていないオーディオ信号を使用して推定される。他の例では、携帯型コンピュータデバイスの加速度は、ブロック２４０によるフィルタリングされるオーディオ信号等のフィルタリングされるオーディオ信号を使用して推定される。

【0067】

一例では、フィルタリングされていない及び／又はフィルタリングされたオーディオ信号は、携帯型コンピュータデバイス１００の推定加速度を表す。一部の例では、携帯型コンピュータデバイス１００は内部加速度計１４４を含む。ブロック２３０に関して検討されたように、一部の例では、内部加速度計１４４は、プロセッサ１０２がマイクロホン１４２からオーディオ信号をキャプチャすると同時に内部加速度計１４４から測定された加速度をキャプチャする。こうした例において、内部加速度計１４４から測定された加速度は、オーディオ信号をスケーリングするため、例えば、オーディオ信号を実際の重力値にスケーリングするために使用され得る。これは、同時に内部加速度計１４４からの加速度及び内部マイクロホン１４２からのオーディオ信号をキャプチャしながら、触覚出力デバイス１１８に全振幅で触覚効果を出力させて、次に内部加速度計１４４からキャプチャされた加速度に基づいてオーディオ信号をスケーリングすることで行われ得る。

【0068】

図１Ｂに関して検討されたように、一部の例では、携帯型コンピュータデバイス１００はディスプレイを有する。一部の例では、プロセッサ１０２は、携帯型コンピュータデバイス１００のディスプレイに表示信号を出力する。表示信号は、情報をディスプレイに視覚的に示すことをディスプレイに行わせるように構成され得る。例えば、表示信号は、内部触覚出力デバイス１１８が触覚効果の少なくとも一部を出力している間の携帯型コンピュータデバイス１００の推定加速度を含み得る。一部の例では、表示信号は、内部触覚出力デバイス１１８が触覚効果の少なくとも一部を出力している間の携帯型コンピュータデバイス１００の推定加速度のグラフを含む。例えば、複数の例において、表示信号は、内部触覚出力デバイスが触覚効果の少なくとも一部を出力している間に、携帯型コンピュータデバイス１００の内部加速度計１４４から測定された加速度に基づいて、フィルタリングされていないオーディオ信号及び／又はフィルタリングされたオーディオ信号をスケーリングするグラフを含む。

【0069】

一部の例では、加速度は、フィードバックループを使用せずに、（例えば、ブロック２１０−２５０に関して検討されたように）推定され得る。例えば、触覚信号が生成され且つ出力されて、内部マイクロホンからオーディオ信号がキャプチャされ且つフィルタリングされ、加速度が本明細書に記載のように推定され得る。このような例では、デバイスの内部マイクロホンは、デバイスの内部マイクロホンからオーディオ信号をキャプチャするために使用されてもよく、デバイスの加速度は、触覚効果を調節せずにフィードバックループ無しで推定され得る。開発者は、デバイス用のアプリケーションのために触覚効果を設計するときに推定加速度を使用してもよい。他の例では、図２のブロック２６０に示されるように、推定加速度に基づいて触覚効果を調節するために使用され得る。

【0070】

ブロック２６０において、触覚効果は、推定加速度に基づいて選択的に調節される。例えば、携帯型コンピュータデバイス１００用のアプリケーションの開発者が、推定加速度に基づいて触覚効果の特徴を手動で調節し得る。一部の例では、携帯型コンピュータデバイス１００のユーザが、推定加速度に基づいて触覚効果の特徴を手動で調節し得る。例えば、一例では、１つ以上の特徴（例えば、立ち上がり時間、停止時間、減衰時間、最大振幅、パルス周波数等）が、推定加速度に基づいて推定されてもよく、及び／又は推定加速度に基づいて調節され得る。

【0071】

一部の例では、触覚効果の特徴は、推定加速度に基づいて携帯型コンピュータデバイス１００によって自動的に調節され得る。例えば、プロセッサ１０２は、推定加速度に基づいて触覚効果の１つ以上の特徴を自動的に調節することができる。一部の例では、触覚効果が触覚出力デバイス１１８によって出力された後で、プロセッサ１０２は、推定加速度に基づいて触覚効果の１つ以上の特徴を調節する。こうした例において、触覚効果の（複数の）調節された特徴は、携帯型コンピュータデバイス１００の触覚出力デバイス１１８によって触覚効果の後続の出力のために使用される。一例では、触覚効果の（複数の）特徴は、アプリケーションの開発者によって使用される触覚効果のための既定の加速度又は携帯型コンピュータデバイス１００の使用によって指定される触覚効果のための既定の加速度等、触覚効果のための既定の加速度に一致するように（又は一致するように努力して）携帯型コンピュータデバイス１００の推定加速度を変更するように調節される。

【0072】

複数の例において、触覚効果の特徴は、推定加速度に基づいて携帯型コンピュータデバイス１００によってリアルタイムで調節され得る。例えば、プロセッサ１０２は、推定加速度に基づいて触覚効果の１つ以上の特徴を調節することができる。この例示では、触覚効果が触覚出力デバイス１１８によって出力されている間に、携帯型コンピュータデバイス１００の加速度は、オーディオ信号に少なくとも部分的に基づいてブロック２５０で推定される。触覚出力デバイス１１８が触覚効果の出力を完了する前に、プロセッサ１０２は、調節するべき触覚効果の１つ以上の特徴を決定して、触覚効果の（複数の）特徴を調節するための信号を触覚出力デバイス１１８に送信する。一例では、プロセッサ１０２は、触覚効果のための既定の加速度と推定加速度との比較に基づいて、調節するべき触覚効果の１つ以上の特徴を決定する。複数の例において、触覚効果の（複数の）特徴は、推定加速度が触覚効果のための既定の加速度に一致するか又は近似するまでリアルタイムで調節される。

【0073】

一部の例では、推定加速度は、触覚効果のレンダリングを改善するために使用される。例えば、推定加速度は、触覚信号をいつ制動又は停止するかを決定するために使用され得る。別の例示として、推定加速度は、どのくらい触覚効果を増強するか及び／又はどのくらい触覚効果を減少させるかを決定するために使用され得る。一例では、振動信号の位相を分析して、振動信号と１８０度位相がずれるように構成される振動コマンドを適用することにより、ブレーキが実装される。

【0074】

次に図３から９を参照すると、こうした図面は、様々な例によるスマートフォンの内部マイクロホンを使用して測定される推定された正規化加速度と比較して、アクチュエータを有する様々なスマートフォンが特定の触覚効果を出力するときに外部加速度計によって測定される正規化加速度を示す。

【0075】

図３から９で使用されたスマートフォンは、それぞれ、Ｓａｍｓｕｎｇ Ｇａｌａｘｙ Ｓ６のスマートフォン、Ｓａｍｓｕｎｇ Ｇａｌａｘｙ Ｓ７のスマートフォン、Ｓａｍｓｕｎｇ Ｇａｌａｘｙ Ｓ６ Ｅｄｇｅのスマートフォン、Ｓａｍｓｕｎｇ Ｇｒａｎｄｅのスマートフォン、ＨＴＣ Ｏｎｅ Ｍ９のスマートフォン、Ｘｉａｏｍｉ ＲｅｄＭｉ Ｎｏｔｅ ３のスマートフォン、及びＬＧ Ｎｅｘｕｓ ５のスマートフォンであった。

【0076】

図３から９で使用された各スマートフォンは、Ａｎｄｒｏｉｄオペレーティングシステムを実行した。特に、図３から５及び９に関して使用されたスマートフォンは、Ａｎｄｒｏｉｄ ６オペレーティングシステムを実行した。図７及び８に関して使用されたスマートフォンは、Ａｎｄｒｏｉｄ ５オペレーティングシステムを実行した。図６に関して使用されたスマートフォンは、Ａｎｄｒｏｉｄ ４オペレーティングシステムを実行した。

【0077】

図３から９で使用された各スマートフォンは、アクチュエータも有していた。特に、図３から５に関して使用されたスマートフォンは、各線形共振アクチュエータ（ＬＲＡ）を有していた。図６及び９に関して使用されたスマートフォンは、各コイン偏心回転質量（ＥＲＭ）モータを有していた。図７及び８に関して使用されたスマートフォンは、各バー偏心回転質量（ＥＲＭ）モータを有していた。

【0078】

図３から９で使用された各スマートフォンは、そのスマートフォンの内部アクチュエータが特定の触覚効果を出力するときにそのスマートフォンの加速度を推定するために使用された各内部マイクロホンを有していた。そうするために、スマートフォンが振動している間に、スマートフォンの内部マイクロホンからの生パルス符号変調（ＰＣＭ）オーディオ信号が４４．１ＫＨｚでキャプチャされた。キャプチャされるノイズを減らすために、各スマートフォンのマイクロホンは、そのオーディオ信号をキャプチャする前にテープでマスキングされた。

【0079】

ＡｎｄｒｏｉｄのオペレーティングシステムにおけるＶｉｂｒａｔｅ（）メソッドを使用して、以下の触覚パターン-｛２０，１００，４０，１００，１００，３００，３００｝-が、各スマートフォンのアクチュエータによって出力された。スマートフォンのアクチュエータが触覚パターンを出力するときに、外部加速度計を使用して加速度計信号がキャプチャされた。次に、スマートフォンのアクチュエータが触覚パターンを出力し且つスマートフォンに外部加速度計が取り付けられていない場合に、スマートフォンの内部マイクロホンから生ＰＣＭオーディオ信号が４４．１ＫＨｚでキャプチャされた。

【0080】

次に、キャプチャされた加速度計信号及びキャプチャされたマイクロホン信号が、１００から３００Ｈｚバンドパスフィルタを使用してフィルタリングされた。しかしながら、他の例では、任意の適切なバンドパスフィルタが使用されてもよい。次に、図３から９に示されるように、外部加速度計によってキャプチャされた正規化加速度が、スマートフォンの内部マイクロホンによってキャプチャされた正規化推定加速度と比較された。ＬＲＡアクチュエータを有するスマートフォンに対して、一軸加速度比較グラフが生成された。ＥＲＭモータを有するスマートフォンに対して、３Ｄ加速度比較グラフが生成された。図３から９に示されるように、スマートフォンが振動したときにスマートフォンの内部マイクロホンによってキャプチャされる推定加速度は、外部加速度計によってキャプチャされる加速度に近似した。例えば、ＥＲＭモータを有するスマートフォンに対して、ベクトル加速度が外部加速度計の３軸加速度データから計算され、このベクトル加速度がオーディオ信号から推定された一軸加速度と比較された。この例示では、ベクトル加速度は、ベクトル方程式ａｃｃ＿ｖｅｃｔｏｒ＝ｓｑｒｔ（ｘ＊ｘ＋ｙ＊ｙ＋ｚ＊ｚ）を使用して推定された。ここで、ｘ、ｙ及びｚは３つの垂直の加速軸であった。従って、携帯型コンピュータデバイスの内部マイクロホンは、様々な例によって本明細書に記載のように、振動時に携帯型コンピュータデバイスの加速度に近似するために使用され得る。

【0081】

本明細書に記載のデバイス、システム及び方法の一部の例は様々な機械で実行するソフトウェアに関して記載されているが、方法及びシステムは、例えば、様々な方法を特別に実行するためのフィールド・プログラマブル・ゲート・アレイ（ｆｉｅｌｄ−ｐｒｏｇｒａｍｍａｂｌｅ ｇａｔｅ ａｒｒａｙ；ＦＰＧＡ）等の特別に構成されたハードウェアとして実装されてもよい。例えば、例示は、デジタル電子回路で、又はコンピュータハードウェア、ファームウェア、ソフトウェア若しくはこれらの組み合わせで実装され得る。一例では、デバイスは、１つ又は複数のプロセッサを含んでもよい。プロセッサは、プロセッサに結合されるランダム・アクセス・メモリ（ｒａｎｄｏｍ ａｃｃｅｓｓ ｍｅｍｏｒｙ；ＲＡＭ）等のコンピュータ可読媒体を備える。プロセッサは、メモリに記憶されたコンピュータ実行可能プログラム命令を実行する。例えば、画像を編集するための１つ以上のコンピュータプログラムを実行する。このようなプロセッサは、マイクロプロセッサ、デジタル・シグナル・プロセッサ（ｄｉｇｉｔａｌ ｓｉｇｎａｌ ｐｒｏｃｅｓｓｏｒ；ＤＳＰ）、特定用途向け集積回路（ａｐｐｌｉｃａｔｉｏｎ−ｓｐｅｃｉｆｉｃ ｉｎｔｅｇｒａｔｅｄ ｃｉｒｃｕｉｔ；ＡＳＩＣ）、フィールド・プログラマブル・ゲート・アレイ（ｆｉｅｌｄ ｐｒｏｇｒａｍｍａｂｌｅ ｇａｔｅ ａｒｒａｙ；ＦＰＧＡ）、及び状態機械を含む。このようなプロセッサは、ＰＬＣ、プログラマブル割り込みコントローラ（ｐｒｏｇｒａｍｍａｂｌｅ ｉｎｔｅｒｒｕｐｔ ｃｏｎｔｒｏｌｌｅｒ；ＰＩＣ）、プログラマブル論理デバイス（ｐｒｏｇｒａｍｍａｂｌｅ ｌｏｇｉｃ ｄｅｖｉｃｅ；ＰＬＤ）、プログラマブルＲＯＭ（ｐｒｏｇｒａｍｍａｂｌｅ ｒｅａｄ−ｏｎｌｙ ｍｅｍｏｒｙ；ＰＲＯＭ）、電気的プログラマブルＲＯＭ（ｅｌｅｃｔｒｏｎｉｃａｌｌｙ ｐｒｏｇｒａｍｍａｂｌｅ ｒｅａｄ−ｏｎｌｙ ｍｅｍｏｒｙ；ＥＰＲＯＭ又はＥＥＰＲＯＭ）、又は他の類似のデバイス等のプログラマブル電子デバイスを更に備えてもよい。

【0082】

このようなプロセッサは、媒体、例えば、プロセッサによって実行されると、プロセッサによって遂行又は支援される本明細書に記載のステップをプロセッサに実行させることができる命令を記憶し得るコンピュータ可読記憶媒体を備え又はこれと通信してもよい。コンピュータ可読媒体の例は、限定されないが、プロセッサ、例えばウェブサーバのプロセッサにコンピュータ可読命令を提供することができる電子、光学、磁気又は他の記憶デバイスを含んでもよい。媒体の他の例は、限定されないが、フロッピーディスク、ＣＤ−ＲＯＭ、磁気ディスク、メモリチップ、ＲＯＭ、ＲＡＭ、ＡＳＩＣ、構成プロセッサ、全ての光学媒体、全ての磁気テープ若しくは他の磁気媒体、又はコンピュータプロセッサが読み取り可能な任意の他の媒体を含む。記載されたプロセッサ及び処理は、１つ以上の構造内に有ってもよく、１つ以上の構造を通じて分散されてもよい。プロセッサは、本明細書に記載の１つ以上の方法（又は方法の一部）を実行するためのコードを備えてもよい。

【0083】

本明細書に開示の方法の例は、コンピュータデバイスの動作で実行されてもよい。上記の例において提示されたブロックの順序は変化し得る。例えば、ブロックは、最順序付けされ、結合され、及び／又は小ブロックに分割され得る。所定のブロック又は処理が並列に行われ得る。従って、本明細書に開示の方法のステップは特定の順番で示され且つ記載されているが、他の例は同じ、追加の又は少ないステップを含んでもよい。一部の例は、異なる順番で又は並列にステップを実行してもよい。一部の例では、本明細書に記載の方法における１つ以上のステップは選択的であってもよい。

【0084】

一部の例の上記の説明は、例示及び説明のためにのみ示されているのであって、網羅的であること又は開示された厳密な形態に本開示を限定することは意図されていない。その多くの修正及び適合が、本開示の精神及び範囲から逸脱することなく当業者には明らかであろう。

【0085】

本明細書における一例又は実装への言及は、特定の機能、構造、操作、又は例と関連して記載される他の特徴が本開示の少なくとも１つの実装に含まれ得ることを意味する。本開示は、このように記載された特定の例又は実装に制限されない。明細書の様々な場所における「一例では」又は「ある例において」、「一実装では」又は「ある実装において」という句又はこれらの変形の出現は、必ずしも同じ例又は実装への言及ではない。任意の特定の機能、構造、操作、又は一例若しくは実装に関連する本明細書に記載の他の特徴は、他の機能、構造、操作、又は任意の他の例若しくは実装に関して記載された他の特徴と組み合わされてもよい。

【図1A】

【図1B】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【外国語明細書】

2019032823000001.pdf