特許 7058258 触覚システムにおける三次元知覚

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2022-04-13

(45)【発行日】2022-04-21

(54)【発明の名称】触覚システムにおける三次元知覚

(51)【国際特許分類】

   G06F 3/01 20060101AFI20220414BHJP

【ＦＩ】

G06F3/01 560

【請求項の数】 14

(21)【出願番号】P 2019506388

(86)(22)【出願日】2017-08-02

(65)【公表番号】

(43)【公表日】2019-09-05

(86)【国際出願番号】 EP2017069569

(87)【国際公開番号】W WO2018024788

(87)【国際公開日】2018-02-08

【審査請求日】2020-06-29

(31)【優先権主張番号】62/370,522

(32)【優先日】2016-08-03

(33)【優先権主張国・地域又は機関】US

(31)【優先権主張番号】62/370,865

(32)【優先日】2016-08-04

(33)【優先権主張国・地域又は機関】US

(31)【優先権主張番号】62/370,786

(32)【優先日】2016-08-04

(33)【優先権主張国・地域又は機関】US

(31)【優先権主張番号】62/397,419

(32)【優先日】2016-09-21

(33)【優先権主張国・地域又は機関】US

(73)【特許権者】

【識別番号】517084885

【氏名又は名称】ウルトラハプティクス アイピー リミテッド

【氏名又は名称原語表記】ＵＬＴＲＡＨＡＰＴＩＣＳ ＩＰ ＬＴＤ

【住所又は居所原語表記】Ｔｈｅ Ｗｅｓｔ Ｗｉｎｇ Ｇｌａｓｓ Ｗｈａｒｆ Ｂｒｉｓｔｏｌ ＢＳ２ ０ＥＬ （ＧＢ）

(74)【代理人】

【識別番号】100105957

【弁理士】

【氏名又は名称】恩田 誠

(74)【代理人】

【識別番号】100068755

【弁理士】

【氏名又は名称】恩田 博宣

(74)【代理人】

【識別番号】100142907

【弁理士】

【氏名又は名称】本田 淳

(72)【発明者】

【氏名】カーター、トーマス アンドリュー

(72)【発明者】

【氏名】ハーウッド、アダム ダニエル

(72)【発明者】

【氏名】ロング、ベンジャミン ジョン オリバー

(72)【発明者】

【氏名】ジョーンズ、フィリップ

【審査官】木村 慎太郎

(56)【参考文献】

【文献】国際公開第２０１５／１９４５１０（ＷＯ，Ａ１）

【文献】国際公開第２０１４／１８１０８４（ＷＯ，Ａ１）

【文献】特表２０１６－５３０７４０（ＪＰ，Ａ）

【文献】特開２０１２－３１３４（ＪＰ，Ａ）

【文献】特開平１０－１７１５８７（ＪＰ，Ａ）

【文献】Takayuki Hoshi，Noncontact Tactile Display Based on Radiation Pressure of Airborne Ultrasound，IEEE Transaction on Haptics，IEEE Transaction on Haptics，2010年02月05日，Vol.3,Issue.3，pp.155-165

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｆ ３／０１

(57)【特許請求の範囲】

【請求項1】

方法であって、
既知の相対位置および向きを有するトランスデューサアレイから音場を生成すること、
前記トランスデューサアレイに対して既知の空間関係を有する制御点を規定すること、
空中触覚ベースの動作に基づく信号を生成すること、
音波形を符号化する軌跡で前記制御点を移動させることによって、音波形を有する音を発生させること、
前記制御点によって空中触覚効果を生成すること、
を備える方法。

【請求項2】

前記制御点の移動により前記音波形が人間の耳に聞こえるものとなる、請求項１に記載の方法。

【請求項3】

前記制御点の移動により前記音波形が局所的な音源となる、請求項２に記載の方法。

【請求項4】

前記制御点の移動が振幅変調を伴うことなく生じる、請求項３に記載の方法。

【請求項5】

前記信号は、前記制御点が移動して前記音波形を生成する直線経路として解釈される、請求項２に記載の方法。

【請求項6】

前記信号をデジタルサンプリングして前記直線経路に沿ったパラメータ位置として解釈することをさらに備える請求項５に記載の方法。

【請求項7】

前記信号をデジタルサンプリングして同相成分と直交成分とに分解することをさらに備える請求項５に記載の方法。

【請求項8】

前記信号を同相成分と直交成分とに分解することは、前記信号にフーリエ変換を適用してπ／２位相オフセットを適用することを含む、請求項７に記載の方法。

【請求項9】

前記信号が１次元の閉曲線上にマッピングされる、請求項７に記載の方法。

【請求項10】

前記信号が２次元の表面上にマッピングされる、請求項７に記載の方法。

【請求項11】

前記軌跡が３次元経路を含む、請求項２に記載の方法。

【請求項12】

前記軌跡が立体音響を調節する位相キューを提供するように調整される、請求項２に記載の方法。

【請求項13】

前記立体音響を調節する位相キューが単一の音源を用いる、請求項１２に記載の方法。

【請求項14】

前記トランスデューサアレイに対して既知の空間関係を有する第２の制御点を規定すること、
前記空中触覚ベースの動作に基づく第２の信号を生成すること、
第２の音波形を符号化する第２の軌跡で前記第２の制御点を移動させることによって、第２の音波形を有する第２の音を発生させること、を備え、
前記第２の制御点の移動により前記第２の音波形が人間の耳に聞こえるものとなり、
前記第２の軌跡が立体音響を調節する第２の位相キューを提供するように調整される、請求項１２に記載の方法。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、概して、触覚ベースのシステムにおける模擬三次元物体の知覚および三次元音響の生成のための改良技術に関する。

【背景技術】

【0002】

「音場」と呼ばれる音エネルギーの連続分布は、空中触覚フィードバックを含む様々な用途に使用され得る。このような音場は、既知の相対位置および向きを有するトランスデューサアレイから生成され得る。この音場では、１つまたは複数の制御点が定義され得る。このような制御点は、トランスデューサアレイに対して既知の空間関係を有し得る。

【0003】

これらの制御点には振幅が割り当てられ、それら制御点が信号で振幅変調されることにより、空中での振動触覚フィードバックを生成することができる。フィードバックを生成する別の方法は、振幅が変調されていない制御点を作成してそれらを空間的に動かすことで、感じることができる「時空間」を作成することができる。

【0004】

これらの制御点には超音波エネルギーが事実上集中しており、それら制御点の移動により空気中に外乱が生じる。超音波の焦点によって引き起こされるこれらの外乱を空間的に変調し、それらの外乱を単に前後に移動させることによって、焦点が周囲の空気または他の物質を押すときの音響放射力の原理により低周波音を生成することができる。

【0005】

また、振幅をゆっくりと増減させることなくこのような焦点が迅速に生成されたり破棄されたりすると外乱が急に突然生じる。これにより、望ましくない副作用として、ポップ音やクリック音が頻繁に生じるようになる。ポップ音やクリック音の原因となる圧力の急激な変化がなければ、制御点の移動を用いることにより、振幅を変化させる場合と同様の効果を得ることができる。このことは、制御点を移動させるほうがその振幅を変化させるよりも好ましいことを意味している。音速は一般には制御点の動きよりも速いため、発生した圧力の不均衡を消散させることができ、これにより、大きな空気の乱れを引き起こすことなく制御点を素早く動かすことができる。

【発明の概要】

【0006】

人間の手と仮想物体との交差点を考慮すると、多くの場合、形状全体の非常にごく一部が全体を認識するうえで各指や手のひらに感じられるものとなる。したがって、形状交差点のごく一部を手で感じる場合、必要な制御点の生成と破棄とを生じさせないように全ての形状交差点を生成する必要がある。交差点のごく一部のみを提供するように制御点の生成と破棄が生じた場合、望ましくないノイズが発生する。したがって、形状を記述するためのより経済的な方法は、電力および時間を節約しつつ、手で触れる場所での触覚フィードバックの生成にデバイスの消費電力のより多くを使用可能とすることである。

【0007】

クロスモーダルおよび他の知覚的効果による空中触覚を介した触感誘導は、物体の存在、幾何学的形状、および表面特性を伝達するうえで極めて効果的なものとなっている。基本的に多くの研究は触覚のみの探求に集中しているが、これらのシステムの効果的な使用は主に、体験を提供するために複数の感覚モダリティにわたるシステムを通じて推進される。このため、実際には単純であるが、これらの根本的な原則の実現を通してのみ達成され得る概念的に複雑な影響が存在する。

【0008】

また、空中触覚デバイスを用いる場合、仮想物体は理論的にはユーザが触れるために空中で再現され得る。しかしながら、空中フィードバックの性質上、いくつかの基本的な物理的制限が存在する。これは、デバイスが直接操作できない体性感覚系の部分、例えば、温度感知用のサーモレセプタなどがあるためである。しかしながら、仮想物体との模擬物理的相互作用に関して、空中触覚に特有の長所と短所を必然的に有するデバイスの出力をマッピングするための最適な方法を見つけることは困難である。このため、物体との妥当な相互作用に対応するものとして人間によって容易に受け入れられる方法を開発することに価値がある。また、空中で回転する集点を操作して経路に沿って焦点が移動するたびに音波を生成することが有用である。

【図面の簡単な説明】

【0009】

【図1】いくつかの実施形態による仮想立方体と相互作用する手を表す図。

【図2】いくつかの実施形態による音波を生成する空中を移動する制御点を表す図。

【発明を実施するための形態】

【0010】

以下の詳細な説明とともに添付の図面における異なる図を通じた同様な参照符号は同一または機能的に類似の要素を示しており、これらの図面は明細書に組み込まれてその一部を形成し、特許請求の範囲に記載された発明を含む概念の実施形態をさらに例示し、それらの実施形態の様々な原理および利点を説明するのに役立つ。

【0011】

当業者であれば、図中の要素は簡潔かつ明瞭にするために示されており、必ずしも縮尺どおりに描かれていないことを理解し得る。例えば、図中の要素のいくつかの寸法は、本発明の実施形態の理解を向上させるために、他の要素に対して誇張されている場合がある。

【0012】

装置および方法の構成要素は、図面において一般的な記号により適切に表されており、本明細書に記載の恩恵を受ける当業者には容易に明らかとなり得る詳細部分で開示を曖昧にしないように本発明の実施形態を理解することに関連する特定の詳細部分のみを示している。

【0013】

仮想物体との接触および聴覚の相互作用を含む本明細書に記載の解決策は、それらを組み合わせてまたはそれらを別々に使用できる特性を有する。
［Ｉ．３Ｄ形状再現のための曲線操作］
手が三次元模擬形状の外郭構造体と交差する場合、現在の解決策は、ユーザに対し記述すべき交差点を最もよく表す閉曲線を見つけてその経路を作動させる。経路が閉経路であるので、システムは、その経路に沿って所与の速度（したがって周波数）で移動する単一の制御点を使用し、ノイズをあまり発生させることなく空中触覚での制御点を生成する。しかし、この場合には２つの重要な制限が課される。第１に、閉曲線輪郭として都合よく解釈可能な経路を含む形状のみを表すことができる。開いた輪郭を含む形状は、触覚表現には適していない。つまり、経路を折り曲げることは可能であるが、触覚効果が変わる。第２に、単一の制御点の制約が課される場合には（各制御点は計算を必要とするので、できるだけ使用しないことがよい）１つの輪郭のみを使用することができる。１つの輪郭が１本の指に対してフィードバックを提供するのに有効であり、別の輪郭が手のひらに有効である場合は、複数の制御点を取ることなく両方を使用することはできない。これらの欠点が単一輪郭方法の出力制限に加えて存在する。輪郭の長さが大きくなると、制御点の移動速度が大きくなり、制御点がより薄く広がるようになり、最終的にその制御点の有効な触覚応答性が低下する。

【0014】

単一の輪郭をとる代わりに、触覚効果が発生するユーザの部分とのすべての交差点を線や曲線のセグメントまたは面として見つけることが最良の解決策である。しかし、この場合には多くの開いた曲線を生成することが必要となるため、始点と終点とでそれぞれ何度も制御点を生成および破棄する必要がある。あるいは、各交差点に対して別々の触覚効果を作り出すために多くの制御点を使用することが必要となり、それにより触覚フィードバックの各領域が空間的に固定されたままとなり得る。例えば、手が交差する特定の場合には、各指とともに場合によっては手のひらも別々の触覚効果を持つ必要がある。この場合は多くの接触点が必要となり、各制御点が接触点すなわち交差点に局所的にとどまるようにするために、既存の解決策では大きなノイズが生じるか（単一点の生成と破棄）またはデバイスの電力および計算（多数点）の点で費用がかかる。複数の分断経路に対するこの要件を克服するには、すべての交差点を取得して各交差点を通過する単一の最短経路について最適化することがより効果的である。しかし、この作動は、始点と終点で形状を直線的に横切って移動するものとなり、始点で制御点を生成し、その形状を横断して終点で制御点を破棄した後、その形状の始点で制御点を再生成するものとなる。このような継続的な生成と破壊は、改善されてはいるものの、静音システムに適合しないままである。

【0015】

複数の曲線の始点と終点を単一の閉曲線に接続し、適切な速度で横切ることにより、大幅に低減されたノイズで所望の触覚効果を生み出すことができる。これは点が所与の曲線を横断するときの点の振幅変調を排除しない。この経路は図１に示されている。

【0016】

図１に示されているのは、触覚的に生成された仮想物体１２０と相互作用する手１１０のモデル１００である。手が仮想形状に触れる点１３２，１３４，１３６，１３８が経路１４０に接続され、この経路１４０は、焦点を滑らかに動かしながら感覚を作り出すように作動する。経路１４０に沿って途切れることなく焦点が滑らかに移動することにより、望ましくない可聴ノイズが最小限に抑えられ、静かに動作しながら、複数の指において正確で強い触覚感覚がもたらされる。なお、図１は手１１０を示すが、任意の身体部分が使用され得る。

【0017】

曲線は各曲線セグメントを接続するため、システムは予め定めた時計回りまたは反時計回りの動きでそれらの曲線セグメントを横断させるかどうかを決定する。この動きは、ユーザ（手の幾何学形状に対するローカル座標空間など）に対して定義可能な法線ベクトルか、交差点か、または幾何学的形状に対するものである。あるいは、複数のユーザまたは手にフィードバックを提供するために、複数の曲線を横切る点を使用することが有用であり得る。

【0018】

この方法の１つの欠点は、交差点が生じなかった場所で偽の触覚効果がユーザに生じるのを防ぐために、曲線を閉じるにはユーザ自身を避けなければならないことである。ユーザの手に関してこれを達成するには、曲線は手の上または下か（したがって手の位置で焦点がぼける）もしくは手の周りに描かれるように作られる必要がある。あるいは、トランスデューサの状態空間を各終点間で補間することで、曲線を閉じるための空間的にコヒーレントな方法を見つける必要性を排除することができる。音場内の超音波の状態は、各トランスデューサの複素値活性化係数（complex valued activation coefficients）によって線形に駆動される。これは、すべてのトランスデューサのすべての複素値を高次元の位相空間にグループ化して、空間内の第１状態（たとえば１つの曲線の終点を表す）と第２状態（別の場所にある始点を表す）との間を線形に補間することを必要とする。線形補間は、中間段階で新たに生成された状態の作動から生じる音場にも適用される必要がある。なお、２つの状態間のこれらの中間段階では制御点は必ずしも特定の位置を有している必要はない。しかしながら、線形補間は生成された音場に適用されるので、その音場は時間的に滑らかに変化するものとなり、このため点間の移動を達成しながら可聴出力を大幅に減少させるのに役立ち得る。

【0019】

別の潜在的により互換性のある方法は、制御点が曲線に沿って移動する速度を変えることである。まず、この解決策は閉経路を完成するのに必要な曲線の長さを計算し、各交差曲線セグメントを順にたどることでユーザとの各交差点で触覚効果を作成する。次いで、この解決策は、触覚効果に寄与しない経路の部分のみを考慮して、これらの触覚に不要な曲線を可能な限り最速に移動させることで無駄な電力を回避する。これは、これらの曲線の触覚的な作動を減少させ、２つの点で有益である。第１に、経路のこれらの部分を通過するのにかかる時間が短縮される。第２に、この間にユーザが誤って交差した場合に、そのユーザが受ける触覚効果の量が最小になる。ただし、この技術の限界では、制御点の生成および破棄が行われ、ポップ音やクリック音がこれまでと同様に生じる。このため、音場の状態の間の不連続性によって生じる影響を少なくする速度制限を考慮することが有用である。この技術は、触覚領域の間で加速および減速する制御点を生成するというものである。このように触覚効果を含む曲線を考慮することによって、触覚的な作動が起こる頻度で曲線が循環しなければならないという要件が生じ得る。これは閉経路サイクル期間の時間「割当量」（budget）を生成するという効果を有し、その割当量の一部は経路の触覚的作動部分に費やされ、残りは可聴ノイズを低減するために使用され得る。この観点から、触覚的作動曲線長における残りの時間は、触覚を必要とする経路の部分間で分割される。この時間「割当量」は、ユーザとの交差点においてその時間（したがって電力）で触覚効果が得られるように、これらの交差点がアレイからできるだけ多くのエネルギーを受け取るようにする必要がある。これにより、デバイスを静音にすることができ、触覚的に作動する指などのユーザの部分に蓄積されるエネルギーを最大とするように動作させることができる。

【0020】

別の問題は、触覚効果が生じている間に仮想形状またはユーザ位置が動的に変化する可能性があることである。例えば、現在、時刻ｔ_０において、触覚効果を含む閉曲線が使用されている。その後の時刻ｔ_１における次のステップでは、触覚効果を含む新たな曲線が仮想形状の変化を反映するために合成される。この場合、さらなる曲線は、時間ｔ_０における仮想および物理的世界の状態を表す古い曲線から時間ｔ_１における状態を表す新たな曲線まで不連続となることなく点が通過するようにプロットされなければならない。そして、各曲線上の最も近い点を選択しｔ_０の曲線からｔ_１の曲線への点の移動を可能にするそれら点間の経路を構築する。また、これは、一方の曲線から他方の曲線への使用不能な横断時間を制限するために、前述の触覚経路の非作動部分と同様に速度制限を導入することによる利点も得られる。

【0021】

［ＩＩ．触覚仮想３次元物体］
Ａ．序論
本開示は、ユーザが仮想３Ｄコンテンツと対話するシステムに関し、追跡システムによってユーザの手を監視し、物理エンジンを使用して仮想３Ｄコンテンツの位置および特性を更新し、触覚フィードバックシステムによってユーザに触覚情報を提供することに関する。触覚システムは、空中触覚フィードバックとすることができる。ユーザの手が仮想物体に接触すると、触覚インパルスがユーザに適用され得る。このインパルスは、接触の正確な位置に適用され得る。あるいは、ユーザの手が骨格モデル内に形成されて、インパルスが物体と接触する骨格内の各骨に適用される。

【0022】

インパルスの強さおよび持続時間は、手および仮想物体の動き量および物理的特性を含む物理エンジンからの出力に基づいて調整される。触覚インパルスの波形は、物理エンジンの出力に基づいて調整され得る。物体が解放されたとき、または物体との接触がなくなったとき、弱い触覚感覚が手の部分に適用され得る。一方、継続的な保持中に触覚フィードバックは適用されない。

【0023】

触覚フィードバックは、接触が生じている手の反対側に与えられてもよい。また、触覚フィードバックは、接触後に手に減衰振幅を与える。
Ｂ．３Ｄ物体との対話
システムは、追跡システムによりユーザの手を監視し、物理エンジンを使用して仮想３Ｄコンテンツの位置および特性を更新し、触覚フィードバックシステムによってユーザに触覚情報を提供することによってユーザが仮想３Ｄコンテンツと対話するものとすることができる。触覚システムは空中触覚フィードバックを使用し得る。ユーザの手が仮想物体に接触すると、触覚インパルスがユーザに適用され得る。このインパルスは、接触の正確な位置に適用され得る。ユーザの手が骨格モデル内に形成されてもよく、この場合、インパルスが物体と接触する骨格内の各骨に適用される。インパルスの強度および持続時間は、手および仮想物体の動き量および物理的特性を含む物理エンジンからの出力に基づいて調整され得る。触覚インパルスの波形は、物理エンジンの出力に基づいて調整され得る。

【0024】

物体が解放されたとき、または物体との接触がなくなったとき、弱い触覚感覚が手の部分に適用され得る。また、継続的な保持中には触覚フィードバックが適用されなくてもよい。触覚フィードバックは、接触が生じている手の反対側に与えられてもよい。そして、触覚フィードバックは、接触後に手に減衰振幅を与える。

【0025】

具体的には、ユーザが空中触覚デバイスの追加によって強化された仮想現実内に参加しているときに、手、指、つなぎ部分のそれぞれの位置および向きを決定するべく手追跡システムを使用してユーザの手を追跡することができる。この情報は、一方向のみではあるが仮想物体と相互作用可能な仮想の手の物体の形で仮想世界に入力可能である。これは、物理的な手が仮想の手と１対１で対応して仮想の手を操っているためである。仮想の手は、一般に何らかの形の物理エンジンを介して仮想物体と相互作用する機能を有する（物理エンジンは、ゲームエンジンの構成要素の１つとして理解される）。

【0026】

形状を変えない剛体について、物理エンジンは一般に、仮想世界内の物体に加えられる模擬力および模擬トルクを管理するとともに、その結果生じる線形変化、角度変化、速度変化、および加速度変化を管理し、表された各物体または物体部分の空間変換の対応する変化を生成する役割を担い得る。他の物体タイプが追加の管理や情報を意味してもよく、さらには、物理現象のより複雑なシミュレーションを含んでもよい。

【0027】

ただし、基本的に仮想物体間の相互作用はそれらの模擬力および模擬トルクによって仲介され、模擬力および模擬トルクはこれらの相互作用がシミュレートされ得る前に見出される必要がある。これらの模擬力と模擬トルクを見出すために、物理エンジンは「衝突」（collision）について仮想物体をテストすることで、仮想シーン内の物体が交差し得る将来の状況を効果的にテストする。これは、衝突情報を生成することにより、物理エンジンの管理部分に位置、速度、力、およびトルクを与える。この情報は、ユーザの一部分が仮想世界に及んだ場合にユーザが感じ得ることについて触覚エンジンに知らせるためにも使用することができる。しかしながら、仮想物体はユーザと物理的に衝突できないため、このマシンは、物理ユーザに影響を与えることはできない。ユーザの手の場合、仮想物体は仮想の手に影響を与えず、物理的な手にも影響を与えない。この分断は仮想世界への没入感を損なわせる。

【0028】

インパルス（時間的に急激に力が変化する短く鋭い力）、接触、または時間的に急激に力が変化する類似の相互作用がユーザによって仮想物体に加えられているか、もしくは仮想物体によってユーザの仮想表現に加えられている時点でユーザにフィードバックを提供するように空中触覚デバイスが構成されている場合に、満足のいく経験が得られる。これを反映する触覚インパルスは、同様に短い触覚効果を生成することによって作り出すことができる。この設定ではクロスモーダル効果により双方向の対話の錯覚が発生するため効果的である。この触覚インパルスは、物体および手の模擬運動、復帰、および他の物理特性とともに、物体および手の軌跡を使用して調整することができる。

【0029】

このフィードバックは、適用されたインパルスに適切かつ比例した強度および波形で適用されてもよい。この状況では、固有のクロスモーダル現象の発生により、ユーザの手の場合、手の中で最も近いアドレス可能部分を使用することができる（手を用いた場合も含む）。ユーザは依然としてこの触覚効果が衝突の場所で発生していると感じる。したがって、インパルスが手の甲に発生する場合、手の甲側の無毛皮膚の相対的な振動触覚受容性のために、この甲側が、接触の実際の位置の代わりに作動され得る。知覚的効果は、インパルスが正しい場所で刺激されたとユーザに信じさせるものとなる。

【0030】

また、仮想世界のユーザは、仮想物体の拾い上げを望む場合がある。物体の拾い上げと落下は一般的な作動であるため、このプロセスを通じてユーザ経験を維持することが重要である。物体を拾うとき、ユーザは物体にある把持部に対応するインパルスを受け取る。この把持中には、フィードバックは適用されない。物体がユーザの仮想把持から解放されるかまたは落下すると、物体が解放されたことを示すためにインパルスが減少する。

【0031】

多くの場合、フィードバックは、接触点における皮膚の振動およびそれに続く触覚効果をモデル化しているので、インパルスが向けられる手の部分に従う。より有力な効果を生み出し、各インパルスの短期間を克服するために、接触上の感覚は、潜在的には手の接触点における減衰振幅を使用して強調することができる。インパルスの持続時間は、物理エンジンからのデータによっても左右され得る。

【0032】

［ＩＩＩ．時空間変調音］
Ａ．代替機構による超音波からの音
特定の触覚ベースの相互作用から発生するノイズは、触覚活動の望ましくない副作用であることが多い。しかし、ノイズ生成の特性を利用して望ましい効果音を生み出すことが可能である。低周波ノイズを発生する触覚システムにおける外乱を正確に制御することは、集点を空間的に動かすことによって広帯域信号を発生する能力を提供する。これにより、既存のパラメトリックオーディオアプリケーションとはまったく異なる機構を使用して、超音波から音を作成することができる。振幅で点またはビームを変調するのではなく、波形を符号化する軌跡で制御点を移動することができる。これにより、制御点が音源に変わる。

【0033】

Ｂ．空間軌跡のプロット
図２を参照すると、経路２２０を介して空中で回転している焦点２１０の表現２００が示されており、焦点２１０は、経路２２０に沿って移動するたびに音波２３０を生成する。焦点システムを振幅変調することなく、人間の耳に聞こえる音を局所的に再現するように動きを修正することができる。

【0034】

これらの軌跡を生成するための最も簡単な方法は、既存の音源を取り、その音源を、集点が移動して音波を生成する直線経路として再解釈することである。各時点においてデジタルサンプリングされた音声チャネル内のレベルは、焦点が生成されるこの経路に沿ったパラメータ位置として解釈され得る。サンプリング時間のオフセットでこれらの位置に焦点を生成することにより、可聴音が１次元の開曲線経路に沿って生成され得る。

【0035】

あるいは、そのような既存のデジタルサンプリングされた音源は、同相成分と直交成分、すなわち、音を記述する複素信号の実数部と虚数部に分解され得る。これは、音源では広帯域であるので些細なことではない。このため、望ましい結果を達成するための最も効果的な方法は、信号にフーリエ変換を適用してπ／２位相オフセットを適用することである。なお、ウィンドウ制御、信号の遮断、および位相の遷移に関する標準的な方法も使用することができる。これにより、サンプリングされた音信号の虚数成分が生成される。信号は複素数値として表すことができるので、信号は１次元の閉曲線、または２次元の円、平面、もしくは表面にマッピングすることができる。これらの２次元座標の周りで点を移動させるかこれらの２次元座標を空間に再マッピングすると音波が発生し、それによって音信号が再現される。このように、音信号は２次元領域で生成され得る。

【0036】

この効果は、異なる位置において強い焦点を生成することができないシステムの立体音響（潜在的に単一の音源を用いて）を調節する位相キュー（cue）を提供するために、第３の次元においても使用され得る。同様に、複数の焦点について、複数の音源が合成され得る。これにより、空中の複数の焦点から生成できるマルチチャンネル音響が可能となる。これらの焦点も、触覚フィードバックを提供し得る。

【0037】

［ＩＶ．音による触覚の発生の例］
触覚として検出できるのは低周波数のみであるが、制御点の振幅は毎秒数千回変化し得る。非線形効果によって、より高い周波数を再現することができる。制御点を迅速に更新すると、一度に多くの周波数を生成することができ、ある程度の音を再生することができます。ただし、音は触覚的に有効な周波数範囲の情報を有していない。

【0038】

空気中の触覚効果を設計することは、皮膚の感受性のためにある周波数帯のみが触覚用途に利用可能であるため困難である。これにより、触覚を伝えない心地よい音をアレイから生成する、逆に言えば、心地よい音ではない触覚効果を伝達しない効果を生み出すことができる。これらの理由のために、空中触覚効果を設計するためのより簡単な方法は価値がある。

【0039】

入力として音を使用して触覚感覚を作り出すことは、いくつかの方法で達成することができる。触覚範囲内にある音の周波数は、触覚閾値に達するまで増幅され得る。あるいは、初期音は、触覚的に作動する周波数が加えられてもよい。原音を分析することでプロファイルを構築することができる。このプロファイルは触覚効果を生み出すために使用され得る。これは、音に存在する品質を使用して構築することができ、生成された触覚テクスチャが速度、リズム、またはテクスチャなどの標本の側面を有することを可能にする。音は、様々な処理機構を使用して触覚効果に処理され得る。これらの機構は、潜在的に他を無視しながら、結果として生じる触覚効果における特定の側面を強調するように構成され得る。これは、音を触覚効果に処理する前に、音から特徴セットを抽出することによっても達成することができる。また、特徴セットは、例えば破裂音素がこの方法で解釈されるなどの、音から推測される不連続性を含み得る。

【0040】

具体的に、これは、（１）予め設定された時間にわたって制御点に複数の振幅を割り当てる前に、音プロファイルから特徴セットを抽出し、（２）予め設定された時間にわたって制御点に割り当てられた複数の振幅に特徴セットを適用する、ことによって実施することができる。あるいは、（１）予め設定された時間にわたって複数の振幅から制御点までの特徴セットを抽出し、（２）特徴セットを音プロファイルに適用する、することによって実施することができる。

【0041】

触覚効果のライブラリは、触覚作者にフィードバックを提供するべく類似性測定基準とともに抽出特徴セットに基づいて検索されソートされ得る。この触覚作者は、オーディオインタフェースを用いて触覚効果の基本的な構成要素を記述することができ、その後さらにその触覚効果は編集および混合され得る。また、触覚効果は波形に再混合されてもよく、その結果、音声効果と触覚効果との組み合わせがもたらされる。これは自動的にまたはさまざまな処理形式を介して発生し得る。これらは、効果を様式化するために特定の触覚効果を強調または増強することを含み得る。処理様式は、新しい処理スキームを作成するために連結またはリミックスされ得る。ラベルは、これらの処理機構や「バジー」（buzzy）や「ウォーム」（warm）などの触覚効果に添付することができる。これらは、既存の触覚効果を調整する、触覚効果に合成される音声入力を調整する、または上述した様式の例である既存の効果を検索するために使用され得る。

【0042】

［Ｖ．結び］
上述の実施形態の様々な特徴は、改良された触覚システムの多数の変形を生み出すために選択および組み合わされ得る。本明細書では、特定の実施形態が説明されているが、当業者であれば、特許請求の範囲に記載されている本発明の範囲から逸脱することなく、様々な変形および変更が可能であることを理解し得る。したがって、明細書および図面は限定的な意味ではなく例示的な意味で見なされるべきであり、そのような変形はすべて本教示の範囲内に含まれることが意図されている。

【0043】

利益、利点、課題解決策、ならびに、利益、利点、または解決策を生じさせるか、もしくはより明確にすることができるあらゆる要素は、請求項の一部または全ての重要な、必須の、または本質的な特徴または要素として解釈されるべきではない。本発明は、添付の特許請求の範囲によってのみ定義され、本願の係属中に行われた補正および請求項に記載されたもののすべての均等物を含む。

【0044】

また、本明細書では、あるエンティティ間または動作間に必ずしも実際のそのような関係または順序を必要とすることも暗示することもなく、第１および第２、上部および下部などの関係用語を使用してそのようなエンティティまたは動作を別のエンティティまたは動作と区別することがある。用語「備える」、「有する」、「含む」、「含有する」、またはそれらの任意の他の変形は、非排他的包含を包含することを意図しており、処理、方法、物品、または装置は、列挙された要素だけを備える、有する、含む、含有するのではなく、そのような処理、方法、物品、または装置に明示的に挙げられないが内在する他の要素も含み得る。「備える」、「有する」、「含む」、「含有する」に続く要素は、何らの制約なしに、その要素を備える、有する、含む、含有する処理、方法、物品、または装置内にさらなる同一の要素が存在することを排除しない。用語「１つ」は、本明細書で他に明示的に述べられていない限り、１つまたは複数として定義される。用語「実質的に」、「本質的に」、「およそ」、「約」またはそれらの任意の他の変形用語は、当業者によって理解されるものに近いものと定義される。本明細書で使用される「結合」という用語は、必ずしも直接ではなく、必ずしも機械的にではないが、接続されていると定義される。ある方法で「構成されている」デバイスまたは構造は、少なくともそのように構成されているが、列挙されていない方法で構成されてもよい。

【0045】

開示の要約は、読者が技術的開示の性質を迅速に確認することを可能にするために提供される。特許請求の範囲または意味を解釈または限定するために使用されることはないとの理解のもとに提出されている。さらに、前述の発明を実施するための形態では、開示を簡素化する目的で様々な実施形態において様々な特徴がまとめられていることが理解され得る。この開示方法は、請求された実施形態が各請求項に明示的に記載されているよりも多くの特徴を必要とするという意図を反映していると解釈されるべきではない。むしろ、添付の特許請求の範囲が反映するように、発明の主題は単一の開示された実施形態の全ての特徴より少ない特徴にある。したがって、添付の特許請求の範囲は、詳細な説明に組み込まれ、各特許請求の範囲は、別々に特許請求される主題として自立している。

【図1】

【図2】