(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公表特許公報(A)
(11)【公表番号】
(43)【公表日】2024-07-24
(54)【発明の名称】触覚システムにおける制御点操作技術
(51)【国際特許分類】
H04R 3/00 20060101AFI20240717BHJP
H04R 1/40 20060101ALI20240717BHJP
H04R 1/00 20060101ALI20240717BHJP
【FI】
H04R3/00 330
H04R1/40 330
H04R1/00 330Z
【審査請求】未請求
【予備審査請求】未請求
(21)【出願番号】P 2024501873
(86)(22)【出願日】2022-07-14
(85)【翻訳文提出日】2024-03-08
(86)【国際出願番号】 GB2022051821
(87)【国際公開番号】W WO2023285822
(87)【国際公開日】2023-01-19
(32)【優先日】2021-07-15
(33)【優先権主張国・地域又は機関】US
(32)【優先日】2021-07-19
(33)【優先権主張国・地域又は機関】US
(32)【優先日】2021-08-12
(33)【優先権主張国・地域又は機関】US
(81)【指定国・地域】
(71)【出願人】
【識別番号】515310940
【氏名又は名称】ウルトラリープ リミテッド
【氏名又は名称原語表記】ULTRALEAP LIMITED
【住所又は居所原語表記】The West Wing,One Glass Wharf,Bristol BS2 0EL(GB)
(74)【代理人】
【識別番号】100109634
【氏名又は名称】舛谷 威志
(74)【代理人】
【識別番号】100160831
【氏名又は名称】大谷 元
(72)【発明者】
【氏名】ロング,ベンジャミン ジョン オリバー
(72)【発明者】
【氏名】カップス,ブライアン
(72)【発明者】
【氏名】クラーク,ロリー
【テーマコード(参考)】
5D019
【Fターム(参考)】
5D019AA01
5D019FF01
(57)【要約】
新たな制御点をフィールドにブレンドする方法について述べる。よりコストはかかるものの概念的に単純な方法であって、既存のフィールドを測定し、実際の所望の値で補間したそのフィールドのコピーを、新たな制御点において再作成する方法について、最初に説明する。更に、従来、フェーズドアレイシステムの出力を予測するには、各要素を取得し、フィールドへのその寄与を評価する必要がある。フェーズドアレイを集中させる場合、多点集中および音響クローキングの用途には、出力およびフリンジングフィールドの予測が必要である。離散的なトランスデューサ素子の数が十分に多いという限界では、単一の近似の評価が、必然的に、素子の線形音響特性の全体において、線形和を上回ることになる。更に、空中触覚アレイの予想出力と現実の出力との不整合を解決するために、相互作用可能なオブジェクトは、カスタマイズ可能で均一な交差「領域」に細分され、このとき、この交差「領域」は、3D位置のボリュームを演算するために使用され、この3D位置の間で触覚集中点が動かされる。位置は、様々な方法で生成および割り当てることが可能であり、ボリュームは、それらの領域が事前に演算されている限り、任意のオブジェクトから生成することができる。ユーザの手を直接ターゲットとするのではなく、手の仮想的な交点が使用され、これらの領域は、空中触覚を生成可能な、一般的により大きなボリュームを作り出す。
【選択図】
図1
【特許請求の範囲】
【請求項1】
空中の複数の制御点を介して制御される音響フィールドであって、前記複数の制御点のそれぞれは、前記制御点における所望の振幅に等しい値が割り当てられる、音響フィールドと、
前記複数の制御点において前記所望の振幅を示す音響フィールドを生成するためのトランスデューサ出力を有した複数のトランスデューサ素子と、
前記音響フィールドに漸増的に追加される新たな自由度を有した新たな制御点であって、前記新たな自由度が前記音響フィールドに漸増的に追加されるように、ブレンド係数の導入により前記トランスデューサ出力に対するその影響を平滑化する、新たな制御点と
を備えるシステム。
【請求項2】
所望の総線形スカラー複素数値音響量を表すサンプルベクトルb={α
1(χ
1),...,α
m(χ
m)}を有する複素数値線形システム内に配置された前記複数のトランスデューサ素子の数よりも少ない数の前記複数の制御点を備え、
振幅は、音響量の所望の振幅であり、位相は、位相オラクルから取得され、
bは、前記複数の制御点のそれぞれにおける所望の複素数値音響量のベクトルを表し、
α
m(χ
m)は、m番目に定義された制御点に関連付けられた複素数値成分を表す、
請求項1に記載のシステム。
【請求項3】
前記サンプルベクトルbの少なくとも1つの成分は、所要の位置における前記音響フィールドの複素数値シミュレーション測定値と前記所要の位置における前記所望の複素数値音響量との間の補間を含む、請求項2に記載のシステム。
【請求項4】
前記所望の複素数値線形システムが、Ax=bと記述される場合、xベクトルは、前記複数のトランスデューサ素子の各々についてのフィールド係数を含み、
Aは、単位振幅およびゼロ位相を有した入力が与えられるモデル化されたトランスデューサ出力を表す、
請求項3に記載のシステム。
【請求項5】
前記所望の複素数値線形システムは、ループ内の前記複数のトランスデューサ素子を駆動するために使用される、請求項3に記載のシステム。
【請求項6】
前記新たな制御点は、前記複数の制御点の間での相互作用を許容する行列と、前記複数の制御点の間での相互作用を阻止する行列との間の補間を生成することによって、前記音響フィールドに漸増的に追加される、請求項1に記載のシステム。
【請求項7】
前記補間は、(PCP
H+(I-PP
H)C
diag)z'=bと記述され、
Iは単位行列であり、
PP
Hは、m×m行列であって、対角要素が、対応する制御点ブレンド係数の2乗であり、
PCP
Hは、行の制御点に対応するブレンド係数と、列の制御点に対応するブレンド係数との両方を、C行列の要素のそれぞれに乗算する修正C行列であり、
(I-PP
H)C
diagは、対応する対角要素が正方形となるように行および列の両方のブレンド係数によって修正された同一の対角を有するPCP
Hの修正された対角を打ち消す行列であり、
(I-PP
H)C
diagの一部IC
diagは、PCP
Hの修正された対角線をC行列の元の対角C
diagに置き換え、ブレンド係数の適用による修正がなされないままにするものであり、
z'は、そのj番目の成分が、複素数値基底ベクトルの集合のそれぞれの比率を記述する解ベクトルであり、当該複素数値基底ベクトルの成分が、それぞれj番目の制御点に適用可能なトランスデューサのそれぞれの駆動のスケーラブルな部分を記述し、
bは、定義された制御点のそれぞれにおける所望の複素数値音響量のベクトルである、
請求項6に記載のシステム。
【請求項8】
音響フィールドを発する物理的に離散したトランスデューサ素子を有する複数の超音波トランスデューサを介して空中に音響フィールドを生成するステップを備え、
前記音響フィールドは、前記物理的に離散したトランスデューサ素子がオブジェクトと見なされるような近似を用いることによって生成され、前記音響フィールドへの前記オブジェクトの寄与は、有限放出面を介するものであって、前記有限放出面の作動は、前記物理的に離散したトランスデューサ素子とは無関係に、所望の音響フィールドによってパラメータ化された面にわたる連続関数であり、
前記所望の音響フィールドの近似は、その領域上の単一の連続関数であり、所望の音響フィールドパラメータおよびサンプリング座標を有する関数を評価することによって、任意の点で近似的にシミュレートされ得る、
方法。
【請求項9】
前記所望の音響フィールドの前記パラメータ化は、前記単一の連続関数の指標評価から、有限の複数の前記物理的に離散したトランスデューサ素子の作動を推測することによって、前記音響フィールドを制御するために使用され得る、請求項8に記載の方法。
【請求項10】
モデル化された放出面が、制御点で強め合うように干渉して集中点を生成する、請求項8に記載の方法。
【請求項11】
モデル化された放出面が、ベッセルビームを生成する、請求項8に記載の方法。
【請求項12】
前記近似は、前記面によって生成される線形音響量に対する近似であり、前記音響フィールド内の少なくとも1つの制御点の解を求めるための線形問題を構築するために使用される、請求項8に記載の方法。
【請求項13】
前記近似は、j番目の制御点に適用可能な前記複数の超音波トランスデューサのそれぞれの駆動のスケーラブルな部分を記述する成分を有した複素数値基底ベクトルの集合のそれぞれの比率をj番目の成分が記述する解ベクトルを、以下のC行列を用いて求めるものであり、
【数1】
Cは、各制御点に適用される連続面上の位置における概念的な無限小の離散トランスデューサの駆動のスケーラブルな部分を記述する複素数値基底関数を与えられたときの、線形音響量のサンプルを得るための連続関数の評価で構成され、
Aは、それぞれの無限小トランスデューサからそれぞれの制御点への線形音響量の順方向伝播を含む暗黙の無限行列であり、
A
Hは、それぞれの制御点に適用される連続面上の位置における概念的な無限小の離散トランスデューサの駆動のスケーラブルな部分を記述する、無限長の複素数値基底ベクトルを含む暗黙の無限行列であり、
α(χ)は、トランスデューサを原点とする位置χ
mでの音響フィールドにおける線形音響量のモデルの複素数値評価を記述する関数であり、
χ
mは、音響フィールドにおけるm番目の制御点の位置であり、
Ωは、連続的なトランスデューサの全表面である、
請求項8に記載の方法。
【請求項14】
前記近似は、ニューラルネットワークを使用する、請求項8に記載の方法。
【請求項15】
前記ニューラルネットワークは、滑らかなニューラルネットワークである、請求項14に記載の方法。
【請求項16】
前記ニューラルネットワークは、非平滑ニューラルネットワークである、請求項14に記載の方法。
【請求項17】
積分に適応する前記ニューラルネットワークのトレーニングデータが、前記線形音響量のシミュレートされた前記フィールドを通るランダムに選択された連続曲線を使用してサンプリングされる、請求項14に記載の方法。
【請求項18】
積分に適応する前記ニューラルネットワークのための前記トレーニングデータは、入力のn次元空間を通過するヒルベルト曲線からランダムに選択された増分部分列を使用して連続曲線を選択することによってサンプリングされる、請求項17に記載の方法。
【請求項19】
複数の制御点を介して制御される音響フィールドであって、前記複数の制御点のそれぞれは、前記制御点における所望の振幅に等しい値が割り当てられる、音響フィールドと、
前記複数の制御点において所望の振幅を示す音響フィールドを生成するためのトランスデューサ出力を有した複数のトランスデューサ素子とを備え、
前記複数の制御点は、空中触覚アレイを有して相互作用可能な複数のオブジェクトを含み、
相互作用可能な前記オブジェクトは、前記複数の制御点のうちの1つが移動する3D位置のボリュームを演算するために使用されるカスタマイズ可能で均一な交差領域に細分される、
システム。
【発明の詳細な説明】
【先行出願】
【0001】
本出願は、以下の3つの出願による権利を主張するものであり、それらはいずれも、その全てが参照により組み込まれる。
(1)2021年7月15日出願の米国特許仮出願第63/221,937号、
(2)2021年7月19日出願の米国特許仮出願第63/223,067号、および
(3)2021年8月12日出願の米国特許仮出願第63/232,599号。
【技術分野】
【0002】
本発明は、概して、空中触覚システムにおける制御点操作の改善された技術に関する。
【背景技術】
【0003】
「音響フィールド」と呼ばれる音エネルギの連続分布は、空中での触覚フィードバック、超音波システムからの音、およびトラッキングシステム用の符号化波の生成を含む、様々な用途に使用することができる。
【0004】
空間内に1つ以上の制御点を定義することによって、音響フィールドを制御することができる。それぞれの点には、制御点における所望の振幅に等しい値を割り当てることができる。このとき、トランスデューサの物理的集合を制御し、制御点において所望の振幅を示す音響フィールドを生成することができる。
【0005】
しかしながら、制御点の数を変更しなければならない場合がある。例としては、制御点の増減だけでなく、ゼロから多くの制御点への変動が挙げられる。制御点を求めることには、空間内の点において複素数値の線形音響量(選択された方向の音圧または音響粒子速度である場合がある)の具体的な値の生成が含まれる。音響フィールド生成のためのシステムの解が、逐次解を生成するループ内にある場合、連続する音響フィールドにおける時間的コヒーレンスを維持することが重要である。超音波フェーズドアレイの場合に時間的コヒーレンスを維持できないということは、可聴音を生成する非線形相互作用に起因したポップ音やクリック音のアーチファクトの生成を意味する。これにより、量販市場向け商用デバイスの環境におけるユーザエクスペリエンスが混乱する。
【0006】
ほとんどの場合、制御点の目標音響量と、制御点の位置および特性とのセットにおいて補間を適切に使用することにより、解のセット間の時間的コヒーレンスを強化することができる。但し、特に新たな制御点の生成により、解空間において矛盾した状況が生じる。新たな自由度の付加は、他の制御点での解に瞬間的な変化が生じるような影響がある可能性がある。これにより、波が合体して別の制御点を形成する構成がジャンプするため、フィールド内の制御点から離れた他の場所は、突然の違いのために不連続性が生じる可能性がある。これにより、可聴音が発生する。この音は、急激な転換によって不要なノイズが生成されるので、ある点でゼロ振幅を強制することと、明確な状態とする制限がないこととの間での、直観に反する差に起因するものである。従って、望ましくないノイズを最小限に抑えながら、一方の状態から他方の状態への移動を円滑に生成する方法は、商業的に価値があることになる。
【0007】
フェーズドアレイの駆動条件を得るための解法は、標準的な線形代数法を用い、複素数値連立方程式を解くことに基づいている。これらは厳密解方程式であるので、各制御点で表される波形の各サンプルについて、単一のステップで正確な結果が導出される。従来は、自由度が追加されると、右側はゼロに設定されていた。後述する
図1に示すように、これは、市販の装置の場合には望ましくない可聴ノイズをもたらすようなフィールドでのジャンプに相当する。
【0008】
また、制御点の外側の音響フィールドに制御点を定義すると、音響フィールドが変動する。これは、後述する
図4に示されている。この変動するフィールドは、他の機器と干渉する可能性があり、空中の超音波触覚フィードバックを含む音響フィールド技術の商業化の障害となり得るものである。
【0009】
集中された高音圧制御点が生成されると、超音波トランスデューサは、所定の集中点で強め合うように干渉する。等圧で近似すると、N個のトランスデューサが干渉し、それぞれが圧力pを点に加える場合、圧力はpNになる。点から離れたところでは、各トランスデューサからのフェーザが、ランダムに干渉するものとしてモデル化可能であり、圧力についての近似的な期待値
が得られる。これにより、エネルギ蓄積密度がp
2N
2およびp
2Nになるとすると、エネルギ蓄積の差はNであることを意味する。従って、これらの仮定の場合、干渉をN分の1に低減するには、トランスデューサ素子の数をNだけ増加する必要がある
【0010】
ランダム干渉は、以前に集中されたエネルギに対応しているので、これを使用して集中以上にエネルギ密度を低減することはできず、従って、集中点が存在する場合には存在しなければならない。これにより、この位置では、フィールドを制限することが困難となるが、空中での超音波触覚フィードバックの場合、超音波トランスデューサは、身体部分が存在する場合に条件付きで駆動され、接触の感覚を介してフィールドを検出するので、フィールドおよび集中点を通過する反射面としてモデル化することができる。
【0011】
次に、システム(後述する
図5に示す)は、一連の完全な反射を受けるレンズシステムと同様に大まかにモデル化することが可能であり、それにより、トランスデューサアレイの寸法Lおよび面積L
2の場合、システムは、エネルギを点に集中させ、エネルギがユーザによって遮断されることで反射され、再び寸法Lになり、従って、アレイにおける領域L
2にわたって広がり、再度反射してユーザの手の面に戻り、このとき、エネルギ拡散の寸法は2Lで面積は4L
2となる。集中点の面積をF
2とすると、第2の反射におけるエネルギ密度をN分の1に低減するには、トランスデューサアレイの面積が次を満たす必要がある。
【数1】
【0012】
これらの近似計算を使用すると、集中点と変動フィールドとの間に50dBのコントラスト、例えば10万:1のエネルギ密度差比を生成するには、約10万個のトランスデューサ素子が必要となり、集中点面積とトランスデューサアレイ面積との比は、約4:10万でなければならないことがわかる。波長λの場合、集中点の面積は約λ
2であり、素子は、λ/2だけ離れており、λ/2の直径を有することでそれぞれが面積
を有すると仮定すると、ランダム性の仮定は、接近と共に次第に適用できなくなり、トランスデューサの間隔がλ/2未満では適用できないため、この例では、最小トランスデューサアレイ面積が25000λ
2となる。
【0013】
従って、このことから、次世代の超音波触覚アレイには、小型で壊れやすく、キャリア周波数が高いにもかかわらず、非常に多くのトランスデューサが必要となる可能性があることが推定できる。従って、個々のトランスデューサに関わらず、即ち、トランスデューサ素子数に関して一定時間で、これらのアレイによって生成されるフィールドを駆動可能なアルゴリズムは、商業的に価値があることになる。
【0014】
更に、ハンドトラッカがヘッドセットに取り付けられている仮想現実(VR)または拡張現実(AR)を使用する場合など、ハンドトラッキングの原点が移動する可能性がある環境内で、固定位置のデバイスから空中触覚を利用しようとする場合、全体的な位置ジッタ(通常、人間によって引き起こされる微小な動きや、トラッキングシステム自体がわずかに不正確であることに起因する、値のわずかな違い)、および空中触覚アレイとユーザの手とのコロケーションに関する不確実性は、完全に信頼しうるものとはならない。このため、空中触覚アレイの予想される出力と、現実の出力とは、多くの場合に整合せず、一般に、手をターゲットにしようとするとき、手に誤った出力を生じさせる。これにより、感覚的にも一般の電気的にも、空中触覚の電力が無駄になり、その付加による利点が完全になくなる。いくつかの場合において、これらの空中触覚が予期せず失われると、ユーザは、空中触覚が生成されていると聞いていても、それら自体のせいではなく、それらを全く感じることができないため、負の効果を生み出す可能性がある。
【0015】
このような問題を軽減するのに有用な従来のソリューションは、移動トラッキングデバイスを完全になくすことによって、または補助的なトラッキングデバイスを使用して「グラウンドトゥルース」を生成することにより、2つの異なる原理に依存する傾向がある。
【0016】
第1のソリューションは、良好なレベルの精度を提供するが、ユーザが、比較的小さい相互作用領域内で、自分の手を見て空中触覚により相互作用できるようにするだけで、問題点の半分を回避するものである。VRおよびARの主要構成要素は、ユーザが、標準化された「プレイエリア」の外で、動き回ったり、オブジェクトと相互作用できるようにする。
【0017】
従来の第2のソリューションは、複雑性を加えるものであり、カスタマイズされた追加の複雑性が、任意のシミュレーションの全てのセクションにおいて導入される。第2のデバイスの使用により、ホストマシンに接続される必要なデバイスの数が増加し、2つのセットのハンドトラッカを処理する必要があるので、処理能力が増加するが、事前の環境調整が依然として必要となる。
【0018】
本明細書で提案するソリューションは、単一のハンドトラッキングデバイスの使用のみを必要として、ユーザが環境内を動き回り、オブジェクトと相互作用可能にする柔軟性を維持する。空中触覚は、依然として空中触覚アレイの範囲内に制限されるが、ユーザが、全ての相互作用をこの空間に制限される必要はない。単一のハンドトラッキングデバイスのみを利用することによって、初期セットアップの複雑性および処理能力が大幅に軽減される。
【発明の概要】
【0019】
本開示では、新たな制御点をフィールドにブレンドするための方法について述べる。よりコストはかかるものの概念的に単純な方法であって、既存のフィールドを測定し、実際の所望の値によって補間したそのフィールドのコピーを、新たな制御点で再作成する方法について、最初に説明する。より簡潔な実施の形態を用いて説明する次の方法は、新たな制御点によって表される自由度を漸増的にフィールドに追加可能として、物理デバイスによって生成される出力に対する影響を滑かにするような、不透明度、相互作用、またはブレンド係数の導入として特徴付けることができる。
【0020】
更に、従来、フェーズドアレイシステムの出力を予測するには、各要素を取得し、フィールドへのその寄与を評価する必要がある。フェーズドアレイを集中させる場合、多点集中および音響クローキングの用途には、出力およびフリンジングフィールドの予測が必要である。トランスデューサの密度は、フェーズド素子の臨界間隔に近づく傾向があるので、それらの放出フィールドは、連続関数に近づく傾向がある。音響フィールド全体を単一の連続関数とみなし、集中点位置およびサンプル点位置においてパラメータ化されたシステムを評価することにより、システムの音響特性は、近似を許容する滑らかな高次元関数として評価することができる。自動微分を可能にするニューラルネットワークが、この関数を固定の計算コストで近似するようにトレーニングされるようなアプローチの実現について説明する。離散的なトランスデューサ素子の数が十分に多いという限界では、単一の近似の評価が、必然的に、素子の線形音響特性の全体において、線形和(その計算コストは線形にスケーリングする必要がある)を上回ることになる。
【0021】
更に、空中触覚アレイの予想出力と現実の出力との不整合を解決するために、相互作用可能なオブジェクトは、カスタマイズ可能で均一な交差「領域」に細分され、このとき、この交差「領域」は、3D位置のボリュームを演算するために使用され、この3D位置の間で触覚の集中点が動かされる。位置は、様々な方法で生成および割り当てることが可能であり、ボリュームは、それらの領域が事前に演算されている限り、任意のオブジェクトから生成することができる。ユーザの手を直接ターゲットとするのではなく、手の仮想的な交点が使用され、これらの領域は、空中触覚を生成可能な、一般的により大きなボリュームを作り出す。
【図面の簡単な説明】
【0022】
添付の図面は、個々の図の全体にわたり、同じ参照番号が、同一の要素または機能的に類似の要素を指しており、以下の詳細な説明と共に本明細書に組み込まれて、その一部を形成するものであって、特許請求される発明を含む概念の実施形態を更に例示し、それらの実施形態の様々な原理および利点を説明する役割を果たす。
【0023】
【
図1】
図1は、単一制御点システムに2つの新たな制御点を追加する概略図を示す。
【0024】
【
図2】
図2は、デュアル制御点システムに1つの新たな制御点を追加する概略図を示す。
【0025】
【
図3】
図3は、4つのヌル点のセットを単一制御点の音響フィールドにブレンドする概略図を示す。
【0026】
【
図4】
図4は、波面に平行な模擬音響フィールドの集中点を示す。
【0027】
【
図5】
図5は、集中がなされているフェーズドアレイシステムを示す。
【0028】
【0029】
【
図7】
図7は、3軸ベクトル分割のオブジェクトを示す。
【0030】
【
図8】
図8は、触覚オブジェクトと交差する受取側オブジェクトを示す。
【
図9】
図9は、触覚オブジェクトと交差する受取側オブジェクトを示す。
【0031】
当業者であれば、図中の要素は、簡略化および明瞭化するように示されており、必ずしも一定の縮尺で描かれていないことを理解するはずである。例えば、図中のいくつかの要素の寸法は、本発明の実施形態の理解促進を支援するために、他の要素に比べて誇張されている場合がある。
【0032】
装置および方法の構成要素は、必要に応じ、従来の記号によって図中に表されており、本発明の実施形態の理解に関連する特定の詳細のみを示し、本明細書の説明で利益を得る当業者にとって容易に明らかになるような詳細によって本開示が不明瞭とならないようにしている。
【発明を実施するための形態】
【0033】
I.制御点のブレンド
【0034】
A.縮減表現-集中点ごとの基底関数の使用
【0035】
従来、線形システムは、複素数値のトランスデューサ生成フィールドと、それらの駆動係数との線形結合によって記述される。これにより行列が生成され、m個の制御点およびN個のトランスデューサの場合、行列AはN列m行となり、各制御点j∈{1,...,m}の位置にある各トランスデューサq∈{1,...,N}によって生成された複素数値信号からなる。以前の研究(US2016/0124080)では、この行列に正則化を加えることによって、電力効率を増加させたが、正則化によって行列のサイズが増加し、従って、システムを解くための計算要件が大幅に増加した。
【0036】
α
q(χ
j)を使用し、トランスデューサ素子qから並進ベクトルχ
jだけオフセットされた位置で測定された複素数値のスカラー線形音響量αを記述し、これは、選択された方向における音圧または音響粒子速度であると評価することが可能であって、行列Aを以下のように記述することができる。
【数2】
これは、音響的にアクティブなトランスデューサ素子の数よりも少ない数の制御点について、複素数値線形システムに配置することが可能であり、このとき、サンプルベクトルb={α
1(χ
1),...,α
m(χ
m)}は、所望の総線形スカラー複素数値音響量を表し、振幅は、音響量の所望の振幅であり、位相は、位相オラクル(ユーザの影響を受けた可能性がある)から取得されたものである。Ax=bとして記述されるこの線形システムでは、xベクトルが、各トランスデューサ素子の初期フィールド係数であり、これを実際のトランスデューサ素子の駆動に使用することにより、所望の音響フィールドを再現することができる。次に、これをループで解き、経時的に変化するシステムを提供することができる。
【0037】
これは、行列が正方ではなく、自由度が制約よりも大きいため、「最小ノルム」システムと呼ばれる。これが「最小ノルム」であるのは、無限に多くの解が存在するからであって、最も手早い解は、xの最小の「量」を用いて正解を達成するもの、即ち最小のノルムを有する解xである。これを達成するために、いくつかの線形代数を使用し、最小ノルムシステムAx=bから正方システムを作成する。
【数3】
【数4】
このA
HAは、N列N行であり、多くの場合、トランスデューサの数が非常に多いことを考慮すると、これは同等に大きい行列であって、いずれの解法も、それを反転する必要があるので、これは効率的な方法ではない。より利用しやすいアプローチは、同様の方法論を適用する前に、置換A
Hz=xを生成することである。
【数5】
【数6】
今回、C=AA
Hは、単なるm列m行であるので、この結果は、処理すべき線形方程式のセットがはるかに小さくなる。ベクトルzは、A
Hを生成可能な限り、いつでもxに変換可能である。A
Hは、複素数値の基底ベクトルの集合として解釈することが可能であり、その成分は、それぞれ、j番目の制御点に適用可能な各トランスデューサの駆動のスケーラブルな部分を記述するが、行列は、線形音響量の順方向伝播に関して定義される。このため、A
Hの要素を、実数の重み係数によって常に重み付けして、j番目の制御点を生成するために各トランスデューサが使用される優先順位を再構成することができる。
【0038】
しかしながら、これで終わりではない。このアプローチは、単なる記号操作の偶発的なセットではなく、個々のトランスデューサ素子xの駆動を記述する複素数値ベクトルからはるかに低次元のzへの変数の変更には、更なる意味がある。zの各複素数値成分は、個々のトランスデューサフィールドの全てから集中点を生成する集中関数を事前に乗算する複素数値の駆動係数と見なすことが可能であり、集中点は、それぞれ個別の制御点と同じ位置にある。従って、m個の制御点について、そのような集中関数がm個存在し、それらは、複素ベクトル空間
を定義するものと見なすことが可能であり、この空間内の点が、これらm個の「集中点」の可能な構成に対応する。
【0039】
B.フィールドの乱れを最小限に抑えるための音響測定のシミュレーション
【0040】
音響フィールドは、線形複素数値の音響量(キャリア周波数における媒体の音圧または粒子速度など)を提供するために、シミュレーションにおいて測定することができる。新たに追加された制御点のbベクトルに測定値を配置することにより、既存の音響フィールドを乱すことなく、これらの追加の自由度をシステムに追加することができる。次に、測定された構成からフィールドを所望の値に移動させるために、既存の音響フィールドを新たな所望の信号にクロスフェードする補間を実現することができる。
【0041】
これは、s∈[0,1]である新たな制御点の集合の実数値係数を定義することによって達成することができる。これにより、新たなフィールドの使用量が定義される。既存の「永続的な」制御点1,...,m-1の存在を前提として、新たな「一時的な」制御点m’,...,mの音響量を生成すると、以下のようになる。
【数7】
ここで、例えば、α
Ω;1,...,m'-1(χ
m)は、最初のm'-1個の既存の制御点が与えられた場合の、制御点mにおいて測定された音響フィールドである。このフィールド測定値を生成するための計算は、次のように記述することができる。
【数8】
【数9】
【数10】
【0042】
次に、適切な時点で、一時的な点のリストに対して点の追加または削除を行うことによって、制御点を追加または削除することができる。このアプローチは、概念的には単純であるが、追加のシステムに対する解を見つけるために必要なデータ移動および追加の作業により、困難なアプローチとなる。しかも、更なる追加の前に、一時的な点が、完全に、永続的に追加されるか、または永続的に削除された状態になる必要があり、これは、理想的なソリューションとは言えない。しかしながら、状態間を円滑に移動できるように基礎となる解法を変更することなく、制御点の数が変化されるシステムの完全な時間的コヒーレンスを保証するために更にできることはない。従って、そのような修正を適用する方法は、第2のソリューションを適用するよりも効率的な可能性があるので、有用であるはずである。
【0043】
C.段階的フィールド相互作用のための線形システムの変更
【0044】
制御点ソリューションシステムは、音響フィールドの段階的な相互作用を可能にするように修正することができる。採用するアプローチは、個々の制御点間の相互作用を許容する行列と、これらの相互作用を阻止する行列との間の補間を作成することである。
【0045】
1×1行列の逆行列は、1×1単位行列が要素1にすぎないため、単に単一値の逆数であることが知られている。また、対角要素のみが非ゼロのエントリによって設定された正方行列の逆行列は、対角要素が各要素の逆数に置き換えられた別の同様の行列であり、その逆行列が因果的に切り離された多数の1×1行列の集合として振る舞うことも知られている。正方行列C=AA
Hの変形を定義し、全ての非対角要素が、C
diagとしてゼロにされている。
【数11】
【数12】
従って、Cz=bは、フィールドが相互作用する完全接続された制御点の集合をモデル化する線形システムであり、一方、C
diagz
sing=bは、フィールドが相互作用しない孤立した個別の制御点をモデル化する線形システムである。一方から他方への変換をパラメータ化する単一のシステムでは、相互に影響することなくスムーズに相互作用を追加する新たな制御を生成することが可能となるか、または、相互作用していて、それが削除する前にスムーズに切断できる制御点を可能にする。
【0046】
これは、各制御点j∈{1,...,m}について、実係数の行列を定義することによって達成することができる。
【数13】
このとき、p
j∈[0,1]である。これらは、各制御点jに対する係数であり、各点が音響フィールドの残りの部分と相互作用可能な度合いに相当し、ゼロは相互作用がなく、1は解の残りの部分と完全に統合されることを表す。
【0047】
修正された順伝搬演算子をPAに置き換え、修正された逆伝搬演算子をA
HP
Hに置き換えることにより、この変化が線形システムに影響を与え、両方の演算子がゼロから補間される。これは、以下のように線形システムに適用される。
【数14】
【数15】
両演算子は、既存のフィールドとのスムーズな相互作用を提供するために、フェードインして存在する。但し、行または列がゼロである行列は特異であるので、p
jがゼロに向かうと、行列は特異になる。
【数16】
【0048】
これに対するソリューションは、pj=0で、行および列が、単にゼロになるのではなく、Cdiagzsing=bの線形システムに確実に一致するようにすることである。Cdiagzsing=bの非相互作用システムとCz=bの相互作用システムとの間で対角は変化しないので、必要な手順は、pjの値にかかわらず、各対角要素が確実に一定を維持するようにすることである。
【0049】
次に、最終的な定式化は、以下のようにすることができる。
【数17】
このとき、Iは単位行列であり、対角行列PP
Hによって重み付けされた対角成分は、p
jの値に関係なく、消去されて対角にC
diagのみが残る。
【0050】
この定式化は、元のシステムと同様に、エルミート対称であることに留意されたい。これらを連立1次方程式の集合として展開し、bjに関して方程式を比較する。
【数18】
【数19】
【数20】
【数21】
【0051】
従って、z'のシステムでは、pj=0の場合に、m-1個の制御点システムおよび別個の単一制御点システムが復元され、pj=1の場合に、結合されたm個の制御点システムが復元されるようにすることが可能であり、これらの間では、システムが滑らかであって、これが表す物理的システムが相互依存的であることから、0≦pj<1の場合には、フィールド全体に誤差が生じる。効果を理解するには、この誤差がどのように現れるかについて、より詳細に調査する必要がある。
【0052】
D.生成した線形システムの解析
【0053】
直観的には、ここでのアプローチには、初期の制御点の観点から、システムとの物理的な相互作用よりも少ない相互作用の音響モデルの生成が含まれる。これは、新たな最終的な行と列とが、係数p
mを用いて行列に追加された場合に、既存のm-1個の制御点システムがどのように振る舞うかを考慮することで分析することができる。H=(PCP
H+(I-PP
H)C
diag)である既存のm-1個の制御点システムを想定すると、Hは、m-1列およびm-1行を含む行列であり、既知の逆H
-1を使用し、上述した係数p
mを用いて新たな行および列を追加することができる。ブロック単位の行列反転の式を使用すると、以下のようになる。
【数22】
このとき、
は、行列サブブロックであり、以下のように設定する。
【数23】
【数24】
【数25】
【数26】
【数27】
次に、p
mはスカラー値であるので、
【数28】
【数29】
のように置き換え、
【数30】
が得られる。
このシステムの振る舞いがスムーズであり、以下であることが明確にわかる。
【数31】
および
【数32】
これは、単一の行および列であることから、次のように記述することができる。
【数33】
また、以下のように記述することもできる。
【数34】
【数35】
【数36】
【数37】
【数38】
【0054】
ここで、κは、m-1個の方程式の既存のシステムであり、従って既存のz
m-1であり、独立システムおよび相互依存システムの結合の影響が、
によって調整され、追加の自由度が徐々に適用される。置換を適用することにより、サンプル値b
mが、意図された音響フィールドレベルb'
mに達するような漸増的増加に対応し、bの最後の要素にp
mを乗算できるようにすることで、システムがある程度単純化される。
【0055】
λおよびμの行列の左の部分は、ブロック単位の反転の定義から変更されていない。ベクトルμは、pmに比例する最終要素zm全体のみで構成される。κによって生成される値よりも大きいzベクトルの最初のm-1個の要素の追加の変化は、λによって生成されたものであり、更なるpmによって調整される。
【0056】
残る唯一の問題は、
の場合に、分母がゼロに近づきうることを考慮して、
の性質を理解することである。行列Hは、正定値であることが知られており、従って、H
-1も、逆数の固有値を有することから、同様である。また、これは、シュール補数
の既知のレンマでもあり、以下のように記述される。
【数39】
そして、
および上述のシュール補数が正定値である場合にのみ、
が正定値であることが知られている。従って、
が正定値の場合、
となるので、この方法で自由度を追加するプロセスは、定義された区間p
m∈[0,1]内の全ての値に対して安定している。
【0057】
E.例
【0058】
図1を参照すると、単一点システムに2つの新たな点を追加する概略
図100が示されている。行a)には、駆動されたトランスデューサ素子の位相および振幅構成を備えた元の単一制御点システム110が示されている。その次には、この駆動されたトランスデューサの集合112によって生成される音圧フィールドの図が示されている。
【0059】
行b)には、駆動されたトランスデューサ素子の位相および振幅構成を備えたゼロ振幅点120として追加された新たな点を有するシステムが示されている。その次には、この駆動されたトランスデューサの集合122によって生成される音圧フィールドの図が示されている。その次には、元の単一点の解と、2つの追加点が加えられた新たな解124との間の差が示されており、これは明らかにゼロではない。
【0060】
行c)には、駆動されたトランスデューサ素子の位相および振幅構成を備えたフィールドa)130から測定された振幅を有する点として追加された2つの点が示されている。その次には、この駆動されたトランスデューサの集合132によって生成される音圧フィールドの図が示されている。本明細書に記載のこの測定方法の場合、この差は、ゼロに極めて近い(おおよそ機械イプシロン)。
【0061】
行d)には、不透明度がゼロであるブレンド点として追加された2つの点、即ち、駆動されたトランスデューサ素子の位相および振幅構成を備えた相互作用140が示されている。その次には、この駆動されたトランスデューサの集合142によって生成される音圧フィールドの図が示されている。この差は、本明細書に記載するブレンド方法ではゼロであり、新たな制御点に関連付けられた自由度のブレンド係数は、ゼロに設定されている。
【0062】
図2を参照すると、2つの既存の制御点を有するシステムに、1つの新たな点を追加する概略
図200が示されている。行a)には、駆動されたトランスデューサ素子の位相および振幅構成を備えた元の2つの制御点システム210が示されている。その次には、この駆動されたトランスデューサの集合212によって生成される音圧フィールドの図が示されている。
【0063】
行b)には、駆動されたトランスデューサ素子の位相および振幅構成を備えたゼロ振幅点220として追加された新たな点を有するシステムが示されている。その次には、この駆動されたトランスデューサの集合222によって生成される音圧フィールドの図が示されている。その次には、元の2つの制御点の解と、追加点224が加えられた新たな解との間の差を示しており、これは明らかにゼロではない。
【0064】
行c)には、駆動されたトランスデューサ素子の位相および振幅構成を備えたフィールドa)230から測定された振幅を有する点として追加された点が示されている。その次には、この駆動されたトランスデューサの集合232によって生成される音圧フィールドの図が示されている。本明細書に記載のこの測定方法の場合、この差は、ゼロに極めて近い(おおよそ機械イプシロン)。
【0065】
行d)には、不透明度がゼロであるブレンド点として追加された点、即ち、駆動されたトランスデューサ素子の位相および振幅構成を備えた相互作用240が示されている。その次には、この駆動されたトランスデューサの集合242によって生成される音圧フィールドの図が示されている。この差は、本明細書に記載のブレンド方法ではゼロであり、新たな制御点に関連付けられた自由度のブレンド係数は、ゼロに設定されている。
【0066】
図3を参照すると、強力な制御点(黒色の陰影領域)によって最初に生成された音響フィールドへの、4つのヌル点(図の上部に、ドットによって示された振幅ゼロの点)の組の一連のブレンド300が示されている。5つの数字は、左側から右側に、0%(310)、25%(320)、50%(330)、75%(340)、および100%(350)の不透明度係数(p
jの2乗)であり、それぞれ、4つのヌル点の組312,314,316,318,319を有している。主制御点は、それぞれ0.00dB、-0.06dB、-0.14dB、-0.21dB、および-0.23dBだけ圧力が変更される。必要なヌルポイントの数が増加するにつれて、生成される集中点への影響が増大し、クワイエットゾーンの有効性に対するパワーのバランスをとるために、クワイエットゾーンの調整が重要となる。
【0067】
II.トランスデューサO(1)ソルバ
【0068】
A.序論
【0069】
トランスデューサの数が増加するにつれて、行列A内のエントリの数も増加する。これにより、行列AA
Hの各エントリを生成するのに必要な関数評価、乗算、および合算の数も増加する。但し、各トランスデューサ素子の位置は、アレイの近接フィールドでも互いに区別することが困難になるほど近くなるので(パッキング≦λ/2の場合、またはそれ以外で、パッキング密度が、連続近似における誤差を許容できる程度である場合に、トランスデューサが、臨界パッキング密度よりも大きいパッキング密度を有する)、寄与の概要は、連続体と見なすことができる。これは、それぞれのトランスデューサの寄与を考慮する代わりに、フィールドへの寄与がその面全体にわたって連続的である理想化されたオブジェクトとしてアレイを見なすことができることを意味する。従って、行列乗算AA
Hは、以下のように展開することができる。
【数40】
このとき、その構成要素のトランスデューサが連続的な平面であると考えられる例示的な直線アレイについて、この行列乗算AA
Hを以下のように記述することができる。
【数41】
このような記述は、同じ原理が、平面である必要がない任意の連続するアレイ表面または一連の連続するアレイ表面に適用できるので、一般性を失うことなく行うことが可能である。
【0070】
この連続的な集中面により、挙動を一意的に定義するために必要な独立した自由度、即ち、集中面から放出される放射を記述する関数のエントロピが急激に低下する。従って、この関数を得るために一般的に使用される合計を計算するために必要な個々の乗算および加算を行うよりも少ない労力で、この量を計算する方法を見つけることが可能なはずである。
【0071】
複素単色音圧を生成するα(χ)の一般的な定義は、
【数42】
であり、このとき、|χ|によって示されるベクトルの長さは、波長で測定され得ると仮定し、aは、空中の隔たりにわたって生じる減衰であり、δ
aは、素子の指向性を示す関数であり、kは、補正定数である。これは、一般的な直線アレイについて、
関数として、
【数43】
のように記述できることは明らかであるが、関数の評価に使用する記号式を見つけることは困難である。システムが任意の形状(不連続のものも)の1つの特定の「タイル」タイプのみに縮小される場合、それは、
関数として、以下のように記述することができる。
【数44】
これは、関連する以下のようなC行列を有することができる。
【数45】
【0072】
この関数は、集中点位置χb={χxb,χyb,χzb}およびサンプリング位置χa={χxa,χya,χza}を有したフェーズドアレイタイルによって生成される全ての単一集中点音響フィールドの音響圧力の記述として理解することができるが、評価された複素数値フィールドが低エントロピであるにもかかわらず、自明ではないフェーズドアレイタイルの記号積分は、非実用的なままである。
【0073】
更に、これは、
のように、無限小のトランスデューサ関数に駆動関数を乗算して各位置で集中を行うことにより、特定の集中が行われるフィールドを生成する方法として、本明細書に提示されているが、これは、異なる方法で駆動関数をパラメータ化し、例えば、代わりに連続面からベッセルビームを生成するための定式化を行うことによって、特定の既知の音響フィールドを生成するように単純に修正することができる。この場合、音響フィールドを制御するために、依然として制御点の線形システムを使用することができるが、もはやこれらの制御点は、集中点に対応しない可能性がある。
【0074】
図4を参照すると、波面に平行なシミュレートされた音響フィールドの集中点を通る2つのセクションを有した実例400が示されており、1つは、256素子フェーズドアレイ410によって生成され、1つは、1024素子アレイ420によって生成される。これらは同じ放射素子であるが、より密に集められている。同じ音圧レベルでフィールド(黒)に閾値が適用されており、より強い集中が得られているにもかかわらず、右側のセクションは小さくなり(より厳密に集中されているため)、リンギングアーチファクトが大幅に低減されている。集中点外のフィールドの制御の喪失は避けられないが、十分な素子数があれば軽減することができる。
【0075】
図5を参照すると、光学レンズに類似する挙動を示し、集中が行われているフェーズドアレイシステム500(放射素子は黒丸520として表示)が示されている。破線510は光軸であり、収束する「光線」の範囲は、点線505a,505bによって画定される。集中点における点線に垂直な反射面は、システムの上部(ドットの向こう側)をフェーズドアレイに反射して戻す。この反射面は、見かけ上、人間の手と空中触覚フェーズドアレイシステムとの相互作用をモデル化することができるので、フェーズドアレイの面からの波動フィールドの第2の反射は、集束ビームがフィールドの不要部分を増加させる主たる要因となる。
【0076】
B.ニューラルネットワーク
【0077】
従来、いくつかのタイプのニューラルネットワークが、微分方程式の解として暗黙的に記述された関数を適合させるために使用されてきた。ここで必要な関数は、指数関数の和および積であるので、概念を例示するために、正弦波から構成されるニューラルネットワークアーキテクチャタイプ(ここでは、シッツマン(Sitzmann)らの表現周期的活性関数を有する暗黙的ニューラル表現におけるSIREN)を選択するのは、説明上自然な選択であると思われるが、バルクニューラルネットワークアーキテクチャは、任意の数の標準アーキテクチャを使用して実現することができる。
【0078】
この積分を実行するために小さなニューラルネットワークをトレーニングするときには、積分の構造を考慮することが重要である。例えば、初期化重み付けの特定のセットを用いて作業することを目的として、波長および周波数を単一に設定するか、または適切なスケーリング係数を見つけることは、トレーニング手順の収束を速める上で有用である。トレーニングは、C行列のエントリに記載されているようなトランスデューサモデル乗算の合計を使用して実行することが可能であり、これは、間隔がλ/2未満に減少するにつれて、個々の素子のように振る舞わなくなるが、この積分方法は、この条件が真である使用事例に限定されない。空気中の音波の減衰に関して使用される定義は、伝播する波長あたり約0.0113dBの損失を示すが、波長または周波数に対して一定ではない、より特殊な別の減衰関数を使用することもできる。説明する例における要件は、全て波長および周波数に関して定義されるので、これは、システムの物理的な波長または周波数にかかわらず、数値的手順を支援するために選択されるべき自由パラメータである。
【0079】
この手順の例において考慮されている積分
は、6次元を有して密集しているが、2組の3次元座標を表している。従って、積分が波動フィールドを表すという事実を用い、損失関数に追加の制約条件を加えるのが賢明である。
【0080】
C.アイコナール特性
【0081】
例えば、圧力をモデル化する個々のトランスデューサ関数α(χ)=p
q(χ)は、以下のアイコナール方程式を満たす。
【数46】
その理由は、それらが遠距離フィールド挙動のモデルであるからであり、これは、以下であることの理由でもある。
【数47】
【数48】
【数49】
このとき、k=1/ρ
0ωは定数であり、減衰は両方の量に影響する。但し、トランスデューサフィールドを合計するか、または積分すると、結合モデルから作成された結合フィールドは、このアイコナール条件を満たさない。
【0082】
D.非平滑ニューラルネットワーク
【0083】
多くの場合、ニューラルネットワークは、線形ユニットで構成され、この線形ユニットは、区分的に線形であるが、集合と見なされた場合に機械学習を可能にする非線形関数である。これらで構成されるネットワークは、滑らかではなく、従って圧力関数の正弦および余弦に容易に適合しないので、これらのニューラルネットワークの観点から関数を抽象化して適合の複雑性を軽減することは有用である。
【0084】
積分の複素数値出力は、代わりに、以下のように表すことができる。
【数50】
このとき、積分出力Aおよびφは、強い正弦波特性を有することがあるaおよびbではなく、ニューラルネットワークからの出力である。但し、最後のa+ibまでの勾配逆伝播を用いて出力Aおよびφを学習することには問題がある。これは、分岐線法であるためであって、それぞれが2πの倍数離れた多くのφの値を使用して積分出力を適合させることができるので、機器は、同じ角度値をフィールドの異なる部分に適合させることが可能であり、その結果、
図6に示すように、いくつかの整数nおよびmについて、2π(n-m)から2πnへのほぼ瞬時のジャンプによって、ほぼ不連続なしわがフィールドに生じる。これらの関数の不連続性は、非線形音響効果によって可聴ノイズを引き起こす可能性があるので、空中における超音波の用途のための音場を生成するような使用の場合に、特に問題となる。
【0085】
従って、積分によって生成された干渉パターンを位相アンラップする方法は、ネットワークが、アンラップされた位相で直接トレーニングできるようにすることにより、この問題を軽減するために必要である。これは、ある整数nに対する複数の回転2πnを含み、±π以内の精度の第1の近似位相アンラッピング項φ
1を生成することによって達成される。このとき、第2の項は、以下の式によって生成される最終位相補正項として決定することができる。
【数51】
このとき、φ
p=φ
1+φ
2である。
【0086】
次に、φ
1の関数は、以下のように記述される。
【数52】
このとき、
は、ポインティングベクトルであるので、これは、エネルギが集中点に向かって流れるときの最大距離と、エネルギが遠ざかって流れるときの最小距離とを記述する。各トランスデューサがアイコナール方程式を満たすと、最大距離または最小距離もこれを満たすので、位相関数における各等値面には、集中点へのまたは集中点からの飛行時間を決定するほぼ一意の値が与えられる。正味のエネルギの流れがないことを
が示す領域では、この関数が不連続となり得るので、これは、滑らかさが必要とされるニューラルネットワークには不適切な定式化である。但し、不連続性は、エネルギの流れが正味ゼロであり、従って、低音圧である領域に制限されるので、これは、音響フィールドを記述するために使用しても、何らかの聴聴覚上の問題を引き起こす可能性は低い。集中点は、それぞれの場合において常にゼロ値として表されるので、全ての次元にわたって一貫して拡張していると見なすことができる不連続な正味ゼロエネルギフロー条件を除き、6つの次元の全てにわたって関数が滑らかであることは明らかである。この定式化は、φが集中点からの距離を測定するものであり、トランスデューサ表面収量におけるφの任意の評価を、飛行時間情報を得るために更に使用できるので、特に有用である。
【0087】
圧力以外の他の音響量(媒体の粒子速度など)を表現するようにネットワークをトレーニングするために積分が生成される場合、更なる複素引数角度修正を使用して、以下のように生成することができる。
【数53】
【数54】
【数55】
【数56】
このとき、以下のとおりであり、
【数57】
【数58】
【数59】
【数60】
従って、
は、フィールドから必要とされる線形音響量に応じて学習されたパラメータとすることができる。
【0088】
図6を参照すると、
の図が示され、例えば、音圧の測定に使用可能な、出力パラメータA(振幅)およびφ(位相)を有した6次元機械学習関数の部分空間の部分収束を示しており、示されている部分空間は、χ
xb=0,χ
yb=0,χ
zb=16,χ
xa=[-32,32],χ
ya=0,χ
za=[0,32]にある。Ae
iφ=a+ibの実部「a」は、左側610に示され、Ae
iφの位相「φ」は、右側620に示されている。なお、この場合、ネットワークは、位相角を不連続関数として学習する問題があるため、左側610の実部における微妙なアーチファクト位置が、右側620における位相角ジャンプと一致することに留意されたい。
【0089】
E.滑らかなニューラルネットワーク
【0090】
ニューラルネットワークが滑らかな関数(SIRENなど)で構成されている場合、ネットワーク自体の微分可能な構造を使用し、トレーニング関数に対する更なる制約を生成するのに役立ち、これもまた滑らかである。これらは、正弦(そして、余弦は単に位相シフトされた正弦関数である)で構成されるので、複素圧力の実部および虚部を、トレーニングのために直接使用することができる。
【0091】
結合されたフィールドの実部および虚部は、ヘルムホルツ方程式を満たし、以下のように記述することができる。
【数61】
しかし、方程式が成り立つ3次元空間は、χ
aおよびχ
bの両方であり、集中点は、擬似音源であるので、サンプル位置をχ
aで、または集中点位置をχ
bで移動する音響相反性の原理により、双方で、実部および虚部の両方について、以下のような別個のヘルムホルツ方程式条件を生じる。
【数62】
【数63】
このとき、これらを逆伝搬法において使用することによって、これを制約として使用することができる。この条件を、最小化すべき損失項として活用する可能な方法は、以下のように記述することができる。
【数64】
【数65】
このとき、α'は、ネットワークから出力される実数または虚部であり、αは、この関数
のグラウンドトゥルースデータのデータ点の、対応する実数または虚部である。
【0092】
解のフーリエ変換は、使用される搬送波の周波数においてかなりのエネルギを有するので(簡素化のために、1に設定されている)、その周波数に対応する微分演算子のフーリエ展開における乗算も、任意のフィールド勾配における支配的な係数因子となる。結果として、勾配制約に基づいて損失関数への加算を計算するときに使用する最適な係数は、単に、ωの累乗として計算することが可能であり、従って、関数がαの場合に、1次導関数は、
となり、2次導関数は、
となるなど、損失関数
への勾配の寄与を正規化する簡単な方法を提供する。
【0093】
これらの勾配は、モデル化されたフィールドの記号導関数を明示的に計算することによって、またはモデル化されたフィールドを評価し、有限差分を使用することによって、トレーニングデータから生成することができる。総和における各トランスデューサ寄与モデリング関数の導関数の評価は、記号的に計算することができる。これらの記号導関数が評価されるとき、導関数が線形演算子であるので、これらを合計して、必要なフィールド全体の導関数を生成することができる。有限差分は使用が簡単であり、フェーズドアレイシステムの波長が一貫しているため、カーネル幅を、波長の適切に小さな(h≪1/2λ)部分となるように固定することができる。
【0094】
次に、損失関数は、以下の何らかの組み合わせとして記述することができる。
【数66】
【数67】
【数68】
【数69】
このとき、損失関数は、通常の方法で評価されることによって最適化方向を更新して、ネットワークが関数
に収束するように、ニューラルネットワークパラメータを増分的にトレーニングする各パラメータ(重みおよびバイアス)に関してその導関数を有する。
【0095】
F.トレーニング方法
【0096】
音響フィールドモデル積分を構成する関数の滑らかさを考慮すると、サンプリングは特に重要である。また、十分に高い周波数のノイズを任意の関数に適合できることも事実であるので、適切に適合されたノイズへの変質を回避するために、注意深いサンプリングや勾配に基づく制約が必要である。
【0097】
ランダムなサンプルを使用する代わりに、ランダムに選択された行を使用して積分をサンプリングすると、ネットワークは、より一層容易に収束するように思える。ランダムに選択された6つの次元のうちの1つに沿ってランダムに配置されたトレーニングデータの行の生成は、収束を可能にするように思える。集中点が占める部分空間に収束を得ることにより、システムが十分に「固定」され、残りの部分を、混乱なく漸増的にトレーニング可能にするように思われる。
【0098】
積分をサンプリングするもう1つの方法は、入力のn次元空間を意味するヒルベルト曲線からランダムに選択された増分部分系列を選択することである(関数
の場合、これは6次元となる)。エッジ方向が、より等方的に分布するように、次元をランダムに並べ替えることができる。高次元のヒルベルト曲線は、サンプリングに偏りを生じる可能性のある顕著な異方性を示す。次に、ヒルベルト曲線の頂点を使用し、基礎となる関数
をサンプリングし、パッチの範囲に対して均一なグリッドの構造を有したサンプルのランダムパッチが作成される。次に、このパッチは、入力空間を含む均一なn次元グリッド上にオーバーレイされる。これは、ランダムな行をサンプリングするのと同じ効果を有するが、複数の次元に沿って一度に、かつ空間的に局在化された領域において行われる。ヒルベルト曲線の部分系列を生成するために、スキリング(Skilling)のアルゴリズム(Programming Hilbert curve, Skilling, J., 2004)が用いられる。ヒルベルト曲線の全配列の長さは、入力空間の全グリッドサイズよりも小さくすることができるが、許容可能なランダム性をもたらすには、部分配列の長さが、ヒルベルト曲線の全配列の全長よりも大幅に短くする必要があることに留意されたい。
【0099】
フィールド空間の集中点を含む3次元部分空間のサンプリングは、迅速に収束し(フィールドの小さな部分空間に大量のエネルギを含むので)、次に、集中点領域からの増大する半径内で複素指数関数が収束する領域を増大させることは、フィールドの収束を達成するための最も速い方法であると思われる。
【0100】
学習した圧力値への一定のゲインの適用は、多く(>4)の高密度層を有したSIRENニューラルネットワークに、効果的に勾配を浸透させるために必要となり得る。
【0101】
G.ネットワーク上の変化
【0102】
既知の方向ベクトルを有した速度ドット積を生成するように、ネットワークをトレーニングすることも合理的である場合がある。これにより、力の法線ベクトル方向を入力として与える必要があるので、ネットワークの入力機能の数が増加することを犠牲にして、所定の方向ベクトルに沿った既知の力を生成することが可能となる。これは、2次元の球面座標として符号化することが可能であり、この情報をネットワーク内に保持するために必要とされる余分な自由度を低減すると共に、必要な入力の数を低減するのに有用となり得る。
【0103】
また、ネットワークは、制御点の作成が望ましい領域についてのみトレーニングされるように制限してもよく、これにより、トレーニング時間や、必要なネットワーク能力が、ある程度低減される。ネットワークは、トランスデューサの近くでトレーニングすることができるので、トランスデューサ駆動部を符号化して、行列Aも演算することができる。トランスデューサアレイの近傍は、トランスデューサを離れるような初期音響フィールドを含むので、このフィールド限界近傍のサンプリングは、集中点を生成するために必要なトランスデューサのそれぞれについての特定の複素駆動係数を暗に示すことが可能であり、個々のトランスデューサモデルの代わりに、全フィールドモデルを評価することによって、音響フィールドを再現するためのトランスデューサ係数を見つける方法が得られる。個々のトランスデューサモデリングに特化するとコストがかかる場合、これにより、単一のアレイモデル(複数のニューラルネットワークで構成される場合がある)が、単一のユニットでの全ての音響モデリングを提供できるようにすることができる。
【0104】
位置符号化を使用し、ニューラルネットワーク学習のために値がより適切となる高次元空間に、低次元入力を人為的に事前投影することも、収束を加速するために使用することができる。これは、以下の関数を用い、静的変換層を生成することにより、それぞれの入力次元について(例示的なフィールドの場合、これは、
であるため、ここでも、6つのそのようなベクトルが連結されて、この前処理変換層が構成されることになる)達成することができる。
【数70】
なお、範囲[-N,2]は、λ=1の場合、4分の1波長の精度までの詳細の符号化を可能にすることに留意されたい。これは過剰かもしれないが、全ての詳細を捕捉することが確実となり、所望の大きさの音響フィールド領域を可能とするには、-Nを等価的に設定する必要がある。
【0105】
III.動的3Dオブジェクトと相互作用するための空中触覚ボリュームレンダリング方法
【0106】
A.パートI
【0107】
以下の項において、触覚オブジェクトは、触覚が演算される対象を指し、受取側オブジェクトは、生成された触覚のターゲットを指す。開発者は、ソリューションを実現する人を指し、ユーザは、ソリューションが実現された環境と相互作用する人を指す。集中点は、空中触覚アレイによって生成される空中触覚集中点を指し、3D点は、空間において、アレイの力が集められる点である。
【0108】
効果を再現するには、3段階のアプローチが必要である。最初に、オブジェクトは、それらが交差可能な有効領域を把握するために演算される必要があり、2番目に、「触覚」オブジェクトと「受取側」オブジェクトとの間の領域の交差を演算し、最後に、現在交差している領域に3D位置を配置し、その間で空中触覚集中点を平行移動させる。
【0109】
第1の段階は、開発者が定義した3軸ベクトル、または動的サイズベースの演算によって、触覚オブジェクトのメッシュのバウンディングボックス全体を細分することによって行われる。
図7には、3×4×3の3軸ベクトル細分を伴うオブジェクトの最初の段階の概略
図700が示されている。
【0110】
これらの細分により、トラッキングソリューションにおいて予測される誤差のマージンと組み合わせて、触覚フィードバック分解能のサイズの領域が生成されると予想される。生成された領域とメッシュとの間で交差テストが実行され、それが単にバウンディングボックスの一部ではなく、オブジェクトの一部であることが確認される。これを行うことにより、構造が変化するオブジェクトが、触覚の演算に関する誤判定を引き起こすことになる余分な不要領域を確実に生成しないようにすることができる。これらの生成された領域は、触覚オブジェクトに対する親となり、触覚オブジェクトに対する相対的な変化に基づき、その位置、回転、およびサイズを動的に調整する。この情報は、相互作用の前、一般的にいえば、シミュレーション内で使用される前の「オフライン」で計算され、触覚オブジェクトメタデータに記憶される。開発者が定義する3軸ベクトルは、計算に必要な演算量を制御し、指数関数的に増加し得るため、実行時に複雑性の低いオブジェクトを再計算することは可能であるが、複雑性が高いオブジェクトは望ましくないことになる。
【0111】
第2の段階は、触覚オブジェクトと受取側オブジェクトとの間の交差テストを利用することによって達成される。
図8には、受取側オブジェクト810が触覚オブジェクト802と交差する第2状態の概略
図800が示されている。灰色の輪郭領域805は、オブジェクト810と交差する領域である。
【0112】
これは、2つの部分で行われ、第1の部分は、オブジェクト全体との単一の全体的な交差テストであり、触覚オブジェクトは、いずれかの受取側オブジェクトが自分自身と交差しているか否かを確認するために、自分自身をテストする。このテストは、イベントベースであり、なんらかのオブジェクトが交差したときにイベントが発生し、その後、オブジェクトが触覚オブジェクトの境界を離れると、別のイベントが発生することを意味する。これに関する第2のテストは、可能性のある全てのオブジェクト交差に対して単に起動するのではなく、受取側オブジェクトが交差していることを確認するために、チェックを行う。受取側オブジェクトが触覚オブジェクトと交差していた場合、第2ラウンドのテストが開始され、個々の領域が、交差についてテストされる。これらの交差した領域は、集合マネージャに送られ、そこで、これら個々に交差する領域が照合される。これらの交差テストは、シミュレーションの実行中にリアルタイムで行われる。触覚オブジェクトの領域は、オブジェクトに相関するので、両方のオブジェクトは、移動し、変化する可能性があり、物理テストは、必要に応じ、単に物理フレームごとに行われる。
【0113】
処理の最後の段階では、第2の段階で照合された領域のセットを使用し、触覚集中点がその間を横断できる3D位置のアレイを生成する。これらの点を作成するために、様々な配置方法を使用することができる。第1の方法は、単に、各領域の原点位置を取得し、その点で所定の触覚の感覚を再生する。第2のアプローチは、時間の経過と共に原点位置にノイズを加えることによって、第1のアプローチを拡張する。第3の方法では、領域ごとに定義された分割数から導出されるか、またはサイズによって導出された、開発者が定義した数の点で、各領域を均一に埋める。最後の方法では、開発者が定義した数のランダム化された位置で、それぞれ個別の領域を埋める。これらの位置は、個々の領域の3つのサイズ軸の間で値をランダム化することによって定義される。これらの点は、触覚オブジェクトとの相互作用中に、高速(50ms未満の速度)で連続的に反復される。平滑化アルゴリズムは、この段階中に、位置に対して適用することができる。これらの点がいつ作成または再作成されるかは、2つの異なる状態によって決定される。1つ目は、ランダム化された点のアレイ全体が完全に反復された場合であり、また、2つ目は、現在交差している領域のセットが修正または変更された場合である。これらのランダム化された点を生成することにより、それらは、設計上、受取側オブジェクトの全体的な意図された位置、または完全に正確な位置をわずかに超えて広がる。この位置的な「バッファ」は、トラッキングソリューションでの完全な精度の喪失を考慮しつつ、依然として使用可能な結果を生成する。
【0114】
このソリューションは、1つのハンドトラッキングデバイスを利用するだけですみ、手のトラッキングを空中触覚アレイの位置に制限することはない。これにより、2つのハンドトラッキングデバイスを使用することで必要となる全体的な処理能力が低減され、効果的な触覚の生成を依然として可能としつつ、物理的により大きな仮想環境の生成が可能となる。
【0115】
オクツリー(https://en.wikipedia.org/wiki/Octree)(2021年8月12日アクセス)とは異なり、オブジェクトの領域は、完全な立方体ベースの領域である必要はなく、寸法を変化させることができる。
【0116】
仮想オブジェクトの交差方法の特性上、触覚は、依然として固定された骨位置よりも大きい領域で生成されるので、VRまたはARのトラッキングソリューションに起因する意図しないジッタを軽減することができる。
【0117】
B.パートII
【0118】
ウルトラリープ社(Ultraleap)のストラトスエクスプローラ(STRATOS Explore)触覚アレイを使用し、光学ハンドトラッキング専用の触覚を実現した。この実施形態は、特に面倒な設定や制限のある設定に依存することなく、可能な限り高い割合の触覚フィードバックが参加者の手に適用されるように構成された。これは、位置を知らせるために単一のハンドトラッキングデバイスのみに依存し、触覚アレイ自体にハンドトラッカを取り付けないことを意味する。これらの設定は、いずれも、システムに対する性能負荷の増加、および追加のハードウェアコスト(2つのデバイスを使用する場合)、またはシミュレーションが相互作用し得るものや場所に対する物理的な制約など、追加のコストを必要とする。そこで、触覚を配置するための手の直接的な位置ではなく、現在相互作用しているオブジェクトの位置に依存する実施方法の開発を選択した。
【0119】
本発明者らが開発した触覚の実施形態は、仮想の手と仮想のオブジェクトとの間の相互作用に依存する。環境内のオブジェクトが参加者の手で触れられ、従って交差すると、実施の態様において、それらオブジェクトは「アクティブ」になり、触覚効果を生成するように処理される。感覚は、手によって知らされる骨の位置に依存するのではなく、オブジェクトレベルで適用される。
【0120】
触覚アレイが生成する集中点は、直径が約8mmであり(イトウほか、2016年)、これは、本発明者らの研究において使用していたオブジェクトのいずれよりも著しく小さい。オブジェクトの領域全体を使用した触覚効果の生成は、手がどこに触れているかについて確証できなかったので、非効率的ということになる。これを改善するために、メッシュの全体的なサイズに基づき、それぞれの相互作用可能なオブジェクトを領域に細分した。従来の同様の実施の形態では、ボクセルなどの理論に依存しており、各分割の3つの軸全てにわたってサイズが均一である。本発明者らの方法では、サイズが完全に均一なボクセルとは異なり、開発者が定義した3軸ベクトルに基づいてサイズが決定された領域を使用した。このベクトルは、オブジェクトの各軸にわたって生じる細分の数を定義する。これらの領域は、実行時点より前に定義されたものであるが、必要に応じ、リアルタイムで調整または再計算することができる。全ての領域は、オブジェクトの全体的な位置、スケール、および回転に従うことになるので、オブジェクトの動きに基づいた容易な再計算が可能となる。
図7を参照されたい。
【0121】
トラッキングから最適な位置が得られないときでも、手が触覚を確実に受けるようにするために、指の骨の全体的な半径を25%拡大した。これは、トラッキングジッタや不正確性によって手の実際の位置にわずかな差があったとしても、依然として、指がオブジェクトとの交差を知らせることを意味する。
【0122】
交差テストは、相互作用可能なオブジェクトに対し、2段階プロセスとして実行される。オブジェクトが、アイドル/非接触段階にある場合、手がそれに触れたか否かをチェックするために、最上位の交差テストのみが行われる。手がオブジェクトと交差し始めると、第2のレベルの領域交差テストが開始される。他のオブジェクトからのものを含め、手と交差していた全ての領域が照合され、1つの最終領域とされる。
図8を参照されたい。
【0123】
この照合された領域は、可能な触覚位置が計算されるボリュームとして使用される。これらの触覚位置は、領域内の点のランダムアレイとして生成された。数ミリ秒ごとに、アレイの最新のインデックスが変更され、それに伴って、触覚が、その位置を次の位置に移動させる。可能な位置の総数、および反復速度は、いずれも、開発者によって定義され、本発明者らは、個々の領域ごとに40個の点、および40ミリ秒の反復速度を採用することにした。これらの値により、触覚フィードバックでボリュームを一貫して満たし、従って、手によるヒット率を増加させる一方、オブジェクトの存在感を高いレベルで保持することに、良好なバランスが得られた。
図9には、受取側オブジェクト910が触覚オブジェクト902と交差する概略
図900が示されている。黒色のクロスハッチ908は、可能な触覚点を表す一方、灰色の領域905は、集中点の現在の位置を表す。
【0124】
これらの位置と組み合わせると、この上に2次運動を適用することが可能であり、今回の状況では、感覚の全体的な音を低減するのに役立つ円運動の使用を選択した。この円運動は、60Hzの周波数に調整された。円の各インスタンスは、そのとき相互作用している全ての触覚領域の平均サイズの半径に等しい半径を有していた。実際には、これは、その3軸の正方形の大きさから、0.2cmのサイズを有し、0.3cmのサイズを有する別の領域は、0.25cmの円半径をもたらすことを意味する。
【0125】
位置を再生させる条件は2つあった。即ち、交差する領域の集合が変化したか、または位置の集合全体が完全に反復されたかのいずれかである。これらの条件のいずれかが満たされると、点の生成が再度行われる。これに対し、それらがオブジェクト全体と交差している限り、交差テストは、シミュレーション内の全ての物理ステップで行われる。
【0126】
純粋なハンドトラッキング位置をターゲットとするときには、集中点がわずかにずれることが多いので、このソリューションにより、手に触覚をもたらす成功率が改善された。ヘッドセットからの可変位置、つまりハンドトラッキング原点、およびスチームVR(SteamVR)トラッキングソリューションによって導入されるジッタは、オブジェクトの領域が手よりも十分に大きいので、実施形態の全体的な効果を低減することはなかった。
【0127】
空中触覚のためのソリューションは、ハンドトラッキングデバイスがVRヘッドセットに取り付けられている比較的一般的なシナリオで作業する場合に、有益な結果を生み出すのを支援するように構成された。この実施の形態は、参加者が、いつでも自分の手を視覚的に確認できるようになることを意味した。現在の空中触覚の標準的な実施は、ほぼ完全に固定原点トラッカに依存しており、これは、一般的に空中触覚アレイに取り付けられている。標準的な実施では、二次的なトラッキングジッタがないため、触覚を適用するための、より正確な手のセットが提供されるが、ユーザがシステムと相互作用可能な領域が大幅に制限される。
【0128】
ヘッドセット装着方向から提供されるハンドトラッキングは、触覚の適用に関して全体的に精度が低くても、デスクへの取付方向からのものと比較して、より安定した結果をもたらすことが証明された。従来の研究および作業の際には、リープモーション(Leap Motion)ハンドトラッカを用いたデスクトップ取り付けのハンドトラッキングが、古いトラッキングソフトウェアスタックや、視野が減少した古いハードウェアを使用すること、およびハンドオクルージョンの複数の問題のため、より低品質の結果が得られることを目撃している。場合によっては、これらの問題により、トラッカの視野内で描写されたオブジェクトを手として知らせ、不自然な動きや予期せぬ動きによって、参加者が注意散漫となる可能性がある。研究全体を通して、高レベルの視覚的一貫性の確保が最も重要であった。
【0129】
IV.結び
【0130】
上述の明細書では、特定の実施形態を説明してきた。但し、当業者であれば、特許請求の範囲に記載される本発明の範囲から逸脱せずに、様々な変更および変形が可能であることを理解できるはずである。従って、本明細書および図面は、限定的な意味ではなく、例示的な意味でみなされるべきであり、そのような修正は、いずれも、本教示の範囲内に含まれることが意図される。
【0131】
更に、本明細書において、第1および第2、上下などの関係用語は、1つの実体または行為を別の実体または行為から区別することのみを目的として使用し得るものであり、そのような実体または行為の間で、実際のそのような関係または順序を、必ずしも必要または暗示ものではない。「備える」、「備えている」、「有する」、「有している」、「含む」、「含んでいる」、「含有する」、「含有している」という用語、またはその他のそれらのなんらかの変形は、非排他的な包含を含むように意図するものであり、列挙する要素を備える、有する、含む、含有するプロセス、方法、物品、または装置が、それらの要素だけを含むものではなく、そのようなプロセス、方法、物品、または装置に明示的に列挙されていないか、または本来備わっている別の要素を含み得ることを意図するものである。「~を備える」、「~を有する」、「~を含む」、「~を含有する」が後に続く要素は、更なる制約がなければ、当該要素を備える、有する、含む、含有するプロセス、方法、物品、または装置に、更なる同一要素の存在を排除するものではない。用語「a」および「an」は、本明細書に別段の明示的記載がない限り、1つまたは複数として定義される。用語「実質的に」、「本質的に」、「およそ」、「約」またはそれ以外のそれらのなんらかの変化形は、当業者によって理解される程度に近似するものとして定義される。本明細書で使用する場合、用語「結合された」は、接続されたものとして定義されるが、必ずしも直接的である必要はなく、必ずしも機械的である必要もない。特定の方法で「構成される」デバイスまたは構造は、少なくともそのように構成されるが、列挙されていない方法で構成されてもよい。
【0132】
更に、本明細書において、例えば、
などの式で使用されるような上線の演算子は、トランスデューサに優先順位を付加し、従って、複素共役の通常の意味に加えて、複素数値トランスデューサの活性化の空間において重み付けされた基底ベクトルを生成するために、各ベクトル成分に対して実スケーリング係数を有するものとして定義される。
【0133】
本発明の要約は、読んだ者が技術的開示の本質を迅速に確認可能とするために提供されるものである。要約書は、特許請求の範囲の解釈または限定のために使用されるものではないとの理解の上で提出される。更に、前述の詳細な説明では、開示を効率的に行う目的で、様々な特徴が種々の実施形態にまとめられている。この開示方法は、特許請求される実施形態が、各請求項において明示的に列挙されるよりも多くの特徴を必要とするという意図を反映するものとは解釈されるべきではない。むしろ、特許請求の範囲に示すように、発明の主題は、開示する単一の実施形態の全ての特徴より少ない特徴にある。従って、添付の特許請求の範囲は、本明細書によって詳細な説明に組み込まれ、各請求項は、個別に請求される主題として独立している。
【国際調査報告】