特表 2022-509570 時間的に変化する再帰型フィルタ構造による仮想聴覚レンダリングのための方法およびシステム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公表特許公報(A)

(11)【公表番号】

(43)【公表日】2022-01-20

(54)【発明の名称】時間的に変化する再帰型フィルタ構造による仮想聴覚レンダリングのための方法およびシステム

(51)【国際特許分類】

   H04S 7/00 20060101AFI20220113BHJP

【ＦＩ】

H04S7/00 300

【審査請求】有

【予備審査請求】有

(21)【出願番号】P 2021555377

(86)(22)【出願日】2020-01-16

(85)【翻訳文提出日】2021-09-17

(86)【国際出願番号】 IB2020050359

(87)【国際公開番号】W WO2020152550

(87)【国際公開日】2020-07-30

(31)【優先権主張番号】62/794,770

(32)【優先日】2019-01-21

(33)【優先権主張国・地域又は機関】US

(81)【指定国・地域】

(71)【出願人】

【識別番号】521322454

【氏名又は名称】アウター・エコー・インコーポレイテッド

(74)【代理人】

【識別番号】100108453

【弁理士】

【氏名又は名称】村山 靖彦

(74)【代理人】

【識別番号】100110364

【弁理士】

【氏名又は名称】実広 信哉

(74)【代理人】

【識別番号】100133400

【弁理士】

【氏名又は名称】阿部 達彦

(72)【発明者】

【氏名】ジュリアス・オー・スミス

(72)【発明者】

【氏名】ゲイリー・ピー・スカヴォネ

(72)【発明者】

【氏名】エステバン・マエストレ－ゴメス

【テーマコード（参考）】

5D162

【Ｆターム（参考）】

5D162AA11

5D162CA11

5D162CC37

5D162CD07

5D162EG02

(57)【要約】

1つまたは複数の状態変数のベクトルと、可変の数の音響入力および/または音響出力信号とを各々備える、時間的に変化する再帰型フィルタ構造に基づく、音響物体および音響特質のシミュレーション。音響受信をシミュレートするために、少なくとも1つの状態変数の再帰的な更新は、受信される入力音響信号を線形結合することによって得られる入力項を加算することを伴い、前記結合は、前記入力音響信号と関連付けられる入力受信座標に応答して適応される時間的に変化する係数を伴う。音響放射をシミュレートするために、状態変数が線形結合され、前記結合が、前記出力音響信号と関連付けられる出力放射座標に応答して適応される時間的に変化する係数を伴う。音伝播および/または障害物との相互作用によって引き起こされる減衰または他の効果が、それに関与する時間的に変化する係数をスケーリングすることを通じて、音響放射および/または受信の間に組み込まれ得る。音伝播は、伝播する波として音響物体シミュレーションの状態変数を扱うことによって、シミュレートされ得る。

【特許請求の範囲】

【請求項1】

音響物体および音響特質の数値シミュレーションのためのシステムであって、音響物体シミュレーションのうちの1つまたは複数が、時間的に変化する再帰型フィルタ構造を利用し、
再帰型フィルタが、1つまたは複数の状態変数のベクトルを備え、
前記再帰型フィルタの入力および/または出力が、前記音響物体シミュレーションによって受信および/または放射される、入力および/または出力音響信号を表し、
前記再帰型フィルタの入力および/もしくは出力の数が固定されており、または可変であり、
前記音響物体シミュレーションが、時間的に変化する入力座標をそれぞれ提示する1つまたは複数の入力音響信号の音響受信をシミュレートするように構成されている場合、前記状態変数のうちの少なくとも1つが、
受信されている前記入力音響信号のうちの1つまたは複数を線形結合することによって中間入力変数を取得することであって、前記線形結合が、前記入力音響信号と関連付けられる1つまたは複数の入力座標に応答して適応される係数を利用する、取得することと、
前記状態変数のうちの1つまたは複数を線形結合することによって、中間更新変数を取得することと、
前記中間入力変数および前記中間更新変数を加算することと
を含む再帰によって更新され、
前記音響物体シミュレーションが、時間的に変化する出力座標をそれぞれ提示する1つまたは複数の出力音響信号の音響放射をシミュレートするように構成されている場合、放射される前記出力音響信号のうちの1つまたは複数を取得することが、1つまたは複数の状態変数を線形結合することを含み、前記線形結合が、前記出力音響信号と関連付けられる1つまたは複数の出力座標に応答して適応される係数を利用する、システム。

【請求項2】

前記音響物体シミュレーションが、
入力音響信号のうちの1つまたは複数を受信するための、および/または、出力音響信号のうちの1つまたは複数を放射するための手段であって、
前記入力音響信号の数が固定されており、または可変であり、
前記出力音響信号の数が固定されており、または可変である、
手段と、
入力座標のうちの1つもしくは複数および/または出力座標のうちの1つもしくは複数を受信するための手段であって、
前記入力座標の数が固定されており、または可変であり、
前記入力座標が前記入力音響信号のうちの1つまたは複数と関連付けられ、
前記出力座標の数が固定されており、または可変であり、
前記出力座標が前記出力音響信号のうちの1つまたは複数と関連付けられる、
手段と、
入力投影ベクトルのうちの1つもしくは複数および/または出力投影ベクトルのうちの1つもしくは複数であって、
前記入力投影ベクトルの数が固定されており、または可変であり、
前記入力投影ベクトルのうちの1つまたは複数が時間的に変化する係数を備え、
前記入力投影ベクトルが、所与の時間において前記音響物体シミュレーションによって受信される前記入力音響信号のうちの1つまたは複数と関連付けられ、
前記出力投影ベクトルの数が固定されており、または可変であり、
前記出力投影ベクトルのうちの1つまたは複数が時間的に変化する係数を備え、
前記出力投影ベクトルが、所与の時間において前記物体シミュレーションによって放射される前記出力音響信号のうちの1つまたは複数と関連付けられる、
入力投影ベクトルのうちの1つもしくは複数および/または出力投影ベクトルのうちの1つもしくは複数と、
音響信号受信特性を記述する入力投影モデルのうちの1つまたは複数および/または音響信号放射特性を記述する出力投影モデルのうちの1つまたは複数であって、
前記入力座標のうちの1つまたは複数をもとに、前記入力投影ベクトルのうちの1つまたは複数に含まれる前記係数のうちの1つまたは複数を決定するために、前記入力投影モデルが使用され、
前記出力座標のうちの1つまたは複数をもとに、前記出力投影ベクトルのうちの1つまたは複数に含まれる前記係数のうちの1つまたは複数を決定するために、前記出力投影モデルが使用される、
音響信号受信特性を記述する入力投影モデルのうちの1つもしくは複数および/または音響信号放射特性を記述する出力投影モデルのうちの1つもしくは複数と、
1つまたは複数の状態変数のベクトルであって、
前記音響物体シミュレーションが、時間的に変化する入力座標をそれぞれ提示する1つまたは複数の音響信号の音響受信をシミュレートするように構成されている場合、前記状態変数の更新機構が再帰を伴い、少なくとも1つの状態変数に対して、前記更新機構が、
中間更新変数のうちの1つを取得するステップであって、前記中間更新変数の計算が、前記状態変数のうちの1つまたは複数の線形結合を伴う、ステップと、
中間入力変数のうちの1つを取得するステップであって、前記中間入力変数の計算が、前記入力音響信号を線形結合することを伴い、前記線形結合において使用される重みのうちの1つまたは複数が、前記入力投影ベクトルに現れる前記係数のうちの1つまたは複数に対応する、ステップと、
前記中間更新変数および前記中間入力変数を加算するステップと、
前記加算の結果を前記状態変数に割り当てるステップと
を含み、前記音響物体シミュレーションが、時間的に変化する出力座標をそれぞれ提示する1つまたは複数の音響信号の音響放射をシミュレートするように構成されている場合、前記出力音響信号の計算が前記状態変数のうちの1つまたは複数を線形結合することを含み、前記線形結合に関与する前記重みのうちの1つまたは複数が、前記出力投影ベクトルに現れる1つまたは複数の係数に対応する、
1つまたは複数の状態変数のベクトルとを備える、請求項1に記載のシステム。

【請求項3】

音響物体による音響受信をシミュレートするように構成され、前記時間的に変化する再帰型フィルタ構造が、一次および/または二次再帰型フィルタの並列結合として等価に動作するようになされ、
前記一次および/または二次再帰型フィルタの入力を取得することが、前記音響物体シミュレーションによって受信される前記入力音響信号のうちの1つもしくは複数の線形結合、および/または、前記音響物体シミュレーションによって受信される前記入力音響信号のうちの1つもしくは複数の単位遅延されたコピーを伴い、
前記線形結合に関与する前記重みのうちの1つまたは複数が、前記入力音響信号のうちの1つまたは複数と関連付けられる1つまたは複数の入力座標に適応される、請求項1または2に記載のシステム。

【請求項4】

音響物体による音響放射をシミュレートするように構成され、前記時間的に変化する再帰型フィルタ構造が、一次および/または二次再帰型フィルタの並列結合として等価に動作するようになされ、
前記音響物体シミュレーションによって放射される前記出力音響信号のうちの1つまたは複数を取得することが、フィルタリングされた変数のうちの1つもしくは複数および/または前記フィルタリングされた変数の単位遅延されたコピーのうちの1つもしくは複数の線形結合を伴い、前記フィルタリングされた変数のうちの1つまたは複数がそれぞれ、1つもしくは複数の一次および/または二次再帰型フィルタの出力においてそれぞれ提供され、
前記線形結合に関与する前記重みのうちの1つまたは複数が、前記出力音響信号のうちの1つまたは複数と関連付けられる1つまたは複数の出力座標に適応される、請求項1または2に記載のシステム。

【請求項5】

時間的に変化する入力行列のうちの1つおよび/または時間的に変化する出力行列のうちの1つを備える時間的に変化する状態空間フィルタとして等価的に動作するように構成され、
前記入力行列が固定されたまたは可変のサイズを提示し、前記サイズが前記音響物体シミュレーションによって受信される入力音響信号の数に依存し、
前記入力行列が時間的に変化する係数を備え、
前記入力行列の前記時間的に変化する係数のうちの1つまたは複数が、前記中間入力変数を取得するために必要とされる入力音響信号の前記線形結合に関与する1つまたは複数の係数に対応し、
前記出力行列が固定されたまたは可変のサイズを提示し、前記サイズが前記音響物体シミュレーションによって放射される出力音響信号の数に依存し、
前記出力行列が時間的に変化する係数を備え、
前記出力行列の前記時間的に変化する係数のうちの1つまたは複数が、前記出力音響信号を取得するために必要とされる状態変数の前記線形結合に関与する1つまたは複数の係数に対応する、請求項1または2に記載のシステム。

【請求項6】

前記入力および/または出力行列のサイズの可変性が、固定サイズの入力および/または出力行列を有することにより実装され、前記入力および/または出力行列に含まれるベクトルのサブセットに対応する計算を示し前記計算だけを実行するための手段が提供される、請求項5に記載のシステム。

【請求項7】

遅延線のうちの1つまたは複数が、音響物体シミュレーションの1つまたは複数の出力から、1つまたは複数の音響物体シミュレーションの1つまたは複数の入力に、1つまたは複数の音響信号を伝播させるために使用される、請求項1、2、3、4、5、または6に記載のシステム。

【請求項8】

遅延線のうちの1つまたは複数が、1つまたは複数の音響物体シミュレーションの1つまたは複数の出力から、音響信号を受信するための目的点提示手段のうちの1つまたは複数に、1つまたは複数の音響信号を伝播させるために使用される、請求項1、2、3、4、5、または6に記載のシステム。

【請求項9】

遅延線のうちの1つまたは複数が、音響信号を提供するための始点提示手段のうちの1つまたは複数から、前記音響物体シミュレーションのうちの1つまたは複数の1つまたは複数の入力に、1つまたは複数の音響信号を伝播させるために使用される、請求項1、2、3、4、5、または6に記載のシステム。

【請求項10】

伝播する音の周波数依存の減衰の効果ならびに音響放射および/または音響受信の効果が一緒にシミュレートされ、前記共同のシミュレーションが、出力音響信号を取得するために利用される状態変数の前記線形結合に関与する係数のうちの1つまたは複数をスケーリングおよび/もしくは減衰すること、ならびに/または、前記中間入力変数を得るために利用される入力音響信号の前記線形結合に関与する係数のうちの1つまたは複数をスケーリングおよび/もしくは減衰することを伴う、請求項1、2、3、4、5、または6に記載のシステム。

【請求項11】

前記入力座標が、前記入力座標と関連付けられる前記入力音響信号を受信している前記音響物体シミュレーションに関連する位置および/または向きという特質のうちの少なくとも1つについての情報を伝える、請求項1、2、3、4、5、または6に記載のシステム。

【請求項12】

前記入力座標が、前記入力座標と関連付けられる前記入力音響信号に関する、伝播距離、伝播により引き起こされる減衰、または障害物により引き起こされる減衰という特質のうちの少なくとも1つについての情報を伝える、請求項1、2、3、4、5、または6に記載のシステム。

【請求項13】

前記出力座標が、前記出力座標と関連付けられる前記出力音響信号を放射している前記音響物体シミュレーションに関する位置および/または向きという特質のうちの少なくとも1つについての情報を搬送する、請求項1、2、3、4、5、または6に記載のシステム。

【請求項14】

前記出力座標が、前記出力座標と関連付けられる前記出力音響信号に関する、伝播距離、伝播により引き起こされる減衰、または障害物により引き起こされる減衰という特質のうちの少なくとも1つについての情報を伝える、請求項1、2、3、4、5、または6に記載のシステム。

【請求項15】

前記入力および/または出力投影モデルのうちの1つまたは複数が、パラメトリック推定モデルのうちの1つもしくは複数、ならびに/またはルックアップテーブルおよび/もしくは補間されたルックアップテーブルのうちの1つもしくは複数を備える、請求項2に記載のシステム。

【請求項16】

音響信号の前記放射および伝播が、1つまたは複数の音響放射物体シミュレーション状態変数を伝播する波として扱うことによって一緒にシミュレートされ、
遅延線のうちの1つまたは複数が、1つまたは複数の音響放射物体シミュレーションの前記状態変数のうちの1つまたは複数を伝播するために使用され、
前記音響放射物体シミュレーションの遅延された状態変数を得るために、前記遅延線から傍受すること、ならびに、前記遅延された状態変数および/または前記遅延された状態変数の単位遅延されたコピーの任意の必要とされる線形結合を適用して、前記音響放射物体による音響放射の効果および音伝播の効果を一緒に組み込む1つまたは複数の音響信号を取得することによって、1つまたは複数の音響放射物体による音響放射がシミュレートされる、請求項1、2、5、または6に記載のシステム。

【請求項17】

音響放射の前記効果、音伝播の前記効果、および伝播する音の周波数依存の減衰の効果が一緒にシミュレートされ、前記共同のシミュレーションが、前記音響放射物体による音響放射の前記効果、音伝播の前記効果、および伝播する音の周波数依存の減衰の前記効果を一緒に組み込む1つまたは複数の音響信号を得るために利用される、前記遅延された状態変数および/または前記遅延された状態変数の単位遅延されたコピーの前記線形結合に関与する係数のうちの1つまたは複数を、スケーリングおよび/または減衰することを伴う、請求項15に記載のシステム。

【請求項18】

音響信号の前記放射および伝播が、前記フィルタリングされた変数を伝播する波として扱うことによって一緒にシミュレートされ、
前記フィルタリングされた変数のうちの1つまたは複数を伝播するために、遅延線のうちの1つまたは複数が使用され、
前記遅延線から傍受して遅延されたフィルタリングされた変数を取得すること、ならびに、前記遅延されたフィルタリングされた変数および/または前記遅延されたフィルタリングされた変数の単位遅延されたコピーの任意の必要とされる線形結合を適用して、前記音響放射物体による音響放射の効果および音伝播の効果を一緒に組み込む1つまたは複数の音響信号を取得することによって、1つまたは複数の音響放射物体による音響放射がシミュレートされる、請求項4に記載のシステム。

【請求項19】

音響放射の前記効果、音伝播の前記効果、および伝播する音の周波数依存の減衰の前記効果が一緒にシミュレートされ、前記共同のシミュレーションが、前記音響放射物体による音響放射の前記効果、音伝播の前記効果、および伝播する音の周波数依存の減衰の前記効果を一緒に組み込む1つまたは複数の音響信号を得るために利用される、前記遅延されたフィルタリングされた変数および/または前記遅延されたフィルタリングされた変数の単位遅延されたコピーの前記線形結合に関与する係数のうちの1つまたは複数を、スケーリングおよび/または減衰することを伴う、請求項17に記載のシステム。

【請求項20】

音響物体による音響受信の数値シミュレーションのための方法であって、
1つまたは複数の入力音響信号を受信するステップであって、前記音響物体によって受信される入力音響信号の数が固定されており、または可変である、ステップと、
前記音響物体によって受信される1つまたは複数の入力音響信号と関連付けられる1つまたは複数の入力座標を受信するステップであって、前記音響物体によって受信される入力座標の数が固定されており、または可変である、ステップと、
前記音響物体の前記シミュレーションに含まれる状態変数のうちの1つまたは複数を更新するステップであって、前記状態変数のための更新機構が再帰を伴い、各状態変数に対して、前記更新機構が、
中間更新変数を取得するステップであって、前記中間更新変数の計算が前記状態変数のうちの1つまたは複数を線形結合することを伴う、ステップと、
中間入力変数を取得するステップであって、前記中間入力変数の計算が、前記音響物体シミュレーションによって受信される前記入力音響信号のうちの1つまたは複数を線形結合することを伴い、前記線形結合において使用される重みのうちの1つまたは複数が、前記入力座標のうちの1つまたは複数に応答して適応される、ステップと、
前記中間更新変数および前記中間入力変数を加算するステップと、
前記加算の結果を前記状態変数に割り当てるステップと
を含む、ステップと、
1つまたは複数の出力音響信号を提供するステップであって、前記出力音響信号の計算が前記状態変数のうちの1つまたは複数を線形結合することを伴う、ステップとを含む、方法。

【請求項21】

音響物体による音響受信の数値シミュレーションのための方法であって、
1つまたは複数の入力音響信号を受信するステップであって、前記音響物体によって受信される入力音響信号の数が固定されており、または可変である、ステップと、
前記音響物体によって受信される1つまたは複数の入力音響信号と関連付けられる1つまたは複数の入力座標を受信するステップであって、前記音響物体によって受信される入力座標の数が固定されており、または可変である、ステップと、
1つまたは複数の入力投影モデルを利用して、前記入力座標のうちの1つまたは複数をもとに、1つまたは複数の入力投影ベクトルに含まれる係数のうちの1つまたは複数を決定するステップであって、前記投影ベクトルが、前記入力座標および前記入力音響信号に関連付けられる、ステップと、
前記音響物体の前記シミュレーションに含まれる状態変数のうちの1つまたは複数を更新するステップであって、前記状態変数のための更新機構が再帰を伴い、各状態変数に対して、前記更新機構が、
中間更新変数を取得するステップであって、前記中間更新変数の計算が、前記状態変数のうちの1つまたは複数を線形結合することを伴う、ステップと、
中間入力変数を取得するステップであって、前記中間入力変数の計算が、前記音響物体シミュレーションによって受信される前記入力音響信号のうちの1つまたは複数を線形結合することを伴い、前記線形結合において使用される重みのうちの1つまたは複数が、前記入力投影ベクトルに現れる前記係数のうちの1つまたは複数に対応する、ステップと、
前記中間更新変数および前記中間入力変数を加算するステップと、
前記加算の結果を前記状態変数に割り当てるステップと
を含む、ステップと、
1つまたは複数の出力音響信号を提供するステップであって、前記出力音響信号の計算が前記状態変数のうちの1つまたは複数を線形結合することを伴う、ステップとを含む、方法。

【請求項22】

音響物体による音響受信の数値シミュレーションのための方法であって、
1つまたは複数の入力音響信号を受信するステップであって、前記音響物体によって受信される入力音響信号の数が固定されており、または可変である、ステップと、
前記音響物体によって受信される1つまたは複数の入力音響信号と関連付けられる1つまたは複数の入力座標を受信するステップであって、前記音響物体によって受信される入力座標の数が固定されており、または可変である、ステップと、
中間入力変数のうちの1つまたは複数を取得するステップであって、前記中間入力変数の計算が、前記音響物体シミュレーションによって受信される前記入力音響信号および/または前記音響物体によって受信される前記入力音響信号の単位遅延されたコピーのうちの1つまたは複数を線形結合することを伴い、前記線形結合において使用される重みのうちの1つまたは複数が、前記入力座標のうちの1つまたは複数に適応される、ステップと、
前記中間入力変数のうちの1つまたは複数を1つもしくは複数の一次および/または二次再帰型フィルタの入力へと供給するステップと、
前記一次および/または二次再帰型フィルタの1つの更新ステップを実行するステップと、
1つまたは複数の出力音響信号を提供するステップであって、前記出力音響信号の計算が、前記一次および/もしくは二次再帰型フィルタの出力ならびに/または前記一次および/もしくは二次再帰型フィルタの出力の単位遅延されたコピーのうちの1つまたは複数を線形結合することを伴う、ステップとを含む、方法。

【請求項23】

音響物体による音響受信の数値シミュレーションのための方法であって、
1つまたは複数の入力音響信号を受信するステップであって、前記音響物体によって受信される入力音響信号の数が固定されており、または可変である、ステップと、
前記音響物体によって受信される1つまたは複数の入力音響信号と関連付けられる1つまたは複数の入力座標を受信するステップであって、前記音響物体によって受信される入力座標の数が固定されており、または可変である、ステップと、
1つまたは複数の入力投影モデルを利用して、前記入力座標のうちの1つまたは複数をもとに、1つまたは複数の入力投影ベクトルに含まれる係数のうちの1つまたは複数を決定するステップであって、前記投影ベクトルが、前記入力座標および前記入力音響信号に関連付けられる、ステップと、
中間入力変数のうちの1つまたは複数を取得するステップであって、前記中間入力変数の計算が、前記音響物体シミュレーションによって受信される前記入力音響信号および/または前記音響物体によって受信される前記入力音響信号の単位遅延されたコピーのうちの1つまたは複数を線形結合することを伴い、前記線形結合において使用される重みのうちの1つまたは複数が、前記入力投影ベクトルに現れる前記係数のうちの1つまたは複数に対応する、ステップと、
前記中間入力変数のうちの1つまたは複数を、1つもしくは複数の一次および/または二次再帰型フィルタの入力へと供給するステップと、
前記一次および/または二次再帰型フィルタの1つの更新ステップを実行するステップと、
1つまたは複数の出力音響信号を提供するステップであって、前記出力音響信号の計算が、前記一次および/もしくは二次再帰型フィルタの出力ならびに/または前記一次および/もしくは二次再帰型フィルタの出力の単位遅延されたコピーのうちの1つまたは複数を線形結合することを伴う、ステップとを含む、方法。

【請求項24】

音響物体による音響受信の数値シミュレーションのための方法であって、前記シミュレーションが時間的に変化する状態空間再帰型フィルタに基づき、前記方法が、
1つまたは複数の入力音響信号を受信するステップであって、前記音響物体によって受信される入力音響信号の数が固定されており、または可変である、ステップと、
前記音響物体シミュレーションによって受信される1つまたは複数の入力音響信号と関連付けられる1つまたは複数の入力座標を受信するステップと、
前記時間的に変化する状態空間再帰型フィルタの1つの更新ステップを実行するステップであって、前記状態空間フィルタの入力行列が、固定されたまたは可変のサイズを有し、前記入力座標のうちの1つまたは複数に適応される1つまたは複数の係数を備える、ステップとを含む、方法。

【請求項25】

音響物体による音響受信の数値シミュレーションのための方法であって、前記シミュレーションが時間的に変化する状態空間再帰型フィルタに基づき、前記方法が、
1つまたは複数の入力音響信号を受信するステップであって、前記音響物体によって受信される入力音響信号の数が固定されており、または可変である、ステップと、
前記音響物体シミュレーションによって受信される1つまたは複数の入力音響信号と関連付けられる1つまたは複数の入力座標を受信するステップと、
1つまたは複数の入力投影モデルを利用して、前記入力座標のうちの1つまたは複数をもとに、前記入力座標に関連付けられる1つまたは複数の入力投影ベクトルに含まれる係数のうちの1つまたは複数を決定するステップと、
前記時間的に変化する状態空間再帰型フィルタの1つの更新ステップを実行するステップであって、前記状態空間フィルタの入力行列が、固定されたまたは可変のサイズを有し、前記入力投影ベクトルのうちの1つまたは複数を備える、ステップとを含む、方法。

【請求項26】

音響物体による音響放射の数値シミュレーションのための方法であって、
1つまたは複数の入力音響信号を受信するステップと、
前記音響物体の前記シミュレーションに含まれる状態変数のうちの1つまたは複数を更新するステップであって、
前記状態変数の更新機構が再帰を伴い、前記状態変数のうちの少なくとも1つに対して、前記更新機構が、
中間更新変数のうちの1つを取得するステップであって、前記中間更新変数の計算が、前記状態変数のうちの1つまたは複数を線形結合することを伴う、ステップと、
中間入力変数のうちの1つを取得するステップであって、前記中間入力変数の計算が、前記入力音響信号および/または前記入力音響信号の単位遅延されたコピーのうちの1つまたは複数を線形結合することを伴い、前記線形結合において使用される重みのうちの1つまたは複数が、前記入力投影ベクトルに現れる係数のうちの1つまたは複数に対応する、ステップと、
前記中間更新変数および前記中間入力変数を加算するステップと、
前記加算の結果を前記状態変数に割り当てるステップと
を含む、ステップと、
前記音響物体によって放射される1つまたは複数の出力音響信号と関連付けられる1つまたは複数の出力座標を受信するステップであって、前記音響物体によって放射される出力音響信号の数が固定されており、または可変である、ステップと、
1つまたは複数の出力音響信号を提供するステップであって、前記出力音響信号の計算が前記状態変数のうちの1つまたは複数を線形結合することを伴い、前記線形結合において使用される重みのうちの1つまたは複数が、前記出力座標のうちの1つまたは複数に応答して適応される、ステップとを含む、方法。

【請求項27】

音響物体による音響放射の数値シミュレーションのための方法であって、
1つまたは複数の入力音響信号を受信するステップと、
前記音響物体の前記シミュレーションに含まれる状態変数のうちの1つまたは複数を更新するステップであって、
前記状態変数の更新機構が再帰を伴い、前記状態変数のうちの少なくとも1つに対して、前記更新機構が、
中間更新変数のうちの1つを取得するステップであって、前記中間更新変数の計算が、前記状態変数のうちの1つまたは複数を線形結合することを伴う、ステップと、
中間入力変数のうちの1つを取得するステップであって、前記中間入力変数の計算が、前記入力音響信号および/または前記入力音響信号の単位遅延されたコピーのうちの1つまたは複数を線形結合することを伴い、前記線形結合において使用される重みのうちの1つまたは複数が、前記入力投影ベクトルに現れる係数のうちの1つまたは複数に対応する、ステップと、
前記中間更新変数および前記中間入力変数を加算するステップと、
前記加算の結果を前記状態変数に割り当てるステップと
を含む、ステップと、
前記音響物体によって放射される1つまたは複数の出力音響信号と関連付けられる1つまたは複数の出力座標信号を受信するステップであって、前記音響物体によって放射される出力音響信号の数が固定されており、または可変である、ステップと、
1つまたは複数の出力投影モデルを利用して、前記出力座標のうちの1つまたは複数をもとに、前記出力座標信号および前記出力音響信号に関連付けられる1つまたは複数の出力投影ベクトルに含まれる係数のうちの1つまたは複数を決定するステップと、
1つまたは複数の出力音響信号を提供するステップであって、前記出力音響信号の計算が前記状態変数のうちの1つまたは複数を線形結合することを伴い、前記線形結合において使用される重みのうちの1つまたは複数が、前記出力投影ベクトルに含まれる1つまたは複数の係数に対応する、ステップとを含む、方法。

【請求項28】

音響物体による音響放射の数値シミュレーションのための方法であって、
1つまたは複数の入力音響信号を受信するステップと、
前記入力音響信号の線形結合を1つもしくは複数の一次および/または二次再帰型フィルタに供給するステップと、
前記一次および/または二次再帰型フィルタの1つの更新ステップを実行するステップと、
前記音響物体シミュレーションによって放射される1つまたは複数の出力音響信号と関連付けられる1つまたは複数の出力座標を受信するステップであって、前記音響物体によって放射される出力音響信号の数が固定されており、または可変である、ステップと、
1つまたは複数の出力音響信号を提供するステップであって、前記出力音響信号の計算が、前記一次および/もしくは二次再帰型フィルタの出力ならびに/または前記一次および/もしくは二次再帰型フィルタの前記出力の単位遅延されたコピーのうちの1つまたは複数を線形結合することを伴い、前記線形結合において使用される重みのうちの1つまたは複数が前記出力座標のうちの1つまたは複数に適応される、ステップとを含む、方法。

【請求項29】

音響物体による音響放射の数値シミュレーションのための方法であって、
1つまたは複数の入力音響信号を受信するステップと、
前記入力音響信号の線形結合を1つもしくは複数の一次および/または二次再帰型フィルタに供給するステップと、
前記一次および/または二次再帰型フィルタの1つの更新ステップを実行するステップと、
前記音響物体シミュレーションによって放射される1つまたは複数の出力音響信号と関連付けられる1つまたは複数の出力座標を受信するステップであって、前記音響物体によって放射される出力音響信号の数が固定されており、または可変である、ステップと、
1つまたは複数の出力投影モデルを利用して、前記出力座標のうちの1つまたは複数をもとに、前記出力座標に関連付けられる1つまたは複数の出力投影ベクトルに含まれる係数のうちの1つまたは複数を決定するステップと、
1つまたは複数の出力音響信号を提供するステップであって、前記出力音響信号の計算が、前記一次および/もしくは二次再帰型フィルタの出力ならびに/または前記一次および/もしくは二次再帰型フィルタの前記出力の単位遅延されたコピーのうちの1つまたは複数を線形結合することを伴い、前記線形結合において使用される重みのうちの1つまたは複数が前記出力投影ベクトルに含まれる1つまたは複数の係数に対応する、ステップとを含む、方法。

【請求項30】

音響物体による音響放射の数値シミュレーションのための方法であって、前記物体シミュレーションが時間的に変化する状態空間再帰型フィルタに基づき、前記方法が、
前記音響物体シミュレーションによって放射される1つまたは複数の出力音響信号と関連付けられる1つまたは複数の出力座標を受信するステップであって、前記音響物体シミュレーションによって放射される出力音響信号の数が固定されており、または可変である、ステップと、
前記時間的に変化する状態空間再帰型フィルタの1つの更新ステップを実行するステップであって、前記状態空間フィルタの出力行列が、固定されたまたは可変のサイズを有し、前記出力座標のうちの1つまたは複数に適応される時間的に変化する係数を備える、ステップと、
前記更新ステップの一部として実行される状態から出力への行列演算から得られるような1つまたは複数の出力音響信号を提供するステップであって、前記状態から出力への行列演算が、前記状態空間再帰型フィルタの状態変数のベクトル、および前記出力行列を伴う、ステップとを含む、方法。

【請求項31】

音響物体による音響放射の数値シミュレーションのための方法であって、前記物体シミュレーションが時間的に変化する状態空間再帰型フィルタに基づき、前記方法が、
前記音響物体シミュレーションによって放射される1つまたは複数の出力音響信号と関連付けられる1つまたは複数の出力座標を受信するステップであって、前記音響物体シミュレーションによって放射される出力音響信号の数が固定されており、または可変である、ステップと、
1つまたは複数の出力投影モデルを利用して、前記出力座標のうちの1つまたは複数をもとに、前記出力座標および出力音響信号に関連付けられる1つまたは複数の出力投影ベクトルに含まれる係数のうちの1つまたは複数を決定するステップと、
前記時間的に変化する状態空間再帰型フィルタの1つの更新ステップを実行するステップであって、前記状態空間フィルタの出力行列が、固定されたまたは可変のサイズを有し、前記出力投影ベクトルのうちの1つまたは複数を備える、ステップと、
前記1つの更新ステップの一部として実行される前記状態から出力への行列演算から得られるような1つまたは複数の出力音響信号を提供するステップであって、前記状態から出力への行列演算が、前記状態空間再帰型フィルタの状態変数のベクトルおよび前記出力行列を伴う、ステップとを含む、方法。

【請求項32】

音響物体による音響放射の、および前記音響物体による前記放射される音の伝播の数値シミュレーションのための方法であって、
1つまたは複数の入力音響信号を受信するステップと、
前記音響物体の前記シミュレーションに含まれる状態変数のうちの1つまたは複数を更新するステップであって、
前記状態変数の更新機構が再帰を伴い、各状態変数に対して、前記更新機構が、
中間更新変数のうちの1つを取得するステップであって、前記中間更新変数の計算が、前記状態変数のうちの1つまたは複数を線形結合することを伴う、ステップと、
中間入力変数のうちの1つを取得するステップであって、前記中間入力変数の計算が、前記入力音響信号のうちの1つまたは複数を線形結合することを伴う、ステップと、
前記中間更新変数および前記中間入力変数を加算するステップと、
前記加算の結果を前記状態変数に割り当てるステップと
を含む、ステップと、
前記状態変数のうちの1つまたは複数を1つまたは複数の遅延線へと供給するステップと、
前記音響物体シミュレーションによって放射される出力音響信号のうちの少なくとも1つに対して、所与の遅延線位置における前記遅延線から傍受して遅延された状態変数のうちの1つまたは複数を取得するステップであって、前記遅延線位置が、前記出力音響信号が放射された後に移動する距離に依存する、ステップと、
前記出力音響信号に関連付けられる1つまたは複数の出力座標を受信するステップと、
前記出力音響信号のうちの1つまたは複数を提供するステップであって、前記出力音響信号の計算が、前記遅延された状態変数のうちの1つまたは複数を線形結合することを伴い、前記線形結合において使用される重みのうちの1つまたは複数が、前記出力座標のうちの1つまたは複数に応答して適応される、ステップとを含む、方法。

【請求項33】

音響物体による音響放射の、および前記音響物体による前記放射される音の伝播の数値シミュレーションのための方法であって、
1つまたは複数の入力音響信号を受信するステップと、
前記音響物体の前記シミュレーションに含まれる状態変数のうちの1つまたは複数を更新するステップであって、
前記状態変数の更新機構が再帰を伴い、各状態変数に対して、前記更新機構が、
中間更新変数のうちの1つを取得するステップであって、前記中間更新変数の計算が、前記状態変数のうちの1つまたは複数を線形結合することを伴う、ステップと、
中間入力変数のうちの1つを取得するステップであって、前記中間入力変数の計算が、前記入力音響信号のうちの1つまたは複数を線形結合することを伴う、ステップと、
前記中間更新変数および前記中間入力変数を加算するステップと、
前記加算の結果を前記状態変数に割り当てるステップと
を含む、ステップと、
前記状態変数のうちの1つまたは複数を1つまたは複数の遅延線へと供給するステップと、
前記音響物体シミュレーションによって放射される出力音響信号のうちの少なくとも1つに対して、所与の遅延線位置における前記遅延線から傍受して遅延された状態変数のうちの1つまたは複数を取得するステップであって、前記遅延線位置が、前記出力音響信号が放射された後に移動する距離に依存する、ステップと、
前記出力音響信号に関連付けられる1つまたは複数の出力座標を受信するステップと、
1つまたは複数の出力投影モデルを利用して、前記出力座標信号のうちの1つまたは複数をもとに、前記出力音響信号に関連付けられる1つまたは複数の出力投影ベクトルに含まれる係数のうちの1つまたは複数を決定するステップと、
前記出力音響信号のうちの1つまたは複数を提供するステップであって、前記出力音響信号の計算が、前記遅延された状態変数のうちの1つまたは複数を線形結合することを伴い、前記線形結合において使用される重みのうちの1つまたは複数が、前記出力投影ベクトルに含まれる1つまたは複数の係数に対応する、ステップとを含む、方法。

【請求項34】

音響物体による音響放射の、および前記音響物体による前記放射される音の伝播の数値シミュレーションのための方法であって、
1つまたは複数の入力音響信号を受信するステップと、
中間変数を1つもしくは複数の一次および/または二次再帰型フィルタに供給するステップであって、前記中間変数の計算が、前記入力音響信号のうちの1つまたは複数を線形結合することを伴う、ステップと、
前記一次および/または二次再帰型フィルタの1つの更新ステップを実行して、1つまたは複数のフィルタリングされた変数をそれぞれ取得するステップと、
前記フィルタリングされた変数のうちの1つまたは複数を1つまたは複数の遅延線へと供給するステップと、
前記音響物体シミュレーションによって放射される出力音響信号のうちの少なくとも1つに対して、所与の遅延線位置における前記遅延線から傍受して遅延されたフィルタリングされた変数のうちの1つまたは複数を取得するステップであって、前記遅延線位置が、前記出力音響信号が放射された後に移動する距離に依存する、ステップと、
前記出力音響信号のうちの1つまたは複数と関連付けられる1つまたは複数の出力座標を受信するステップと、
前記出力音響信号を提供するステップであって、前記出力音響信号の計算が、前記遅延されたフィルタリングされた変数および/または前記遅延されたフィルタリングされた変数の単位遅延されたコピーのうちの1つまたは複数を線形結合することを伴い、前記線形結合において使用される重みのうちの1つまたは複数が前記出力座標に応答して適応される、ステップとを含む、方法。

【請求項35】

音響物体による音響放射の、および前記音響物体による前記放射される音の伝播の数値シミュレーションのための方法であって、
1つまたは複数の入力音響信号を受信するステップと、
中間変数を1つもしくは複数の一次および/または二次再帰型フィルタに供給するステップであって、前記中間変数の計算が、前記入力音響信号のうちの1つまたは複数を線形結合することを伴う、ステップと、
前記一次および/または二次再帰型フィルタの1つの更新ステップを実行して、1つまたは複数のフィルタリングされた変数をそれぞれ取得するステップと、
前記フィルタリングされた変数のうちの1つまたは複数を1つまたは複数の遅延線へと供給するステップと、
前記音響物体シミュレーションによって放射される出力音響信号のうちの少なくとも1つに対して、所与の遅延線位置における前記遅延線から傍受して遅延されたフィルタリングされた変数のうちの1つまたは複数を取得するステップであって、前記遅延線位置が、前記出力音響信号が放射された後に移動する距離に依存する、ステップと、
前記出力音響信号のうちの1つまたは複数と関連付けられる1つまたは複数の出力座標を受信するステップと、
1つまたは複数の出力投影モデルを利用して、前記出力座標のうちの1つまたは複数をもとに、前記出力音響信号と関連付けられる1つまたは複数の出力投影ベクトルに含まれる係数のうちの1つまたは複数を決定するステップと、
1つまたは複数の前記出力音響信号の遅延されたバージョンを提供するステップであって、前記1つまたは複数の前記出力音響信号の前記遅延されたバージョンの計算が、前記遅延されたフィルタリングされた変数および/または前記遅延されたフィルタリングされた変数の単位遅延されたコピーのうちの1つまたは複数を線形結合することを伴い、前記線形結合において使用される重みのうちの1つまたは複数が、前記出力投影ベクトルに含まれる1つまたは複数の係数に対応する、ステップとを含む、方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明の例示的で非限定的な実施形態は、全般に仮想聴覚レンダリングおよび立体音響に関し、より具体的には、音響受信および/または放射能力をもつ音響物体に、ならびに音伝播現象に関する。

【背景技術】

【0002】

仮想聴覚レンダリングおよび立体音響再生の用途には、とりわけ、テレプレゼンス、没入およびエンターテインメントのための拡張現実または仮想現実、ビデオゲーム、航空交通管制、パイロット警報および誘導システム、視覚障害者向けのディスプレイ、遠隔学習、リハビリテーション、ならびに、テレビおよび映画のための専門的な音響と写真の編集がある。音響放射および/または受信能力をもつ物体の正確で効率的なシミュレーションは、仮想聴覚レンダリングおよび立体音響の主な課題の1つとして残っている。一般に、音響放射能力をもつ物体は、すべての方向に音波面を放射し、空気中を伝播し、障害物と相互作用し、音響受信能力をもつ1つまたは複数の音響物体に到達する。たとえば、コンサートホールでは、バイオリンなどの聴覚音源がすべての方向に音を放射し、生じた波面は異なる経路に沿って伝播し、人の耳介またはマイクロフォンなどの聴覚音響受信器に到達するまで、壁または他の物体で跳ね返る。一部の技法は、部屋のインパルス応答の測定結果を利用し、畳み込みを使用して残響を音響信号に追加し、または部屋のインパルス応答のモード分解を使用して、1000個以上の再帰的モードフィルタによる音響信号の並列処理を通じて残響を追加する。これらの方法は、高い忠実度をもたらすが、物体の音響放射/受信特性(たとえば、周波数依存の指向性)をモデル化せず、移動する音源と受信器物体とがいくつかある、相互作用のある状況で使用するには融通が利かないことがわかっている。代わりに、いくつかの移動する音源と受信器とを含む相互作用のある応用例に対する典型的なレンダリングシステムは、早期音場成分と拡散音場成分とを別々にレンダリングするために、重畳を使用する。早期音場成分は一般に、移動する物体をシミュレートするための柔軟性をもたらすように工夫され、通常は、ある数の個々の伝播される波面の時間的に変化する重畳を伴う正確な表現を含み、それらの波面の各々は、音響放射物体によって放射され、目的の音響受信物体に達する前に、境界または他の物体との間で特定の一連の反射および/もしくは相互作用を受ける。拡散音場成分は通常、個々の経路自体が扱われないようなより不正確な表現を伴う。

【0003】

聴覚音源(たとえば、前述のバイオリン)、聴覚音響受信器(たとえば、コンサートの聴衆の一人)、および他の音響物体は、互いに対する位置と向き、およびそれらの環境を継続的に変えることがある。それぞれの位置および向きのこれらの継続的な変化は、物体の音波面放射および/または受信特質に重要な変化を招き、放射および/または受信される音のスペクトル成分などの様々なキューの変調につながる。これらの変動は、シミュレートされる音響物体の物理特性、または音響物体と音波面との間の相互作用から主に生じる。たとえば、バイオリンによって放射される音の周波数依存の大きさの応答は、楽器の周囲の異なる方向に対して大きく異なる。この現象は通常、周波数依存の指向性と呼ばれ、方向および/または距離に依存する伝達関数の離散的なセットにより特徴付けられ得る。これは、音響受信に対して等しく特徴付けられ得る。たとえば、人の頭または人の耳介の周波数依存の指向性は、頭部伝達関数(HRTF)として知られている方向および/または距離に依存する関数の離散的なセットによりしばしば記述される。実際に、仮想聴覚レンダリングと再生とが直面する課題の中で最も大きいものは、音源と受信器の指向性のモデル化とシミュレーションである。人による立体音響の知覚にはHRTFが重要であるので、間違いなく、HRTFをモデル化してシミュレートするための効率的な技法の追求が、この分野において最も流行している。

【0004】

複数の波面が1つまたはいくつかの移動する音源から聴取者に到達することを可能にする仮想環境において、HRTFの有効な相互作用シミュレーションでは、FIRフィルタの使用が優位である。相互作用HRTFシミュレーションのための一部の典型的なシステムは、指向性インパルス応答または周波数応答のデータベース、入来する波面の方向に応じたFIRフィルタの形態の指向性応答の複数のランタイム補間、および補間されたFIRフィルタを適用するための周波数領域畳み込みエンジンを必要とする。これらのシステムの一部は、データベースにHRTF応答を記憶するために大量のデータを必要とし、各フレームにおいていくつかのHRTF応答を取り出すために大きなメモリ帯域幅を必要としながらブロックベースの処理遅延を招くことがあり、応答補間により誘発されるアーティファクトが生じやすくなることがあり、オンチップの実装を難しくすることがある。他のよくあるシステムは、HRTFセットを時間不変FIR並列畳み込みチャネルの固定サイズのセットへと線形に分解して、あらゆる入来する波面信号をすべてのFIRチャネルへと同時に分配することにより相互作用シミュレーションを実現することにより、応答のランタイムの取り出しと補間を回避している。これらのシステムでは、すべての時間不変FIRフィルタが同時に実行することが必要であるので、入来する音波面の信号が少数であっても、計算コストが高くなる。

【0005】

音源の指向性に関して、一部の手法は、周波数領域のブロックベースの畳み込みに基づくので、受信器としてのHRTFの場合に現れるものと同様の欠点があることがある。音源の指向性に対する他の手法は、材料特性および幾何学的特性を定義することを通じた機械構造の正確な物理的なモデル化し、そして、前記構造の振動モードの各々について打撃駆動音響放射モデルを構築することに依存しており、広帯域の音響放射場を再生するために、大量の前記音響放射モデル(各モデルが個々の物理振動モードに専用である)のランタイムシミュレーションを必要とする。反射および/または障害物により引き起こされる減衰などの他の音伝播効果は、通常は、周波数領域のブロックベースの畳み込み、または、別個の処理コンポーネントとしてのIIRフィルタのいずれかによりシミュレートされる。

【先行技術文献】

【非特許文献】

【0006】

【非特許文献1】Namら、「On the Minimum-Phase Nature of Head-Related Transfer Functions」、Audio Engineering Society 25h Convention、2008年10月

【非特許文献2】Ljung, L.「System Identification: Theory for the User」、Second edition、PTR Prentice Hall、アッパーサドルリバー,ニュージャージー州、1999年

【非特許文献3】Soderstrom, Tら、「System Identification」、Prentice Hall International、ロンドン、1989年

【非特許文献4】Smithら、「Bark and ERB bilinear transforms」、IEEE Transactions on Speech and Audio Processing、Vol.7:6、1999年11月

【非特許文献5】Algaziら、「The CPIC hrtf database」、IEEE Workshop on Applications of Signal Processing to Audio and Acoustics、2001年10月

【非特許文献6】Regaliaら、「Implementation of Real Coefficient Digital Filters Using Complex Arithmetic」、IEEE Transactions on Circuits and Systems、Vol.CAS-34:4、1987年4月

【発明の概要】

【発明が解決しようとする課題】

【0007】

したがって、仮想聴覚レンダリングおよび立体音響に対する、特に、時間的に変化するおよび/もしくは相互作用のある状況における音響物体の放射ならびに/または受信特性のモデリングと数値シミュレーションとに対する、改善された手法が望まれる。具体的には、物体の音響放射および/または受信、ならびに、境界反射および/または障害物相互作用による伝播により引き起こされる減衰などの他の音響特質を一緒に扱う、音響物体と音響特質のシミュレーションに対する統一された融通の利くシステムが望まれる。そのような枠組みは、FIRフィルタアレイまたは並列畳み込みチャネルなしで、時間的に変化する再帰型フィルタ構造上で自然に動作することを介した、移動する音響物体による複数の放射および/または受信波面の同時シミュレーションを可能にし、FIRフィルタ係数または周波数領域応答の補間を回避することが望まれる。このシステムは、知覚的に動機付けられた周波数分解を可能にすることによって、コストと知覚品質の柔軟なトレードオフを可能にすることが望ましい。また、このシステムは、汎用的な音のサンプルまたは音源として使用される非物理的な信号モデルに対して周波数依存の音響放射または指向性特性を課すために使用できることが望まれる。加えて、この枠組みは、短い処理遅延をもたらし、シミュレートされる波面の数とよく比例する低い計算コストしか要求せず、高いメモリアクセス帯域幅を必要とせず、より少量のメモリストレージしか必要とせず、オンチップの実装を容易にする簡単な並列構造を可能にすることが望ましい。

【課題を解決するための手段】

【0008】

本発明の1つまたはいくつかの態様は、時間的に変化する、相互作用仮想聴覚レンダリングおよび立体音響システムにおける、音響放射および/または受信物体ならびに音伝播現象の、モデル化と数値シミュレーションの問題と欠点、不利益、および課題を克服する。本発明はいくつかの実施形態に関連して説明されるが、本発明はこれらの実施形態に限定されないことが理解されるだろう。逆に、すべての代替形態、修正、および均等物が、説明される発明の趣旨および範囲に含まれ得る。

【0009】

一般に、本発明は、時間的に変化する構造を有し時間的に変化する係数を備える再帰型フィルタに基づく、音響物体および音響特質の数値シミュレーションのための方法とシステムとに関し、フィルタ構造は、シミュレートされる音響物体によって受信および/または放射されている音響信号の数に適応され、時間的に変化する係数は、受信および/または放射される音響信号と関連付けられる、音響受信および/または放射特質に応答して適応される。本発明のシステムは、状態変数の少なくとも1つのベクトルに関して、物体の音響放射および/もしくは受信特性、または音響物体によって放射/受信される音の特質を少なくともモデル化するための再帰的手段を提供し、状態変数は、状態変数の線形結合と、既存の物体入力のいずれかの時間的に変化する線形結合とを伴う再帰によって更新され、音響物体出力の計算は、状態変数の時間的に変化する線形結合を伴う。本発明のシステムは、時間的に変化する構造および時間的に変化する係数の多入力および/または多出力再帰型フィルタによる音響物体のシミュレーションを可能にし、前記構造のランタイム変動は、入力および/または出力の時間的に変化する数に対応し、その係数のランタイム変動は、音響入力および/または出力に関連付けられる入力および/または出力座標の形式での音響放射および/または受信特質に対応する。当業者は一般に、多入力および/または多出力の再帰型フィルタ構造を状態空間フィルタとして扱う。しかしながら、本発明のシステムは、再帰型デジタルフィルタ構造が時間的に変化する数の入力および/または出力を有する実施形態を許容し、前記構造は、入力および/または出力の数が固定されている従来の状態空間フィルタ構造に厳密には対応しない。それにもかかわらず、本発明の理解および今後の実践を容易にするために、提案される再帰型フィルタ構造を、時間的に変化する入力および/または出力行列を少なくとも備える可変の状態空間フィルタと呼ぶことによって、状態空間の用語で本発明の例示的な実施形態を説明することを選び、「可変」という用語は、前記状態空間フィルタの入力および/または出力の数が時間的に変化し得ること、したがって、前記入力および/または出力行列に含まれるベクトルの数が時間的に変化し得ることを表すために使用される。従来の状態空間用語のように、前記入力行列に含まれるベクトルは入力投影ベクトルと呼ばれ、前記出力行列に含まれるベクトルは出力投影ベクトルと呼ばれる。

【0010】

状態空間の用語では、本発明のシステムの一実施形態は、状態変数のベクトルと、可変の数の音響入力ならびに/または出力信号を受信および/もしくは放射するための手段と、可変の数の入力および/もしくは出力座標、可変の数の時間的に変化する入力および/もしくは出力投影ベクトル、音響物体の受信および/もしくは放射特性ならびに/または放射/受信される音響特質を記述する1つもしくは複数の入力および/または出力投影モデルを、受信ならびに/または放射するための手段とを備える、音響物体シミュレーションを含む。音響物体シミュレーションによって受信される入力音響信号の数と同様に、前記音響物体シミュレーションの入力投影ベクトルの数は時間的に変化することがあり、前記入力投影ベクトルは、音響入力信号の線形結合を通じた状態変数の再帰的な更新に影響する、時間的に変化する係数を備える。同様に、音響物体シミュレーションの出力投影ベクトルの数は時間的に変化することがあり、前記出力投影ベクトルは、状態変数の線形結合を通じた音響出力信号の計算を可能にする、時間的に変化する係数を備える。関係する音響物体に関する方向または位置などの、音響放射および/または受信に関連する特質を示す入力および/または出力座標に応答して、音響物体のための入力および/または出力投影モデルが、前記時間的に変化する入力および/または出力投影ベクトルのうちの1つまたは複数に含まれる係数のランタイム更新または計算のために使用される。入力および/または出力座標は、方向、距離、減衰、または他の特質などの、物体関連および/または音響関連の情報を伝える。

【0011】

例示的な実施形態および説明のために状態空間用語を選ぶことは、本発明のいずれの他の可能な実施形態においても制約とはならない。逆に、この選択は、フィルタ構造の最も一般的な抽象化をもたらすので、当業者は、趣旨から逸脱することなく多様な形式で本発明を実践することができる。いくつかの場合、物体シミュレーションの状態空間表現は、可変の入力を示すが非可変の出力を示し(すなわち、前記状態空間フィルタの1つまたは複数の出力は数が固定されている)、したがって、所与の物体の音響受信能力をより良く表現することに適している。いくつかの他の場合には、物体シミュレーションの状態空間表現は、可変の出力を示すが非可変の入力を示し(すなわち、前記状態空間フィルタの1つまたは複数の入力は数が固定されている)、したがって、所与の物体の音響放射能力をより良く表現することに適している。これは、物体シミュレーションの状態空間表現が可変の入力と可変の出力の両方を表現する設計を妨げない。一般に、性能の向上のために、前記状態空間フィルタは好ましくは、一次および/または二次再帰型フィルタの並列の組合せを通じてモード形式で表現されてもよく、それにより、前記一次および/または二次再帰型フィルタのそれぞれの入力を取得することは、所与の時間において音響物体シミュレーションにより任意の数の入力音響信号の時間的に変化する線形結合が受信されることを伴い、所与の時間における前記音響物体シミュレーションによって放射される任意の数の出力音響信号を取得することは、前記一次および/または二次フィルタの出力の時間的に変化する線形結合を伴う。これらの事例のすべてにおいて、本発明の趣旨は、状態変数の線形結合および既存の物体音響入力信号のいずれかの線形結合を伴う再帰によって状態変数が更新されるという点で、および、物体音響出力信号の計算が状態変数の線形結合を伴うという点で、維持される。状態空間用語において、本発明のフィルタ構造は、時間的に変化する入力行列および/または時間的に変化する出力行列のうちの1つを備える時間的に変化する状態空間フィルタとして記述されてもよく、前記入力行列は、所与の時間において音響物体シミュレーションにより受信される入力音響信号の数に依存する固定されたまたは可変のサイズを示し、前記入力行列は時間的に変化する係数を備え、前記出力行列は、所与の時間において音響物体シミュレーションによって放射される出力音響信号の数に依存する固定されたまたは可変のサイズを示し、前記出力行列は時間的に変化する係数を備える。

【0012】

本発明のシステムの一実施形態では、音響物体シミュレーションモデルは、状態空間再帰型フィルタ構造の状態遷移行列を定義し、前記フィルタのサイズが変化する動作および/もしくは時間的に変化する動作のために入力ならびに/または出力投影モデルを設計することによって構築される。前記状態遷移行列は、状態変数を更新するために利用される再帰に関与する状態変数の線形結合の一般的な表現の構成要素であるが、前記状態変数の再帰的な更新における効率性のために、モデル化の正確さのために、ならびに、入力および/または出力投影係数ベクトルの時間的に変化する計算における有効性のために、本発明の好ましい実施形態は、固有値のベクトルに関してモード形式で表現される状態遷移行列を備える。このシステムのいくつかの実施形態では、音響物体シミュレーションモデルは、複素平面上に固有値のセットを任意に配置し、フィルタの時間的に変化する動作のための入力および/または出力投影モデルを設計することによる、モード形式での状態空間再帰型フィルタの直接の設計によって構築されるが、このシステムの他の実施形態では、固有値の配置ならびに、入力および/または出力投影モデルの構築の方法は、経験的なデータまたは合成データから観察されるような音響物体受信および/または放射特性に注意を払うことによって実行される。本発明のいくつかの好ましい実施形態では、固有値の配置ならびに/または入力および/もしくは出力投影モデルの構築のために、知覚的に動機付けられた周波数分解が使用される。本発明の多様な実施形態において、状態遷移行列のモード形式は、一次および/または二次再帰型フィルタの並列の組合せによる実現形態につながる。したがって、本発明のいくつかの実施形態は、前記並列の一次および/または二次再帰型フィルタの直接の設計に基づく。本発明のシステムの様々な実施形態では、パラメトリック方式および/もしくはルックアップテーブルおよび/もしくは補間されたルックアップテーブルを備える、入力ならびに/または出力投影モデルが、1つまたはいくつかの入力から状態へのおよび/もしくは状態から出力への投影ベクトルの係数をランタイム更新または計算するために、入力および/または出力座標とともに使用される。このシステムのいくつかのさらなる実施形態では、音響物体シミュレーションモデルは、音響受信能力のみ、音響放射能力のみ、または音響放射能力と音響受信能力の両方を表現し得る。本発明のいくつかの実施形態では、音響放射物体の出力から音響受信物体の入力へ信号を伝播するために、音響放射物体から音響受信物体への音の伝播が、遅延線を使用して実行される。いくつかのさらなる実施形態では、音の伝播および/または障害物との相互作用から導かれる、周波数依存の減衰または他の効果は、状態変数の減衰によって、または、音響物体による音の受信および/もしくは放射に関与する入力ならびに/または出力投影ベクトル係数の操作によって、シミュレートされる。このシステムの異なる実施形態では、音の伝播は、実装を容易にするために、状態空間フィルタの状態変数を遅延線に沿って伝播する波として扱いながら、音源物体と音響受信器物体の両方の指向性のシミュレーションを可能にすることによってシミュレートされ、使用される遅延線の数は、シミュレートされる音波面経路の数とは無関係である。

【0013】

本発明の1つまたは複数の態様は、音響放射および/または受信物体、ならびに、時間的に変化する相互作用仮想聴覚レンダリングおよび立体音響システムにおける音伝播現象の、モデル化と数値シミュレーションに対する望まれる品質を提供することを目的とする。これらの品質は、FIRフィルタアレイまたはFIR係数補間なしで、サイズが変化し時間的に変化する再帰型フィルタ構造上で自然に動作すること、音響物体の明示的な物理的モデル化および/またはブロックベースの畳み込み処理と応答補間アーティファクトを避けること、知覚的に動機付けられた周波数分解の使用を容易にすることによりコストと知覚品質の柔軟なトレードオフを可能にすること、音源物体において使用される音響信号モデル記録または音響サンプル記録のいずれかに周波数依存の音響放射特性を課すのを可能にすること、短い処理遅延しか招かないこと、低い計算コストおよび低いメモリアクセス帯域幅しか要求しないこと、より少量のメモリストレージしか必要としないこと、計算コストを空間分解能から切り離すのを助けること、ならびに、オンチップ実装を容易にする簡単な並列構造をもたらすことを含む。

【0014】

本発明の追加の物体、利点、および新規の特徴は、一部は後続の説明において記載され、一部は以下のことを精査することにより当業者に明らかになり、または本発明の実践から学習され得る。本発明の目的および利点は、以下の詳細な説明において特に指摘または提案され、添付の特許請求の範囲により支持される、手段との組合せによって、実現され達成され得る。

【0015】

本発明のこれらおよび他の態様は、添付の図面とともに、本発明の非限定的な実施形態を説明する以下の明細書を検討することにより、当業者に明らかになるであろう。

【図面の簡単な説明】

【0016】

【図1】本発明の実施形態による、音響物体および音響特質のシミュレーションのために利用される時間的に変化する再帰型フィルタの例示的な概略構造のブロック図である。再帰型フィルタ構造の状態変数は、前記状態変数の線形結合と、時間的に変化する数の入力音響信号の時間的に変化する線形結合とによって再帰的に更新され、前記時間的に変化する線形結合は、前記入力音響信号に関連付けられる入力投影係数ベクトルによって決定される。時間的に変化する数の出力音響信号が、状態変数の時間的に変化する線形結合によって取得され、前記時間的に変化する線形結合は、前記出力音響信号に関連付けられる出力投影ベクトルによって決定される。

【図2】図1のものと同様であるが、音響物体による音響放射のシミュレーションを例示することに注目した、時間的に変化する再帰型フィルタの例示的な概略構造のブロック図である。

【図3】図1のものと同様であるが、音響物体による音響受信のシミュレーションを例示することに注目した、時間的に変化する再帰型フィルタの例示的な概略構造のブロック図である。

【図4】図1のものと同様であるが、時間的に変化する数の入力および/または出力音響信号を伴う時間的に変化する「可変」の状態空間の形態において表現される、本発明の実施形態による音響物体と音響特質のシミュレーションのために利用される、時間的に変化する再帰型フィルタからなる実施形態のブロック図である。

【図5】図4のものと同様であるが、音響物体による音響放射のシミュレーションを例示することに注目し、固定された数の入力音響信号と、時間的に変化する放射特質を伴う時間的に変化する数の出力音響信号とを伴う、時間的に変化する再帰型フィルタからなる実施形態のブロック図である。

【図6】図5のものと同様であるが、単独の入力音響信号を伴う、時間的に変化する再帰型フィルタからなる実施形態のブロック図である。

【図7】図4のものと同様であるが、音響物体による音響受信のシミュレーションに注目し、固定された数の出力音響信号と、時間的に変化する受信特質を伴う時間的に変化する数の入力音響信号とを伴う、時間的に変化する再帰型フィルタからなる実施形態のブロック図である。

【図8】図7のものと同様であるが、単独の出力音響信号を伴う、時間的に変化する再帰型フィルタからなる実施形態のブロック図である。

【図9A】前記投影モデルのパラメータおよび音響物体シミュレーションにより受信される入力音響信号と関連付けられる入力座標のベクトルをもとに入力投影係数のベクトルを取得するための、パラメトリック入力投影モデルの使用を示すブロック図である。

【図9B】入力投影係数のテーブルおよび音響物体シミュレーションにより受信される入力音響信号と関連付けられる入力座標のベクトルをもとに入力投影係数のベクトルを取得するための、ルックアップテーブルの使用を表すブロック図である。

【図9C】入力投影係数のテーブルおよび音響物体シミュレーションにより受信される入力音響信号と関連付けられる入力座標のベクトルをもとに入力投影係数のベクトルを取得するための、補間されたルックアップテーブルの使用を表すブロック図である。

【図10A】前記投影モデルのパラメータおよび音響物体シミュレーションにより放射される出力音響信号と関連付けられる出力座標のベクトルをもとに出力投影係数のベクトルを取得するための、パラメトリック出力投影モデルの使用を表すブロック図である。

【図10B】出力投影係数のテーブルおよび音響物体シミュレーションにより放射される出力音響信号と関連付けられる出力座標のベクトルをもとに出力投影係数のベクトルを取得するための、ルックアップテーブルの使用を表すブロック図である。

【図10C】出力投影係数のテーブルおよび音響物体シミュレーションにより放射される1つまたは複数の出力音響信号と関連付けられる出力座標のベクトルをもとに出力投影係数のベクトルを取得するための、補間されたルックアップテーブルの使用を表すブロック図である。

【図11A】配向角を出力座標として使用するバイオリン物体シミュレーションについて取得される、例示的な音響放射の大きさの周波数応答を示す図である。比較のために、同じ向きに対応する測定されモデル化される応答が重畳される。

【図11B】今度は異なる向きに対する、図11Aにより実証されるものと同じバイオリン物体シミュレーションについて取得されるさらなる例示的な音響放射の大きさの周波数応答を示す図である。

【図12A】測定結果から設計された従来の状態空間フィルタの出力行列を設計することにより得られるような、図11Aおよび図11Bにより実証されるものと同じバイオリン物体シミュレーションに含まれる状態変数のうちの1つに対応する出力投影係数の大きさの定半径球面分布を伴うテーブルを示す図である。

【図12B】大きさの分布が図12Bに図示される、同じ出力投影係数の位相の定半径球面分布を伴うテーブルを示す図である。

【図12C】図12Aに図示されるものと同じ状態変数に対応するが、図12Aに図示される係数から球面調和モデルを構築して配向座標の再サンプリングされた格子においてそれを評価することにより得られる、出力投影係数の大きさの定半径球面分布を伴うテーブルを示す図である。

【図12D】大きさの分布が図12Cにおいて図示され、また球面調和モデルの評価によって得られる、同じ出力投影係数の位相の定半径球面分布を伴うテーブルを示す図である。

【図13A】時間的に変化する向き、および離散的な応答測定結果の元のセットからの最近傍応答探索について取得される、モデル化されたバイオリンによる音響放射に対応する時間的に変化する大きさの周波数応答を実証する図である。

【図13B】図13Aに示されるものと同じ時間的に変化する向きについて得られるが、今度は出力投影係数ベクトルの補間されたルックアップを介してシミュレートされる、図11Aおよび図11Bにおいて実証されるバイオリン物体シミュレーションによる音響放射に対応する時間的に変化する大きさの周波数応答を実証する図である。

【図14A】配向角を入力座標として使用するHRTF受信器物体シミュレーションの左耳について得られる例示的な音響受信の大きさの周波数応答を示す図である。比較のために、同じ向きに対応する測定されモデル化される応答が重畳される。

【図14B】今度は異なる向きに対する、図14Aにより実証されるものと同じHRTF受信器物体シミュレーションについて得られるさらなる例示的な音響受信の大きさの周波数応答を示す図である。

【図15A】測定結果から設計される従来の状態空間フィルタの入力行列を設計することにより得られるような、図14Aおよび図14Bにより実証されるものと同じHRTF受信器物体シミュレーションに含まれる状態変数のうちの1つに対応する入力投影係数の大きさの定半径球面分布を伴うテーブルを示す図である。

【図15B】大きさの分布が図15Aに図示される、同じ入力投影係数の位相の定半径球面分布を伴うテーブルを示す図である。

【図15C】図15Aに図示されるものと同じ状態変数に対応するが、図15Aに図示される係数から球面調和モデルを構築して配向座標の再サンプリングされた格子においてそれを評価することによって得られる、入力投影係数の大きさの定半径球面分布を伴うテーブルを示す図である。

【図15D】やはり球面調和モデルの評価によって得られる、大きさの分布が図15において図示される同じ入力投影係数の位相の定半径球面分布を伴うテーブルを示す図である。

【図16A】時間的に変化する向き、および離散的な応答測定結果の元のセットからの最近傍応答探索について取得される、モデル化されたHRTFの左耳による音響受信に対応する時間的に変化する大きさの周波数応答を実証する図である。

【図16B】図16Aに示されるものと同じ時間的に変化する向きについて得られるが、今度は出力投影係数ベクトルの補間されたルックアップを介してシミュレートされる、図14Aおよび図14Bにおいて実証されるHRTF受信器物体シミュレーションによる音響受信に対応する時間的に変化する大きさの周波数応答を実証する図である。

【図17A】線形の周波数軸上で設計される次数8の受信器物体シミュレーションについて得られるような、所与の向きに対するモデル化されたHRTFの左耳の大きさの周波数応答(実線)を、対応する元の測定結果(破線)とともに示す図である。

【図17B】Bark周波数軸上で設計される次数8の受信器物体シミュレーションについて得られる、図17に図示されるものと同じ向きに対する同じモデル化されたHRTFの左耳の大きさの周波数応答(実線)を、対応する元の測定結果(破線)とともに示す図である。

【図17C】線形周波数軸上で設計される次数16の受信器物体シミュレーションについて得られる、図17Aにおいて図示されるものと同じ向きに対する同じモデル化されたHRTFの左耳の大きさの周波数応答(実線)を、対応する元の測定結果(破線)とともに示す図である。

【図17D】Bark周波数軸上で設計される次数16の受信器物体シミュレーションについて得られる、図17Aにおいて図示されるものと同じ向きに対する同じモデル化されたHRTFの左耳の大きさの周波数応答(実線)を、対応する元の測定結果(破線)とともに示す図である。

【図17E】線形周波数軸上で設計される次数32の受信器物体シミュレーションについて得られる、図17Aにおいて図示されるものと同じ向きに対する同じモデル化されたHRTFの左耳の大きさの周波数応答(実線)を、対応する元の測定結果(破線)とともに示す図である。

【図17F】Bark周波数軸上で設計される次数32の受信器物体シミュレーションについて得られる、図17Aにおいて図示されるものと同じ向きに対する同じモデル化されたHRTFの左耳の大きさの周波数応答(実線)を、対応する元の測定結果(破線)とともに示す図である。

【図18A】Bark周波数軸上で設計される次数14の音源物体シミュレーションについて得られるような、所与の向きに対するモデル化されたバイオリンの大きさの周波数応答(実線)を、対応する元の測定結果(破線)とともに示す図である。

【図18B】Bark周波数軸上で設計される次数26の音源物体シミュレーションについて得られる、図18Aにおいて図示されるものと同じモデル化されたバイオリンおよび向きの大きさの周波数応答(実線)を、対応する元の測定結果(破線)とともに示す図である。

【図18C】Bark周波数軸上で設計される次数40の音源物体シミュレーションについて得られる、図18Aにおいて図示されるものと同じモデル化されたバイオリンおよび向きの大きさの周波数応答(実線)を、対応する元の測定結果(破線)とともに示す図である。

【図18D】Bark周波数軸上で設計される次数58の音源物体シミュレーションについて得られる、図18Aにおいて図示されるものと同じモデル化されたバイオリンおよび向きの大きさの周波数応答(実線)を、対応する元の測定結果(破線)とともに示す図である。

【図19】各々次数が異なる3つの個別のHRTFシミュレーションから構築される、単一の耳の混合次数のHRTFシミュレーションを概略的に表すブロック図である。

【図20A】時間的に変化する向きについて得られ、入力投影係数ベクトルの補間されたルックアップを介してシミュレートされる、次数8の左耳HRTF受信器物体シミュレーションによる音響受信に対応する時間的に変化する大きさの周波数応答を示す図である。

【図20B】今度は次数16の、図20Aのものと同様の左耳HRTF受信器物体シミュレーションによる音響受信に対応する時間的に変化する大きさの周波数応答を示す図である。

【図20C】今度は次数32の、図20Bのものと同様の左耳HRTF受信器物体シミュレーションによる音響受信に対応する時間的に変化する大きさの周波数応答を示す図である。

【図20D】同じ時間的に変化する向きに対する、しかし離散的な応答の測定結果の元のセットからの最近傍応答探索を介して得られる、図20A、図20B、および図20Cにおいて実証される物体シミュレーションを構築するためにその測定結果が使用された、左耳HRTFによる音響受信に対応する時間的に変化する大きさの周波数応答を示す図である。

【図21】図6に図示されるものと同様であるが、実数並列再帰型表現を利用する、音響放射物体をシミュレートするための時間的に変化する再帰型構造の例示的な実施形態を示すブロック図である。

【図22】図8に図示されるものと同様であるが、実数並列再帰型表現を利用する、音響受信物体をシミュレートするための時間的に変化する再帰型構造の例示的な実施形態を示すブロック図である。

【図23A】始点から音響受信物体シミュレーションの入力まで、または音響放射物体シミュレーションの出力から目的点まで、または音響放射物体シミュレーションの出力から音響受信物体シミュレーションの入力まで、音響信号を伝播させるために遅延線を使用することを示すブロック図であり、すべての3つの事例において、伝播する音の周波数に依存しない減衰および周波数に依存する減衰をシミュレートするために、スカラー減衰および低次デジタルフィルタがそれぞれ使用される。

【図23B】図23Aにおいて図示されるものと同様の、しかし伝播する音の周波数に依存しない減衰をシミュレートするためのスカラー減衰のみを使用する、音響信号を伝播させるために遅延線を使用することを示すブロック図である。

【図23C】図23Aにおいて図示されるものと同様の、しかし伝播する音の減衰をシミュレートするためのスカラー減衰または低次デジタルフィルタを使用しない、音響信号を伝播させるために遅延線を使用することを示すブロック図である。

【図24A】減衰なしの場合と、綿のカーペットでの音波面反射により引き起こされる減衰がある場合との間を線形に補間することによって得られる、目標の時間的に変化する大きさの周波数依存減衰特性を示す図である。

【図24B】図13Bにおいて実証されるものと同様のバイオリン物体シミュレーションによって、固定された方向に向かって放射される波面の周波数領域でのビンごとのフィルタリングによりシミュレートされるときの、図24Aの目標特性に対応する時間的に変化する周波数依存の減衰の効果を実証するための、時間的に変化する大きさの周波数応答を示す図である。

【図24C】図24bに対して利用されるものと同じ固定された向きに対して、今度は図13Bにおいて実証されるものと同様のバイオリン物体シミュレーションにおける出力投影のときに状態変数の実数値減衰によりシミュレートされる、図24Aの目標特性に対応する時間的に変化する周波数依存の減衰の効果を実証するための、時間的に変化する大きさの周波数応答を示す図である。

【図25】音響放射物体シミュレーションにおける出力投影のときに伝播する音の周波数依存の減衰のシミュレーションのために状態変数減衰を使用することを示す例示的な実施形態のブロック図である。

【図26A】各スカラー遅延線が個々の音波面を伝播するために使用される、音響物体シミュレーションによる音響放射および放射された音波面の音伝播のシミュレーションを示す例示的な汎用実施形態のブロック図である。

【図26B】図26Aのものと機能的に等価な、しかし音響放射物体シミュレーションの状態変数を伝播させるために単独のベクトル遅延線を使用する、音響物体シミュレーションによる音響放射および放射された音波面の音伝播のシミュレーションを示す例示的な汎用実施形態のブロック図である。

【図27】図26Bのものと機能的に等価な、しかし実数並列再帰型フィルタ表現を使用する、音響物体シミュレーションによる音響放射および放射された音波面の音伝播のシミュレーションを示す例示的な汎用実施形態のブロック図である。

【発明を実施するための形態】

【0017】

本発明では、音響物体および音響特質の数値シミュレーションは、時間的に変化する構造および時間的に変化する係数の再帰型デジタルフィルタに基づく。本発明の1つの例示的な実施形態では、前記再帰型フィルタの入力は、音響物体によって受信される音響信号を表し、一方、前記再帰型フィルタの出力は、前記音響物体によって放射される音響信号を表す。いくつかの音響物体が相互作用を伴って現れ、消え、または仮想空間を通じて移動するシミュレーションの状況では、音波面に対する時間的に変化する音の反射および/または伝播経路の追跡とレンダリングとは、音源物体が時間的に変化する数の音響信号を放射することと、音響受信器が時間的に変化する数の音響信号を受信することとを必要とする。提案される再帰型フィルタの時間的に変化する構造は、音響物体シミュレーションに対する時間的に変化する数の入力および/または出力のシミュレーションを容易にする。前記再帰型フィルタのうちの1つは、時間的に変化する数の音響信号を放射することが可能な音響物体を、または代替的に、時間的に変化する数の音響信号を受信することが可能な音響物体をシミュレートするために使用され得る。これは、時間的に変化する数の音響信号を放射して受信することが可能な音響物体をシミュレートすることを妨げないことに留意されたい。本発明のいくつかの実施形態では、音響放射物体シミュレーションの出力から音響受信物体シミュレーションの入力に音響信号を伝播させるために、遅延線が使用される。物体の音響放射および/または受信特性は、放射および/または受信される音波面と関連付けられる経路をたどる間の、物体の相対的な向きまたは位置などの状況的な特徴に依存することが多い(たとえば、音源および/または受信器における周波数依存の指向性をシミュレートするために)。前記再帰型フィルタ構造の係数の時間的に変化する性質は、放射および/または受信される音波面の各々に対して独立に、それらの状況依存の音響放射および/または受信の特質のシミュレーションを可能にする。1つまたは複数の時間的に変化する係数のベクトルが、放射および/または受信されるフィルタの入力および/または出力のうちの1つと関連付けられ、時間的に変化する係数の前記ベクトルは、状況に依存する音響放射および/または受信の特質(たとえば、向き、距離など)を示す1つまたは複数の時間的に変化する座標に応答して、目的をもって工夫されたモデルにより再帰型フィルタ構造に提供される。

【0018】

本発明のシステムを具現化するために利用される時間的に変化する再帰型フィルタ構造の各々は少なくとも、状態変数のベクトル、可変の数の入力および/または出力音響信号、ならびに、前記入力および/または出力音響信号と関連付けられる可変の数の入力および/または出力投影係数ベクトルを備え、前記投影ベクトルの係数は、前記入力および/または出力音響信号の、音響受信および/または放射座標に応答して適応される。各時間ステップにおいて、前記状態変数のうちの少なくとも1つが、前の時間ステップの状態変数値のうちの1つまたは複数を線形結合することによって得られる中間更新変数、および、受信されている入力音響信号のうちの1つまたは複数を線形結合することによって得られる中間入力変数という、2つの中間変数を加算することを伴う再帰によって更新される。放射される出力音響信号のうちの1つまたは複数を取得することは、状態変数のうちの1つまたは複数を線形結合することを含む。前記中間更新変数を計算するために使用される状態変数線形結合に関与する重みは、時間的に不変であり、状況に関連する放射または受信の特質に依存しない。前記中間入力変数を取得するために入力音響信号を線形結合することに関与する重みは、時間的に変化し、状況に関連する受信特質に依存する。前記重みは、入力音響信号とそれぞれ関連付けられる時間的に変化する数の時間的に変化する入力投影係数ベクトルに含まれ、前記入力投影ベクトルは、前記入力音響信号と関連付けられる状況依存の音響受信特質を示す1つまたは複数の座標に応答して目的をもって工夫されるモデルにより提供される。同様に、時間的に変化する数の出力音響信号を取得するために状態変数を線形結合することに関与する重みは、時間的に変化し、状況に関連する放射特質に依存する。前記重みは、出力音響信号とそれぞれ関連付けられる時間的に変化する数の時間的に変化する出力投影係数ベクトルに含まれ、前記出力投影ベクトルは、前記出力音響信号と関連付けられる状況に関連する音響放射特質を示す1つまたは複数の座標に応答して、目的をもって工夫されるモデルにより提供される。再帰型フィルタ構造の第1の一般的な実施形態が、3つの入力音響信号11および3つの出力音響信号12と、3つの入力投影係数ベクトル13および3つの出力投影係数ベクトル14との場合について図1に図示されているが、等価な図示は、任意の時間的に変化する数の入力および/または出力を、したがって、任意の時間的に変化する数の入力および/または出力投影係数を伴う、任意の同様のフィルタ構造を記述し得る。わかりやすくするために、図1の図示は、状態変数ベクトル10の第mの状態変数15と第nの状態変数16とに対応する更新プロセスのみを示す。第mの状態変数を更新するために、前記入力音響信号を線形結合する(19)ことによって得られる第mの中間入力変数17、および前のステップ25、26の状態変数を線形結合する(27)ことによって得られる第mの中間更新変数23という、2つの中間変数が計算される。前記第mの中間入力変数を取得するために入力音響信号を線形結合することに関与する重み21は、それぞれの入力投影係数ベクトルにおいて第mの位置21から集められる。したがって、第nの状態変数を更新するために、前記入力音響信号を線形結合する(20)ことにより得られる第nの中間入力変数18、および前のステップ25、26の状態変数を線形結合する(28)ことにより得られる第mの中間更新変数24という、2つの中間変数が計算される。前記第nの中間入力変数を取得するために入力音響信号を線形結合することに関与する重み22は、それぞれの入力投影係数ベクトルの中の第nの位置22から集められる。出力音響信号12のうちの1つを取得するために、状態変数10は線形結合され(29)、前記線形結合において利用される係数は、対応する出力投影係数ベクトル14から集められる。音響物体の音響放射特性のみをシミュレートするとき、前記再帰型フィルタ構造の実施形態は、図2に図示されるように簡略化されてもよく、状態変数のベクトル、可変の数の出力音響信号、および可変の数の出力投影係数を必要とする。この場合、状態変数にわたって等しい分布を伴う単一の入力音響信号30が使用され得ることに留意されたい。逆に、音響物体の音響受信特性のみをシミュレートするとき、前記再帰型フィルタ構造の実施形態は、図3に図示されるように簡略化されてもよく、状態変数のベクトル、可変の数の入力音響信号、および可変の数の入力投影係数を必要とする。単一の出力音響信号32が、状態変数を線形結合する(31)ことによって取得され得ることに留意されたい。

【0019】

可変の状態空間フィルタ表現
提案される再帰型フィルタ構造の多様な実施形態をより全般的に説明して実践するために、状態空間用語を利用して、フィルタ構造の最低限の実現形態を、

【数1】

という形式の可変の状態空間フィルタとして表現することにより、時間的に変化する数の入力および/または出力ならびに関連する時間的に変化する投影係数ベクトルに対処することが便利であり、可変という用語は、前記状態空間フィルタの入力および/または出力の数が動的に変化できることを強調するために使用され、nは時間インデックスであり、

【数2】

はM個の状態変数のベクトルであり、Aは状態遷移行列であり、x^p[n]は時間nにおいて存在するP個の入力の第pの入力(スカラー)であり、

【数3】

は入力投影係数の対応する長さMのベクトルであり、y^q[n]は状態変数の線形投影として各々得られる時間nにおいて存在するQ個の出力の第qのシステム出力(スカラー)であり、

【数4】

は出力投影係数の対応する長さMのベクトルである。一般性を失うことなく、かつ当業者による本発明の理解と実践を促進するために、一部の参考とする例示的な実施形態においてこの表現を利用して、本発明のシステムの重要な構成要素の最も一般的な抽象化と正確な表現を提供する。しかしながら、可変の状態空間表現は、限定的な表現ではないことに留意されたい。それは、可変の入力を伴うが非可変の単一または複数の出力を伴う受信器物体シミュレーション、可変の出力を伴うが非可変の単一または複数の入力を伴う音源物体シミュレーション、または図1、図2、および図3において前に説明され例示されたフィルタ構造の任意の変形を等価的に具現化する。対角遷移行列またはブロック対角遷移行列を伴うモード形式の可変の状態空間フィルタが、一次および/または二次再帰型フィルタの並列の組合せに関して音源および/または受信器物体をシミュレートするために、当業者により等価に用いられ得ることにも、後で触れる。しかし、さしあたりは便宜を考慮し、可変の状態空間表現によって容易にされる実施形態を説明することに限る。

【0020】

入力投影係数の時間的に変化するベクトル

【数5】

は、第pの入力音響信号または入力音波面信号に対応する時間的に変化する受信特質のシミュレーションを可能にし、一方、出力投影係数の時間的に変化するベクトル

【数6】

は、第qの出力音響信号または出力音波面信号に対応する時間的に変化する放射特質のシミュレーションを可能にする。従来の固定サイズの行列ベースの状態空間モデルの表記とは対照的に、入力および/または出力の数と対応する投影ベクトルの中の係数の両方が動的に変化することが許容されるので、ここではより便利なベクトル表記に頼ることに留意されたい。状態更新式(上)は、状態変数がそれを通じて線形結合される状態変数線形回帰項

【数7】

と、各々の第pの入力信号がそれを通じて状態変数の空間へと投影されるP個の入力投影項

【数8】

とを備える。したがって、その最も一般的な基本形では、第mの状態変数の更新は、状態変数の線形結合(行列Aによって決定される)とP個の入力変数の線形結合(すべてのP個の入力投影ベクトル

【数9】

の第mの位置における係数によって決定される)を伴う。出力式(下)は、状態がそれを通じてQ個の出力信号へと投影される、Q個の出力投影項

【数10】

を備える。したがって、その最も一般的な基本形において、第qの出力信号の計算は、状態変数の線形結合を伴う。入力の数Pおよびそれらの関連する入力投影ベクトル

【数11】

の係数は一般に時間的に変化し得るので、状態更新式(上)における加算の右側に対する行列形式の表現は、時間的に変化するサイズおよび時間的に変化する係数の行列B[n]を必要とする。同様に、出力式に対する行列形式の表現(下)は、時間的に変化するサイズおよび時間的に変化する係数の行列C[n]を必要とする。説明を簡単にするために、再帰型フィルタ構造のこの例示的な状態空間式では、再帰型フィルタの一部の従来の状態空間式においてよく見られるようなフィードフォワード項を含めていないことに留意されたい。ここで明示的に説明される実施形態は、フィードフォワード項を含めることによって直接の入力と出力の関係を示さないが、その項を組み込むことは本発明から逸脱しないことが明確にされるべきである。

【0021】

従来の状態空間再帰型フィルタのように、式(1)に対する好ましい形式は、対角である行列Aを伴う。効率的な実現をもたらすそのような形式では、行列Aの対角要素は、再帰型フィルタの固有値をもつ。行列Aのそのような対角形式は、各々の第mの状態変数15の再帰的な更新において使用される各々の第mの中間更新変数23に対して、状態変数を線形結合する(24)ために利用される重みベクトルがあるベクトルへと縮約されることを示唆し、ここで、第mの係数がフィルタの第mの固有値であることを除き、すべての係数が0である。一般性を失うことなく、以下では、音響放射および/または音響受信物体をシミュレートするための状態手段を提供するように、本発明のいくつかの好ましい状態空間の実施形態を記述ための、行列Aの対角形式を想定する。

【0022】

可変の状態空間構造により具現化される本発明の形式では、音源物体は、その出力が可変であるがその入力が非可変である(すなわち、固定された数の入力および入力投影係数)可変の状態空間フィルタとして表され得る。逆に、受信器物体は、その入力が可変であるがその出力が非可変である(すなわち、固定された数の出力および出力投影係数)可変の状態空間フィルタとして表され得る。式(1)により記述される一般的なフィルタ構造は、可変の数の入力信号および出力信号を伴う、音響放射と音響受信の両方の挙動をモデル化する音響物体のシミュレーションの便利な一般的な実施形態の構成要素である。これは図4に図示されており、可変入力部分40、状態再帰部分41、および可変出力部分42という3つの主要部分が表されている。状態空間項において、式(1)の状態更新関係(上)は可変入力部分40および状態再帰部分41によって具現化され、一方、式(1)の出力関係(下)は可変出力部分42によって具現化される。可変入力部分41は、時間的に変化する数の入力音響信号と、前記入力音響信号と関連付けられる時間的に変化する数の入力投影係数ベクトルとを備え、前記入力投影ベクトルは時間的に変化する係数を備える。これは、3つの入力音響信号および対応する入力投影ベクトルに対して示されるが、等価な構造が任意の時間的に変化する数の入力音響信号に対して適用される。所与の時間において物体シミュレーションがP個の入力音響波形信号を受信していると仮定すると、各々の第pの入力音響信号43が、時間的に変化する入力投影係数の対応する第pのベクトル44による乗算を通じてフィルタの状態の空間へと投影される(45)。この乗算は、第pの中間入力ベクトル46をもたらす。再帰部分41において、状態変数51のベクトルは、単位遅延された(50)状態変数のスケーリングされたバージョン49を備え、スケーリング係数はフィルタ固有値49に対応するベクトル48と、すべてのP個の中間入力ベクトル46を加算することから得られるベクトル47という2つのベクトルを加算することによって更新される。可変出力部分42は、時間的に変化する数の出力音響信号と、前記出力音響信号と関連付けられる時間的に変化する数の出力投影係数ベクトルとを備え、前記出力投影ベクトルは時間的に変化する係数を備える。これは、3つの出力音
響信号および対応する出力投影ベクトルに対して示されているが、等価な構造が任意の時間的に変化する数の出力音響信号に対して適用される。所与の時間において、物体シミュレーションがQ個の出力音波面信号を放射していると仮定すると、各々の第qの出力音響信号53は、状態変数51を線形結合する(54)ことによって得られ、前記線形結合において使用される重み52は、時間的に変化する出力投影係数の第qのベクトル52によって提供される。

【0023】

前に言及されたように、音源物体シミュレーションは、その出力が可変であるがその入力が非可変である可変の状態空間フィルタによって具現化され得る。これを例示するために、音源物体シミュレーションに対する2つの非限定的な実施形態が図5および図6に図示されている。図5において、音源物体シミュレーションが可変の状態空間フィルタによって具現化される例を示し、その出力部分は可変であり、その入力部分は古典的(すなわち、非可変)である。この場合、音響物体シミュレーションフィルタの入力部分は、入力行列56のサイズが固定されている従来の状態空間フィルタの入力部分と同様に振る舞うので、入力音響信号55の固定サイズのベクトルは前記入力行列56と乗じられて(57)、状態変数の更新をもたらす共同寄与のベクトル58を得る。さらなる簡略化が図6に示されており、単独の入力音響信号59が、状態変数を更新するために利用されるベクトル62の要素へと等しく分配される(60、61)。この簡略化は、入力行列として1のベクトル60を有することと等価であることに留意されたい。音源物体シミュレーションと同様に、音響受信器物体シミュレーションは、その入力が可変であるがその出力が非可変である可変の状態空間フィルタによって具現化され得る。したがって、音響受信器物体シミュレーションに対する2つの非限定的な実施形態が、図7および図8に図示されている。図7において、音響受信器物体シミュレーションが、その入力部分が可変でありその出力部分が古典的(すなわち、非可変)である可変の状態空間フィルタによって具現化される事例を示す。この場合、音響物体シミュレーションフィルタの出力部分は、その出力行列64のサイズが固定されている従来の状態空間フィルタの出力部分と同様に振る舞うので、出力音響信号66の固定サイズのベクトルは、状態変数のベクトル63と前記出力行列64を乗じる(65)ことによって得られる。さらなる簡略化が図8に示されており、単独の出力音響信号70は、状態変数67を加算する(68,69)ことによって得られる。この簡略化は、出力行列として1のベクトル69を有することと等価であることに留意されたい。

【0024】

入力および出力投影モデル
音響物体シミュレーションの入力および/または出力信号と関連付けられる時間的に変化する入力および/または出力の状況的な座標をもとに、入力および/または出力投影モデルは、音響物体による時間的に変化する音響受信および/または放射のシミュレーションを可能にする、時間的に変化する係数ベクトルを提供する。状態空間の項において、それに従って、入力および出力投影モデルは、受信された入力音波面信号を再帰型フィルタの状態変数の空間へと投影するために必要とされる、および/または、再帰型フィルタの状態変数を放射された出力音波面信号へと投影するために必要とされる、時間的に変化する入力および/または出力行列に含まれる係数を得やすくする。たとえば、音響受信器物体の1つの入力信号と関連付けられる受信座標(すなわち、入力座標)は、受信器物体が音波面によってそこから励振される位置または向きを指し得る。音源物体シミュレーションの出力のみが可変であり、音響受信器物体シミュレーションの入力のみが可変である本発明の再帰型フィルタの実施形態に従うと、それによって、一般性を失うことなく、受信器物体シミュレーションおよび出力投影モデルを伴う入力投影モデルを音源物体シミュレーションと関連付ける。

【0025】

入力投影モデルV、および、時間nにおいて音響物体シミュレーションによって放射される第pの入力音響信号に関連付けられる時間的に変化する入力(受信)座標のベクトル

【数12】

をもとに、受信器物体シミュレーションの入力投影関数S⁺は、前記第pの入力音響信号に対応する入力投影係数のベクトル

【数13】

を提供する。これは、

【数14】

として表すことができ、3つの異なる使用事例が、図9A、図9B、および図9Cに示されている。図9Aでは、投影モデル71はパラメトリックであり、入力座標のベクトル72が与えられると、入力投影係数のベクトル74は、前記投影モデルを評価する(73)ことによって提供される。図9Bでは、投影モデル75は既知の入力係数ベクトルのテーブルに基づき、入力座標のベクトル76が与えられると、入力投影係数のベクトル78は、1つまたは複数のテーブル75を調べる(77)ことにより提供される。同様に、図9Cにおいて、投影モデル79は既知の入力係数ベクトルのテーブルに基づき、入力座標のベクトル80が与えられると、入力投影係数のベクトル82は、1つまたは複数のテーブル79に対して1つまたは複数の補間された調査(81)動作を実行することによって提供される。

【0026】

したがって、出力投影モデルK、および、時間nにおいて音源物体シミュレーションによって放射される第qの出力音響信号に関連付けられる時間的に変化する出力(放射)座標のベクトル

【数15】

をもとに、音源物体シミュレーションの出力投影関数S^-は、前記第qの出力音響信号に対応する出力投影係数のベクトル

【数16】

を提供する。これは、

【数17】

として表すことができ、3つの異なる使用事例が、図10A、図10B、および図10Cに示されている。図10Aでは、投影モデル83はパラメトリックであり、出力座標のベクトル84が与えられると、出力投影係数のベクトル86は、前記投影モデルを評価する(85)ことによって提供される。図10bでは、投影モデル87は既知の出力係数ベクトルのテーブルに基づき、出力座標のベクトル88が与えられると、出力投影係数のベクトル90は、1つまたは複数のテーブル87を調べる(89)ことにより提供される。同様に、図10Cにおいて、投影モデル91は既知の出力係数ベクトルのテーブルに基づき、出力座標のベクトル92が与えられると、出力投影係数のベクトル94は、1つまたは複数のテーブル91に対して1つまたは複数の補間された調査(91)動作を実行することによって提供される。

【0027】

効率化を目的に、本発明を実践するために、シミュレーションの1つ1つの離散的な時間ステップにおいて入力および/または出力投影モデルを利用することは必要とされないことに留意されたい。代わりに、投影モデルは、数回に一回の離散的な時間ステップ(たとえば、数十回または数百回に一回の離散的な時間ステップ)において投影ベクトルを取得するために周期的に利用されてもよく、欠けている離散的な時間ステップに沿って補間するための任意の必要な手段を利用することができる。

【0028】

音響物体シミュレーションの設計
本発明のシステムの好ましい実施形態では、音響物体シミュレーションのための再帰型フィルタ構造は、物体の望まれる音響受信および/または放射の挙動を少なくともシミュレートするように構築される。前記挙動はしばしば、合成データまたは観測されるデータによって規定される。好ましい実施形態のいくつかでは、音響物体の望まれる受信または放射の挙動はまず、音響物体に対する入力音響受信座標または出力音響放射座標の空間の中の離散的な点または領域に各々対応する、離散的な最小位相インパルスまたは周波数応答のセットを合成または測定することによって定義され得る。たとえば、バイオリンシミュレーションにおける音響放射のための出力座標空間を、2次元空間として定義することができ、次元は、放射される音波面がバイオリンの周りの球体から離れていくときの出ていく方向を定義する、2つの配向角である。同様の座標空間を、たとえば、人の頭の一方の耳により受け取られる音波面に対して課すことができる。たとえば、距離もしくは減衰、閉塞、または他の効果に関連するもののようなさらなる座標が組み込まれ得ることに留意されたい。

【0029】

再び、本発明の理解およびさらなる実践を、その変形のすべてにおいて促進する際の便宜上の理由で、再帰型フィルタ構造のための可変の状態空間表現を利用して、ここで馴染みのある3段階の設計手順を説明する。この手順は、対角状態遷移行列を想定する。第1のステップにおいて、従来の固定サイズの多入力および/または多出力状態空間フィルタの固有値が、データから特定され、または任意に定義される。第2のステップにおいて、前記従来の状態空間フィルタの固定サイズの時間的に変化しない入力および/または出力行列が、離散的なインパルス応答または周波数応答の形式で規定されるデータから得られる。第3のステップにおいて、入力および/または出力投影モデルが、パラメトリック方式または補間のいずれかを通じて動作するように構築される。ここで要約される好ましい設計手順は、本発明のシステムの実践を制限するのではなく、例示的であるものと理解されるべきであることに留意されたい。今後これを実践する者は、この手順により着想を得て、得られる再帰型フィルタ構造が本発明による教示のような音響物体シミュレーションに役立つ限り、それを任意の望ましい方式へと変えることを選ぶことができる。

【0030】

必須ではないが、最小位相を課すことが一般に好ましい。特にHRTFについて、Namらは、「On the Minimum-Phase Nature of Head-Related Transfer Functions」、Audio Engineering Society 25h Convention、2008年10月において、HRTFが一般に、最小位相システムとしてよくモデル化されていることを示唆している。最小位相データから物体シミュレーションを設計することは、必要とされる状態変数の数(すなわち、必要とされるフィルタの次数)に関して、および、物体シミュレーションの得られる時間的に変化する挙動において正確でありながら滑らかな変調を可能にする、時間的に変化する係数ベクトルをもたらす際に投影モデルが示す性能に関しての両方で、再帰型フィルタ構造の性質をよりよく活用する。

【0031】

ステップ1.第1のステップは、再帰型フィルタの固有値のセットを定義または推定することからなる。一般に、そのインパルス応答が実数値であるシステムをシミュレートする再帰型フィルタは、実数の固有値および/または複素数の固有値を表すことができ、複素数の固有値は複素共役のペアとして現れる。固有値は、フィルタの周波数応答の望まれる挙動を適合または制約する(たとえば、固有値を複素円板に拡散して代表的な周波数帯域を規定することによって)ために任意に定義され得るが、ここで、固有値は、物体の入力-出力挙動を表す目標の最小位相応答のセットから推定されると仮定する。まず、入力および/または出力座標空間が、物体に対する音響信号の受信および/または放射について定義される必要がある。次いで、全体でP_TxQ_T個の入力-出力インパルス応答または周波数応答が生成または測定され、P_Tはシミュレーションにおいて表現されるべき入力座標空間の点または領域の総数であり、Q_Tはシミュレーションにおいて表現されるべき出力座標空間の点または領域の総数である。したがって、1つまたは複数の入力座標のベクトルおよび1つまたは複数の出力座標のベクトルは各応答と関連付けられ、各ベクトルはそれぞれ、入力座標空間および出力座標空間の表現される点または領域を符号化する。次いで、最小位相への変換の後に、M個の固有値の適切なセットを推定するために、システム識別技法(たとえば、Ljung, L.「System Identification: Theory for the User」、Second edition、PTR Prentice Hall、アッパーサドルリバー、ニュージャージー州、1999年、または、Soderstrom, Tら、「System Identification」Prentice Hall International、ロンドン、1989年)が使用され得る。いくつかの場合、物体シミュレーションは、音響放射と、単一のまたは非可変の入力を伴う現在の再帰型フィルタ(たとえば、図5および図6に示される実施形態を参照)とに注目して設計され、それらの場合、座標の入力空間は明示的に必要とされず、通常、P_TはQ_Tよりはるかに小さい。他の場合には、物体シミュレーションは、音響受信と、単一のまたは非可変の出力を伴う現在の再帰型フィルタ(たとえば、図7および図8に示される実施形態を参照)とに注目して設計され、それらの場合、座標の出力空間は明示的に必要とされず、通常、P_TはQ_Tよりはるかに大きい。システムの次数は、計算コストと応答の近似との間の適切な妥協点を考慮することにより決められるべきである。計算の複雑さを下げるために、固有値識別のみを目的に、全体でP_TxQ_T個の応答から適切な応答のサブセットが選択され得る。また、より高い周波数において人の聴覚の周波数分解能が低下することを考慮して、有効なシミュレーション手段をもたらすことが多い好ましい選択は、ワーピングされたまたは対数の周波数分解を課し、したがって、知覚される品質に影響を与えることなく物体のフィルタに対する必要とされる次数を下げるために、知覚的に動機付けられた周波数軸を使用することである。応答のセットから固有値を特定する場合、双線形周波数ワーピングに基づく好ましい手法は、目標の応答をワーピングすること(たとえば、Smithら、「Bark and ERB bilinear transforms」、IEEE Transactions on Speech and Audio Processing、Vol.7:6、1999年11月により評価される方法を参照)、固有値を推定すること、および固有値をデワーピングすることという、3つのステップを含む。

【0032】

ステップ2.第2のステップは、M個の推定される固有値および全体でP_TxQ_T個の応答を使用して、フォワード項のない従来の固定サイズの時間的に不変の状態空間フィルタの入力行列Bおよび出力行列Cを推定することからなる。入力行列BはP_TxMのサイズを有し、一方、出力行列はMxQ_Tのサイズを有する。多くの技法がこの問題を解決するための文献から入手可能であり、一般に誤差行列最小化問題として提起されている。P_TとQ_Tの両方が大きい場合、時々、幾何学的な固有値の多様性を導入することが必要であり得ることに留意されたい。しかしながら、たいていは、P_T=1もしくはP_T<<Q_Tであり非可変の入力シミュレーションを伴う放射のみの物体、または、Q_T=1もしくはP_T>>Q_Tであり非可変の出力シミュレーションを伴う受信のみの物体を設計する。

【0033】

ステップ3.最後に、第3のステップは、得られた入力行列Bおよび/または得られた出力行列Cを使用して、入力の可変性のために入力投影モデルを、および/または出力の可変性のために出力投影モデルを構築することからなる。行列Bの各行および行列Cの各列はそれぞれ、入力座標の関連するベクトルまたは出力座標の関連するベクトルを表す。音響受信物体の入力空間の中の各々の第pの点または領域は、入力投影係数の第pのベクトル(行列Bの第pの行ベクトル)および入力座標の第pのベクトル(行列Bの第pの行ベクトルと関連付けられる入力座標のベクトル)という、ベクトルの第pの対応するペアによって表される。したがって、音響受信物体の出力空間の中の各々の第qの点または領域は、出力投影係数の第qのベクトル(行列Bの第qの列ベクトル)および出力座標の第qのベクトル(行列Bの第qの列ベクトルと関連付けられる出力座標のベクトル)という、ベクトルの第qの対応するペアによって表される。本質的に、入力投影モデルのデータ主導の構築は、物体の音響受信特性を記述するP_T個のベクトルペアの集合体を、物体の入力座標の空間にわたる連続的な関数へと変換することを可能にする(式(2)参照)。したがって、出力投影モデルのデータ主導の構築は、物体の音響放射特性を記述するQ_T個のベクトルペアの集合体を、物体の出力座標の空間にわたる連続的な関数へと変換することを可能にする(式(3)参照)。これは、たとえばシミュレートされる物体の位置または向きが変化する間の、投影係数の連続的で滑らかな時間更新を可能にする。詳細なモデル化方法(たとえば、異なる種類の基本関数を利用するパラメトリックモデル)によって投影モデルを組織化する可能性があるにもかかわらず、既知の係数ベクトルの補間は、ルックアップテーブルしか必要ではないので多くの場合は費用対効果が高いままであり得る。

【0034】

例示的な物体シミュレーション
投影モデルの構築を説明し、音響物体シミュレーションの簡単な例を提供するために、音源物体から放射された音波面が物体を表す球から任意の出ていく方向に伝播するような3次元空間領域を考慮する、本発明のシステムの例示的な実施形態を利用する。音源による波面放射の方向は、定半径球面座標における2つの角度によって符号化される。同様の仮定が受信器物体に対して行われる。音波面は任意の方向から受信され、2つの球面座標角によって符号化される。音源物体としてアコースティックバイオリンを選び、放射される波面の周波数応答に関する方向指向性をモデル化するために、出力座標空間を2次元座標系に制約する。受信器物体として人体のHRTFを選び、同様に、受信される波面の周波数応答に関する方向指向性をモデル化するために、入力座標空間を2次元座標系空間に制約する。簡潔にするためにここでは示されていないが、他の入力または出力座標、たとえば距離または閉塞に関する座標が、音響物体シミュレーションに含まれ得る。

【0035】

アコースティックバイオリンでは、駒が振動する弦のエネルギーを本体に伝え、本体は比較的複雑な周波数依存の指向性パターンの放射器として動作する。アコースティックバイオリンは、低反射室において、駒をインパクトハンマーで励振し、マイクロフォンアレイで音圧を測定することによって測定された。駒の低音側の端に加えられた横方向の水平な力が測定され、音響放射物体の唯一の入力として定義された。出力については、得られる音圧信号が、楽器を中心とする球面区間上の4320個の位置において測定され、この球面は、駒の足と足の間の中間点と一致する選ばれた中心点から0.75メートルの半径をもつ。モデル化される球面区間は、球面の約95%をカバーした。各測定位置は、垂直極座標の表記法において角度(θ,φ)のペアに対応し、60x72=4320点の2次元長方形格子上の出力座標を表す。そのような格子は、次元がθおよびφである2次元のユークリッド空間の均一なサンプリングを表し、方位角θは弦Eから弦Gの方向においてそれらの弦の駒との交点で0であると定義され、仰角φはバイオリンの表板に垂直な方向において0であると定義される。各々の力と音圧信号のペアに対して1つの、Q_T=4320個の放射インパルス応答測定結果を得るために、逆畳み込みが使用された。バイオリンに対して次数M=58の可変の状態空間フィルタを設計するために、まず、すべてのQ_T=4320個の応答測定結果に対して最小位相を課し、測定結果のサブセットを使用してワーピングされた周波数軸上で58個の固有値を推定する。次いで、対応する固定サイズの従来の時間的に不変の状態空間モデルの入力行列を、1からなる単独の長さ58のベクトルとして定義する。続いて、すべての測定結果を使用して最小二乗最適化問題を解くことによって、4320x58の出力行列を推定する。この行列は、出力投影係数のQ_T=4320個のベクトルを備え、各々の第qのベクトルはM=58個の係数を有する。等価的に、これは、各々4320個の係数をもつM=58個のベクトルがあるものと見なすことができ、各々の第mのベクトルは第mの状態変数に関連付けられ、配向角(θ,φ)の二次元空間にわたる第mの出力投影係数c_mの分布を記述する球面関数c_m(θ,φ)の60x72個のサンプルの集合体を表す。

【0036】

球面調和モデリングおよび出力座標空間再サンプリングにより、ルックアップベースの出力投影モデルを次のように構築する。まず、各々の第mの球面関数c_m(θ,φ)のすべての4320個のサンプルと、それに対応して4320個の向きの各々に注記される角度とを使用して、次数12の切り捨てられた球面調和表現を得る。これは、状態変数および固有値ごとに1つの、M=58個の球面調和モデルをもたらす。64x64=4096個の向きの2次元格子を定義することに進み、各格子位置は角度(θ,φ)の別個のペアに対応する。次いで、新しい格子位置におけるM個の球面調和モデルを評価し、これは各々64x64個の位置のM個のテーブルをもたらす。次いで、出ていく波面の角度(θ,φ)をもとに出力投影係数の長さMのベクトル

【数18】

を取得するためのM個の双線形補間を実行するように、ルックアップベースの出力投影モデルを構成する。したがって、ここで、M個のルックアップテーブルは、式(3)の出力投影モデルKを構成し、角度(θ,φ)は、バイオリンシミュレーションから出ていく波面に対する出力座標のベクトル

【数19】

の構成要素であり、出力投影関数S⁺によって双線形補間が実行される。この方式では、補間されたルックアップのためのテーブルを構築する前に、投影係数の分布を滑らかにするための手段として、球面調和モデル化を使用した。球面調和次数および/またはルックアップテーブルのサイズの選択は、空間分解能とメモリ要件との間の妥協点に基づくべきであることに留意されたい。メモリにより制約される場合、記憶されている球面調和表現は代わりに、出力投影モデルKを構成することができ、これは、出力投影関数S⁺が角度のペアをもとに球面調和モデルを評価することを担う必要があることを示唆する。しかしながら、これは、ルックアップ方式と比較して、追加の計算コストを招く。

【0037】

説明されるバイオリン物体シミュレーションモデルについて得られる2つの例示的な音響放射周波数応答がそれぞれ、2つの別個の向きについて、それらの向きに対して最初に得られたそれぞれの測定結果とともに、図11Aおよび図11Bにおいて表示される。さらに、出力投影モデルの構築を例示するために、図12A、図12B、図12C、および図12Dを利用して、M個の出力投影係数(図12Aおよび図12Bにそれぞれ図示される大きさと位相)のうちの1つについて得られるような元の球面分布と、球面調和モデル化および出力座標の再サンプリングされた格子における評価の後で得られる対応するルックアップテーブル(図12Cおよび図12Dにおいてそれぞれ図示される大きさと位相)との比較を図示する。見られるように、球面調和モデル化および再合成は、時間的に変化する条件において使用するためのルックアップテーブルの品質を改善するための、有効な前処理手段として使用され得る。最後に、ランタイムにおけるバイオリン物体シミュレーションの挙動を実証するために、時間的に変化する条件において物体シミュレーションを励振することにより得られるような、音響放射周波数応答を合成する。512個の連続するステップに対して、音源物体を囲む球面上にある理想的なマイクロフォンにより捉えられるような出ていく波面の出力座標を修正する。各ステップにおいてバイオリンの駒の理想的な励振を仮定すると、最初の向き(θ=0.69rad,φ=4.71rad)から最後の向き(θ=-1.48rad,φ=-0.52rad)への、球面上の理想的なマイクロフォンの直線運動をシミュレートする。これは図13Aおよび図13Bに図示されており、向きに注意することにより最近傍を通じて入手されるような元の周波数応答測定結果(図13A)を、モデルの中の出力投影係数テーブルの補間されたルックアップから得られるような物体シミュレーション周波数応答(図13B)と比較する。

【0038】

受信器物体シミュレーションの例としてのHRTFについては、Algaziら、「The CPIC hrtf database」、IEEE Workshop on Applications of Signal Processing to Audio and Acoustics、2001年10月に記載される、CPIC公開データセットの高空間分解能の頭部関連の伝達関数セットにより表現されるような、椅子に座っている人体を選ぶ。この例示的なモデルのために使用されるデータは、ダミーの頭部被験体の周りで、半径1メートルの頭部を中心とする球面区間上の1250個の不均一に分布する位置に配置されるラウドスピーカーによる励振の間に、左耳の中のマイクロフォン信号を測定することから得られる、1250個の片耳応答を備える。モデル化された球面区間は球面の約80%をカバーする。1250個の励振位置の各々は、両耳間の極座標の表記法で表される、入力座標の2次元空間における角度(θ,φ)のペアに対応する。HRTFのために次数M=36の可変の状態空間フィルタを設計するために、まず、すべてのP_T=1250個の応答測定結果に対して最小位相を課し、すべての測定結果を使用して線形周波数軸にわたり36個の固有値を推定する。次いで、対応する固定サイズの時間的に不変の状態空間モデルの出力行列を、1からなる単独の長さ36のベクトルとして定義する。続いて、すべての測定結果を使用して最小二乗最適化問題を解くことによって、36x1250の入力行列を推定する。この行列は、出力投影係数のP_T=1250個のベクトルを備え、各々の第pのベクトルはM=36個の係数を有する。等価的に、これは、各々1250個の要素をもつM=36個のベクトルがあるものと見なすことができ、各々の第mのベクトルは、第mの状態変数に関連付けられ、配向角(θ,φ)の二次元空間にわたる第mの入力投影係数b_mの分布を記述する球面関数b_m(θ,φ)のサンプルの集合体を表す。

【0039】

球面調和モデル化および入力座標空間再サンプリングによって、ルックアップベースの入力投影モデルを次のように構築する。まず、各々の第mの球面関数b_m(θ,φ)のすべての1250個のサンプルと、それに対応して1250個の向きの各々に注記される角度とを使用して、次数10の球面調和表現を得る。これは、状態変数および固有値ごとに1つの、M=36個の球面調和モデルをもたらす。64x64個の位置の2次元格子を定義することに進み、各位置は角度(θ,φ)の別個のペアに対応する。次いで、新しい格子位置におけるM個の球面調和モデルを評価し、これは各々64x64個の位置のM個のテーブルをもたらす。次いで、入来する波面の角度(θ,φ)をもとに入力投影係数の1つの長さMのベクトル

【数20】

を取得するためのM個の双線形補間を実行するように、ルックアップベースの入力投影モデルを構成する。したがって、ここで、M個のルックアップテーブルは、式(2)の入力投影モデルVを構成し、角度(θ,φ)は、HRTFシミュレーションによって受信される波面に対する出力座標のベクトル

【数21】

の構成要素であり、入力投影関数S^-によって双線形補間が実行される。バイオリンの場合のように、ここで、補間されたルックアップのためのテーブルを構築する前に、投影係数の分布を再合成するための手段として、球面調和モデル化を使用した。やはり、球面調和次数および/またはルックアップテーブルのサイズの選択は、空間分解能とメモリ要件との間の妥協点に基づくべきである。音源物体の場合と同様に、記憶されている球面調和表現が代わりに、出力投影モデルVの構成要素になってもよく、これは、出力投影関数S^-が角度のペアをもとに球面調和モデルを評価することを担う必要があることを示唆する。

【0040】

バイノーラルレンダリングの状況では、ここで説明されるものと同様の、各耳に対して1つの、2つの併置されるHRTF受信器物体モデルを使用できることに留意されたい。そのような状況では、物体シミュレーションが最小位相データから取得されると仮定すると、両耳間の時間差を考慮することにより、純粋な遅延に関して余剰の位相をモデル化することができる。

【0041】

説明されるHRTF物体シミュレーションにより得られる2つの例示的な音響受信周波数応答がそれぞれ、2つの別個の向きについて、それらの向きに対して最初に得られたそれぞれの測定結果とともに、図14Aおよび図14Bにおいて表示される。さらに、入力投影モデルの構築を例示するために、図15A、図15B、図15C、および図15Dを利用して、M個の入力投影係数(図15Aおよび図15Bにそれぞれ図示される大きさと位相)のうちの1つについて得られるような元の球面分布と、球面調和モデル化および出力座標の再サンプリングされた格子における評価の後で得られる対応するルックアップテーブル(図15Cおよび図15Dにおいてそれぞれ図示される大きさと位相)との比較を図示する。ここで、球面調和モデル化および再合成も、入力座標空間の欠けている領域に対する入力投影係数を得るために使用された。元の測定は、両耳間の極座標の表記法で不均一に広がった向きにおいて行われ、ルックアップテーブルは均一な間隔の角度で埋められる。最後に、ランタイムにおけるHRTF物体シミュレーションの挙動を実証するために、時間的に変化する条件において物体シミュレーションを励振することにより得られるような、音響受信周波数応答を合成する。512個の連続するステップに対して、受信器物体を囲む球面上にある理想的な音源により放射されるような入来する波面の入力座標を修正する。次いで、やはり最初の向き(θ=0.69rad,φ=4.71rad)から最後の向き(θ=-1.48rad,φ=-0.52rad)への、球面上の理想的な音源の直線運動をシミュレートする。これは図16Aおよび図16Bに図示されており、向きに注意することにより最近傍を通じて入手されるような元の周波数応答測定結果(図16A)を、モデルの中の入力投影係数テーブルの補間されたルックアップから得られるような物体シミュレーション周波数応答(図16B)と比較する。

【0042】

次数選択
実証される例示的な物体シミュレーションは、相互作用のある動作のもとで滑らかさを確保しながら指向性の高い音響物体を正確にシミュレートする際の、本発明のシステムの有効性を実証するために選ばれたが、本発明を実践する者は、望まれる正確さと計算コストとの間の適切な妥協点を見つけることによって、物体シミュレーションの再帰型フィルタ次数Mを決める。前に示されたように、物体シミュレーションの設計の間にワーピングされた周波数軸を使用することが、知覚的に動機付けられた周波数分解にわたり満足のいくモデル化の正確さをもたらすためにフィルタに対して必要とされる次数を下げるために使用され得る。本発明のこの実践を実証するために、すべてが同じ波面方向に対する、前に説明されたHRTF受信器物体シミュレーションの次数の変動および周波数ワーピングの変動について得られるような、6つの例示的な音響受信周波数応答が、図17Aから図17Fに図示されている。図17A、図17B、および図17Cは、線形周波数軸上で設計される物体シミュレーションに対応し、次数はそれぞれ、M=8、M=16、およびM=32である。逆に、図17B、図17D、および図17Eは、Bark双線形変換のもとでワーピングされた周波数軸上で設計される物体シミュレーションに対応し、次数はそれぞれ、M=8、M=16、およびM=32である。同じ方式で、音源物体シミュレーションを設計するために、適切な次数が選択され得る。同じ向きに対して得られるが、4つの異なる次数に対するワーピングされた周波数軸上で設計される物体シミュレーションを利用する、4つのバイオリン放射周波数応答を図18Aから図18dにおいて図示することによって、上記のことを例示する。図18AはM=14に対応し、図18BはM=26に対応し、図18CはM=40に対応し、図18DはM=58に対応する。わかり得るように、知覚的に動機付けられた周波数軸を使用することは、異なるフィルタ次数にわたる低周波数のスペクトルキューに対するモデル化の正確さが許容可能なものになることを確実にする助けになり得る。

【0043】

本発明のシステムのいくつかの実施形態では、単一次数の物体シミュレーションの重畳として、混合次数の物体シミュレーションを構築することが便利であり得る。たとえば、これは、直接場波面の聴覚上の重要性と、早期反射または拡散場指向性成分の聴覚上の重要性との対比を特徴付けるために使用され得る。反射次数に依存した、または、何らかの音源に付与された所与の重要性に依存した波面のランキングは、望まれる知覚上の正確さを維持しながら必要とされるリソースを減らすことを最終的な目的として、混合次数の実施形態において物体シミュレーションの中から選ぶ際の助けになり得る。3つの単一次数の受信器物体シミュレーションの重畳により組み立てられる、片耳のHRTF混合次数シミュレーションについて、そのような実施形態の例が図19に概略的に図示されている。示される例では、より高い次数(たとえば、M=32)の1つの単一次数のHRTF物体シミュレーション95が、最も重要な音源から到達する直接場波面98の受信をモデル化するために使用される。中間の次数(たとえば、M=16)の1つの単一次数のHRTF物体シミュレーション96が、レンダリングのために二番目に重要な音源により放射される波面99の早期反射の受信、およびレンダリングのために二番目に重要な音源から到達する直接場波面99の受信の共同モデル化のために使用され、最後に、より低い次数(たとえば、M=8)の1つの単一次数のHRTF物体シミュレーション97が、レンダリングのために二番目に重要な音源によって放射される波面100の早期反射の受信、および拡散場指向性成分100の受信の共同モデル化のために使用される。より次数の高い物体95の出力101、中間の次数の物体96の出力102、およびより次数の低い物体97の出力103はすべて加算されて、混合次数のHRTF物体シミュレーション105に対する合成された出力104を得る。混合次数のシミュレーションは、音源物体の場合と同様に実践され得ることに留意されたい。

【0044】

図20Aから図20Dにおいて、時間的に変化する条件で混合次数のHRTF物体シミュレーションを例示するために、対数軸および大きさの軸を使用する。図16Aおよび図16Bにおいて同様に、理想的な移動音源により3つの単一次数の物体シミュレーションを励振することから得られるような、音響受信周波数応答を合成する。すべての3つの物体がBark周波数軸上で設計され、図20Aはより次数の低い物体(M=8)に対応する時間的に変化する応答を図示し、図20Bは中間の次数の物体(M=16)を示し、図20Cはより次数の高い物体(M=32)を示す。参考のために、図20Dに、同じ時間的に変化する配向条件のもとで最近傍を通じて入手されるような、元の周波数応答測定結果を示す。

【0045】

実数並列再帰型フィルタ表現
性能および実装の簡単さを理由に、当業者は、実数値の力学系の従来の状態空間表現に便宜的な相似変換を適用して、それが同じ入力-出力挙動を示しながら実数モード形式で表現されるようにすることを、当業者は選び得る。この変換は、遷移行列、ならびに入力行列および/または出力行列の変化につながる。まず、これにより、ブロック対角形式の実数値の遷移行列が生じ、この対角は単一の対角要素および2x2のブロックを備える。次に、これは、実数値の入力行列および/または出力行列をもたらすので、それに含まれるベクトルには実数の係数のみが現れる。そのような状況では、時間的に不変の多入力、多出力状態空間フィルタを、複素数値の演算が必要とされない一次および/または二次再帰型フィルタの並列の組合せによって形成される等価な構造へと変換することができる。したがって、本発明の時間的に変化するシステムのいくつかの実施形態は、実数値の演算のみが必要とされるような実現形態も可能にする。一般性を失うことなく、ここで、次数1のフィルタと次数2のフィルタを伴う実数並列再帰型フィルタ表現を利用する、2つの簡単な非限定的な実施形態を説明する。

【0046】

まず、音源物体シミュレーションが1つの単一の非可変の入力および時間的に変化する数の可変出力を示すような、本発明のシステムの実数再帰型並列表現の1つの好ましい実施形態が、図21に概略的に表されている。わかりやすくするために、2つの出力、2つの次数1の再帰型フィルタおよび2つの次数2の再帰型フィルタのみが示されているが、この構造の性質は、任意の数の次数1の再帰型フィルタまたは次数2の再帰型フィルタに対して、および任意の時間的に変化する数の出力に対して、同様のままであることに留意されたい。入力音響信号106は、次数1の再帰型フィルタ107と108の両方へと、ならびに、次数2の再帰型フィルタ109と110の両方へと供給される。2つの出力y¹[n]およびy²[n]を示す、複素モード形式(すなわち、対角遷移行列)の等価な可変の状態空間フィルタに関連して、次数1の再帰型フィルタ107は、遷移行列の実数の固有値λ_r1に関係する一次回帰を実行し、次数1の再帰型フィルタ108は、遷移行列の実数の固有値λ_r2に関係する一次回帰を実行する。したがって、次数2の再帰型フィルタ109は、遷移行列の複素共役固有値λ_c1とλ_c1 ^*のペアから得られる実数の係数に関係する二次回帰を実行し、次数2の再帰型フィルタ110は、遷移行列の複素共役固有値λ_c2とλ_c2 ^*のペアから得られる実数の係数に関係する二次回帰を実行する。これは、2つの一次フィルタリングされた信号111および112と、2つの二次フィルタリングされた信号113および115とをもたらす。第1の放射される出力音響信号y¹[n]125は、一次フィルタリングされた信号111および112の時間的に変化する線形結合123と、二次フィルタリングされた信号113および115の時間的に変化する線形結合124と、二次フィルタリングされた信号113および115の単位遅延されたバージョン114および116とを加算することによって得られる。複素モード形式(すなわち、対角遷移行列)の等価な可変の状態空間フィルタの時間的に変化する出力投影ベクトル

【数22】

および

【数23】

から離れて、(a)信号111と112を線形結合することにそれぞれ関与する時間的に変化する重み117および118と、(b)信号113、114、115、および116を線形結合することにそれぞれ関与する時間的に変化する重み119、120、121、および122を演繹することは、当業者にとって簡単であるはずである。したがって、第2の放射される出力音響信号y²[n]128は、一次フィルタリングされた信号111および112の時間的に変化する線形結合126、二次フィルタリングされた信号113および115の時間的に変化する線形結合127、ならびに二次フィルタリングされた信号113および115の単位遅延されたバージョン114および116を加算することによって得られる。

【0047】

次に、受信器物体シミュレーションが1つの単一の非可変の出力および時間的に変化する数の可変の入力を示すような、本発明のシステムの実数再帰型並列表現の1つの好ましい実施形態が、図22に概略的に示されている。わかりやすくするために、2つの入力、2つの次数1の再帰型フィルタおよび2つの次数2の再帰型フィルタのみが示されているが、この構造の性質は、任意の数の次数1の再帰型フィルタまたは次数2の再帰型フィルタに対して、および任意の時間的に変化する数の入力に対して、同様のままであることに留意されたい。出力音響信号129は、2つの次数1の再帰型フィルタ134および135の出力からそれぞれ得られる2つの一次フィルタリングされた信号130および131と、2つの次数2の再帰型フィルタ136および137の出力からそれぞれ得られる2つの二次フィルタリングされた信号132および133とを加算することによって得られる。2つの入力x¹[n]およびx²[n]を示す複素モード形式(すなわち、対角遷移行列)の等価な可変の状態空間フィルタに関連して、次数1の再帰型フィルタ134は、遷移行列の実数の固有値λ_r1に関係する一次再帰を実行し、次数1の再帰型フィルタ135は、遷移行列の実数の固有値λ_r2に関係する一次再帰を実行する。したがって、次数2の再帰型フィルタ136は、遷移行列の複素共役固有値λ_c1およびλ_c1 ^*のペアから得られる実数の係数に関係する二次回帰を実行し、次数2の再帰型フィルタ137は、遷移行列の複素共役固有値λ_c2およびλ_c2 ^*のペアから得られる実数の係数に関係する二次回帰を実行する。次数1の再帰型フィルタ134の入力138は、2つの入力信号142および143の時間的に変化する線形結合として得られ、一方、次数2の再帰型フィルタ136の入力140は、入力音響信号142および143の時間的に変化する線形結合、ならびに、入力音響信号142および143の単位遅延されたバージョン144および145として得られる。複素モード形式(すなわち、対角遷移行列)の等価な可変の状態空間フィルタの時間的に変化する入力投影ベクトル

【数24】

および

【数25】

から離れて、(a)信号142と143を線形結合することにそれぞれ関与する時間的に変化する重み146および147と、(b)信号144、142、145、および143を線形結合することにそれぞれ関与する時間的に変化する重み148、149、150、および151を演繹することは、当業者にとって簡単であるはずである。同様に、次数1の再帰型フィルタ135の入力139は、入力音響信号142および143の時間的に変化する線形結合として得られ、一方、次数2の再帰型フィルタ137の入力141は、入力音響信号142および143の時間的に変化する線形結合、ならびに入力音響信号142および143の単位遅延されたバージョン144および145として得られる。

【0048】

実数並列再帰型フィルタ表現を利用するこれらおよび他の関連する実施形態に鑑みて、本発明を実践する者は、この表現が自身の需要に適しているかどうかを決めるべきである。複素乗算が必要とされないので、実数係数の再帰型フィルタが好ましいことがあり、状態空間表現の複素モード形式には、考慮されるべきいくつかの魅力的な特徴がある。たとえば、Regaliaら、「Implementation of Real Coefficient Digital Filters Using Complex Arithmetic」、IEEE Transactions on Circuits and Systems、Vol.CAS-34:4、1987年4月により説明されるように、複素形式で表される実数系の複素共役対称の性質が、複素共役固有値を伴う演算の半分をなくすことにつながり得るので、等価な実数形式により必要とされる総演算回数に近づく。それでも、実数並列再帰型フィルタ表現を選ぶ場合、時間的に変化する線形結合のために使用される実数値の重みを直接提供するために、入力または出力投影モデルが代わりに構築されることが好ましい。たとえば、図22の実施形態を参照すると、実数値の重み148、149、150、および151が、入力投影モデルによって直接提供される。そうすることで、複素モード形式で等価な可変の状態空間フィルタのために構築される投影モデルにより最初に提供されるような、入力投影ベクトル

【数26】

および

【数27】

からそれらを計算するために、追加の演算は必要とされない。

【0049】

波伝播および周波数依存の減衰
音波伝播のシミュレーションは、遅延、距離に関連し周波数に依存しない減衰、および障害物との相互作用または他の原因による周波数依存の減衰などの、個々にモデル化された要因に関して簡略化され得る。本発明のいくつかの実施形態は、これらの現象を自然に組み込む。まず、音源物体および/もしくは受信器物体からの、ならびに/またはそれらへの音波の伝播は、遅延線を使用することに頼ることがあり、前記遅延線の長さ(または傍受の数)は、放射点と受信点との間の距離を表し、距離が時間的に変化する場合に、部分的な遅延線が使用され得る。距離に関連し周波数に依存しない減衰に対しては、対応するエネルギー拡散を考慮することによって、各々の伝播する波面に減衰係数を容易に適用することができる。障害物との相互作用または他の関連する原因(たとえば、空気の吸収、または反射、および/または回折の結果としての)による周波数依存の減衰に関しては、その大きさの周波数応答が特定の波伝播経路に対して予想される所望の周波数依存減衰プロファイルと似ている、デジタルフィルタを利用するのが通例である。このことに鑑みて、本発明は、放射および/または受信された波面の伝播が遅延線ならびにスカラー減衰および/またはデジタルフィルタによってシミュレートされる、多様な状況において実践され得る。これを例示するために、図23A、図23B、および図23Cにおいて3つの非限定的な例を図示する。図23Aにおいて、理想的な伝播のための遅延線153、周波数に依存しない減衰のためのスケーリング154、および周波数依存の減衰のために低次デジタルフィルタ155を利用して、波面または音波信号が始点152または音響物体シミュレーションの出力152から目的点155または音響物体シミュレーションの入力155へと伝播される、波伝播のための簡略化されたシミュレーションが図示される。図23Bにおいて、理想的な伝播のための遅延線158、周波数に依存しない減衰のためのスケーリング159を利用して、しかし周波数依存の減衰の明示的なシミュレーションを省略して、波面または音波信号が始点157または音響物体シミュレーションの出力157から目的点160または音響物体シミュレーションの入力160へと伝播される、さらなる簡略化が図示されている。図23Cにおいて、理想的な伝播のための遅延線158を利
用するが、周波数に依存しない減衰と周波数依存の減衰の両方の明示的なシミュレーションを省略して、波面または音波信号が始点161または音響物体シミュレーションの出力161から目的点163または音響物体シミュレーションの入力160へと伝播される、またさらなる簡略化が示されている。

【0050】

いくつかの実施形態または実践では、所与の音波信号伝播に対応する周波数依存の減衰をシミュレートするために、低次デジタルフィルタを利用することが好ましいことがあるが(たとえば、図23A参照)、本発明は代替的に、周波数依存の減衰のシミュレーションが音響物体による音響放射または受信のシミュレーションの一部として実行され得るように実践され得る。物体モデルの固有値は便宜的に分布しており、それらの対応する状態変数信号は、代表的なローパス(正の実数の固有値)、バンドパス(複素共役固有値のペア)、またはハイパス(負の実数の固有値)成分を搬送し、入力または出力投影の間、すなわち、物体による音波面の受信または放射の間に利用する、入力および/または出力投影係数ベクトルに関する音波面の周波数依存の減衰の近似を含めることが可能である。一般性を失うことなく、ここで、音源物体シミュレーションによる出力投影演算の一部として、周波数依存の減衰を含めることを例示する非限定的な実施形態を説明するために、音響放射を利用する。M個の状態変数を表す音源物体シミュレーションを仮定する。音響物体の第qの出力から出ていく音波面について、望まれる周波数依存の減衰特性は、出力投影のときに1つの状態変数に各々適用される減衰係数の長さMのベクトル

【数28】

に関して近似されてもよく、すなわち、

【数29】

であり、ここで「*」は要素ごとのベクトル乗算を表す。このようにして、第qの波面y^q[n]はすでに、望まれる減衰特性を組み込んでいる。y^q[n]を計算するために、状態変数を減衰させることは、出力投影係数を減衰させることと等価にされてもよく、すなわち、

【数30】

であることに留意されたい。係数ベクトル

【数31】

は、音響物体シミュレーションの固有値に注意することによって、または、単純なテーブルルックアップもしくは他の適切な技法を通じて取得され得る。前に説明されたバイオリンシミュレーションの場合、実数値の減衰係数が、各固有値とそれぞれ関連付けられる特性周波数の各々において所望の周波数依存の減衰特性をサンプリングすることによって、各状態変数に対して取得され得る。図24A、図24B、および図24Cにおいてこれを例示し、時間的に変化する周波数依存の減衰が実証されている。図24Aにおいて、綿のカーペットでの波面の反射により引き起こされる減衰がない場合とある場合の間を線形に補間することによって得られる、望ましい時間的に変化する周波数依存の減衰特性が表示されている。図24Bにおいて、(図13Bにおいて実証されるものと同様の)バイオリン物体シミュレーションにより固定された方向に向かって放射される波面の、周波数領域の、大きさのみの、ビンごとの減衰によりシミュレートされるような、時間的に変化する周波数依存の減衰の対応する効果が表示されている。図24Cにおいて、比較のために、固定された方向に向かう波面放射について同じバイオリン物体シミュレーションにおいて利用されるような、出力投影のときの状態変数の実数値の減衰によってシミュレートされる時間的に変化する周波数依存の減衰の対応する効果が表示されている。周波数依存の減衰のこの例示的な実践に関連して、可変の状態空間編成を利用する音響放射物体シミュレーションの非限定的な実施形態が図25に図示されており、前記物体シミュレーションの可変の出力164の表現は、特に、第qの可変の出力167を取得するという例示的な目的のために3つの可変の出力のみを含み、物体シミュレーションの状態変数のベクトル165はまず、状態減衰係数のベクトル171との要素ごとの乗算を介して減衰されて(166)、減衰された状態変数のベクトル169を得て、このベクトルは次いで、それぞれの出力投影係数168を使用して線形結合されて(170)、スカラー出力167を得る。音響放射および周波数依存の減衰のシミュレーションが、前に詳述されたように

【数32】

によって等価に表現され得ることを考慮すると、本発明は代替的に、効率化のために、出力投影係数

【数33】

の単独のセットが、放射と周波数依存の減衰を同時に一緒に表現するために使用されるような方法で、実践され得ることに、留意することには価値がある。そのような場合、所与の第qの出力に対応する出力投影係数を取得するために使用される出力座標は、前記減衰についての情報を含み得る。実際に、回折、障壁、または近接場効果などの他の関連する要因ですらも、それらが音響放射物体シミュレーションの状態変数の線形結合を介して有効にシミュレートされ得る限り、組み込まれ得る。また、音響放射および音響受信物体シミュレーションにおける、入力投影演算と出力投影演算の機能的な類似性を考慮すると、望まれる場合に、音響受信物体シミュレーションの場合に対して本発明のシステムの同様の実施形態を実践すること、たとえば、音響受信と、伝播、反射、障壁、またはさらには近接場効果による音波面の周波数依存の減衰のような他の効果とを一緒にシミュレートすることは、当業者にとって簡単であろう。

【0051】

状態波形
本発明のシステムの代替的な実施形態では、音響放射物体による音響放射、音波面伝播、および音響受信物体による音響受信の現象は、音響物体シミュレーションの状態変数を伝播する波として次のように扱うことによってシミュレートされ得る。ここで、これらの実施形態を「状態波形実施形態」と呼ぶ。式(1)に注意することにより、音響放射物体から出ていく音波面y^q[n]が、物体シミュレーションの状態変数

【数34】

および出力投影に関与する係数のベクトル

【数35】

から得られることに留意されたい。出力投影が実行されると、波伝播は、放射、遅延ベースの伝播、および受信のみを含む最小限の実施形態について図23Cに示されるように、遅延線へとy^q[n]を供給することによってシミュレートされ得る。音響放射物体モデルが音波面信号y^q[n]を部分遅延線へと供給していると仮定し、そのような遅延線の出力信号d^q[n]をd^q[n]=y^q[n-l[n]]として表現し、l[n]はサンプルにおいて表現される遅延の量である。式(1)により、

【数36】

を介して、状態変数ベクトル

【数37】

および出力投影係数ベクトル

【数38】

でd^q[n]を代替的に表現することが可能であり、

【数39】

および

【数40】

はそれぞれ、対応する出力投影ベクトルおよび状態変数ベクトルの遅延したバージョンである。遅延された係数ベクトル

【数41】

を、遅延された出力座標から等しく取得することができるので(式3参照)、音源物体シミュレーションによって放射される音響信号の伝播はしたがって、音源物体シミュレーションの状態変数、および必要であれば対応する出力座標を遅延させることによって実践され得る。これを例示するために、図26Aおよび図27Bにおいて、放射された音波面の遅延線伝播(図26A)および状態変数の遅延線伝播(図26B)によりそれぞれ実践されるときの、本発明の2つの部分的な非限定的実施形態を図示する。両方の図が、3つの可変の出力を伴う可変の状態空間フィルタ表現(参考として図4、図5、および図6を参照)を利用する物体シミュレーションによって具現化される、音響放射物体シミュレーションによる音波面放射を図示する。1つの出力のみに対して詳細が与えられているが、これは任意の数の出力に適用可能である。図26Aにおいて、状態変数再帰更新172によって提供される状態変数ベクトル173がまず、音響物体シミュレーションによって放射される音波面175を取得するために出力投影174に対して使用され、前記音波面が伝播のためにスカラー遅延線176に供給され、放射され伝播される音波面177をもたらす。逆に、状態波形実施形態を図示する図26Bでは、状態変数再帰更新178によって提供される状態変数ベクトル179がまず、状態変数ベクトル伝播のためにベクトル遅延線180に供給され、前記ベクトル遅延線からの傍受は、出力投影182を通じて放射され伝播される音波面183をもたらす、遅延された状態変数181のベクトルにつながる。

【0052】

状態波形実施形態、すなわちここで説明され図26Bにより例示されるものと同様の実施形態は、部分遅延補間により引き起こされるコストの増大を招き得るが、多様な適用例と実装の文脈では有利であり得ることが当業者には明らかであろう。それは、音響放射物体の周波数依存の音響放射特性のシミュレーションを可能にしながら、個々の波面伝播経路に専用の遅延線が必要ではなくなるからである。シミュレーションに含まれる動的に変化する音波面経路の数とは無関係に、遅延線の数は、音響放射物体シミュレーションおよびそれらの状態変数の数のみによって決定され得る。

【0053】

完全にするために、図27では、音響放射物体シミュレーションが図21に図示されるものと機能が同様であるが伝播も含む、実数並列再帰型フィルタによって実現されるような、非限定的な状態波形実施形態を図示する。簡潔にするために、2つの次数1の再帰型フィルタ、2つの次数2の再帰型フィルタ、および2つの出力のみが表示される。まず、音響放射物体シミュレーションの入力音響信号184が、次数1の再帰型フィルタ185と186の両方、ならびに、次数2の再帰型フィルタ187と188の両方へと供給される。前記再帰型フィルタの出力189、190、191、および192は、遅延線197、198、199、および200へとそれぞれ供給される。第1の放射され伝播された音響信号219を得るために、4つの遅延線が、音響信号219が移動する距離に従って共通の位置において傍受され、遅延されたフィルタリングされた変数193、194、195、および196をもたらす。次いで、出力音響信号219が、一次の遅延されたフィルタリングされた信号193および194の時間的に変化する線形結合215、ならびに、二次の遅延されたフィルタリングされた信号195および196の時間的に変化する線形結合216、ならびに、二次の遅延されたフィルタリングされた信号195および196の単位遅延されたバージョン205および206を加算することによって得られる。出力音響信号219を得る際に関与する時間的に変化する重み209、210、211、212、213、および214は、前記出力音響信号に対応する出力投影を記述する出力座標に対して、図21に図示される実施形態について説明されるように適応される。第2の放射され伝播された音響信号220を得るために、音響信号220が移動する距離に従って、共通の位置において4つの遅延線が傍受され、遅延されたフィルタリングされた変数201、202、203、および204をもたらす。したがって、次いで、出力音響信号220が、一次の遅延されたフィルタリングされた信号201および202の時間的に変化する線形結合217、二次の遅延されたフィルタリングされた信号203および204の時間的に変化する線形結合218、ならびに二次の遅延されたフィルタリングされた信号203および204の単位遅延されたバージョン207および208を加算することによって得られる。

【0054】

わかりやすくするために、ここで説明される例示的な状態波形実施形態に音響放射および伝播シミュレーションのみを含めたが、音響受信、周波数依存の減衰、および他の効果も本発明の教示のように適応され得ることに留意されたい。たとえば、周波数依存の減衰は、出力投影の後に適用される(たとえば、図26Bの信号183または図27の信号219に適用される)専用のデジタルフィルタを使用することによって、またはさらには、出力投影係数に関する出力投影(たとえば、図26Bの出力投影182において使用される係数によって、または図27において出力投影のために使用される係数209、210、211、212、213、もしくは214に組み込まれるような)の間にシミュレートされ得る。

【0055】

簡単な変形
本発明のシステムの柔軟性および多用途性により、簡単な変形も本発明の趣旨の範囲内にあり得る。汎用性の理由で、本発明の基礎を説明するために状態空間表現が選ばれた。状態空間表現では、簡潔にするためにフィードフォワード項は省略されたが、状態空間フィルタの実施形態において、またはしたがって、実数並列フィルタの実施形態においてフィードフォワード項を含めることは、当業者にとって簡単であるはずである。一致する入力および出力座標空間をもつ物体シミュレーションモデルは、物体による音の散乱をシミュレートするために構築され得る。たとえば、音響物体による音の散乱と放射、または音響物体による音の散乱と受信の両方をシミュレートすることが望ましく、本発明の教示に従いながら、共通の座標空間を、しかし別々の状態変数セットを使用すること、または共通の座標空間と状態変数セットの両方を使用することのいずれかによって、前記音響物体シミュレーションに対して、あらゆる必要とされる出力または入力座標空間が利用され得る。便利である可能性のある変形は、入力投影と出力投影のいずれかのときに、放射、受信、周波数依存の減衰、または他の望まれる効果を一緒にシミュレートする。たとえば、音響物体の音響放射特性および伝播または他の効果による周波数依存の減衰は、異なる音響物体による音響受信をモデル化するために使用される状態変数および固有値に関してシミュレートされ得る。これは、その入力座標が、前記音響物体による音響受信についての情報だけではなく、音響放射物体による音響放射、伝播される音の周波数依存の減衰、または、たとえば前記受信器物体の位置もしくは向きに対する音響放射物体の位置もしくは向きにより引き起こされる他の効果についての情報も包含する、受信器物体シミュレーションのために単独の再帰型フィルタ構造が使用され得ることを意味するので、いくつかの効果をシミュレートするために単独の入力投影演算しか必要とされず、計算の大幅な削減を達成する。

【符号の説明】

【0056】

10 状態変数ベクトル
11 時間的に変化する数の入力音響信号
12 時間的に変化する数の出力音響信号
13 時間的に変化する数の入力投影係数ベクトル
14 時間的に変化する数の出力投影係数ベクトル
15 第mの状態変数、第mの更新された状態変数
16 第nの状態変数、第nの更新された状態変数
17 第mの中間入力変数、第mの状態変数に対する中間入力変数
18 第nの中間入力変数、第nの状態変数に対する中間入力変数
19 線形結合
20 線形結合
21 重み、第mの位置、第mの状態変数の更新のための入力係数
22 重み、第nの位置、第nの状態変数の更新のための入力係数
23 第mの中間更新変数、第mの状態変数に対する中間更新変数
24 第mの中間更新変数、第nの状態変数に対する中間更新変数
25 単位遅延
27 線形結合
28 線形結合
29 線形結合
30 入力音響信号
31 線形結合
32 出力音響信号
40 可変入力部分
41 状態再帰部分
42 可変出力部分
43 第pの入力音響信号
44 第pの入力投影係数ベクトル
46 第pの中間入力ベクトル
47 ベクトル
48 ベクトル
50 単位遅延
51 状態変数、状態変数ベクトル
52 重み、第qの出力投影係数ベクトル
53 第qの出力音響信号
55 入力音響信号、入力音響信号ベクトル
56 非可変の入力行列
57 ベクトル行列乗算
59 入力音響信号、入力スカラー
60 ベクトル、1のベクトル
61 等しい分布
62 ベクトル
63 状態変数ベクトル
64 非可変の出力行列
65 ベクトル行列乗算
66 出力音響信号、出力ベクトル
67 状態変数、状態変数ベクトル
68 1のベクトル
69 1のベクトル、加算
70 出力音響信号、出力スカラー
71 投影モデル、入力投影モデル(パラメトリック)
72 入力座標ベクトル
73 モデル評価
74 入力投影係数ベクトル
75 投影モデル、テーブル、入力投影モデル(ルックアップテーブル)
76 入力座標のベクトル、入力座標
77 ルックアップ
78 入力投影係数ベクトル
79 投影モデル、テーブル、入力投影モデル(ルックアップテーブル)
80 入力座標のベクトル、入力座標
81 補間されたルックアップ
82 入力投影係数ベクトル
83 投影モデル、出力投影モデル(パラメトリック)
84 出力座標ベクトル、出力座標
85 モデル評価
86 出力投影係数ベクトル
87 投影モデル、テーブル、出力投影モデル(ルックアップテーブル)
88 出力座標のベクトル、出力座標
89 ルックアップ
90 出力投影係数ベクトル
91 投影モデル、テーブル、出力投影モデル(ルックアップテーブル)
92 出力座標ベクトル、出力座標
93 補間されたルックアップ
94 出力投影係数ベクトル
95 単一次数のHRTF物体シミュレーション、より次数の高い物体、高次モデル
96 単一次数のHRTF物体シミュレーション、中間の次数の物体、中次モデル
97 単一次数のHRTF物体シミュレーション、より次数の低い物体、低次モデル
98 直接場波面
99 直接場波面
100 波面、拡散場指向性成分
101 出力
102 出力
103 出力
104 出力
105 混合次数のHRTF物体シミュレーション、混合次数HRTFモデル
106 入力音響信号
107 次数1の再帰型フィルタ
108 次数1の再帰型フィルタ
109 次数2の再帰型フィルタ
110 次数2の再帰型フィルタ
111 一次フィルタリングされた信号
112 一次フィルタリングされた信号
113 二次フィルタリングされた信号
114 単位遅延されたバージョン
115 二次フィルタリングされた信号
116 単位遅延されたバージョン
119 時間的に変化する重み
120 時間的に変化する重み
121 時間的に変化する重み
122 時間的に変化する重み
123 線形結合
124 線形結合
125 第1の出力音響信号
126 線形結合
127 線形結合
128 第2の出力音響信号
129 出力音響信号
130 一次フィルタリングされた信号
131 一次フィルタリングされた信号
132 二次フィルタリングされた信号
133 二次フィルタリングされた信号
134 次数1の再帰型フィルタ
135 次数1の再帰型フィルタ
136 次数2の再帰型フィルタ
137 次数2の再帰型フィルタ
138 入力
139 入力
140 入力
142 第1の入力音響信号
143 第2の入力音響信号
144 単位遅延されたバージョン、信号
145 単位遅延されたバージョン、信号
146 時間的に変化する重み
147 時間的に変化する重み
148 実数値の重み
149 実数値の重み
150 実数値の重み
151 実数値の重み
152 始点、音響物体シミュレーションの出力、音響物体シミュレーションの第qの出力
153 遅延線
154 スケーリング
155 低次デジタルフィルタ、音響物体シミュレーションの入力
156 目的点、音響物体シミュレーションの第pの入力
157 始点、音響物体シミュレーションの出力、音響物体シミュレーションの第qの出力
158 遅延線
159 スケーリング
160 音響物体シミュレーションの入力、目的点、音響物体シミュレーションの第pの入力
161 始点、音響物体シミュレーションの出力、音響物体シミュレーションの第qの出力
162 遅延線
163 目的点、音響物体シミュレーションの入力、音響物体シミュレーションの第pの入力
164 可変出力
165 状態変数ベクトル
166 第qの状態変数ベクトル減衰
167 スカラー出力、第qの可変の出力、第qのスカラー出力
168 出力投影係数、第qの出力投影係数ベクトル
169 状態変数のベクトル
170 第qの出力投影
171 第qの状態減衰係数ベクトル
172 状態変数再帰更新
173 状態変数ベクトル
174 出力投影
175 音波面、出ていく波面
176 スカラー遅延線
177 伝播される波面、音波面
178 状態変数再帰更新
179 状態変数ベクトル
180 ベクトル遅延線
181 遅延された状態変数ベクトル
182 出力投影
183 音波面、信号、伝播される波面
184 入力音響信号
185 次数1の再帰型フィルタ
186 次数1の再帰型フィルタ
187 次数2の再帰型フィルタ
188 次数2の再帰型フィルタ
189 出力
190 出力
191 出力
192 出力
193 変数、一次の遅延されたフィルタリングされた信号、第1の出力の傍受位置
194 変数、一次の遅延されたフィルタリングされた信号、第1の出力の傍受位置
195 変数、二次の遅延されたフィルタリングされた信号、第1の出力の傍受位置
196 変数、二次の遅延されたフィルタリングされた信号、第1の出力の傍受位置
197 遅延線
198 遅延線
199 遅延線
200 遅延線
201 一次の遅延されたフィルタリングされた変数、第2の出力の傍受位置
202 一次の遅延されたフィルタリングされた変数、第2の出力の傍受位置
203 二次の遅延されたフィルタリングされた変数、第2の出力の傍受位置
204 二次の遅延されたフィルタリングされた変数、第2の出力の傍受位置
205 単位遅延されたバージョン
206 単位遅延されたバージョン
207 単位遅延されたバージョン
208 単位遅延されたバージョン
209 時間的に変化する重み、係数
210 時間的に変化する重み、係数
211 時間的に変化する重み、係数
212 時間的に変化する重み、係数
213 時間的に変化する重み、係数
214 時間的に変化する重み、係数
215 時間的に変化する線形結合
216 時間的に変化する線形結合
217 時間的に変化する線形結合
218 時間的に変化する線形結合
219 第1の遅延された出力音響信号、第1の放射され伝播された音響信号
220 第2の遅延された出力音響信号、第2の放射され伝播された音響信号

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9A】

【図9B】

【図9C】

【図10A】

【図10B】

【図10C】

【図11A】

【図11B】

【図12A】

【図12B】

【図12C】

【図12D】

【図13A】

【図13B】

【図14A】

【図14B】

【図15A】

【図15B】

【図15C】

【図15D】

【図16A】

【図16B】

【図17A】

【図17B】

【図17C】

【図17D】

【図17E】

【図17F】

【図18A】

【図18B】

【図18C】

【図18D】

【図19】

【図20A】

【図20B】

【図20C】

【図20D】

【図21】

【図22】

【図23A】

【図23B】

【図23C】

【図24A】

【図24B】

【図24C】

【図25】

【図26A】

【図26B】

【図27】

【手続補正書】

【提出日】2021-09-24

【手続補正1】

【補正対象書類名】明細書

【補正対象項目名】０００８

【補正方法】変更

【補正の内容】

【0008】

本発明の1つまたはいくつかの態様は、時間的に変化する、相互作用仮想聴覚レンダリングおよび立体音響システムにおける、音響放射および/または受信物体ならびに音伝播現象の、モデル化と数値シミュレーションの問題と欠点、不利益、および課題を克服する。本発明はいくつかの実施形態に関連して説明されるが、本発明はこれらの実施形態に限定されないことが理解されるだろう。

【手続補正2】

【補正対象書類名】明細書

【補正対象項目名】００１１

【補正方法】変更

【補正の内容】

【0011】

例示的な実施形態および説明のために状態空間用語を選ぶことは、本発明のいずれの他の可能な実施形態においても制約とはならない。逆に、この選択は、フィルタ構造の最も一般的な抽象化をもたらすので、当業者は、多様な形式で本発明を実践することができる。いくつかの場合、物体シミュレーションの状態空間表現は、可変の入力を示すが非可変の出力を示し(すなわち、前記状態空間フィルタの1つまたは複数の出力は数が固定されている)、したがって、所与の物体の音響受信能力をより良く表現することに適している。いくつかの他の場合には、物体シミュレーションの状態空間表現は、可変の出力を示すが非可変の入力を示し(すなわち、前記状態空間フィルタの1つまたは複数の入力は数が固定されている)、したがって、所与の物体の音響放射能力をより良く表現することに適している。これは、物体シミュレーションの状態空間表現が可変の入力と可変の出力の両方を表現する設計を妨げない。一般に、性能の向上のために、前記状態空間フィルタは好ましくは、一次および/または二次再帰型フィルタの並列の組合せを通じてモード形式で表現されてもよく、それにより、前記一次および/または二次再帰型フィルタのそれぞれの入力を取得することは、所与の時間において音響物体シミュレーションにより任意の数の入力音響信号の時間的に変化する線形結合が受信されることを伴い、所与の時間における前記音響物体シミュレーションによって放射される任意の数の出力音響信号を取得することは、前記一次および/または二次フィルタの出力の時間的に変化する線形結合を伴う。これらの事例のすべてにおいて、本発明は、状態変数の線形結合および既存の物体音響入力信号のいずれかの線形結合を伴う再帰によって状態変数が更新されるという点で、および、物体音響出力信号の計算が状態変数の線形結合を伴うという点で、維持される。状態空間用語において、本発明のフィルタ構造は、時間的に変化する入力行列および/または時間的に変化する出力行列のうちの1つを備える時間的に変化する状態空間フィルタとして記述されてもよく、前記入力行列は、所与の時間において音響物体シミュレーションにより受信される入力音響信号の数に依存する固定されたまたは可変のサイズを示し、前記入力行列は時間的に変化する係数を備え、前記出力行列は、所与の時間において音響物体シミュレーションによって放射される出力音響信号の数に依存する固定されたまたは可変のサイズを示し、前記出力行列は時間的に変化する係数を備える。

【手続補正3】

【補正対象書類名】明細書

【補正対象項目名】００５５

【補正方法】変更

【補正の内容】

【0055】

簡単な変形
本発明のシステムの柔軟性および多用途性により、簡単な変形もあり得る。汎用性の理由で、本発明の基礎を説明するために状態空間表現が選ばれた。状態空間表現では、簡潔にするためにフィードフォワード項は省略されたが、状態空間フィルタの実施形態において、またはしたがって、実数並列フィルタの実施形態においてフィードフォワード項を含めることは、当業者にとって簡単であるはずである。一致する入力および出力座標空間をもつ物体シミュレーションモデルは、物体による音の散乱をシミュレートするために構築され得る。たとえば、音響物体による音の散乱と放射、または音響物体による音の散乱と受信の両方をシミュレートすることが望ましく、本発明の教示に従いながら、共通の座標空間を、しかし別々の状態変数セットを使用すること、または共通の座標空間と状態変数セットの両方を使用することのいずれかによって、前記音響物体シミュレーションに対して、あらゆる必要とされる出力または入力座標空間が利用され得る。便利である可能性のある変形は、入力投影と出力投影のいずれかのときに、放射、受信、周波数依存の減衰、または他の望まれる効果を一緒にシミュレートする。たとえば、音響物体の音響放射特性および伝播または他の効果による周波数依存の減衰は、異なる音響物体による音響受信をモデル化するために使用される状態変数および固有値に関してシミュレートされ得る。これは、その入力座標が、前記音響物体による音響受信についての情報だけではなく、音響放射物体による音響放射、伝播される音の周波数依存の減衰、または、たとえば前記受信器物体の位置もしくは向きに対する音響放射物体の位置もしくは向きにより引き起こされる他の効果についての情報も包含する、受信器物体シミュレーションのために単独の再帰型フィルタ構造が使用され得ることを意味するので、いくつかの効果をシミュレートするために単独の入力投影演算しか必要とされず、計算の大幅な削減を達成する。

【手続補正4】

【補正対象書類名】特許請求の範囲

【補正対象項目名】全文

【補正方法】変更

【補正の内容】

【特許請求の範囲】

【請求項1】

少なくとも1つの可変の状態空間フィルタを利用する音響受信の数値シミュレーションのためのシステムであって、
前記可変の状態空間フィルタが、時間的に変化するサイズおよび時間的に変化する係数の入力行列を備え、
前記システムが、時間的に可変の数の入力音響信号(11,43)を受信するための手段を備え、
前記システムが、前記入力音響信号のうちの少なくとも1つに関連付けられる時間的に変化する数の入力座標信号(72,76,80)を受信するための手段を備え、
前記入力行列に含まれる投影ベクトル(13,44)の数が時間的に変化し、前記入力音響信号の数に少なくとも一部基づいて決定されることにより、前記入力行列の前記時間的に変化するサイズは特徴付けられ、前記投影ベクトルのうちの少なくとも1つが、前記入力音響信号のうちの1つに関連付けられ、
前記システムが、前記投影ベクトルのうちの少なくとも1つに含まれる係数のうちの少なくとも1つへと前記入力座標信号のうちの少なくとも1つを変換するための手段を備え、当該手段が、パラメトリックモデルを評価すること(73)またはテーブルックアップを実行すること(77,81)を含み、
前記可変の状態空間フィルタを駆動するために使用される入力ベクトルのサイズが時間的に変化し、前記入力音響信号のうちの少なくとも1つが前記入力ベクトルの1つの成分へと供給される
ことを特徴とする、システム。

【請求項2】

少なくとも1つの可変の状態空間フィルタを利用する音響放射の数値シミュレーションのためのシステムであって、
前記可変の状態空間フィルタが、時間的に変化するサイズおよび時間的に変化する係数の出力行列を備え、
前記システムが、時間的に変化する数の出力音響信号(12,53)を提供するための手段を備え、
前記システムが、前記出力音響信号のうちの少なくとも1つに関連付けられる時間的に変化する数の出力座標信号(84,88,92)を受信するための手段を備え、
前記出力行列に含まれる投影ベクトル(14,52)の数が時間的に変化し、前記出力音響信号の数に少なくとも一部基づいて決定されることにより前記出力行列の前記時間的に変化するサイズが特徴付けられ、前記投影ベクトルのうちの少なくとも1つが、前記出力音響信号のうちの1つに関連付けられ、
前記システムが、前記投影ベクトルのうちの少なくとも1つに含まれる係数のうちの少なくとも1つへと前記出力座標信号のうちの少なくとも1つを変換するための手段を備え、当該手段は、パラメトリックモデルを評価する(85)、またはテーブルルックアップを実行し(89,93)、
前記可変の状態空間フィルタによって提供される出力ベクトルのサイズが時間的に変化し、前記出力音響信号のうちの少なくとも1つが前記出力ベクトルの1つの成分から供給される
ことを特徴とする、システム。

【請求項3】

一次および/または二次再帰型フィルタ(130,132)の並列アレイとして等価的に動作するように構成され、
前記再帰型フィルタが、前記入力音響信号(142,143)および/または前記入力音響信号(145)の単位遅延されたコピーの線形結合(138,140)を供給され、前記線形結合が、前記入力座標信号から変換された時間的に変化する係数(146,148,149)を使用する、請求項1に記載のシステム。

【請求項4】

一次および/または二次再帰型フィルタ(107,109)の並列アレイとして等価的に動作するように構成され、前記出力音響信号(125,128)が、前記再帰型フィルタの出力および/または前記再帰型フィルタの前記出力の単位遅延されたバージョン(111,113,114)の線形結合(123,124)によって得られ、前記線形結合が、前記出力座標信号から変換された時間的に変化する係数(117,120)を使用する、請求項2に記載のシステム。

【請求項5】

伝播の結果として受信された入力音響信号が受ける周波数依存の減衰の効果が、前記入力音響信号にそれぞれ関連付けられる投影ベクトルに含まれる係数のうちの少なくとも1つをスケーリングすることによって得られることを特徴とする、請求項1に記載のシステム。

【請求項6】

伝播の結果として放射された出力音響信号が受ける周波数依存の減衰の効果が、前記出力音響信号にそれぞれ関連付けられる投影ベクトルに含まれる係数のうちの少なくとも1つをスケーリングすることによって得られることを特徴とする、請求項2に記載のシステム。

【請求項7】

伝播の結果として受信された入力音響信号が受ける周波数依存の減衰の効果が、前記入力音響信号を線形結合するために利用される係数のうちの少なくとも1つをスケーリングすることによって得られることを特徴とする、請求項3に記載のシステム。

【請求項8】

伝播の結果として放射された出力音響信号が受ける周波数依存の減衰の効果が、前記出力音響信号を取得するために使用される線形結合において利用される係数のうちの少なくとも1つをスケーリングすることによって得られることを特徴とする、請求項4に記載のシステム。

【請求項9】

伝播の結果として受信された入力音響信号が受ける周波数依存の減衰の効果が、音響受信の前記シミュレーションに含まれることを特徴とし、
前記入力座標信号(72,76,80)のうちの少なくとも1つが、位置、向き、伝播距離、伝播により引きこされる減衰、または障害物により引き起こされる減衰のうちの少なくとも1つの特質についての情報を伝える、請求項1または3に記載のシステム。

【請求項10】

伝播の結果として放射された出力音響信号が受ける周波数依存の減衰の効果が、音響放射の前記シミュレーションに含まれることを特徴とし、
前記出力座標信号(84,88,92)のうちの少なくとも1つが、位置、向き、伝播距離、伝播により引き起こされる減衰、または障害物により引き起こされる減衰のうちの少なくとも1つの特質についての情報を伝える、請求項2または4に記載のシステム。

【請求項11】

さらに、前記可変の状態空間フィルタの状態変数ベクトル(179)に含まれる状態変数と同じ数の可変長の遅延線(180)を備え、前記状態変数が前記遅延線へと供給され、
前記出力行列によって記述され、出力音響信号を提供するために必要とされる、状態変数の線形結合のうちの少なくとも1つが代わりに、前記状態変数の遅延されたバージョン(181)に対して実行され、前記出力音響信号の放射と伝播が、所望の長さにおいて前記遅延線から傍受して遅延された状態変数(181)を取得し、前記出力座標信号から変換された係数(182)を利用することによって前記遅延された状態変数を線形結合することによって、一緒にシミュレートされることを特徴とする、請求項2に記載のシステム。

【請求項12】

伝播の結果として前記出力音響信号が受ける周波数依存の減衰の効果が、前記遅延された状態変数を線形結合するために利用される係数のうちの少なくとも1つをスケーリングすることによって得られることを特徴とする、請求項11に記載のシステム。

【請求項13】

伝播の結果として放射された出力音響信号が受ける周波数依存の減衰の効果が、音響放射の前記シミュレーションに含まれることを特徴とし、前記出力座標(84,88,92)のうちの少なくとも1つが、位置、向き、伝播距離、伝播により引き起こされる減衰、または障害物により引き起こされる減衰のうちの少なくとも1つの特質についての情報を伝える、請求項11に記載のシステム。

【請求項14】

さらに、前記システムに含まれる一次および/または二次再帰型フィルタ(186,187)と同じ数の可変長の遅延線(198,199)を備え、前記再帰型フィルタの前記出力が前記遅延線へと供給され、
出力音響信号を提供するために必要とされる一次および/または二次再帰型フィルタ出力(190,191)の線形結合のうちの少なくとも1つが代わりに、前記再帰型フィルタ出力の遅延されたバージョン(202,203)に対して実行され、前記出力音響信号の放射と伝播が、所望の長さにおいて前記遅延線から傍受して遅延された再帰型フィルタ出力(201,205)を取得し、前記出力座標信号から変換された係数(209,211)を利用することによって前記遅延された再帰型フィルタ出力を線形結合することによって、一緒にシミュレートされることを特徴とする、請求項4に記載のシステム。

【請求項15】

伝播の結果として前記出力音響信号が受ける周波数依存の減衰の効果が、前記遅延された再帰型フィルタ出力を線形結合するために利用される時間的に変化する係数のうちの少なくとも1つをスケーリングすることによって得られることを特徴とする、請求項14に記載のシステム。

【請求項16】

伝播の結果として放射された出力音響信号が受ける周波数依存の減衰の効果が、音響放射の前記シミュレーションに含まれることを特徴とし、前記出力座標(84,88,92)のうちの少なくとも1つが、位置、向き、伝播距離、伝播により引き起こされる減衰、または障害物により引き起こされる減衰のうちの少なくとも1つの特質についての情報を伝える、請求項14に記載のシステム。

【請求項17】

時間的に変化するサイズおよび時間的に変化する係数の入力行列を提示する可変の状態空間フィルタを利用する、音響受信の数値シミュレーションのための方法であって、
1つまたは複数の入力音響信号を受信するステップと、
前記入力音響信号のうちの少なくとも1つに関連付けられる1つまたは複数の入力座標信号を受信するステップと、
1つまたは複数の投影ベクトルを備えるように前記入力行列のサイズを適応させるステップであって、前記投影ベクトルの数が前記入力音響信号の数に少なくとも一部基づいて決定される、ステップと、
前記入力座標信号のうちの少なくとも1つを、前記入力行列に含まれる前記投影ベクトルのうちの少なくとも1つに含まれる係数のうちの少なくとも1つへと変換するステップであって、前記入力座標信号を変換するために利用される手段が、パラメトリックモデルを評価すること、またはテーブルルックアップを実行することを含む、ステップと、
前記可変の状態空間フィルタの入力に前記入力音響信号を供給して、前記可変の状態空間フィルタの出力を集めて少なくとも1つの出力音響信号を提供するステップと
を含む、方法。

【請求項18】

前記可変の状態空間フィルタが、
一次および/または二次再帰型フィルタのアレイとして等価的に動作するように構成されることを特徴とし、前記動作が、
1つまたは複数の入力音響信号を受信するステップと、
前記入力音響信号のうちの少なくとも1つに関連付けられる1つまたは複数の入力座標信号を受信するステップと、
前記入力音響信号の線形結合を前記再帰型フィルタに供給するステップであって、前記線形結合が前記入力座標信号から変換された係数を利用し、前記入力座標信号を変換するために利用される手段が、パラメトリックモデルを評価すること、またはテーブルルックアップを実行することを含む、ステップと、
前記再帰型フィルタの出力および/または前記再帰型フィルタの前記出力の単位遅延されたバージョンを線形結合することによって、少なくとも1つの出力音響信号を提供するステップとを含む、請求項17に記載の方法。

【請求項19】

時間的に変化するサイズおよび時間的に変化する係数の出力行列を提示する可変の状態空間フィルタを利用する、音響放射の数値シミュレーションのための方法であって、
1つまたは複数の入力音響信号を受信するステップと、
前記可変の状態空間フィルタの出力を集めることによって、提供されるべき少なくとも1つまたは複数の出力音響信号に関連付けられる1つまたは複数の出力座標信号を受信するステップと、
1つまたは複数の投影ベクトルを備えるように、前記出力行列のサイズを適応させるステップであって、前記投影ベクトルの数が、前記出力音響信号の数に少なくとも一部基づいて決定される、ステップと、
前記出力行列に含まれる前記投影ベクトルのうちの少なくとも1つに含まれる時間的に変化する係数のうちの少なくとも1つへと前記出力座標信号のうちの少なくとも1つを変換するステップであって、前記出力座標信号を変換するために利用される手段が、パラメトリックモデルを評価すること、またはテーブルルックアップを実行することを含む、ステップと、
前記可変の状態空間フィルタの入力に前記入力音響信号を供給して、前記可変の状態空間フィルタの出力を集めて前記出力音響信号を提供するステップと
を含む、方法。

【請求項20】

前記可変の状態空間フィルタが、
一次および/または二次再帰型フィルタのアレイとして等価的に動作するように構成されることを特徴とし、前記動作が、
1つまたは複数の入力音響信号を受信するステップと、
前記再帰型フィルタの出力および/または前記再帰型フィルタの前記出力の単位遅延されたバージョンの線形結合によって得られるべき、少なくとも1つまたは複数の出力音響信号に関連付けられる1つまたは複数の出力座標信号を受信するステップと、
前記入力音響信号の線形結合を前記再帰型フィルタに供給するステップと、
前記再帰型フィルタの出力および/または前記再帰型フィルタの前記出力の単位遅延されたバージョンを線形結合することによって、前記出力音響信号を提供するステップであって、前記線形結合が、前記出力座標信号から変換される時間的に変化する係数を利用する、ステップとを含む、請求項19に記載の方法。

【請求項21】

伝播の結果として受信された入力音響信号が受ける周波数依存の減衰の効果が、音響受信の前記シミュレーションに含まれることを特徴とし、前記入力座標信号(72,76,80)のうちの少なくとも1つが、位置、向き、伝播距離、伝播により引き起こされる減衰、または障害物により引き起こされる減衰のうちの少なくとも1つの特質についての情報を伝える、請求項17または18に記載の方法。

【請求項22】

伝播の結果として放射された出力音響信号が受ける周波数依存の減衰の効果が、音響放射の前記シミュレーションに含まれることを特徴とし、前記出力座標信号(84,88,92)のうちの少なくとも1つが、位置、向き、伝播距離、伝播により引き起こされる減衰、または障害物により引き起こされる減衰のうちの少なくとも1つの特質についての情報を伝える、請求項19または20に記載の方法。

【請求項23】

さらに、前記可変の状態空間フィルタの状態変数を可変長の遅延線へと供給するステップを含むことを特徴とし、
前記出力行列によって記述され、出力音響信号を提供するために必要とされる、状態変数の線形結合のうちの少なくとも1つが代わりに、前記状態変数の遅延されたバージョンに対して実行され、前記出力音響信号の放射と伝播が、所望の長さにおいて前記遅延線から傍受して遅延された状態変数を取得するステップ、および前記出力座標信号から変換された係数を利用することによって前記遅延された状態変数を線形結合するステップによって、一緒にシミュレートされることを特徴とする、請求項19に記載の方法。

【請求項24】

さらに、前記一次および/または二次再帰型フィルタの出力を可変長の遅延線へと供給するステップを含むことを特徴とし、
出力音響信号を提供するために必要とされる一次および/または二次再帰型フィルタ出力の線形結合のうちの少なくとも1つが代わりに、前記再帰型フィルタ出力の遅延されたバージョンに対して実行され、前記出力音響信号の送信と伝播が、所望の長さにおいて前記遅延線から傍受して遅延された再帰型フィルタ出力を取得するステップ、および前記出力座標信号から変換された係数を利用することによって前記遅延された再帰型フィルタ出力を線形結合するステップによって、一緒にシミュレートされることを特徴とする、請求項20に記載の方法。

【請求項25】

伝播の結果として放射された出力音響信号が受ける周波数依存の減衰の効果が、音響放射の前記シミュレーションに含まれることを特徴とし、前記出力座標(84,88,92)のうちの少なくとも1つが、位置、向き、伝播距離、伝播により引き起こされる減衰、または障害物により引き起こされる減衰のうちの少なくとも1つの特質についての情報を伝える、請求項23または24に記載の方法。

【国際調査報告】