特許 6546698 レンダリングシステム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6546698

(24)【登録日】2019年6月28日

(45)【発行日】2019年7月17日

(54)【発明の名称】レンダリングシステム

(51)【国際特許分類】

   H04S 7/00 20060101AFI20190705BHJP

   G10K 15/00 20060101ALI20190705BHJP

   G10L 21/0272 20130101ALI20190705BHJP

   H04R 3/12 20060101ALI20190705BHJP

【ＦＩ】

   H04S7/00 300

   G10K15/00 L

   G10L21/0272 100B

   H04R3/12 Z

【請求項の数】17

【全頁数】26

(21)【出願番号】特願2018-515782(P2018-515782)

(86)(22)【出願日】2016年8月10日

(65)【公表番号】特表2018-533296(P2018-533296A)

(43)【公表日】2018年11月8日

(86)【国際出願番号】EP2016069074

(87)【国際公開番号】WO2017050482

(87)【国際公開日】20170330

【審査請求日】2018年5月25日

(31)【優先権主張番号】102015218527.3

(32)【優先日】2015年9月25日

(33)【優先権主張国】DE

(73)【特許権者】

【識別番号】594102418

【氏名又は名称】フラウンホーファー−ゲゼルシャフト ツル フェルデルング デル アンゲヴァンテン フォルシュング エー ファウ

【氏名又は名称原語表記】Ｆｒａｕｎｈｏｆｅｒ−Ｇｅｓｅｌｌｓｃｈａｆｔ ｚｕｒ Ｆｏｅｒｄｅｒｕｎｇ ｄｅｒ ａｎｇｅｗａｎｄｔｅｎ Ｆｏｒｓｃｈｕｎｇ ｅ．Ｖ．

(74)【代理人】

【識別番号】110000486

【氏名又は名称】とこしえ特許業務法人

(72)【発明者】

【氏名】クリスティアン ホフマン

(72)【発明者】

【氏名】ヴァルター ケラーマン

【審査官】 大石 剛

(56)【参考文献】

【文献】 特開昭６１−２１２９９６（ＪＰ，Ａ）

【文献】 特開２０１１−１９３１９５（ＪＰ，Ａ）

【文献】 特開２０１４−０９３６９７（ＪＰ，Ａ）

【文献】 特表２０１６−５３４６６７（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ１０Ｋ １５／００

Ｇ１０Ｌ ２１／０２７２

Ｈ０４Ｒ ３／１２

Ｈ０４Ｓ ７／００

(57)【特許請求の範囲】

【請求項1】

【請求項2】

【請求項3】

【請求項4】

【請求項5】

【請求項6】

いくつかの仮想音源のうちの少なくとも１つの変化および前記仮想音源のうちの少なくとも１つの位置の変化に応答して、前記信号処理ユニットが、前記変化した仮想音源に対応するレンダリングフィルタ伝達関数行列を使用して前記スピーカ・エンクロージャ・マイクロホン伝達関数行列推定値の少なくともいくつかの構成要素を更新するように構成される、請求項１から５のいずれか一項に記載のレンダリングシステム。

【請求項7】

【請求項8】

【請求項9】

【請求項10】

仮想音源の数（Ｎ_Ｓ）が、スピーカの数（Ｎ_Ｌ）よりも小さい、請求項１から９のいずれか一項に記載のレンダリングシステム。

【請求項11】

前記仮想音源の信号が、統計的に独立している、請求項１から１０のいずれか一項に記載のレンダリングシステム。

【請求項12】

【請求項13】

レンダリングフィルタ伝達関数行列（Ｈ_Ｄ）を使用して複数のスピーカと少なくとも１つのマイクロホンとの間の音響経路を記述したスピーカ・エンクロージャ・マイクロホン伝達関数行列（Ｈ）の少なくともいくつかの構成要素を決定するステップであって、前記レンダリングフィルタ伝達関数行列（Ｈ_Ｄ）を使用していくつかの音源信号が前記複数のスピーカを用いて再生される、決定するステップを含む、方法。

【請求項14】

【請求項15】

請求項１３および１４のいずれか一項に記載の方法を実施するためのコンピュータプログラム。

【請求項16】

【請求項17】

【発明の詳細な説明】

【技術分野】

【0001】

実施形態は、レンダリングシステムおよびその動作方法に関する。いくつかの実施形態は、音源特有システム同定に関する。

【背景技術】

【0002】

音響エコーキャンセレーション（ＡＥＣ：Ａｃｏｕｓｔｉｃ Ｅｃｈｏ Ｃａｎｃｅｌｌａｔｉｏｎ）またはリスニングルームイコライゼーション（ＬＲＥ）などの適用例は、音響多重入出力（ＭＩＭＯ：Ｍｕｌｔｉｐｌｅ−Ｉｎｐｕｔ／Ｍｕｌｔｉｐｌｅ−Ｏｕｔｐｕｔ）システムの同定を必要とする。実際には、マルチチャンネル音響システム同定は、１つよりも多くのスピーカを用いて仮想音響シーンをレンダリングするときに典型的に起きる強く相互相関されたスピーカ信号に見舞われる。計算の複雑性は、ＭＩＭＯシステムを通る少なくとも音響経路の数とともに増大するが、それは、Ｎ_ＬのスピーカおよびＮ_Ｍのマイクロホンに対するＮ_Ｌ・Ｎ_Ｍである。一般周波数領域適応フィルタリング［ＧＦＤＡＦ］［ＢＢＫ０５］などのマルチチャンネルフィルタ適応のためのロバストな高速収束アルゴリズムは、相互相関されたスピーカ信号の関与する方程式の線形システムをコレスキー分解［ＧＶＬ９６］で確実に解いたとき、Ｎ_Ｌ^３の複雑性さえ有する。さらに、スピーカの数が仮想音源の数Ｎ_Ｓ（すなわち、独立した信号により空間的に分離された音源の数）よりも大きい場合、スピーカからＬＥＭＳのマイクロホンまでの音響経路を一意的に決定することはできない。このいわゆる非一意性の問題［ＢＭＳ９８］は実際には不可避なので、ＬＥＭＳの可能な解の無限に大きな組が存在し、そのうちから１つだけが真のＬＥＭＳに対応する。

【0003】

過去数十年にわたって、計算負担をわずかに増加しながら、非一意性の問題に対処するためにスピーカ信号の非線形［ＭＨＢＯ１］または時変［ＨＢＫ０７、ＳＨＫ１３］前処理が提案されてきた。他方、ＷＤＡＦの概念は、計算の複雑性および非一意性の問題［ＳＫ１４］の両方を軽減し、均一で、同心、円形のスピーカおよびマイクロホンの配列に最適である。このために、ＷＤＡＦは、音場を音波方程式の基本解に分解する空間変換を採用し、空間変換領域における近似モデルおよび高度な正則化を可能とする［ＳＫ１４］。音源領域適応フィルタリング（ＳＤＡＦ：Ｓｏｕｒｃｅ−Ｄｏｍａｉｎ Ａｄａｐｔｉｖｅ Ｆｉｌｔｅｒｉｎｇ）［ＨＢＳｌＯ］として知られる別のアプローチは、結果として生じる高い時変変換領域における音響エコー経路の効果的なモデリングを可能とするためにスピーカおよびマイクロホン信号に対してデータ駆動時空間変換を実施する。さらに、同定されたシステムは、ＬＥＭＳを表さないが、信号に依存した近似値である。別の適応方式は、実際にＷＤＡＦによって近似される固有空間適応フィルタリング（ＥＡＦ）と呼ばれる［ＳＢ Ｒ０６］。前述したアプローチでは、Ｎ_Ｌ＝Ｎ_Ｍ＝ＮであるＮ２チャンネル音響ＭＩＭＯシステムは、信号をシステムの固有空間に変換した後のＮの経路に正確に対応するはずである。［ＨＢ１３］の方法では、ＬＥＭＳの必要な固有空間を推定するための反復アプローチが説明されている。これらのアプローチは、いずれも、オブジェクトベースのレンダリングシステムからの側路情報を採用しない。ＷＤＡＦだけでも、変換領域ＬＥＭＳに関する事前知識を利用していないが、空間の変換器の配置（均一で、円形、同心のスピーカおよびマイクロホンの配列）を想定している。

【発明の概要】

【発明が解決しようとする課題】

【0004】

したがって、スピーカ・エンクロージャ・マイクロホンシステムを同定するための計算の複雑性を低減することが本発明の目的である。

【課題を解決するための手段】

【0005】

この目的は、独立請求項によって解決される。

【0006】

有利な実装形態は、従属請求項によって対処される。

【0007】

本発明の実施形態は、複数のスピーカと、少なくとも１つのマイクロホンと、信号処理ユニットとを備えるレンダリングシステムを提供する。信号処理ユニットは、いくつかの仮想音源が複数のスピーカを用いて再生されるのに使用されるレンダリングフィルタ伝達関数行列を使用して複数のスピーカと少なくとも１つのマイクロホンとの間の音響経路を記述したスピーカ・エンクロージャ・マイクロホン伝達関数行列推定値の少なくともいくつかの構成要素を決定するように構成される。

【0008】

他の実施形態は、複数のスピーカと、少なくとも１つのマイクロホンと、信号処理ユニットとを備えるレンダリングシステムを提供する。信号処理ユニットは、複数のスピーカを用いて再生されるいくつかの仮想音源と、少なくとも１つのマイクロホンとの間の音響経路を記述した音源特有伝達関数行列（ＨＳ）の少なくともいくつかの構成要素を推定し、音源特有伝達関数行列を使用して複数のスピーカと少なくとも１つのマイクロホンとの間の音響経路を記述したスピーカ・エンクロージャ・マイクロホン伝達関数行列推定値の少なくともいくつかの構成要素を決定するように構成される。

【0009】

本発明の概念によれば、スピーカ・エンクロージャ・マイクロホン伝達関数行列によって記述することができるスピーカ・エンクロージャ・マイクロホンシステムを同定するための計算の複雑性は、スピーカ・エンクロージャ・マイクロホン伝達関数行列の推定値を決定するとき、レンダリングフィルタ伝達関数行列を使用することによって低減することができる。レンダリングフィルタ伝達関数行列は、レンダリングシステムに利用可能であり、それによって、複数のスピーカを用いていくつかの仮想音源を再生するのに使用される。さらに、スピーカ・エンクロージャ・マイクロホン伝達関数行列を直接推定する代わりに、いくつかの仮想音源と少なくとも１つのマイクロホンとの間の音響経路を記述した音源特有伝達関数行列の少なくともいくつかの構成要素を、スピーカ・エンクロージャ・マイクロホン伝達関数行列の推定値を決定するためのレンダリングフィルタ伝達関数行列に関連して推定し、使用することができる。

【0010】

実施形態において、信号処理ユニットは、レンダリングフィルタ伝達関数行列の列空間に感受性があるスピーカ・エンクロージャ・マイクロホン伝達関数行列推定値の構成要素（またはそれらの構成要素だけ）を決定するように構成することができる。

【0011】

それによって、スピーカ・エンクロージャ・マイクロホン伝達関数行列推定値を決定するための計算の複雑性をさらに低減することができる。

【0012】

【0013】

実施形態において、信号処理ユニットは、いくつかの仮想音源のうちの少なくとも１つの変化または仮想音源のうちの少なくとも１つの位置の変化に応答して、変化した仮想音源に対応するレンダリングフィルタ伝達関数行列を使用してスピーカ・エンクロージャ・マイクロホン伝達関数行列推定値の少なくともいくつかの構成要素を更新するように構成することができる。

【0014】

【0015】

【0016】

それと共に、信号処理ユニットの平均負荷を低減することができ、それは、信号処理に加えて、他の、よりタイムクリティカルでないタスクを実施しなければならない、マルチコアスマートフォンまたはタブレット、またはデバイスなどの限定された電力資源を有する計算的に強力なデバイスに有利であり得る。

【0017】

【0018】

これは、計算的により強力でない処理デバイスの場合、非常に大型のシステムの同定には有利であり、または１つの処理デバイスを他のタイムクリティカルな適用例（例えば、自動車のヘッドユニット）と共用するとき、信号処理適用例によって生じた最大負荷は低減されることになる。

【0019】

すべての共通のアプローチと異なり、実施形態は、計算の複雑性を低減するために、およびＬＥＭＳを一意的に決定することができないが関与する適応フィルタリング問題の一意解を可能にするために、オブジェクトベースのレンダリングシステム（例えば、統計的に独立した音源信号および対応するレンダリングフィルタ）からの事前情報を採用する。さらに、いくつかの実施形態は、最大の計算の複雑性または平均の計算の複雑性のいずれかの最小化を可能とする柔軟な概念を提供する。

【0020】

他の実施形態は、いくつかの音源信号が複数のスピーカを用いて再生されるのに使用されるレンダリングフィルタ伝達関数行列を使用して複数のスピーカと少なくとも１つのマイクロホンとの間の音響経路を記述したスピーカ・エンクロージャ・マイクロホン伝達関数行列を決定するステップを含む方法を提供する。

【0021】

他の実施形態は、複数のスピーカを用いて再生されるいくつかの仮想音源と少なくとも１つのマイクロホンとの間の音響経路を記述した音源特有伝達関数行列の少なくともいくつかの構成要素を推定するステップと、音源特有伝達関数行列を使用して複数のスピーカと少なくとも１つのマイクロホンとの間の音響経路を記述したスピーカ・エンクロージャ・マイクロホン伝達関数行列推定値の少なくともいくつかの構成要素を決定するステップとを含む方法を提供する。

【0022】

本発明の実施形態は、添付の図面を参照して本明細書に説明する。

【図面の簡単な説明】

【0023】

【図1】本発明の実施形態による、レンダリングシステムの概略構成図である。

【図2】伝統的なスピーカ・エンクロージャ・マイクロホンシステム同定によって、および実施形態による音源特有システム同定によってモデル化すべき経路の比較の概略図である。

【図3】スピーカ・エンクロージャ・マイクロホン伝達関数行列（ＬＥＭＳ Ｈ）を推定するのに従来使用された信号経路の概略構成図である。

【図4】実施形態による、音源特有伝達関数行列（音源特有システムＨ_Ｓ）を推定するのに使用される信号経路の概略構成図である。

【図5】同定されたシステム構成要素が累積するＬＥＭＳの背景モデルを用いて異なる間隔の間の一定の音源構成および知識転換の間隔の間に音源特有システムを同定することによるＬＥＭＳの効率的な同定の例の概略図である。

【図6】実施形態による、平均負荷用に最適化されたシステム同定に使用される信号経路の概略構成図である。

【図7】実施形態による、最大負荷用に最適化されたシステム同定に使用される信号経路の概略構成図である。

【図8】実施形態による、４８のスピーカと１つのマイクロホンとを用いたレンダリングシステムの空間的配置の概略構成図である。

【図9A】実施形態による、４８のスピーカと１つのマイクロホンとを用いたレンダリングシステムの空間的配置の概略構成図である。

【図9B】低次元の音源特有システムの直接推定からの、および高次元のＬＥＭＳの推定からの図９ａのレンダリングシステムのマイクロホンにおける正規化残余誤差信号を示すグラフである。

【図10A】実施形態による、４８のスピーカと１つのマイクロホンとを用いたレンダリングシステムの空間的配置の概略構成図である。

【図10B】直接ＬＥＭＳ更新と比較して低次元の音源特有システムをＬＥＭＳ推定値に変換することによって実現可能なシステム誤差ノルムを示すグラフである。

【図11】本発明の実施形態による、レンダリングシステムを動作させるための方法の流れ図である。

【図12】本発明の実施形態による、レンダリングシステムを動作せるための方法の流れ図である。

【発明を実施するための形態】

【0024】

等しいかまたは同等の機能を有する等しいかまたは同等の要素を、以下の説明において等しいかまたは同等の参照番号で示す。

【0025】

以下の説明において、本発明の実施形態のより完全な説明を行うために複数の詳細を記載する。しかし、これらの具体的な詳細なしで本発明の実施形態を実施することができることは当業者には明らかであろう。他の場合、周知の構造およびデバイスは、本発明の実施形態を曖昧にするのを避けるために詳細にではなく、構成図の形で示す。さらに、以下に説明する異なる実施形態の特徴は、特に他の記載がない限り、互いに組み合わせることができる。

【0026】

【0027】

実施形態において、信号処理ユニット１０６は、仮想音源１０８に関連付けられた音源信号からの個々のスピーカ信号（または個々のスピーカ１０２によって再生されることになっている信号）を計算するためのレンダリングフィルタ伝達関数行列Ｈ_Ｄを使用するように構成することができる。それによって、通常、スピーカ１０２のうちの１つよりも多くは、仮想音源１０８に関連付けられた音源信号のうちの１つを再生するのに使用される。信号処理ユニット１０６は、例えば、固定または可動コンピュータ、スマートフォン、タブレットを用いて、または専用信号処理ユニットとして実装することができる。

【0028】

レンダリングシステムは、最大Ｎ_Ｌまでのスピーカ１０２を備えることができ、ここで、Ｎ_Ｌは２以上の自然数、Ｎ_Ｌ≧２である。さらに、レンダリングシステムは、最大Ｎ_Ｍまでのマイクロホンを備えることができ、ここで、Ｎ_Ｍは１以上の自然数、Ｎ_Ｍ≧１である。仮想音源の数Ｎ_Ｓは、１以上、Ｎ_Ｓ≧１でよい。それによって、仮想音源の数Ｎ_Ｓは、スピーカの数Ｎ_Ｌ未満、Ｎ_Ｓ＜Ｎ_Ｌである。

【0029】

【0030】

【0031】

言い換えれば、続いて、音源特有システム同定（ＳＳＳｙｓｉｄ）の実施形態、および音源特有システム同定の実施形態に基づいて最大の計算の複雑性または平均の計算の複雑性のいずれかの最小化を可能にする実施形態を説明する。音源特有システム同定の実施形態は、固有のおよび効率的なフィルタ適応を可能にし、同定されたフィルタから有効なＬＥＭＳ推定値を導き出すための数学的基礎を提供するが、平均および最大負荷用に最適化されたシステムの実施形態は、処理資源の柔軟な適用例特有の使用を可能にする。

【0032】

【0033】

【0034】

前に述べたように、マルチチャンネル音響システム同定は、１つよりも多くのスピーカを用いて音響シーンをレンダリングしたとき典型的に起きる強く相互相関されたスピーカ信号に見舞われる。仮想音源よりも多いスピーカ（Ｎ_Ｌ＞Ｎ_Ｓ）の場合、ＬＥＭＳ Ｈの音響経路は、一意的に決定することができない（「非一意性の問題」［ＢＭＳ９８］）。これは、Ｈの可能な解の無限に大きな組が存在することを意味し、その組から１つだけが真のＬＥＭＳ Ｈに対応する。

【0035】

【0036】

【0037】

【0038】

【0039】

したがって、Ｈ_Ｄの列空間に感受性があるＬＥＭＳ構成要素だけが特定のＨ_Ｓから推定することができ、推定すべきである。この考えは、時変仮想音響シーンの音源特有システム同定に拡大するために以下において採用することができる。

【0040】

【0041】

【0042】

図５は典型的な状況に対するこの考えの概要を示す。このために、２つの時間間隔１および２が検討され、その中で、仮想音源構成は変化しない。しかし、両方の間隔の仮想音源構成は異なる。さらに、システム全体は、間隔１の初めにオンに切り替えられる。これは図５のタイムライン（左）にも示す。間隔１から２への移行は、タイムラインに「移行」というラベルで示す。タイムラインの右側に、間隔１と２の間の適応システム同定プロセスをそれぞれ上部および下部に示す。間に、音源構成変化中に実施される動作が可視化される。システムブロック内の正方形のそれぞれは、固定サイズのサブシステムを表す。したがって、正方形の数は、線形システム自体のサイズに比例する。以下において、間隔を時系列で説明する。

【0043】

【0044】

【0045】

【0046】

以下において、システム同定のための最大計算負荷または平均計算負荷を低減する（または最小限に抑えさえする）実施形態を説明する。

【0047】

信号処理に加えて、他の、よりタイムクリティカルでないタスクを実施しなければならない、限定された電力資源（例えば、マルチコアタブレットまたはスマートフォン）またはデバイスを有する計算的に強力なデバイスについて考えると、適応フィルタリングの平均計算負荷の最小化が望ましい。他方、非常に大型のシステムの同定には、計算的により強力でない処理デバイスの場合、または１つの処理デバイスを他のタイムクリティカルな適用例（例えば、自動車のヘッドユニット）と共用するとき、信号処理適用例によって生じる最大負荷を低減することになる。したがって、平均負荷または最大負荷のいずれかの最小化を可能にする一般的概念の考えは、以下において、音源特有システム同定の考えと組み合わされる。

【0048】

【0049】

最大負荷最適化が、ＳＳＳｙｓＩｄ更新を、つい最近の間隔の音源特有システム（シーン変化において計算すべき）から直接生じる構成要素と、前の（事前計算可能な）１つのシーン変化で利用可能な情報だけに依存する別の構成要素とに分割する考えによって取得することができる。

【0050】

【0051】

【0052】

【0053】

特定のレンダリングシステムの音声材料を展開するときの側路情報（仮想音源信号およびレンダリングフィルタまたは他の側路情報からのレンダリングフィルタ計算戦略）の欠如により、このアプローチの使用が排除される。側路情報がシステム同定中に利用可能であるように除外することができない場合、この方法の使用の強力な証拠を、ＡＥＣ適用例におけるシステム同定プロセスの計算負荷から取得することができる。非常に長い時間、単一の仮想音源をレンダリングすると、適応フィルタリングによって生じた計算負荷は、非常に低くなり、スピーカの数と無関係になり、これは伝統的なシステム同定アプローチと矛盾する。これが当てはまる場合、ＳＳＳｙｓＩｄとＳＤＡＦとを区別することが必要である。このために、スペクトル成分が独立して時変する、１つよりも多くの仮想音源を有する静的仮想シーンを合成することができる。ＳＳＳｙｓＩｄが一定の計算負荷を生じるが、ＳＤＡＦの計算負荷は、信号およびシステムの純粋にデータ駆動の変換により、繰り返し最大となる。ＳＳＳｙｓＩｄとＳＤＡＦを区別するための別の方式は、直交スピーカ励起パターン（例えば、異なる物理的スピーカの位置における仮想点音源）を用いて信号を交互に繰り返すことである。エコーリターンロスエンハンスメント（ＥＲＬＥ：Ｅｃｈｏ−Ｒｅｔｕｒｎ Ｌｏｓｓ Ｅｎｈａｎｃｅｍｅｎｔ）は、ＳＤＡＦのあらゆるシーン変化に対して同様に分解すると予想され得るが、ＳＳＳｙｓＩｄは、前に観察されたシーン変化を再度実施したとき、顕著に低下した分解を示す。しかし、これらの試験は、前述したレンダリングタスクを実行するプロセッサの負荷統計に少なくともアクセスする必要がある。

【0054】

以下において、ＳＳＳｙｓＩｄ適応方式の基本特性の検証と妥当性確認が、図８に示すように、自由音場条件の下で、単一のマイクロホン（単一のマイクロホンだけの使用は、フィルタ適応が各マイクロホンに対してとにかく独立して実施されるので、適応概念の挙動の一般的解析に十分である）の前にＮ_Ｌ＝４８のスピーカの線形サウンドバーを用いてＷＦＳ状況をシミュレーションすることによって提供される。詳細には、図８は、Ｎ_Ｌ＝４８のスピーカ１０２およびＮ_Ｍ＝１のマイクロホンを有する試作品のシミュレーションに共通の変換器設定を示す。

【0055】

ＷＦＳシステムは、統計的に独立した白色雑音信号を放射する１つまたは複数の同時にアクティブな仮想点音源を８ｋＨｚのサンプリングレートで合成する。さらに、付加的白色ガウス雑音を−６０ｄＢのレベルでマイクロホンに導入することによって高品質マイクロホンが想定される。システム同定は、ＧＦＤＡＦアルゴリズムによって実施される。レンダリングシステムの逆行列は、離散フーリエ変換（ＤＦＴ）領域において近似され、因果時間領域逆システムが、線形位相シフト、逆ＤＦＴ、およびその後のウィンドウ生成を適用することによって取得される。

【0056】

【0057】

以下において、２つの異なる実験を説明する。

【0058】

第１の実験によれば、マイクロホン信号の２４は、合成され、異なるが内部的に一定の仮想音源構成を有する、長さ８の３つの間隔に分割される。仮想音源の３つの間隔の群を図９ａに示す。詳細には、図９ａにおいて、ＮＬ＝４８のスピーカ１０２（矢印）、Ｎ_Ｍ＝１のマイクロホン（×印）、および４つの仮想音源１０８のうちの３つの無作為に選択された群１４０、１４２、１４４の設定の概略構成図を示す。それらの位置は、それらの同時活動を表すために、点で表され、線で接続される。さらに、各仮想音源１０８は、黒丸で表され、一定の音源構成の同じ間隔に属する音源は、同じ種類の線、すなわち、直線１４０、第１の種類の破線１４２および第２の種類の破線１４４で接続される。

【0059】

図９ｂは、第１の実験中に低次元の音源特有システムの直接推定（曲線１５０）から、および高次元のＬＥＭＳの推定（曲線５１２）から生じるマイクロホン１０４における正規化残余誤差信号のグラフを示す。

【0060】

明らかに、図９ｂに示す正規化残余誤差は、適応フィルタの一意解を見つけることができるＳＳＳｙｓＩｄによって最大ノイズフロアまでより均一に急速に降下している。ＳＳＳｙｓＩｄおよび直接ＬＥＭＳ更新は、両方とも、シーン変化の場合に非常に類似した性能分解を示す。これはＡＥＣへのＳＳＳｙｓＩｄの適用可能性を示す。

【0061】

【0062】

音源特有システムの適応およびＬＥＭＳの直接適応は、正規化システム誤差ノルムの観点から比較される。これらは１００の間隔のそれぞれ（それぞれの間隔の終わりに決定された）に対して図１０ｂに示す。それによって、図１０ｂは、直接ＬＥＭＳ更新（曲線１６２）と比較して低次元の音源特有システムをＬＥＭＳ推定値（曲線１６０）に変換することによって第２の実験中に実現可能なシステム誤差ノルムを示す。

【0063】

明らかに、より複雑でない音源特有の更新（曲線１６０）は、仮想音源構成を繰り返し変更する場合も、単一の仮想音源だけ用いた励起の場合も、完全に安定した適応およびＬＥＭＳを直接更新するのと同様の性能（曲線１６２）をもたらす。それによって、計算の複雑性は、１桁分だけ低減される。しかし、わずかに増加した正規化システム誤差ノルムは、正則化レンダリング逆フィルタを用いた反復変換の結果であり、畳み込みの切り捨ては、結果としてモデル化されたフィルタ長となる。

【0064】

実施形態は、オブジェクトベースのレンダリングシステム（例えば、マルチスピーカフロントエンドを使用するＷＦＳまたはハンズフリー通信）からの側路情報（統計的に独立した仮想音源信号、レンダリングフィルタ）を採用したＭＩＭＯシステムを同定するための方法を提供する。この方法は、スピーカおよびマイクロホン位置に関する任意の仮定を行わず、最小の最大負荷または平均負荷を有するように最適化されたシステム同定を可能にする。最新の方法とは対照的に、このアプローチは、Ｎ_Ｓの仮想音源のスペクトルまたは空間特性および変換器（Ｎ_ＬのスピーカおよびＮ_Ｍのマイクロホン）の位置と独立した、予想通り低い計算の複雑性を有する。一定の仮想音源構成の長い間隔に対して、約Ｎ_Ｌ／Ｎ_Ｓだけの複雑性の低減が可能である。線形サウンドバーを用いたＷＦＳとしてＬＥＭＳの同定のために模範となるように概念を検証するために試作品がシミュレーションされた。

【0065】

図１１は、本発明の実施形態による、レンダリングシステムを動作させるための方法２００の流れ図を示す。方法２００は、いくつかの音源信号が前記複数のスピーカを用いて再生されるのに使用されるレンダリングフィルタ伝達関数行列を使用して複数のスピーカと少なくとも１つのマイクロホンとの間の音響経路を記述したスピーカ・エンクロージャ・マイクロホン伝達関数行列を決定するステップ２０２を含む。

【0066】

図１２は、本発明の実施形態による、レンダリングシステムを動作させるための方法２１０の流れ図を示す。方法２１０は、複数のスピーカを用いて再生されるいくつかの仮想音源と、少なくとも１つのマイクロホンとの間の音響経路を記述した音源特有伝達関数行列の少なくともいくつかの構成要素を推定するステップ２１２と、音源特有伝達関数行列を使用して複数のスピーカと少なくとも１つのマイクロホンとの間の音響経路を記述したスピーカ・エンクロージャ・マイクロホン伝達関数行列推定値の少なくともいくつかの構成要素を決定するステップ２１４とを含む。

【0067】

多くの適用例が多重入力（スピーカ）および多重出力（マイクロホン）を有するスピーカ・エンクロージャ・マイクロホンシステム（ＬＥＭＳ）の同定を必要とする。必要な計算の複雑性は、典型的には、スピーカの数とマイクロホンの数との積である音響経路の数に沿って少なくとも比例的に増大する。さらに、典型的なスピーカ信号は、高度に相関され、ＬＥＭＳの正確な同定を排除する（非一意性の問題）。波動領域適応フィルタリング（ＷＤＡＦ：Ｗａｖｅ−Ｄｏｍａｉｎ Ａｄａｐｔｉｖｅ Ｆｉｌｔｅｒｉｎｇ）として知られるマルチチャンネルシステム同定のための最新の方法は、複雑性低減のための音響場の固有の性質を採用し、特別な変換器構成の非一意性の問題を軽減する。他方、実施形態は、実際の変換器の配置に関して任意の仮定を行わないが、計算の複雑性を低減するために仮想音源の数がスピーカの数よりも少ない、オブジェクトベースのレンダリングシステムにおいて利用可能な側路情報（例えば、波面合成方式（ＷＦＳ：Ｗａｖｅ Ｆｉｅｌｄ Ｓｙｎｔｈｅｓｉｓ））を採用する。実施形態において、各仮想音源から各マイクロホンへの音源特有システム（だけ）を適応的におよび一意的に同定することができる。次いで、音源特有システムのこの推定値をＬＥＭＳ推定値に変換することができる。この考えを、異なる時間間隔における異なる仮想音源構成の場合にＬＥＭＳの同定にさらに拡大することができる。この一般的場合には、最大負荷用に最適化されたおよび平均負荷用に最適化された構造の考えが提示され、その場合、最大負荷用に最適化された構造は、より強力でないシステムに適切であり、平均負荷用に最適化された構造は、電力の平均消費を最小限に抑えなければならない、強力だが携帯可能なシステムに適切である。

【0068】

いくつかの態様を装置の文脈で説明してきたが、これらの態様は、対応する方法の説明も表し、その場合、ブロックまたはデバイスは、方法ステップまたは方法ステップの特徴に対応することは明確である。同様に、方法ステップの文脈で説明した態様は、対応するブロックまたは品目の説明または対応する装置の特徴も表す。方法ステップの一部または全部は、例えば、マイクロプロセッサ、プログラマブルコンピュータまたは電子回路などのハードウェア装置によって（またはハードウェア装置を使用して）実行することができる。いくつかの実施形態において、最も重要な方法ステップのうちの１つまたは複数は、そのような装置によって実行することができる。

【0069】

ある実装形態要件により、本発明の実施形態は、ハードウェアでまたはソフトウェアで実装することができる。実装形態は、それぞれの方法が実施されるようにプログラマブルコンピュータシステムと連携する（または連携することができる）、電子的に可読の制御信号を上に記憶した、デジタル記憶媒体、例えば、フロッピーディスク、ＤＶＤ、ブルーレイ、ＣＤ、ＲＯＭ、ＰＲＯＭ、ＥＰＲＯＭ、ＥＥＰＲＯＭまたはフラッシュメモリを使用して実施することができる。したがって、デジタル記憶媒体は、コンピュータ可読でよい。

【0070】

本発明によるいくつかの実施形態は、電子的に可読の制御信号を有するデータ担体を備え、データ担体は、本明細書に説明した方法のうちの１つが実施されるようにプログラマブルコンピュータシステムと連携することができる。

【0071】

一般に、本発明の実施形態は、プログラムコードを有するコンピュータプログラム製品として実装することができ、プログラムコードは、コンピュータプログラム製品がコンピュータ上で実行されるとき、方法のうちの１つを実施する働きをする。プログラムコードは、例えば、機械可読担体上に記憶することができる。

【0072】

他の実施形態は、機械可読担体上に記憶された、本明細書に説明した方法のうちの１つを実施するためのコンピュータプログラムを備える。

【0073】

言い換えれば、本発明方法の実施形態は、したがって、コンピュータプログラムがコンピュータ上で実行されるとき、本明細書に説明した方法のうちの１つを実施するためのプログラムコードを有するコンピュータプログラムである。

【0074】

本発明方法の別の実施形態は、したがって、上に記録された、本明細書に説明した方法のうちの１つを実施するためのコンピュータプログラムを備えるデータ担体（またはデジタル記憶媒体またはコンピュータ可読媒体）である。データ担体、デジタル記憶媒体または記録媒体は、典型的には、有形であり、および／または非一時的である。

【0075】

したがって、本発明方法の別の実施形態は、本明細書に説明した方法のうちの１つを実施するためのコンピュータプログラムを表すデータストリームまたは一連の信号である。例えば、データストリームまたは一連の信号は、データ通信接続を介して、例えば、インターネットを介して転送するように構成することができる。

【0076】

別の実施形態は、本明細書に説明した方法のうちの１つを実施するように構成され、または適合された処理手段、例えば、コンピュータまたはプログラマブル論理デバイスを備える。

【0077】

別の実施形態は、本明細書に説明した方法のうちの１つを実施するためのコンピュータプログラムを上にインストールしたコンピュータを備える。

【0078】

本発明による別の実施形態は、本明細書に説明した方法のうちの１つを実施するためのコンピュータプログラムを受信機に転送するように（例えば、電子的にまたは光学的に）構成された装置またはシステムを備える。例えば、受信機は、コンピュータ、モバイルデバイス、メモリデバイスなどでよい。例えば、装置またはシステムは、コンピュータプログラムを受信機に転送するためのファイルサーバを備えることができる。

【0079】

いくつかの実施形態において、プログラマブル論理デバイス（例えば、フィールドプログラマブルゲートアレイ）は、本明細書に説明した方法の機能の一部または全部を実施するのに使用することができる。いくつかの実施形態において、フィールドプログラマブルゲートアレイは、本明細書に説明した方法のうちの１つを実施するためにマイクロプロセッサと連携することができる。一般に、方法は、好ましくは任意のハードウェア装置によって実施される。

【0080】

本明細書に説明した装置は、ハードウェア装置を使用して、またはコンピュータを使用して、またはハードウェア装置とコンピュータとの組合せを使用して実装することができる。

【0081】

本明細書に説明した方法は、ハードウェア装置を使用して、またはコンピュータを使用して、またはハードウェア装置とコンピュータとの組合せを使用して実装することができる。

【0082】

上記の実施形態は、単に本発明の原理の例示にすぎない。本明細書に説明した構成および詳細の変更および変形は当業者には明らかであることが理解される。したがって、差し迫った特許請求の範囲によってのみ限定され、本明細書における実施形態の記述および説明により提示される具体的な詳細によって限定されないことが意図されている。

【0083】

＜参考文献＞

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9A】

【図9B】

【図10A】

【図10B】

【図11】

【図12】