特表 2024-526675 フィルタの効率的なモデリング

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公表特許公報(A)

(11)【公表番号】

(43)【公表日】2024-07-19

(54)【発明の名称】フィルタの効率的なモデリング

(51)【国際特許分類】

   H04S 7/00 20060101AFI20240711BHJP

【ＦＩ】

H04S7/00 300

【審査請求】有

【予備審査請求】未請求

(21)【出願番号】P 2024500675

(86)(22)【出願日】2022-09-07

(85)【翻訳文提出日】2024-01-30

(86)【国際出願番号】 EP2022074787

(87)【国際公開番号】W WO2023036795

(87)【国際公開日】2023-03-16

(31)【優先権主張番号】63/242,223

(32)【優先日】2021-09-09

(33)【優先権主張国・地域又は機関】US

(81)【指定国・地域】

(71)【出願人】

【識別番号】598036300

【氏名又は名称】テレフオンアクチーボラゲット エルエム エリクソン（パブル）

(74)【代理人】

【識別番号】110003281

【氏名又は名称】弁理士法人大塚国際特許事務所

(72)【発明者】

【氏名】チャン， メンチウ

(72)【発明者】

【氏名】カールソン， エルレンドゥール

【テーマコード（参考）】

5D162

【Ｆターム（参考）】

5D162AA11

5D162CA26

5D162CD02

5D162CD03

5D162CD04

5D162CD07

5D162EG02

(57)【要約】

フィルタのセットをモデル化するための方法が提供される。方法は、フィルタのインデクス範囲内のインデクスそれぞれに関連付けられた特徴値のセットを取得することと、取得した特徴値のセットを使用してインデクス範囲を複数のセグメントに分割するここと、を含む。方法は、複数のセグメントのうちの少なくとも１つのセグメントのフィルタモデルを決定することと、決定したフィルタモデルを出力することとも含む。

【特許請求の範囲】

【請求項1】

フィルタのセットをモデル化するための方法（９００）であって、
前記フィルタのインデクス範囲内のインデクスそれぞれに関連付けられた特徴値のセットを取得（ｓ９０２）することと、
取得した前記特徴値のセットを使用して前記インデクス範囲を複数のセグメントに分割（ｓ９０４）することと、
前記複数のセグメントのうちの少なくとも１つのセグメントのフィルタモデルを決定（ｓ９０６）することと、
決定した前記フィルタモデルを出力（ｓ９０８）することと、
を含む方法。

【請求項2】

請求項１に記載の方法であって、
前記特徴値のセットを取得することは、前記インデクス範囲に含まれる各インデクスに関連付けられた特徴値を計算することを含む、方法。

【請求項3】

請求項２に記載の方法であって、
前記インデクス範囲に含まれる各インデクスに関連付けられた前記特徴値は、複数のサンプル角度で取得されたフィルタ値に関連付けられた数学的値を用いて計算される、方法。

【請求項4】

請求項３に記載の方法であって、
前記数学的値は、複数のサンプル角度で得られた前記フィルタ値の平均値、最大値、最小値及び分散値のうちのいずれか１つである、方法。

【請求項5】

請求項１から４のいずれか１項に記載の方法であって、
前記インデクス範囲を前記複数のセグメントに分割することは、
前記特徴値を複数のクラスタにクラスタリングすることと、
前記複数のクラスタを使用して前記インデクス範囲を前記複数のセグメントに分割することと、
を含む方法。

【請求項6】

請求項１から４のいずれか１項に記載の方法であって、
前記インデクス範囲を前記複数のセグメントに分割することは、
前記特徴値のセットに含まれる各特徴値を閾値と比較することと、
各特徴値と前記閾値との比較に基づいて、前記インデクス範囲を前記複数のセグメントに分割することと、
を含む方法。

【請求項7】

請求項１から６のいずれか１項に記載の方法であって、
前記インデクス範囲を前記複数のセグメントに分割することは、前記インデクス範囲を第１セグメントと第２セグメントに分割することを含み、
前記少なくとも１つのセグメントの前記フィルタモデルを決定することは、前記第１セグメントの第１フィルタモデルと、前記第２セグメントの第２フィルタモデルを決定することを含む、方法。

【請求項8】

請求項７に記載の方法であって、
前記第１フィルタモデル及び／又は前記第２フィルタモデルは基底関数の関数であり、
前記第１フィルタモデルの基底関数の数は、前記第２フィルタモデルの基底関数の数とは異なる、方法。

【請求項9】

請求項７に記載の方法であって、
前記第１フィルタモデル及び／又は前記第２フィルタモデルは基底関数の関数であり、
前記第１フィルタモデルの前記基底関数の次数は、前記第２フィルタモデルの前記基底関数の次数とは異なる、方法。

【請求項10】

請求項７に記載の方法であって、
前記第１フィルタモデル及び／又は前記第２フィルタモデルは基底関数の関数であり、
前記第１フィルタモデルの前記基底関数の次数と前記第２フィルタモデルの前記基底関数の次数は同じである、方法。

【請求項11】

請求項７から１０のいずれか１項に記載の方法であって、さらに、
前記第１セグメントの第１変動レベルを計算することと、
前記第２セグメントの第２変動レベルを計算することと、
を含み、
前記第１フィルタモデルは、前記第１変動レベルに基づいて前記第１セグメントのために決定され、
前記第２フィルタモデルは、前記第２変動レベルに基づいて前記第２セグメントのために決定される、方法。

【請求項12】

請求項１１に記載の方法であって、
前記第１変動レベルは、前記第１セグメントに関連付けられた１つ以上の特徴値に基づいて決定され、
前記第２変動レベルは、前記第２セグメントに関連付けられた１つ以上の特徴値に基づいて決定される、方法。

【請求項13】

請求項１から１２のいずれか１項に記載の方法であって、さらに、
セグメント化データセットの第１セットとセグメント化データセットの第２セットを含むセグメント化データセットのセットを取得することを含み、
セグメント化データセットの前記第１セットは、前記複数のセグメントのうちの第１セグメントに関連付けられたセグメント化フィルタパラメータの第１セットを含み、
セグメント化データセットの前記第２セットは、前記複数のセグメントのうちの第２セグメントに関連付けられたセグメント化フィルタパラメータの第２セットを含み、
前記第１セグメントと前記第２セグメントは互いにオーバラップしない、方法。

【請求項14】

請求項６から１３のいずれか１項に記載の方法であって、さらに、
前記インデクス範囲に沿った前記特徴値の分布を分析することと、
前記インデクス範囲の特定のセグメントに含められる特定数の特徴値を示す特徴量値を取得することと、
前記閾値以上の前記特徴値の数が前記特徴量値以上となる様に前記閾値を設定することと、
を含む方法。

【請求項15】

処理回路（１００２）で実行されると、前記処理回路に、請求項１から１４のいずれか１項に記載の方法を実行させる命令（１０４４）を含むコンピュータプログラム（１０４３）。

【請求項16】

請求項１５に記載のコンピュータプログラムを含むキャリアであって、前記キャリアは、電気信号、光信号、無線信号、及び、コンピュータ可読記憶媒体の内の１つである、キャリア。

【請求項17】

フィルタのセットをモデル化するための装置（１０００）であって、
前記フィルタのインデクス範囲内のインデクスそれぞれに関連付けられた特徴値のセットを取得（ｓ９０２）することと、
取得した前記特徴値のセットを使用して前記インデクス範囲を複数のセグメントに分割（ｓ９０４）することと、
前記複数のセグメントのうちの少なくとも１つのセグメントのフィルタモデルを決定（ｓ９０６）することと、
決定した前記フィルタモデルを出力（ｓ９０８）することと、
を行う様に構成されている装置。

【請求項18】

請求項１７に記載の装置であって、さらに、請求項２から１４のいずれか１項に記載の方法を実行する様に構成されている、装置。

【請求項19】

装置（１０００）であって、
メモリ（１０４２）と、
前記メモリに結合された処理回路（１００２）と、を備え、
前記装置は、請求項１から１４のいずれか１項に記載の方法を実行する様に構成されている、装置。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、フィルタの効率的なモデリングのための方法及び装置に関する。

【背景技術】

【0002】

我々は、我々に向かって伝播する音波を捉える２つの耳を有する。図１は、球面座標系における仰角と方位角のペアによって特定される到来方向（ＤＯＡ）からリスナに向かって伝播する音波を示している。我々に向かう伝播経路上において、それぞれの音波は、左右の鼓膜に到達する前に、上半身、頭、外耳、及び周囲の物質と相互作用する。この相互作用により、左右の鼓膜に到達する波形の時間的及びスペクトル的な変化が生じ、その一部はＤＯＡに依存する。我々の聴覚システムは、音波自体のさまざまな空間特性と、リスナがいる音響環境を推測するために、これらの変化を解釈することを学習している。この能力は、空間聴覚と呼ばれ、音イベント（物理的な音源）によって引き起こされる聴覚イベントの位置を推測するために、バイノーラル信号（つまり、右と左の外耳道内の音信号）に埋め込まれた空間キューをどの様に評価するかと、我々がいる物理的環境（小さな部屋、タイル張りのバスルーム、講堂、洞窟など）によって引き起こされる音響特性と、に関係する。この人間の能力である空間聴覚は、音の空間認識につながるバイノーラル信号内の空間キューを再導入することによって、空間オーディオシーンを作成するために利用され得る。

【0003】

主な空間キューは、１）角度関連キュー：バイノーラルキュー、つまり、両耳間レベル差（ＩＬＤ）、両耳時間差（ＩＴＤ）及びモノラル（又はスペクトル）キューと、２）距離関連キュー：強度と直接残響（Ｄ／Ｒ）エネルギー比と、を含む。図２は、リスナに向かって伝播する音波のＩＴＤとスペクトルキューの例を示している。２つのプロットは、仰角０度、方位角４０度で得られた１対のＨＲフィルタの振幅応答を示している（データはＣＩＰＩＣデータベースからのものである：ｓｕｂｊｅｃｔ－ＩＤ２８）。データベースは公開されており、ＵＲＬ ｗｗｗ．ｅｃｅ．ｕｃｄａｖｉｓ．ｅｄｕ／ｃｉｐｉｃ／ｓｐａｔｉａｌ－ｓｏｕｎｄ／ｕｌｔｆ－ｄａｔａ／からアクセスできる）。波形の短時間のＤＯＡ依存の時間及びスペクトル変化（１～５ミリ秒）を数学的に表現したものが、いわゆるＨＲフィルタである。これらのフィルタの周波数領域（ＦＤ）表現が、いわゆる、頭部伝達関数（ＨＲＴＦ）であり、時間領域（ＴＤ）表現が、頭部関連インパルス応答（ＨＲＩＲ）である。ＨＲフィルタベースのバイノーラルレンダリングアプローチが徐々に確立されており、空間オーディオシーンは、望ましい位置の１対のＨＲフィルタを使用してオーディオソース信号を直接フィルタ処理することによって生成される。このアプローチは、仮想現実（ＶＲ）、拡張現実（ＡＲ）、複合現実（ＭＲ）、拡張現実（ＸＲ）などの多くの新興アプリケーションや、ヘッドセットが一般的に使用されるモバイル通信システムにとって特に魅力的である。

【0004】

ＨＲフィルタは、元の音信号（入力信号）を左右の耳の信号（出力信号）に変換する線形動的システムのインパルス応答として測定から推定されることが多く、この信号は、聴取対象者（例：人工頭部、マネキン、又は人間の被験者）からの一定半径の球面上において事前に定義された仰角及び方位角のセットで聴取対象者の耳チャネルの内部で測定され得る。推定されたＨＲフィルタは、有限インパルス応答（ＦＩＲ）フィルタとして提供されることが多く、その形式で直接使用できる。効率的なバイノーラルレンダリングを実現するには、一対のＨＲＴＦを両耳間伝達関数（ＩＴＦ）に変換するか、突然のスペクトルピークを防ぐために修正されたＩＴＦを使用する。代替的に、ＨＲＴＦはパラメトリック表現によって記述され得る。その様なパラメータ化されたＨＲＴＦは、ＭＰＥＧサラウンドや空間オーディオオブジェクトコーディング（ＳＡＯＣ）などのパラメトリックマルチチャネルオーディオコーダと容易に統合される。

【0005】

空間オーディオ信号をレンダリングして、空間内の任意の位置における音の説得力のある空間認識を提供するには、対応する位置に１対のＨＲフィルタが必要であり、したがって、２次元（２Ｄ）球体上の細かくサンプリングされた位置にＨＲフィルタのセットが必要である。最小可聴角度（ＭＡＡ）は、音イベントの角変位に対する聴覚系の感度を特徴付ける。方位角での定位に関しては、広帯域ノイズバーストの場合、ＭＡＡは前方と後方（約１度）で最も小さく、横方向の音源（約１０度）でははるかに大きいと報告されている。正中面のＭＡＡは高さとともに増加する。広帯域ノイズバーストでは、仰角方向において平均４度もの小さなＭＡＡが報告されている。現在、ＳＡＤＩＥデータベース、ＣＩＰＩＣデータベースなど、空間内で高密度にサンプリングされた、公的に利用可能なＨＲフィルタデータベースが幾つかある。ただし、特に仰角のサンプルでは、ＭＡＡ要件を完全に満たすものはない。人工頭部ＮｅｕｍａｎｎＫＵ１００とＫＥＭＡＲマネキンのＳＡＤＩＥデータセットには８０００を超える測定値が含まれているが、ＭＡＡ研究によると、仰角－１５度から１５度までのサンプリング解像度は４度が必要であるのに対し、１５度である。実際のフィルタが測定されていない位置で音源をレンダリングできる様に、必然的にＨＲフィルタの角度補間が必要になる。図３は、２Ｄ球上のサンプリンググリッドの例を示し、ドットはＨＲフィルタが測定される位置を示している。

【0006】

ＨＲフィルタの角度補間のために、さまざまな補間スキームが開発されている。一般に、ＨＲフィルタのＭ個のペア

【数1】

は、球面上の

【数2】

での測定値から推定され、ここで、ｒは右耳を示し、ｌは左耳を示し、

【数3】

は仰角を示し、

【数4】

は方位角を示す。タスクは、非サンプリング角度で、良好な知覚精度でオーディオレンダリングを実現する左右のフィルタを提供する関数

【数5】

を見つけることであり、ここで、

【数6】

である。

【数7】

が取得されると、左耳と右耳のＨＲフィルタは、

【数8】

で指定される任意の場所で生成され得る。混乱を避けるために、上付き文字ｌ又はｒが省略される場合があることに注意されたい。

【0007】

ＨＲＴＦ角度補間には２つの主なアプローチがある。

【0008】

（１）ローカル近隣アプローチ：一般的に採用されるアプローチは、最も近い周囲の位置で測定されたＨＲＴＦの寄与を重み付けすることによって、欠落しているＨＲＴＦを推測する線形補間である。ＨＲＴＦは補間前に前処理することができる、たとえば、２つ以上の最も近い位置で測定されたＨＲＴＦが最初に最小位相に変換され、次に線形補間が適用される。

【0009】

（２）変分的アプローチ：より洗練されたデータ駆動型のアプローチは、測定されたＨＲＴＦを一連の基底関数によって定義される別の空間に線形変換することであり、この場合、１つの基底関数セットは仰角と方位角の次元をカバーし、別のセットは周波数の次元をカバーする。基底関数は、測定されたＨＲＴＦの共分散行列の固有分解によって取得され得る。２Ｄ球面上で完全かつ直交する球面調和関数（ＳＨ）は、仰角及び方位角の次元をカバーする基底関数として広く使用されている。基本スプライン（Ｂスプライン）関数は、ＨＲフィルタのモデリングに使用され得る。

【発明の概要】

【発明が解決しようとする課題】

【0010】

音源の空間位置を正確かつ効率的にレンダリングする機能は、ＨＲフィルタベースの空間オーディオレンダラの重要な機能の１つである。レンダラで使用されるＨＲフィルタセットの空間解像度によって、レンダリングされる音源の空間解像度が決まる。２Ｄ球面上で粗くサンプリングされたＨＲフィルタセットを使用すると、ＶＲ／ＡＲ／ＭＲ／ＸＲユーザは、通常、移動する音の空間的不連続性を報告する。このような空間的不連続性は、オーディオとビデオの同期エラーを引き起こし、没入感を大幅に低下させる。解決策の１つは、球上で細かくサンプリングされたＨＲフィルタセットを使用することである。ただし、ＭＡＡ要件を満たす細かいグリッド上の入出力測定からＨＲフィルタセットを推定することは、被験者と実験者の両方にとって非常に時間がかかり、退屈な作業となる可能性がある。したがって、与えられたまばらにサンプリングされたＨＲフィルタデータセットから、欠落しているＨＲフィルタに関する空間関連情報を推論する方が効率的である。

【0011】

最近傍ＨＲフィルタ補間法は、サンプリングされた各位置のＨＲフィルタが特定の有限距離までのエリアにのみ影響を与えることを前提としている。サンプリングされていない位置のＨＲフィルタは、特定のカットオフ距離内の位置、又は直線２Ｄグリッド上の指定された数の最も近い点からのＨＲフィルタの加重平均として近似される。この方法は単純で、計算の複雑さが低いため、効率的な実装が可能になる。ただし、補間の精度は、説得力のある空間オーディオシーンを生成するには十分ではない場合がある。これは、サンプルポイント間の条件の変動が、フィルタの加重平均で生成できるものよりも複雑であるからである。

【0012】

変分的アプローチでは、ＨＲフィルタが仰角と方位角

【数9】

の関数として表される。一般的な形式において、モデルは、

【数10】

で表され、ここで、ｆは、すべてのモデルパラメータを含むαと、すべての基底関数を含むΑでの線形関数又は非線形関数であり得る。基底関数は学習可能又は事前定義され得る。線形モデルが使用されるか非線形モデルが使用されるかに拘らず、最適なモデルパラメータベクトルα＾は、選択した損失関数Ｌを最小化するベクトルαとして取得され、これは、正則化項

【数11】

を含み、ここで、ｈ(θ［ｍ］，φ［ｍ］：α，Α)は、指定されたα及びΑのサンプリング角度(θ［ｍ］，φ［ｍ］)でのＨＲフィルタｈ［ｍ］の近似値である。基底関数のセットが与えられると、その係数α＾は最小化問題を解くという意味で「最もよく」適合すると見なされる。最適化されたモデルパラメータを持つモデルは

【数12】

で表される。

【0013】

原則として、基底関数の選択に制限はない。主成分（ＰＣ）は基底関数としてしばしば使用され、ＰＣは、データセット内のＨＲフィルタの共分散行列の固有分解によって取得される。結果として得られるモデルは効率的である。これは元のデータセットをよく表しているが、欠落している位置でＨＲＴＦを補間するメカニズムはない。最近、主成分分析（ＰＣＡ）とモデル係数を偏導関数で近似する最近傍法とを組み合わせたハイブリッド法が提案された。ただし、ハイブリッド法では、最近傍ベースの双線形補間と同様の結果しか得られない。

【0014】

もう１つの一般的に使用される基底関数は、球面調和関数（ＳＨ）である。ＳＨモデルは、モデルの平均二乗誤差（ＭＳＥ）の点で期待できるレベルのパフォーマンスをもたらす。ＳＨ基底関数は複雑で評価にコストがかかるため、リアルタイムＶＲ／ＡＲ／ＭＲ／ＸＲシステムで使用することは基本的に不可能である。

【0015】

ＢスプラインＨＲフィルタモデルを使用して、空間内の任意の位置にＨＲフィルタを生成できる。このモデルはＭＳＥ測定の点で正確であり、モデルからＨＲフィルタを評価するために必要な知覚評価と計算量は、球面調和関数やその他の複雑な基底関数を使用するモデルよりもはるかに低くなる。

【0016】

ただし、ＢスプラインＨＲフィルタモデルは、バイノーラル化に対する各タップの寄与が大幅に異なる場合でも、フィルタ全体の各タップに等しい重みを与える。この様に重みが等しいとモデルに冗長性が生じるため、モデリング効率をさらに向上させる必要がある。

【課題を解決するための手段】

【0017】

本開示の実施形態は、ＨＲフィルタの効率的なモデリングのための方法を提供する。ＨＲフィルタセット内の各ＨＲフィルタは、インデクス範囲を有するデータシーケンスとして表され、本開示の実施形態は、フィルタを表すデータシーケンスのインデクス範囲の自動セグメンテーションを通じて効率的なモデリングを達成でき、フィルタは、セグメントの変動特性に依存する、各セグメントの個別のフィルタモデルを用いてモデル化される。結果として得られるＨＲフィルタモデルは、さまざまなセグメントにわたるフィルタモデルで構成され、空間内の任意の場所でＨＲフィルタを生成するために使用され、これは、リアルタイムＶＲ／ＡＲ／ＭＲ／ＸＲシステムで使用するのに正確かつ効率的である。結果として得られるＨＲフィルタモデルは、ＭＳＥ測定及び知覚評価の点で正確であり得る。また、結果として得られるＨＲフィルタモデルは、基底関数の総数、及びＨＲフィルタモデルから得られるＨＲフィルタを評価するために必要な計算量の点で効率的であり得る。

【0018】

以下に説明する実施形態は、球面仰角及び方位角にわたるＨＲフィルタセットのモデル化に焦点を当てているが、これらの実施形態は、球面の仰角と方位角の連続空間にわたってモデル化され得る離散球面仰角及び方位角のセットにわたってサンプリングされた任意のデータ配列セットを処理するために使用することができる。これらのデータ配列（及び／又はシーケンス）は、時間領域又は他の変換された領域（周波数領域など）で表現され得る。

【0019】

任意の位置で正確かつ効率的にＨＲフィルタを生成するために、一態様では、フィルタのセット（例えば、頭部関連（ＨＲ）フィルタ）の効率的なモデリングのための方法が提供される。方法は、フィルタを表すデータシーケンスのインデクス範囲内のインデクスにそれぞれ関連付けられた特徴値のセットを取得すること（例えば、２５６タップＦＩＲ ＨＲフィルタは１～２５６のインデクス範囲を有する）と、取得した特徴値のセットを使用してインデクス範囲を複数のセグメントに分割するここと、を含む。方法は、複数のセグメントのうちの少なくとも１つのセグメントのフィルタモデルを決定することと、決定されたフィルタモデルを出力することとをさらに含む。

【0020】

別の態様において、処理回路によって実行されると、処理回路に上述した方法を実行させる命令を含むコンピュータプログラムが提供される。

【0021】

別の態様において、フィルタセット（例えば、頭部関連（ＨＲ）フィルタ）を効率的にモデリングするための装置が提供される。装置は、フィルタを表すデータシーケンスのインデクス範囲（たとえば、２５６タップＦＩＲフィルタのインデクス範囲は１～２５６）内のインデクスにそれぞれ関連付けられた特徴値のセットを取得し、取得した特徴値のセットを使用して、インデクス範囲を複数のセグメントに分割する様に構成されている。装置は、複数のセグメントのうちの少なくとも１つのセグメントのフィルタモデルを決定し、決定したフィルタモデルを出力する様にさらに構成されている。

【0022】

以降、フィルタを表すデータ列のインデクス範囲をフィルタのインデクス範囲として参照する。

【0023】

別の態様では、メモリと、メモリに接続された処理回路とを備える装置が提供される。この装置は、上述の方法を実行する様に構成されている。

【0024】

幾つかの実施形態において、フィルタセットが異なる変分特性（例えば、小さいものから大きいものまで）でモデル化され得るセグメント（データシーケンスのインデクス付きドメイン内）が自動的に識別され、異なるモデル複雑度を有するモデルは、異なるセグメントの異なる変動特性に依存する異なるセグメントに使用され得る。たとえば、大きな変動特性を持つセグメントは複雑なモデルで表され、小さな変動特性を持つセグメントは単純なモデルで表され得る。

【0025】

セグメントとモデルの複雑さのレベルの間のこの識別的なマッピングにより、データシーケンスの効率的なモデル表現が実現され、元のデータシーケンスよりもメモリに必要なスペースが大幅に少なくなる。さらに、フィルタモデルの構築には、球面の仰角と方位角にわたって高密度にサンプリングされたデータシーケンスを必要としない。最後に、セグメントとモデルの複雑さのレベル間の識別マッピングにより、元のデータシーケンスの離散的にサンプリングされた球面角度間の球面角度に対する正確かつ効率的な補間ソリューションを提供できる。データシーケンスの効率的かつ正確なモデル表現を提供できる様にすることにより、本開示の実施形態は、リアルタイムＶＲ／ＡＲ／ＭＲ／ＸＲシステムに特に有用である。

【0026】

本明細書に組み込まれ、明細書の一部を形成する添付の図面は、様々な実施形態を示している。

【図面の簡単な説明】

【0027】

【図1】リスナに向かって伝播する音波を示す図。

【図2】リスナに向かって伝播する音波の両耳間時間遅延（ＩＴＤ）及びＨＲフィルタを示す図。

【図3】２Ｄ球上のサンプリンググリッドの例を示す図。

【図4】幾つかの実施形態による簡略化されたプロセスを示す図。

【図5】幾つかの実施形態によるプロセスを示す図。

【図6A】修正分散指数（ＭＩＯＤ）曲線の一例を示す図。

【図6B】修正分散指数（ＭＩＯＤ）曲線の一例を示す図。

【図7】ＭＩＯＤベースのセグメンテーションの例を示す図。

【図8】ＭＩＯＤ値の累積ヒストグラムを示す図。

【図9】幾つかの実施形態によるプロセスを示す図。

【図10】幾つかの実施形態による装置を示す図。

【図11】幾つかの実施形態によるシステムを示す図。

【図12A】幾つかの実施形態によるシステムを示す図。

【図12B】幾つかの実施形態によるシステムを示す図。

【発明を実施するための形態】

【0028】

本開示において、フィルタ（又はフィルタセット、フィルタデータセット）及びＨＲフィルタ（又はＨＲフィルタセット、ＨＲフィルタデータセット）は、交換可能に使用される。ただし、ＨＲフィルタはフィルタの一種である。したがって、本開示で「フィルタ」について言及する場合、それはＨＲフィルタ又はその他のデータフィルタを意味し得る。

【0029】

１．データ変数と表記法

【0030】

一般的なデータ構造は、データシーケンス及び他のデータ構造のリストとして表され得る。Ｍ個の仰角及び方位角{(θ［ｍ］，φ［ｍ］)：ｍ＝１，・・・，Ｍ}でサンプリングされたＨＲフィルタを含む基本的なＨＲフィルタデータセットΗは、データリストΗ＝{θ，φ，Ｈ^ｌ，Ｈ^ｒ}の形式で提供され、ここで、θとφはそれぞれ仰角と方位角でありｍはインデクスである。
・θ＝{θ［ｍ］：ｍ＝１，・・・，Ｍ}は一連の仰角を示す。
・φ＝{φ［ｍ］：ｍ＝１，・・・，Ｍ}は一連の方位角を示す。
・Ｈ^ｌ＝{ｈ^ｌ［ｍ］：ｍ＝１，・・・，Ｍ}は左ＨＲフィルタのセットを示し、ここで、ｈ^ｌ［ｍ］＝［ｈ^ｌ［１；ｍ］，・・・，ｈ^ｌ［ｎ；ｍ］，・・・，ｈ^ｌ［Ｎ^ｌ；ｍ］］は長さＮ^ｌの有限インパルス応答（ＦＩＲ）フィルタであり、ｎはある時点でのフィルタタップのインデクスである。
・Ｈ^ｒ＝{ｈ^ｒ［ｍ］：ｍ＝１，・・・，Ｍ}は右ＨＲフィルタのセットを示し、ここで、ｈ^ｒ［ｍ］＝［ｈ^ｒ［１；ｍ］，・・・，ｈ^ｒ［ｎ；ｍ］，・・・，ｈ^ｒ［Ｎ^ｒ；ｍ］］は長さＮ^ｒの有限インパルス応答（ＦＩＲ）フィルタであり、ｎはある時点でのフィルタタップのインデクスである。

【0031】

左右のフィルタの長さは同じ、つまりＮ^ｌ＝Ｎ^ｒであり得る。

【0032】

幾つかの実施形態において、Ηは、拡張ＨＲフィルタデータセットであり得る。たとえば、θ，φ，Ｈ^ｌ，Ｈ^ｒに加えて、Ηは、インパルス応答の開始を示すオンセット遅延のデータシーケンスを追加で含み得る。そのような場合、Η＝｛θ，φ，Ｈ^ｌ，Ｈ^ｒ，τ^ｌ，τ^ｒ｝であり、ここで、
・τ^ｌ＝｛τ^ｌ［ｍ］：ｍ＝１，・・・，Ｍ｝は、左ＨＲフィルタのオンセット遅延のシーケンスを示す。
・τ^ｒ＝｛τ^ｒ［ｍ］：ｍ＝１，・・・，Ｍ｝は、右ＨＲフィルタのオンセット遅延のシーケンスを示す。

【0033】

さらに、Ηは、左と右のＨＲフィルタのオンセット遅延から導出された両耳間時間遅延（ＩＴＤ）のデータシーケンスを含み得る、つまり、Η＝｛θ，φ，Ｈ^ｌ，Ｈ^ｒ，τ^ｌ，τ^ｒ，τ^ＩＴＤ｝であり、ここで、τ^ＩＴＤはＩＴＤのシーケンスを示す。

【0034】

あるいは、オンセット遅延のデータシーケンスの代わりに、Ηは、左と右のＨＲフィルタのオンセット遅延から導出されたＩＴＤのデータシーケンスを含み得る、つまり、Η＝｛θ，φ，Ｈ^ｌ，Ｈ^ｒ，τ^ＩＴＤ｝であり得る。

【0035】

以下に説明する実施形態において、３つの異なるＨＲフィルタデータセット、すなわち、元のデータセットΗ_０と、セグメント化されたデータセットのセットΗ_Ｓと、モデル生成データセットΗ_Ｍが使用される。

【0036】

元のデータセットΗ_０は、常に｛θ_０，φ_０，Ｈ^ｌ _０，Ｈ^ｒ _０｝を含むが、さらに｛τ^ｌ _０，τ^ｒ _０｝を含み得る。特に、Ｈ^ｌ _０とＨ^ｒ _０がゼロ遅延ＨＲフィルタセットである場合、ＩＴＤ情報を復元するには｛τ^ｌ _０，τ^ｒ _０｝又は｛τ^ＩＴＤ _０｝のいずれかが必要である。したがって、上で説明した様に、Η_０は、｛θ_０，φ_０，Ｈ^ｌ _０，Ｈ^ｒ _０｝、｛θ_０，φ_０，Ｈ^ｌ _０，Ｈ^ｒ _０，τ^ｌ _０，τ^ｒ _０｝又は｛θ_０，φ_０，Ｈ^ｌ _０，Ｈ^ｒ _０，τ^ＩＴＤ _０｝として表され得る。

【0037】

セグメント化されたデータセットのセットΗ_Ｓ＝｛Η_ｉ：ｉ＝１，・・・，Ｉ｝は、モデリングモジュールで使用され得るセグメント化されたＨＲフィルタタップのＩ個のセットを含む。ｉ番目のセットΗ_ｉはデータリストΗ_ｉ＝｛θ_０，φ_０，Ｈ^ｌ _ｉ，Ｈ^ｒ _ｉ｝の形式である。Ｈ^ｌ _ｉ及びＨ^ｒ _ｉは、Ｈ^ｌ _０及びＨ^ｒ _０から導出される、セグメンテーションパラメータｎ^ｌ _ｉ及びｎ^ｒ _ｉが与えられたフィルタタップの左右のシーケンスである。
・ｎ^ｌ _ｉ＝［ｎ^ｌ _ｉ［１］，・・・，ｎ^ｌ _ｉ［Ν^ｌ _ｉ］］は、ｉ番目のセグメントの左ＨＲフィルタタップのインデクスのシーケンスであり、Σ^ｌ _ｉ＝１Ν^ｌ _ｉ≦Ｎ^ｌである。
・ｎ^ｒ _ｉ＝［ｎ^ｒ _ｉ［１］，・・・，ｎ^ｒ _ｉ［Ν^ｒ _ｉ］］は、ｉ番目のセグメントの右ＨＲフィルタタップのインデクスのシーケンスであり、Σ^ｌ _ｉ＝１Ν^ｒ _ｉ≦Ｎ^ｒである。
・Ｈ^ｌ _ｉ＝｛ｈ^ｌ _ｉ［ｍ］：ｍ＝１，・・・，Ｍ｝であり、ここで、ｈ^ｌ _ｉ［ｍ］＝［ｈ^ｌ _０［ｎ^ｌ _ｉ［１］；ｍ］，・・・，ｈ^ｌ _０［ｎ^ｌ _ｉ［Ν^ｌ _ｉ］；ｍ］］は、長さΝ^ｌ _ｉのＨＲフィルタタップのシーケンスである。
・Ｈ^ｒ _ｉ＝｛ｈ^ｒ _ｉ［ｍ］：ｍ＝１，・・・，Ｍ｝であり、ここで、ｈ^ｒ _ｉ［ｍ］＝［ｈ^ｒ _０［ｎ^ｒ _ｉ［１］；ｍ］，・・・，ｈ^ｒ _０［ｎ^ｒ _ｉ［Ν^ｒ _ｉ］；ｍ］］は、長さΝ^ｒ _ｉのＨＲフィルタタップのシーケンスである。

【0038】

モデル生成データセットΗ_Ｍは、ＨＲフィルタモデルΜから生成されたフィルタセットである。それは、常に、｛θ，φ，Ｈ^ｌ _Ｍ，Ｈ^ｒ _Ｍ｝を含む。Η_０のフィルタのタイプに応じて、Η_Ｍは、｛τ^ｌ _０，τ^ｒ _０｝又は｛τ^ＩＴＤ _Ｍ｝を含み得る。

【0039】

統計的特徴セットを使用して、セグメンテーションパラメータｎ^ｌ _ｉ、ｎ^ｒ _ｉを取得できる。特徴セットは、Ｓ＝｛Ｓ^ｌ，Ｓ^ｒ｝として表される。
・Ｓ^ｌ＝｛ｓ^ｌ［ｎ］：ｎ＝１，・・・，Ｎ^ｌ｝であり、ここで、ｓ^ｌ［ｎ］＝［ｓ^ｌ［１，ｎ］，・・・，ｓ^ｌ［Ｊ，ｎ］］は、ｎ番目の左ＨＲフィルタタップ［ｈ^ｌ［ｎ；１］，・・・，ｈ^ｌ［ｎ；ｍ］，・・・，ｈ^ｌ［ｎ；Ｍ］］から取得されるＪ個の特徴のシーケンスである。Ｊは、特徴セットの次元とも呼ばれる。
・Ｓ^ｒ＝｛ｓ^ｒ［ｎ］：ｎ＝１，・・・，Ｎ^ｒ｝であり、ここで、ｓ^ｒ［ｎ］＝［ｓ^ｒ［１，ｎ］，・・・，ｓ^ｒ［Ｊ，ｎ］］は、ｎ番目の右ＨＲフィルタタップ［ｈ^ｒ［ｎ；１］，・・・，ｈ^ｒ［ｎ；ｍ］，・・・，ｈ^ｒ［ｎ；Ｍ］］から取得されるＪ個の特徴のシーケンスである。

【0040】

表記を簡略化するために、本開示の残りの部分では、特に必要でない場合、下付き文字及び／又は上付き文字については省略する。

【0041】

２．ＨＲフィルタをモデル化する方法の概要

【0042】

図４は、ＨＲフィルタのモデル化の効率を改善するための方法４００を示している。方法４００は、データ分析ステップｓ４０２と、モデル化ステップｓ４０４と、出力ステップｓ４０６と、を含み得る。

【0043】

方法４００の入力は、ＨＲフィルタデータセットΗ_０と、データ分析仕様Ｘと、出力仕様Оと、を含み得る。

【0044】

元のＨＲフィルタデータセットΗ_０は、既存のファイルからのＨＲフィルタデータセットをΗ_０ロードすることによって取得され得る。

【0045】

データ分析仕様

【数13】

は、（１）必要な統計的特徴

【数14】

のリスト、（２）特徴分析アルゴリズム

【数15】

及び／又は、（３）必要に応じてアルゴリズム

【数16】

に関連付けられたパラメータＱのセットであり得る。

【0046】

統計的特徴は、角度にわたる各ＨＲフィルタタップの主な変動特性を要約し得る。上で述べた様に、バイノーラル化に対する各ＨＲフィルタタップの寄与は大きく異なる。ＨＲフィルタがＤＯＡに依存するものとすると、そのような寄与は、角度にわたるＨＲフィルタタップの変動によって定量的に測定でき、その寄与は変動のレベルに比例して増加する。したがって、統計的変動の尺度は有用であり、望ましい可能性がある。

【0047】

高度なデータクラスタリングアルゴリズムを指定して統計的特徴の分布を分析するために使用することができ、その後、統計的特徴の分布は、セグメンテーション用のＨＲフィルタタップを分類するために使用される。必要なパラメータ設定は、使用する距離関数ｄ、検出されるクラスタリングにおけるクラスタの類似性及び／又は分離を表す一連の基準

【数17】

、セグメントの数に対応する予想されるクラスタの数Ｉなどを含み得る。

【0048】

一方、必要な特徴セットが１次元の場合、セグメンテーションには単純な手法で十分であり得る。

【0049】

出力仕様Оは、

【数18】

で示される、目的の出力データセットのタイプと、必要に応じて、目的の角度｛θ_Ｄ，φ_Ｄ｝のシーケンスを含み得る。

【数19】

は、出力データセットがＨＲフィルタデータセットΗ_０のモデル表現Μであるか、モデル生成ＨＲフィルタデータセットΗ_Ｍであるかを示す。｛θ_Ｄ，φ_Ｄ｝は、Η_０から直接取得できる。出力は、改良されたＨＲフィルタデータセットであり得る。改良されたＨＲフィルタデータセットのＨＲフィルタは、Η_０と同じフォーマットで格納され得る、或いは、モデル又はモデル生成ＨＲフィルタセットによって表現され得る。

【0050】

幾つかの実施形態によれば、ＨＲフィルタモデリング方法４００は３つのステップを含み得る。

【0051】

データ分析ステップ（ｓ４０２）－データ分析ステップは、ＨＲフィルタセットの統計的特徴を定量的に記述し、ＨＲフィルタタップを幾つかの重複しないセグメントに分割する境界を特定するために使用され得る。

【0052】

モデリングステップ（ｓ４０４）－モデリングステップでは、ＨＲフィルタデータセットを数学的モデルの形式で効率的な表現に変換し得る。重複しないセグメントは個別にモデル化され、モデルの複雑さはセグメント内のフィルタタップの変動特性に依存し得る。

【0053】

出力ステップ（ｓ４０６）－出力ステップでは、出力仕様Оに従ってデータセットを出力し得る。

【0054】

幾つかの実施形態によれば、ＨＲフィルタモデリング方法４００は、単一のエンティティ又は複数の接続されたエンティティで実行され得る。例えば、方法４００は、バイノーラルオーディオレンダラで実行され得る。別の例において、方法４００は単一のサーバ（例えば、エッジサーバ）で実行され得る。

【0055】

方法は、ＨＲフィルタセットをレンダラにロードすることに関連して、オフラインで、或いは、バイノーラルオーディオレンダラ内で実行され得る。

【0056】

３．ＨＲフィルタをモデル化する方法の詳細

【0057】

図５は、ＨＲフィルタセットのＨＲフィルタを効率的にモデル化するための方法５００を示す。方法５００の入力は、ＨＲフィルタデータセットΗ_０と、データ分析仕様Ｘと、出力仕様Оと、を含み得る。

【0058】

上で説明した様に、Η_０＝｛θ_０，φ_０，Ｈ^ｌ _０，Ｈ^ｒ _０｝、｛θ_０，φ_０，Ｈ^ｌ _０，Ｈ^ｒ _０，τ^ｌ _０，τ^ｒ _０｝又は｛θ_０，φ_０，Ｈ^ｌ _０，Ｈ^ｒ _０，τ^ＩＴＤ _０｝である。

【0059】

上でさらに説明した様に、データ分析仕様Ｘは、

【数20】

のいずれか１つ又は組み合わせのセットであり、

【数21】

は必要な統計的特徴のリスト、

【数22】

は特徴分析アルゴリズム、Ｑはアルゴリズム

【数23】

に関連付けられたパラメータのセットである。

【0060】

出力仕様Оは、

【数24】

で示される、目的の出力データセットのタイプと、必要に応じて、目的の角度｛θ_Ｄ，φ_Ｄ｝のシーケンスを含み得る。

【0061】

入力を取得した後、方法５００は３つのステップ（１）データ分析ステップｓ５０２、（２）モデリングステップｓ５０４、及び（３）出力ステップｓ５０６を実行し得る。３つのステップｓ５０２～ｓ５０６のそれぞれについて、以下で詳細に説明する。

【0062】

３．１ ステップｓ５０２：データ分析ステップ

【0063】

データ分析ステップｓ５０２は、Η_０のＨＲフィルタの統計的特徴を定量的に記述し、ＨＲフィルタを幾つかの重複しないセグメントに分割する境界を識別するために使用され得る。

【0064】

図５に示す様に、データ分析ステップｓ５０２は、次の２つのサブステップｓ５１２及びｓ５１４を含み得る。（１）サブステップｓ５１２：統計的特徴セットＳを取得する。（２）サブステップｓ５１４：セグメントのリストＬを取得する。

【0065】

３．１．１ サブステップｓ５１２：統計的特徴セットＳの取得

【0066】

データ分析仕様Ｘは、Η_０のＨＲフィルタから計算される統計的特徴Ｓを指定し得る。統計的特徴は、ＨＲフィルタタップごとに取得でき、その値はＳ＝｛Ｓ^ｌ，Ｓ^ｒ｝に格納される。Ｓ^ｌ＝｛ｓ^ｌ［ｎ］：ｎ＝１，・・・，Ｎ^ｌ｝であり、ｓ^ｌ［ｎ］＝［ｓ^ｌ［１，ｎ］，・・・，ｓ^ｌ［Ｊ，ｎ］］は、ｎ番目の左ＨＲフィルタタップ［ｈ^ｌ［ｎ；１］，・・・，ｈ^ｌ［ｎ；ｍ］，・・・，ｈ^ｌ［ｎ；Ｍ］］から取得されたＪ個の特徴のシーケンスである。Ｓ^ｒ＝｛ｓ^ｒ［ｎ］：ｎ＝１，・・・，Ｎ^ｒ｝であり、ｓ^ｒ［ｎ］＝［ｓ^ｒ［１，ｎ］，・・・，ｓ^ｒ［Ｊ，ｎ］］は、ｎ番目の右ＨＲフィルタタップ［ｈ^ｒ［ｎ；１］，・・・，ｈ^ｒ［ｎ；ｍ］，・・・，ｈ^ｒ［ｎ；Ｍ］］から取得されたＪ個の特徴のシーケンスである。

【0067】

一実施形態において、角度にわたる各ＨＲフィルタタップの統計的変動を測定するために、分散指数（ＩＯＤ）が統計的特徴として使用され得る。一般に、ＩＯＤは平均に対する分散の比率として定義され、平均はゼロではなく、正の統計にのみ使用される。ＨＲフィルタの平均は負である可能性があるため、ＩＯＤが常に正であることを確実にするために、（平均の代わりに）正規化されたＬ１ノルムに対する分散の比率としてＩＯＤは修正され得る（以下、修正ＩＯＤ、別名ＭＩＯＤと表記する）。ＨＲフィルタの場合、タップ値が正か負かに関係なく、時刻（タップインデクス）がインパルス応答のアクティブセグメントにあるかどうかが非常に重要であるため、この変更は合理的である。

【0068】

ある時点のＭＩＯＤは次の様に計算され得る。

【数25】

ここで、ＭはＨＲフィルタが測定及び取得されるサンプル角度の合計数であり、ｎは１とＮ^ｌ又はＮ^ｒ（左右のＨＲフィルタタップの合計数）との間の整数である。

【0069】

この場合、左側のＨＲフィルタタップの機能セットは、
Ｓ^ｌ＝｛ｓ^ｌ［ｎ］：ｎ＝１，・・・，Ｎ^ｌ｝＝［ＭＩＯＤ^ｌ（ｎ）：ｎ＝１，・・・，Ｎ^ｌ］
の様になる。

【0070】

同様に、右側のＨＲフィルタタップの機能セットは、
Ｓ^ｒ＝｛ｓ^ｒ［ｎ］：ｎ＝１，・・・，Ｎ^ｒ｝＝［ＭＩＯＤ^ｒ（ｎ）：ｎ＝１，・・・，Ｎ^ｒ］
の様になる。

【0071】

理想的なＭＩＯＤ曲線は、「ベル」型のような曲線である。この曲線には、インデクスｎ_ｍａｘに単一の最大値があり、その値は｜ｎ－ｎ_ｍａｘ｜に応じて漸近的に減少します。

【0072】

図６Ａは、ＦＡＢＩＡＮデータベース（ｈｔｔｐｓ：／／ｄｅｐｏｓｉｔｏｎｃｅ．ｔｕ－ｂｅｒｌｉｎ．ｄｅ／ｈａｎｄｌｅ／１１３０３／６１５３．４）の左耳ＨＲフィルタから計算されたＭＩＯＤ曲線、ＭＩＯＤ^ｌの例を示している。水平面上の５つの方位角、０度（中央）、－３０度（右）、－８０度（右）、３０度（左）、８０度（左）でのＨＲフィルタもプロットされている。ＭＩＯＤが大きな値を持つ「カップ」領域は、データセット内のＨＲフィルタの主なインパルス応答ｎが現れる領域に対応していることがはっきりとわかる。図６Ｂは、図６Ａに示されるＭＩＯＤ曲線の拡大部分を示している。

【0073】

上で説明した様に、Ｈ^ｌ＝｛ｈ^ｌ［ｍ］：ｍ＝１，・・・，Ｍ｝であり、ｈ^ｌ［ｍ］＝［ｈ^ｌ［１；ｍ］，・・・，ｈ^ｌ［ｎ；ｍ］，・・・，ｈ^ｌ［Ｎ^ｌ；Ｍ］］は長さＮ^ｌのＦＩＲフィルタであり得る。図６Ａに示される例では、Ｎ^ｌは２５６に等しい。

【0074】

サブステップＳ５１２を実行した結果、各インデクス（ｎ＝１，２，３，・・・，Ｎ^ｌ）に対する変動スコア（例えば、ＭＩＯＤ^ｌ（ｎ））が取得され得る。例えば、インデクス１は変動スコア＃１に関連付けられ、インデクス２は変動スコア＃２に関連付けられ、ここで、変動スコア＃１及び＃２それぞれは正の数である。

【0075】

３．１．２ サブステップｓ５１４：セグメントＬのリストの取得

【0076】

上でさらに説明した様に、データ分析仕様Ｘは、

【数26】

のいずれか１つ又はそれらの組み合わせのセットであり、

【数27】

は必要な統計的特徴のリストであり、

【数28】

は特徴分析アルゴリズムであり、Ｑはアルゴリズムに関連付けられたパラメータのセットである。

【0077】

特徴分析アルゴリズムＣと、場合によってはそのアルゴリズムに関連付けられたパラメータ

【数29】

のセットが与えられると、データ分析はそれぞれ特徴セットＳ^ｌ及びＳ^ｒそれぞれで実行される。データ分析の結果、各特徴セットはｌ個のグループに分類され得る、つまり、

【数30】

【0078】

例えば、図７に示す様に、左側のＨＲフィルタタップの機能セットは、セグメントＩ～ＩＩＩの３つのグループに分割され得る。ここで、セグメントｌの数は３である。

【0079】

３つのグループは重複していない、つまり、ｉ≠ｉ´において、

【数31】

である。次に、分析結果を使用して、ＨＲフィルタタップの重複しないセグメントＬのリストを取得することができまる。リスト内の各項目は以下を含む。（１）セグメンテーションＩＤ ｉ；（２）インデクス｛ｎ^ｌ _ｉ，ｎ^ｒ _ｉ｝のセット；（３）変動レベル

【数32】

これについては、以下の段落で詳しく説明する。

【0080】

図７を例に挙げると、サブステップｓ５１４を実行した結果、セグメントＬのリストが取得され得る。このリストＬは、セグメントＩ～ＩＩＩを識別するセグメントＩＤ、セグメントＩ～ＩＩＩそれぞれの境界を定義するインデクスのセット、及び、セグメントＩ～ＩＩＩそれぞれの変動レベルを含み得る。

【0081】

一実施形態では、高度なデータクラスタリングアルゴリズムを使用して、特徴セットの分布を分析することができる。これは、特徴セットが多次元である場合に特に重要であり、役立つ。必要なパラメータ設定は、使用する距離関数ｄ、検出されるクラスタリングにおけるクラスタの類似性及び／又は分離を表す基準セット

【数33】

、セグメントの数に対応する予想されるクラスタＩの数などを含み得る。

【0082】

別の実施形態では、所望の特徴セットが一次元である場合、セグメンテーションは、単純な技術で、例えば閾値処理で十分であり得る。たとえば、ＭＩＯＤが変動性の尺度として望ましい特徴であるシナリオでは、最も単純な閾値処理方法が使用され、これは、固定定数

【数34】

を設定することであり、ｎ_ｉは、次の様に求められる。

【数35】

【0083】

一実施形態では、セグメントの数がＩであるセグメントの変動レベルには、レベル値ＬＶ_１，ＬＶ_２，・・・，ＬＶ_Ｉが割り当てられ、ここで、レベルＬＶ_１は、すべてのタップが最高閾値を超えるＭＩＯＤ値を有するセグメントに割り当てられ、レベルＬＶ_２は、すべてのタップのＭＩＯＤ値が２番目に高い閾値を超える（及び最も高い閾値よりも小さい）セグメントに割り当てられる。

【0084】

図７は、ＭＩＯＤベースのセグメンテーションの例を示している。例えば、レベル値ＬＶ_１を有するセグメントのすべてのＭＩＯＤ値が第１の閾値以上であり（すなわち、第１の閾値≦ＭＩＯＤ値）、かつ、レベル値ＬＶ_２を有するセグメントのすべてのＭＩＯＤ値が第２の閾値以上、かつ、第１の閾値未満（すなわち、第２の閾値≦ＭＩＯＤ値≦第１の閾値）である。

【0085】

閾値はユーザが定義することも、自動的に設定することもできる。閾値を自動的に設定する実施形態では、累積ヒストグラム形状に基づく方法を使用して閾値を動的に決定することができる。

【0086】

図８は、図７からのＭＩＯＤ値の累積ヒストグラムを示している。セグメントの数Ｉ（例：３）はユーザによって選択され得る。一実施形態では、最高レベルの変動を有するセグメントが、フィルタタップの２０％を含む様に選択される。図８に示される累積ヒストグラムでは、最高レベルの変動を有するセグメントが、０．０２２を超えるＭＩＯＤレベルについて得られることが分かる。したがって、変動レベルが最も高いセグメントのＭＩＯＤ閾値は０．０２２に設定される。

【0087】

変動レベルが最も低いセグメントの閾値は、その閾値の１０分の１、０．００２２として選択され、セグメントは、その閾値未満のすべてのＭＩＯＤ値を含む様に選択される。Ｉ＝３の場合、セグメントは１つだけ残る、つまり、ＭＩＯＤ値が０．００２２～０．０２２のセグメントが残る。Ｉが３より大きい場合、その閾値間隔はさらに多くのサブ間隔に分割される。Ｉの値（すなわち、セグメントの数）、閾値の値及びセグメントに含まれるフィルタタップのパーセンテージは、この段落では説明のみを目的として提供されており、実施形態を限定するものではない。ここでは詳しく説明しないが、再分割を実装する多くの可能な方法が存在する。

【0088】

一部のデータベースでは、ＨＲフィルタ（Ｎ^ｌ及びＮ^ｒ）の長さが必要以上に長い場合がある。これは、バイノーラル化に対する一部のフィルタタップの寄与が少なすぎ、それらのフィルタタップが冗長であるとみなされることを意味する。このようなシナリオでは、閾値が

【数36】

で指定され、それより低いと、セグメントの変動レベルが低すぎてバイノーラル化に寄与できず、そのセグメントは破棄され得る。その結果、Σ^Ｉ _ｉ＝１Ν^ｌ _ｉ＜Ｎ^ｌ及びΣ^Ｉ _ｉ＝１Ν^ｒ _ｉ＜Ｎ^ｒが得られる。

【0089】

３．２ ステップｓ５０４：モデリングステップ

【0090】

図５に示すモデリングステップｓ５０４は、すべてのセグメントのそれぞれに対して実行され得る。モデリングステップｓ５０４は、以下の４つのサブステップを含み得る。（１）サブステップｓ５２２－セグメント化されたデータセットΗ_Ｓの取得。（２）サブステップｓ５２４－セグメントｉの基底関数Ａ_ｉの取得。（３）サブステップｓ５２６－Η_ＳのモデルＭ_ｉの取得。（４）サブステップｓ５２８－完了モデルには、遅延モデルＭ_τの取得をさらに含み得る完全モデルＭの取得。

【0091】

３．２．１ サブステップｓ５２２：セグメント化されたデータセットΗ_Ｓの取得

【0092】

セグメント化されたデータセットのセットΗ_Ｓ＝｛Η_ｉ：ｉ＝１，・・・，Ｉ｝、ここで、Η_ｉ＝｛θ_０，φ_０，Ｈ^ｌ _ｉ，Ｈ^ｒ _ｉ｝は、Η_０の対応するデータ構造として取得される。Ｈ^ｌ _ｉ、Ｈ^ｒ _ｉは、セグメントＬのリスト内のインデクスのセット｛ｎ^ｌ _ｉ，ｎ^ｒ _ｉ｝に従ってΗ_０のＨ^ｌ _０、Ｈ^ｒ _０から抽出される。ここで、
・Ｈ^ｌ _ｉ＝｛ｈ^ｌ _ｉ［ｍ］：ｍ＝１，・・・，Ｍ｝、ここで、ｈ^ｌ _ｉ［ｍ］＝［ｈ^ｌ _０［ｎ^ｌ _ｉ［１］；ｍ］，・・・，ｈ^ｌ _０［ｎ^ｌ _ｉ［Ν^ｌ _ｉ］；ｍ］］は、長さΝ^ｌ _ｉのＨＲフィルタタップのシーケンスである。
・Ｈ^ｒ _ｉ＝｛ｈ^ｒ _ｉ［ｍ］：ｍ＝１，・・・，Ｍ｝、ここで、ｈ^ｒ _ｉ［ｍ］＝［ｈ^ｒ _０［ｎ^ｒ _ｉ［１］；ｍ］，・・・，ｈ^ｒ _０［ｎ^ｒ _ｉ［Ν^ｒ _ｉ］；ｍ］］は、長さΝ^ｒ _ｉのＨＲフィルタタップのシーケンスである。

【0093】

図７を例に挙げると、セグメント化されたデータセットΗ_Ｓ＝｛Η_ｉ：ｉ＝１，２，３｝のセットが取得され得る。Η_１は２１～７１のインデクスに対応し、Η_２は１４～２０及び７２～２４７のインデクスに対応し、Η_３は１～１３及び２４８～２５６のインデクスに対応する。

【0094】

３．２．２ サブステップｓ５２４－セグメントｉの基底関数Ａ_ｉの取得

【0095】

基本原理は、基底関数の数と基底関数の複雑さがセグメントの変動レベルに反比例するということである。この原理の具体的な実装は、選択した基底関数の種類や計算上の考慮事項によって異なり得る。

【0096】

３．２．３ サブステップｓ５２６：Η_ｉのモデルＭ_ｉの取得

【0097】

セグメント化された左右のフィルタタップのｉ番目のセットＨ^ｌ _ｉ及びＨ^ｒ _ｉは、個別にモデル化され得る。

【0098】

Ｈ_ｉのフィルタタップの空間的変化は、仰角及び方位角

【数37】

の関数として個別にモデル化され得る。一般的な形式において、モデルは、

【数38】

で表すことができ、ここで、ｆは、すべてのモデルパラメータを含むＡ_ｉと、すべての基底関数を含む

【数39】

での線形関数又は非線形関数であり得る。基底関数は学習可能又は事前定義され得る。モデル

【数40】

の複雑さは、変動レベル

【数41】

によって決まる。変動レベルが高くなるほど、モデルはより複雑になる。

【0099】

たとえば、線形モデルの場合、この関数は次の様に与えられる。

【数42】

ここで、α_ｉ，ｐを伴うＡｉ＝｛α_ｉ，ｐ：ｐ＝１，・・・，Ｐ_ｉ｝は長さΝ_ｉのモデルパラメータベクトルであり、

【数43】

は基底関数ベクトルのシーケンスである。変動レベル

【数44】

が高い場合、基底関数の数を増やしたり、より複雑な基底関数を使用したりすることで、より良いモデリング結果を得ることができる。

【0100】

ここでは、空間変数と固定空間サンプリング点を区別するために、θ及びφの代わりに

【数45】

が使用されていることに留意されたい。線形モデルが使用されるか非線形モデルが使用されるかに関係なく、最適なモデルパラメータベクトルＡ^＾ _ｉは、正則化項を含むことができる選択した損失関数Ｌを最小化するベクトルＡ_ｉとして取得され得る。

【数46】

ここで、

【数47】

は、

【数48】

で与えられるサンプリング角度（θ［ｍ］，φ［ｍ］）でのｈ_ｉ［ｍ］の近似値である。このような損失関数の一例は、二乗誤差損失

【数49】

である。

【0101】

線形モデルの場合、最適なモデルパラメータ行列Ａ^＾ _ｉは、線形最小二乗推定を通じて取得できる。非線形モデルの場合、最適なモデルパラメータ行列Ａ^＾ _ｉは、反復勾配ベースの方法を通じて推定できる。

【0102】

ｉ番目のセグメントΗ_ｉのモデル表現は、

【数50】

で表され、最適なモデルパラメータベクトルＡ^＾ｌ _ｉ及びＡ^＾ｒ _ｉと、基底関数

【数51】

と、モデルパラメータと基底関数との間の関係を決定するモデリング関数ｆ_ｉ自体と、を含む。

【数52】

が与えられると、角度

【数53】

でｉ番目のセグメントのＨＲフィルタタップを計算できる。

【0103】

３．２．４ サブステップｓ５２８：完全なモデルＭの取得

【0104】

Η_０の完全なモデル表現Ｍは、

【数54】

であるセグメント化されたデータセットΗ_Ｓのモデル表現を含み得る。

【0105】

Η_０が遅延時間ゼロのＨＲフィルタデータセットの場合、追加の遅延モデルＭ_τが必要となる。左側のオンセット遅延セットτ^ｌ _Ｘと右側のオンセット遅延セットτ^ｒ _Ｘ、又は、τ^ｌ _Ｘとτ^ｒ _Ｘとの差であるＩＴＤセットτ^ＩＴＤ _Ｘは、仰角と方位角

【数55】

の関数として個別にモデル化され得る。遅延τのモデルのセットは、

【数56】

で表すことができ、ここで、ｇは、すべてのモデルパラメータを含むβとすべての基底関数を含むＢの線形関数又は非線形関数であり得る。基底関数は学習可能である、或いは、事前定義さ得る。

【0106】

たとえば、線形モデルの場合、この関数は次の様に与えられる。

【数57】

ここで、β_ｑはｑ番目の基底関数

【数58】

のモデルパラメータである。ＨＲフィルタの場合と同様に、最適なモデルパラメータベクトルβ＾は、選択した損失関数を最小化するβベクトルとして取得され得る。このような損失関数の一例は、二乗誤差損失

【数59】

である。ここで、τ（θ［ｍ］，φ［ｍ］；β，Ｂ）は、β及びＢでのサンプリング角度（θ［ｍ］，φ［ｍ］）での遅延τ［ｍ］の近似値である。

【0107】

遅延のモデル表現は、最適なモデルパラメータベクトルβ＾と、基底関数Ｂと、β＾とＢとの間の関係を記述するモデリング関数ｇ自体と、を含むＭτ＝｛ｇ，β＾，Ｂ｝によって表すことができる。

【0108】

したがって、該当する場合、Ｍは、左右のＨＲフィルタ

【数60】

のオンセット遅延のモデル表現や、ＩＴＤ

【数61】

のモデル表現も含み得る。Ｍは、次の３つの形式のいずれかになる。

【数62】

【0109】

３．３ ステップｓ５０６：出力ステップ

【0110】

図５に示す様に、出力ステップｓ５０６において、方法５００は、所与の出力仕様Оに基づいて、以下のうちの１つ又は複数を出力することができる。（１）モデルＭ。（２）出力仕様Оで指定された目的の（Ｄ）仰角及び方位角｛θ_Ｄ，φ_Ｄ｝でのモデルＭから生成された新しいＨＲフィルタデータセットΗ_Ｍ。

【0111】

新しいＨＲフィルタデータセットΗ_Ｍは、所望の角度｛θ_Ｄ，φ_Ｄ｝のシーケンスによって指定された特定の位置でモデルＭから生成され、ここで、θ_Ｄ＝｛θ_Ｄ［ｍ］：ｍ＝１，・・・，Ｍ_Ｄ｝及びφ_Ｄ＝｛φ_Ｄ［ｍ］：ｍ＝１，・・・，Ｍ_Ｄ｝は出力仕様Оで指定される。ここで、Ｍ_Ｄはシーケンス内の目的の角度の数である。幾つかの実施形態では、Η_Ｍ＝｛θ_０，φ_０，Ｈ^ｌ _Ｍ，Ｈ^ｒ _Ｍ｝である。

【0112】

ＨＲフィルタＨ^ｌ _Ｍ及びＨ^ｒ _Ｍは、次の２つのサブステップを通じてＭから生成され得る。

【0113】

３．３．１ 第１サブステップ：空のＨＲフィルタセットＨ^ｌ _Ｍ及びＨ^ｒ _Ｍの初期化

【0114】

Ｈ^ｌ _Ｍ＝｛ｈ^ｌ _Ｍ［ｍ］＝［］：ｍ＝１，・・・，Ｍ_Ｄ｝は、生成された左ＨＲフィルタのセットを示し、ここで、ｈ^ｌ _Ｍ［ｍ］＝［ｈ^ｌ _Ｍ［１；ｍ］，・・・，ｈ^ｌ _Ｍ［ｎ；ｍ］，・・・，ｈ^ｌ _Ｍ［Ｎ^ｌ _Ｍ；ｍ］］は、長さＮ^ｌ _Ｍの空のベクトルであり、Ｎ^ｌ _Ｍ＝Σ^ｌ _ｉ＝１Ｎ^ｌ _ｉである。同様に、Ｈ^ｒ _Ｍ＝｛ｈ^ｒ _Ｍ［ｍ］＝［］：ｍ＝１，・・・，Ｍ_Ｄ｝は、生成された右ＨＲフィルタのセットを示し、ここで、ｈ^ｒ _Ｍ［ｍ］＝［ｈ^ｒ _Ｍ［１；ｍ］，・・・，ｈ^ｒ _Ｍ［ｎ；ｍ］，・・・，ｈ^ｒ _Ｍ［Ｎ^ｒ _Ｍ；ｍ］］は、長さＮ^ｒ _Ｍの空のベクトルであり、Ｎ^ｒ _Ｍ＝Σ^ｒ _ｉ＝１Ｎ^ｒ _ｉである。

【0115】

３．３．２ 第２サブステップ：空のＨＲフィルタセットＨ^ｌ _Ｍ及びＨ^ｒ _Ｍを充填する。

【0116】

幾つかの実施形態では、空のＨＲフィルタセットＨ^ｌ _Ｍ及びＨ^ｒ _Ｍは、｛１，・・・，Ｉ｝の各ｉについて以下のプロセスを介して満たされ得る。

【0117】

｛１，・・・，Ｍ_Ｄ｝の各ｍについて

【0118】

第１プロセス－サンプリングされた角度シーケンスθ_Ｄ及びφ_Ｄから球面角度θ_Ｄ［ｍ］及びφ_Ｄ［ｍ］を取得する。

【0119】

第２プロセス－Ｍのモデル

【数63】

を与えて、モデリング関数ｆ_ｉ、最適なモデルパラメータα＾^ｌ _ｉ、及び基底関数Α_ｉを使用して（θ_Ｄ［ｍ］，φ_Ｄ［ｍ］）でのＨＲフィルタタップｈ＾^ｌ _ｉ［ｍ］＝［ｈ＾^ｌ _ｉ［１；ｍ］，・・・，ｈ＾^ｌ _ｉ［Ν^ｌ _ｉ；ｍ］］を計算する。線形モデルの場合、ｈ＾^ｌ _ｉ［ｍ］はΣ^Ｐ _ｐ＝１α＾^ｌ _ｉ，ｐΑ_ｉ，ｐ（θ_Ｄ［ｍ］，φ_Ｄ［ｍ］）によって計算される。

【0120】

第３プロセス－ｈ＾^ｌ _ｉ［ｍ］へ［ｈ＾^ｌ _Ｍ［ｎ^ｌ _ｉ［１］；ｍ］，・・・，ｈ＾^ｌ _Ｍ［ｎ^ｌ _ｉ［Ν^ｌ _ｉ］；ｍ］］を割り当てる。

【0121】

第４プロセス－Ｍのモデル

【数64】

を与えて、モデリング関数ｆ_ｉ、最適なモデルパラメータα＾^ｒ _ｉ、及び基底関数Α_ｉを使用して（θ_Ｄ［ｍ］，φ_Ｄ［ｍ］）でのＨＲフィルタタップｈ＾^ｒ _ｉ［ｍ］＝［ｈ＾^ｒ _ｉ［１；ｍ］，・・・，ｈ＾^ｒ _ｉ［Ν^ｒ _ｉ；ｍ］］を計算する。線形モデルの場合、ｈ＾^ｒ _ｉ［ｍ］はΣ^Ｐ _ｐ＝１α＾^ｒ _ｉ，ｐΑ_ｉ，ｐ（θ_Ｄ［ｍ］，φ_Ｄ［ｍ］）によって計算される。

【0122】

第５プロセス－ｈ＾^ｒ _ｉ［ｍ］へ［ｈ＾^ｒ _Ｍ［ｎ^ｒ _ｉ［１］；ｍ］，・・・，ｈ＾^ｒ _Ｍ［ｎ^ｒ _ｉ［Ν^ｒ _ｉ］；ｍ］］を割り当てる。

【0123】

同様に、

【数65】

から左オンセット遅延τ^ｌ _Ｍと、

【数66】

から右オンセットτ^ｒ _Ｍ、又は、

【数67】

からＩＴＤτ^ＩＴＤ _Ｍを生成する手順は以下の通りとなる。

【0124】

｛１，・・・，Ｍ_Ｄ｝の各ｍについて

【0125】

第１プロセス－サンプリングされた角度シーケンスθ_Ｄ及びφ_Ｄから球面角度θ_Ｄ［ｍ］及びφ_Ｄ［ｍ］を取得する。

【0126】

第２プロセス－ＭのモデルＭ_τを与えて、モデリング関数ｇ、最適なモデルパラメータβ＾、及び基底関数Ｂを使用して（θ_Ｄ［ｍ］，φ_Ｄ［ｍ］）での遅延τ＾_Ｍ［ｍ］を計算する。線形モデルの場合、τ＾_Ｍ［ｍ］はΣ^Ｑ _ｑ＝１β＾_ｑＢ_ｑ（θ_Ｄ［ｍ］，φ_Ｄ［ｍ］）によって計算される。

【0127】

図９は、フィルタのセットをモデル化するためのプロセス９００を示す。プロセス９００はステップｓ９０２から開始し得る。ステップｓ９０２は、それぞれがフィルタのインデクス範囲内のインデクスに関連付けられた特徴値のセットを取得することを含む。ステップｓ９０４は、取得した特徴値のセットを使用してインデクス範囲を複数のセグメントに分割することを含む。ステップｓ９０６は、複数のセグメントのうちの少なくとも１つのセグメントに対するフィルタモデルを決定することを含む。ステップｓ９０８は、決定したフィルタモデルを出力することを含む。

【0128】

幾つかの実施形態において、特徴値のセットを取得することは、インデクス範囲に含まれる各インデクスに関連付けられた特徴値を計算することを含む。

【0129】

幾つかの実施形態において、インデクス範囲に含まれる各インデクスに関連付けられた特徴値は、複数のサンプル角度で取得されたフィルタ値に関連付けられた数学的値を使用して計算される。

【0130】

幾つかの実施形態において、数学的値は、複数のサンプル角度で得られたフィルタ値の平均値、最大値、最小値及び分散値のうちのいずれか１つである。

【0131】

幾つかの実施形態において、インデクス範囲を複数のセグメントに分割することは、特徴値を複数のクラスタにクラスタリングすることと、複数のクラスタを使用してインデクス範囲を複数のセグメントに分割することと、を含む。

【0132】

幾つかの実施形態において、インデクス範囲を複数のセグメントに分割することは、特徴値のセットに含まれる各特徴値を閾値と比較することと、各特徴値と閾値との比較に基づいて、インデクス範囲を複数のセグメントに分割することと、を含む。

【0133】

幾つかの実施形態において、インデクス範囲を複数のセグメントに分割することは、インデクス範囲を第１セグメントと第２セグメントに分割することを含み、少なくとも１つのセグメントのフィルタモデルを決定することは、第１セグメントに対する第１フィルタモデルと、第２セグメントに対する第２フィルタモデルを決定することを含む。

【0134】

幾つかの実施形態において、第１フィルタモデル及び／又は第２フィルタモデルは基底関数の関数であり、第１フィルタモデルの基底関数の数は、第２フィルタモデルの基底関数の数とは異なる。

【0135】

幾つかの実施形態において、第１フィルタモデル及び／又は第２のフィルタモデルは基底関数の関数であり、第１フィルタモデルの基底関数の次数は、第２のフィルタモデルの基底関数の次数とは異なる。

【0136】

幾つかの実施形態において、第１のフィルタモデル及び／又は第２のフィルタモデルは基底関数の関数であり、第１フィルタモデルの基底関数の次数と第２フィルタモデルの基底関数の次数は同じである。

【0137】

幾つかの実施形態において、方法は、さらに、第１セグメントの第１変動レベルを計算することと、第２セグメントの第２変動レベルを計算することと、を含み、第１フィルタモデルは、第１変動レベルに基づいて第１セグメントに対して決定され、第２フィルタモデルは、第２変動レベルに基づいて第２セグメントに対して決定される。

【0138】

幾つかの実施形態において、第１変動レベルは、第１セグメントに関連付けられた１つ又は複数の特徴値に基づいて決定され、第２変動レベルは、第２セグメントに関連付けられた１つ又は複数の特徴値に基づいて決定される。

【0139】

幾つかの実施形態において、方法は、さらに、セグメント化されたデータセットの第１セット及びセグメント化されたデータセットの第２セットを含むセグメント化されたデータセットのセットを取得することを含み、セグメント化されたデータセットの第１セットは、複数のセグメントの第１セグメントに関連付けられたセグメント化されたフィルタパラメータの第１セットを含み、セグメント化されたデータセットの第２セットは、複数のセグメントの第２セグメントに関連付けられたセグメント化されたフィルタパラメータの第２のセットを含み、第１セグメントと第２セグメントは互いにオーバラップしない。

【0140】

幾つかの実施形態において、方法は、さらに、インデクス範囲に沿った特徴値の分布を分析することと、インデクス範囲の特定のセグメントに含まれる特徴値の特定の数を示す特徴量値を取得することと、閾値以上の特徴値の数が特徴量値以上となる様に、閾値を設定することと、を含む。

【0141】

図１０は、本開示の方法を実行するための、幾つかの実施形態による装置１０００のブロック図である。より具体的には、幾つかの実施形態において、図１１に示されるフィルタモデルプロバイダ１１０４は、装置１０００の形態で少なくとも部分的に実装され得る。図１０に示す様に、装置１０００は、１つ以上のプロセッサ（Ｐ）１０５５（例えば、汎用マイクロプロセッサ及び／又は特定用途向け集積回路（ＡＳＩＣ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）などの１つ以上の他のプロセッサ）を含む処理回路（ＰＣ）１００２を含み、これらのプロセッサは、単一の筐体又は単一のデータセンター内に同じ場所に設置されてもよいし、地理的に分散されてもよく（すなわち、装置１０００は分散コンピューティング装置であってもよい）、装置は、（オプションで）少なくとも１つのネットワークインターフェース１０４８を含み、ネットワークインターフェース１０４８は、装置１０００が、ネットワークネットワークインターフェース１０４８に（直接的又は間接的に）接続されるネットワーク１１０（例えば、インターネットプロトコル（ＩＰ）ネットワーク）に接続された他のノードにデータを送受信できる様にする送信機（Ｔｘ）１０４５及び受信機（Ｒｘ）１０４７を含み（例えば、ネットワークインターフェース１０４８はネットワーク１１０に無線接続され得る。この場合、ネットワークインターフェース１０４８はアンテナ装置に接続される）、装置は、１つ以上の不揮発性ストレージデバイス及び／又は１つ以上の揮発性ストレージデバイスを含み得るストレージユニット（別名「データストレージシステム」）１００８を含み得る。ＰＣ１００２がプログラマブルプロセッサを含む実施形態では、コンピュータプログラム製品（ＣＰＰ）１０４１が提供され得る。ＣＰＰ１０４１は、コンピュータ可読命令（ＣＲＩ）１０４４を含むコンピュータプログラム（ＣＰ）１０４３を格納するコンピュータ可読媒体（ＣＲＭ）１０４２を含む。ＣＲＭ１０４２は、磁気媒体、例えばハードディスク、光媒体、メモリデバイス、例えばランダムアクセスメモリ、フラッシュメモリなどのような非一時的なコンピュータ可読媒体であり得る。幾つかの実施形態において、コンピュータプログラム１０４３のＣＲＩ１０４４は、ＰＣ１００２によって実行されると、ＣＲＩが装置１０００に本明細書で説明されるステップ（例えばフローチャートを参照して本明細書で説明されるステップ）を実行させる様に構成される。他の実施形態において、装置１０００は、コードを必要とせずに、本明細書で説明されるステップを実行する様に構成され得る。すなわち、例えば、ＰＣ１００２は、１つ以上のＡＳＩＣのみから構成されてもよい。したがって、本明細書で説明される実施形態の特徴は、ハードウェア及び／又はソフトウェアで実装され得る。

【0142】

図１１は、幾つかの実施形態による、拡張現実（ＸＲ）（例えば、ＶＲ／ＭＲ）体験を提供するためのシステム１１００を示す。システム１１００は、コンテンツ／サービスプロバイダ（例えば、サーバ又はサーバのグループ）１１０２と、フィルタモデルプロバイダ（例えば、サーバ又はサーバのグループ）１１０４と、ローカルコンピューティングユニット１１０６（例えば、パーソナルコンピュータ）と、ＸＲエクスペリエンスレンダラ１１０８（例えば、ＶＲヘッドセット）と、を備える。コンテンツ／サービスプロバイダ１１０２及びフィルタモデルプロバイダ１１０４は、サーバ側に提供され、ローカルコンピューティングユニット１１０６及びＸＲエクスペリエンスレンダラ１１０８はクライアント側に提供される。

【0143】

フィルタモデルプロバイダ１１０４は、上述の方法（例えば、図４、５、及び９に示される方法）を実行する様に構成され、それによってフィルタのセット（例えば、ＨＲフィルタのセット）を出力する。

【0144】

一例において、コンテンツ／サービスプロバイダ１１０２は、ネットワーク１１０を介してユーザにＶＲゲームサービスを提供するクラウドベースのゲームサービスプロバイダであり得る。より現実的なゲーム体験を提供するために、コンテンツ／サービスプロバイダ１１０２は、あたかもユーザがＶＲ環境にいるかのような音響効果を作成するために使用できるサウンドデータをＸＲ体験レンダラ１１０８に提供したい場合がある。その様なサウンドデータにより、ユーザが、その方向に基づいて異なる音を聞くことを可能にし得る。その様なサウンドデータを提供するために、コンテンツ／サービスプロバイダ１１０２は、モデル（例えば、ＨＲフィルタモデル）又はモデルから作成されたフィルタ（例えば、ＨＲフィルタ）に対する要求をフィルタモデルプロバイダ１１０４に送信することができる。このモデルは、ユーザがＶＲ環境で特定の方向にいるかの様に知覚されるオーディオを生成するために使用できる（オーディオ）フィルタを生成するために使用され得る。モデル又はフィルタを受信すると、コンテンツ／サービスプロバイダ１１０２は、モデル及びフィルタを含むオーディオデータを、ネットワーク１１０を介してローカルコンピューティングユニット１１０６に送信し得る。

【0145】

幾つかの実施形態において、コンテンツ／サービスプロバイダ１１０２からモデルに対するリクエストを受信する代わりに、フィルタモデルプロバイダ１１０４は、ユーザ（すなわち、ＸＲエクスペリエンスレンダラ１１０８）からリクエストを受信し得る。このような実施形態において、フィルタモデルプロバイダ１１０４は、モデル又はフィルタをユーザに送信し得る。

【0146】

ローカルコンピューティングユニット１１０６は、受信したモデル又は受信したフィルタを使用してオーディオデータを生成し、生成されたオーディオデータをＸＲエクスペリエンスレンダラ１１０８に提供し得る。ローカルコンピューティングユニット１１０６からオーディオデータを受信すると、ＸＲエクスペリエンスレンダラ１１０８は、あたかもユーザがＶＲ環境において特定の方向にいるかの様にユーザによって知覚される音を生成することができる。

【0147】

上記の実施形態において、ローカルコンピューティングユニット１１０６は、ＸＲエクスペリエンスレンダラ１１０８とは別個のエンティティとして提供される。しかしながら、他の実施形態において、ローカルコンピューティングユニット１１０６は、ＸＲエクスペリエンスレンダラ１１０８に含まれ得る。

【0148】

上記の実施形態において、フィルタモデルプロバイダ１１０４は、空間オーディオデータの提供に特化したオーディオデータプロバイダであってもよく、ＶＲゲームサービスプロバイダであり得るコンテンツ／サービスプロバイダ１１０２とは別個の異なるエンティティである。しかしながら、他の実施形態において、フィルタモデルプロバイダ１１０４とコンテンツ／サービスプロバイダ１１０２は同じエンティティであり得る（例えば、ＶＲゲームサービスプロバイダは空間オーディオデータも提供することもできる）。

【0149】

あるいは、フィルタモデルプロバイダ１１０４を有する代わりに、フィルタモデルプロバイダ１１０４の機能、すなわち、オーディオフィルタモデル又は複数のオーディオフィルタを提供する機能は、ローカルコンピューティングユニット１１０６に実装され得る。換言すれば、ローカルコンピューティングユニット１１０６は、オーディオモデル又はオーディオフィルタを生成及び格納することができる。オーディオモデル又はオーディオフィルタは、あたかもユーザがＶＲ環境内で特定の方向にいるかの様にユーザが知覚する音を生成するために使用され得る。

【0150】

図１２Ａ及び１２Ｂは、幾つかの実施形態によるＸＲエクスペリエンスレンダラ１１０８（左スピーカ１２５２及び右スピーカ１２５４を含む）を示す。図１２Ａに示す様に、ＸＲエクスペリエンスレンダラ１１０８は、ユーザが着用する様に構成されている。図１２Ｂに示す様に、ＸＲエクスペリエンスレンダラ１１０８は、方向感知ユニット１２０２と、位置感知ユニット１２０４と、処理ユニット１２０６と、オーディオ処理ユニット１２０８と、２つのスピーカ１２５２及び１２５４と、を備え得る。方向感知ユニット１２０２は、リスナの向きの変化を検出し、検出された変化に関する情報を処理ユニット１２０６に提供する様に構成される。幾つかの実施形態においては、処理ユニット１２０６は、向き感知ユニット１２０２によって検出された向きの検出された変化を考慮して、（何らかの座標系に関連した）絶対向きを決定する。ライトハウストラッカ（ライダー）を使用したシステム等、方向と位置を決定する異なるシステムも存在し得る。一実施形態では、方向感知ユニット１２０２は、検出された方向の変化を考慮して、（何らかの座標系に関連した）絶対方向を決定することができる。この場合、処理ユニット１２０６は、方向感知ユニット１２０２からの絶対方向データと位置感知ユニット１２０４からの絶対位置データを単純に多重化し得る。幾つかの実施形態において、方向感知ユニット１２０２は、１つ以上の加速度計及び／又は１つ以上のジャイロスコープを備え得る。

【0151】

リスナの向き及び／又は位置に関する情報は、処理ユニット１２０６からオーディオ処理ユニット１２０８に提供され得る。オーディオデータ（ローカルコンピューティングユニット１１０６がＸＲエクスペリエンスレンダラ１１０８に含まれる実施形態ではネットワーク１１０から受信し、ローカルコンピューティングユニット１１０６がＸＲエクスペリエンスレンダラ１１０８とは別のエンティティである実施形態ではローカルコンピューティングユニット１１０６から受信）に含まれるオーディオモデル又はオーディオフィルタを使用することで、オーディオ処理ユニット１２０８は、あたかもリスナがＶＲ環境内の検出された方向及び／又は位置にいるかの様にリスナによって知覚されるサウンドを生成するためのオーディオ信号を生成することができる。生成されたオーディオ信号は、オーディオ処理ユニット１２０８からスピーカ１２５２及び１２５４に送信され、それによってＶＲ環境用のサウンドが生成され得る。

【0152】

本明細書では様々な実施形態が説明されているが、それらは単なる例として提示されており、限定ではないことを理解されたい。したがって、本開示の幅及び範囲は、上記の例示的な実施形態のいずれによっても制限されるべきではない。さらに、そのすべての可能な変形における上記の要素の任意の組み合わせは、本明細書に別段の指示がない限り、又は文脈によって明らかに矛盾しない限り、本開示に含まれる。

【0153】

さらに、上記で図に示されているプロセスは一連のステップとして示されているが、これは説明のためだけに行われた。したがって、幾つかのステップを追加し、幾つかのステップを省略し、ステップの順序を再配置し、幾つかのステップを並行して実行することができると考えられる。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6A】

【図6B】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12A】

【図12B】

【手続補正書】

【提出日】2024-01-30

【手続補正1】

【補正対象書類名】特許請求の範囲

【補正対象項目名】全文

【補正方法】変更

【補正の内容】

【特許請求の範囲】

【請求項1】

フィルタのセットをモデル化するための方法（９００）であって、
前記フィルタのインデクス範囲内のインデクスそれぞれに関連付けられた特徴値のセットを取得（ｓ９０２）することと、
取得した前記特徴値のセットを使用して前記インデクス範囲を複数のセグメントに分割（ｓ９０４）することと、
前記複数のセグメントのうちの少なくとも１つのセグメントのフィルタモデルを決定（ｓ９０６）することと、
決定した前記フィルタモデルを出力（ｓ９０８）することと、
を含む方法。

【請求項2】

請求項１に記載の方法であって、
前記特徴値のセットを取得することは、前記インデクス範囲に含まれる各インデクスに関連付けられた特徴値を計算することを含む、方法。

【請求項3】

請求項２に記載の方法であって、
前記インデクス範囲に含まれる各インデクスに関連付けられた前記特徴値は、複数のサンプル角度で取得されたフィルタ値に関連付けられた数学的値を用いて計算される、方法。

【請求項4】

請求項３に記載の方法であって、
前記数学的値は、複数のサンプル角度で得られた前記フィルタ値の平均値、最大値、最小値及び分散値のうちのいずれか１つである、方法。

【請求項5】

請求項１に記載の方法であって、
前記インデクス範囲を前記複数のセグメントに分割することは、
前記特徴値を複数のクラスタにクラスタリングすることと、
前記複数のクラスタを使用して前記インデクス範囲を前記複数のセグメントに分割することと、
を含む方法。

【請求項6】

請求項１に記載の方法であって、
前記インデクス範囲を前記複数のセグメントに分割することは、
前記特徴値のセットに含まれる各特徴値を閾値と比較することと、
各特徴値と前記閾値との比較に基づいて、前記インデクス範囲を前記複数のセグメントに分割することと、
を含む方法。

【請求項7】

請求項１に記載の方法であって、
前記インデクス範囲を前記複数のセグメントに分割することは、前記インデクス範囲を第１セグメントと第２セグメントに分割することを含み、
前記少なくとも１つのセグメントの前記フィルタモデルを決定することは、前記第１セグメントの第１フィルタモデルと、前記第２セグメントの第２フィルタモデルを決定することを含む、方法。

【請求項8】

請求項７に記載の方法であって、
前記第１フィルタモデル及び／又は前記第２フィルタモデルは基底関数の関数であり、
前記第１フィルタモデルの基底関数の数は、前記第２フィルタモデルの基底関数の数とは異なる、方法。

【請求項9】

請求項７に記載の方法であって、
前記第１フィルタモデル及び／又は前記第２フィルタモデルは基底関数の関数であり、
前記第１フィルタモデルの前記基底関数の次数は、前記第２フィルタモデルの前記基底関数の次数とは異なる、方法。

【請求項10】

請求項７に記載の方法であって、
前記第１フィルタモデル及び／又は前記第２フィルタモデルは基底関数の関数であり、
前記第１フィルタモデルの前記基底関数の次数と前記第２フィルタモデルの前記基底関数の次数は同じである、方法。

【請求項11】

請求項７に記載の方法であって、さらに、
前記第１セグメントの第１変動レベルを計算することと、
前記第２セグメントの第２変動レベルを計算することと、
を含み、
前記第１フィルタモデルは、前記第１変動レベルに基づいて前記第１セグメントのために決定され、
前記第２フィルタモデルは、前記第２変動レベルに基づいて前記第２セグメントのために決定される、方法。

【請求項12】

請求項１１に記載の方法であって、
前記第１変動レベルは、前記第１セグメントに関連付けられた１つ以上の特徴値に基づいて決定され、
前記第２変動レベルは、前記第２セグメントに関連付けられた１つ以上の特徴値に基づいて決定される、方法。

【請求項13】

請求項１に記載の方法であって、さらに、
セグメント化データセットの第１セットとセグメント化データセットの第２セットを含むセグメント化データセットのセットを取得することを含み、
セグメント化データセットの前記第１セットは、前記複数のセグメントのうちの第１セグメントに関連付けられたセグメント化フィルタパラメータの第１セットを含み、
セグメント化データセットの前記第２セットは、前記複数のセグメントのうちの第２セグメントに関連付けられたセグメント化フィルタパラメータの第２セットを含み、
前記第１セグメントと前記第２セグメントは互いにオーバラップしない、方法。

【請求項14】

請求項６に記載の方法であって、さらに、
前記インデクス範囲に沿った前記特徴値の分布を分析することと、
前記インデクス範囲の特定のセグメントに含められる特定数の特徴値を示す特徴量値を取得することと、
前記閾値以上の前記特徴値の数が前記特徴量値以上となる様に前記閾値を設定することと、
を含む方法。

【請求項15】

処理回路（１００２）で実行されると、前記処理回路に、請求項１から１４のいずれか１項に記載の方法を実行させる命令（１０４４）を含むコンピュータプログラム（１０４３）。

【請求項16】

請求項１５に記載のコンピュータプログラムを含むコンピュータ可読記憶媒体。

【請求項17】

フィルタのセットをモデル化するための装置（１０００）であって、
前記フィルタのインデクス範囲内のインデクスそれぞれに関連付けられた特徴値のセットを取得（ｓ９０２）することと、
取得した前記特徴値のセットを使用して前記インデクス範囲を複数のセグメントに分割（ｓ９０４）することと、
前記複数のセグメントのうちの少なくとも１つのセグメントのフィルタモデルを決定（ｓ９０６）することと、
決定した前記フィルタモデルを出力（ｓ９０８）することと、
を行う様に構成されている装置。

【請求項18】

請求項１７に記載の装置であって、さらに、請求項２から１４のいずれか１項に記載の方法を実行する様に構成されている、装置。

【請求項19】

装置（１０００）であって、
メモリ（１０４２）と、
前記メモリに結合された処理回路（１００２）と、を備え、
前記装置は、請求項１から１４のいずれか１項に記載の方法を実行する様に構成されている、装置。

【国際調査報告】