特表 2024-531564 空間コーディングを保存するメタデータをレンダリングするヘッドフォン

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公表特許公報(A)

(11)【公表番号】

(43)【公表日】2024-08-29

(54)【発明の名称】空間コーディングを保存するメタデータをレンダリングするヘッドフォン

(51)【国際特許分類】

   H04S 7/00 20060101AFI20240822BHJP

【ＦＩ】

H04S7/00 340

【審査請求】未請求

【予備審査請求】有

(21)【出願番号】P 2024514343

(86)(22)【出願日】2022-09-08

(85)【翻訳文提出日】2024-03-04

(86)【国際出願番号】 US2022042949

(87)【国際公開番号】W WO2023039096

(87)【国際公開日】2023-03-16

(31)【優先権主張番号】PCT/CN2021/117401

(32)【優先日】2021-09-09

(33)【優先権主張国・地域又は機関】CN

(31)【優先権主張番号】63/249,733

(32)【優先日】2021-09-29

(33)【優先権主張国・地域又は機関】US

(31)【優先権主張番号】PCT/CN2022/107335

(32)【優先日】2022-07-22

(33)【優先権主張国・地域又は機関】CN

(31)【優先権主張番号】63/374,884

(32)【優先日】2022-09-07

(33)【優先権主張国・地域又は機関】US

(81)【指定国・地域】

(71)【出願人】

【識別番号】507236292

【氏名又は名称】ドルビー ラボラトリーズ ライセンシング コーポレイション

(71)【出願人】

【識別番号】510185767

【氏名又は名称】ドルビー・インターナショナル・アーベー

(74)【代理人】

【識別番号】100107766

【弁理士】

【氏名又は名称】伊東 忠重

(74)【代理人】

【識別番号】100229448

【弁理士】

【氏名又は名称】中槇 利明

(72)【発明者】

【氏名】ヤーン，ズーユイ

(72)【発明者】

【氏名】ルゥ，リエ

(72)【発明者】

【氏名】プルンハーゲン，ハイコ

(72)【発明者】

【氏名】ストッダード，ジェレミー グラント

(72)【発明者】

【氏名】ブレーバールト，ディルク イェローン

【テーマコード（参考）】

5D162

【Ｆターム（参考）】

5D162AA13

5D162CD04

5D162CD13

5D162CD22

(57)【要約】

オブジェクトクラスタリングにおいてヘッドフォンレンダリングモード（HRM）を保存するシステム及び方法が記載される。１実施形態では、プロセッサを含むオブジェクトベースのオーディオデータ処理システムであって、前記プロセッサは、複数のオーディオオブジェクトを受信し、前記複数のオーディオオブジェクトのうちのオーディオオブジェクトが、各々の空間位置情報とHRMとを示す各々のオブジェクトメタデータに関連付けられ、拡張ハイブリッド距離メトリックを空間コーディングアルゴリズムに適用して各オーディオオブジェクトの部分ラウドネスを計算することによって複数のクラスタ位置を決定し、前記拡張ハイブリッド距離メトリックを前記空間コーディングアルゴリズムに適用してオブジェクト対クラスタ利得を計算することによって複数のクラスタを形成するように前記オーディオオブジェクトを前記クラスタ位置にレンダリングし、前記クラスタを空間再生システムに送信する、ように構成される。

【特許請求の範囲】

【請求項1】

オブジェクトクラスタリングにおいてヘッドフォンレンダリングモード（HRM）を保存するための方法であって、
複数のオーディオオブジェクトを受信するステップであって、前記複数のオーディオオブジェクトのうちのオーディオオブジェクトが、各々の空間位置情報とHRMとを示す各々のオブジェクトメタデータに関連付けられる、ステップと、
拡張ハイブリッド距離メトリックを空間コーディングアルゴリズムに適用して各オーディオオブジェクトの部分ラウドネスを計算することによって複数のクラスタ位置を決定するステップと、
前記拡張ハイブリッド距離メトリックを前記空間コーディングアルゴリズムに適用してオブジェクト対クラスタ利得を計算することによって複数のクラスタを形成するように前記オーディオオブジェクトを前記クラスタ位置にレンダリングするステップと、
前記クラスタを空間再生システムに送信するステップと、
を含む方法。

【請求項2】

前記拡張ハイブリッド距離メトリックは、HRM距離をハイブリッド距離に統合する、請求項１に記載の方法。

【請求項3】

前記ハイブリッド距離は、ユークリッド距離と角距離とを組み合わせる、請求項２に記載の方法。

【請求項4】

前記HRM距離の計算は、空間的複雑性の観点から異なるオーディオシーンに適応する、請求項２に記載の方法。

【請求項5】

前記HRM距離は、前記クラスタ位置を決定する場合に、前記オーディオオブジェクトのペア間の距離を計算するためのスケーリング係数として機能し、前記HRM距離は、前記オーディオオブジェクトを前記クラスタ位置にレンダリングする場合に、前記オーディオオブジェクトの各々と前記クラスタの各々との間の距離を計算するためのスケーリング係数として機能する、請求項２に記載の方法。

【請求項6】

前記拡張ハイブリッド距離メトリックは、前記空間コーディングアルゴリズムに適用されて、位置的正確性を確保し、前記HRMを保存する、請求項１に記載の方法。

【請求項7】

前記オブジェクト対クラスタ利得を計算する場合の全体コストは、複数のペナルティ項を含み、前記ペナルティ項の少なくとも１つは、前記拡張ハイブリッド距離メトリックを使用する、請求項１に記載の方法。

【請求項8】

前記全体コストは、前記ペナルティ項の各々のサブコストの線形結合として定義され、前記全体コストは、オブジェクト位置の差異を記述する少なくとも１つの位置距離メトリック、HRMにおける類似性又は非類似性を表すメトリック、及び前記オーディオオブジェクトのラウドネス、レベル又は重要度メトリック、を結合する、請求項７に記載の方法。

【請求項9】

前記全体コストを最小化することによって、前記オーディオオブジェクトを前記クラスタ位置にレンダリングする、請求項７に記載の方法。

【請求項10】

前記拡張ハイブリッド距離メトリックを適用して前記クラスタ位置を決定する場合に第１パラメータセットが使用され、前記拡張ハイブリッド距離メトリックを適用して前記オーディオオブジェクトを前記クラスタ位置にレンダリングする場合に第２パラメータセットが使用される、請求項１に記載の方法。

【請求項11】

前記クラスタ位置は、目標クラスタ数に従って決定され、前記目標クラスタ数は、利用可能な帯域幅又は予想されるビットレートに従って設定される、請求項１に記載の方法。

【請求項12】

前記クラスタ位置の各々は、反復貪欲法によって決定される、請求項１に記載の方法。

【請求項13】

前記反復貪欲法は、最大部分ラウドネス、全体ラウドネス、エネルギ、レベル、顕著性、又は重要性を有するオーディオオブジェクトを選択することを含む、請求項１２に記載の方法。

【請求項14】

前記クラスタの各々は、クラスタオーディオデータ及び関連するクラスタメタデータを含む、請求項１に記載の方法。

【請求項15】

前記クラスタオーディオデータは、前記オブジェクト対クラスタ利得を、前記各々のクラスタにレンダリングされる前記オーディオオブジェクトの各々のオーディオデータに適用することによって決定される、請求項１４に記載の方法。

【請求項16】

前記クラスタメタデータは、前記関連するクラスタのクラスタ位置及びクラスタHRMを含む、請求項１４に記載の方法。

【請求項17】

前記クラスタにレンダリングされた前記オーディオオブジェクトの各々に関連する前記オブジェクトメタデータの少なくとも１つは、前記各々の関連するクラスタメタデータに保存される、請求項１４に記載の方法。

【請求項18】

前記HRMは、「バイパス」、「近」、「遠」、又は「中」の値を有する、請求項１に記載の方法。

【請求項19】

前記空間再生システムは、複数のスピーカ又はヘッドフォンを含む、請求項１に記載の方法。

【請求項20】

非一時的コンピュータ可読記憶媒体であって、電子プロセッサに結合され、格納された命令を含み、前記命令は、前記電子プロセッサによって実行されたときに、前記電子プロセッサに動作を実行させ、前記動作は、
複数のオーディオオブジェクトを受信するステップであって、前記複数のオーディオオブジェクトのうちのオーディオオブジェクトが、各々の空間位置情報とヘッドフォンレンダリングモード（HRM）とを示す各々のオブジェクトメタデータに関連付けられる、ステップと、
拡張ハイブリッド距離メトリックを空間コーディングアルゴリズムに適用して各オーディオオブジェクトの部分ラウドネスを計算することによって複数のクラスタ位置を決定するステップと、
前記拡張ハイブリッド距離メトリックを前記空間コーディングアルゴリズムに適用してオブジェクト対クラスタ利得を計算することによって複数のクラスタを形成するように前記オーディオオブジェクトを前記クラスタ位置にレンダリングするステップと、
前記クラスタを空間再生システムに送信するステップと、
を含む、非一時的コンピュータ可読記憶媒体。

【請求項21】

プロセッサを含むオブジェクトベースのオーディオデータ処理システムであって、前記プロセッサは、
複数のオーディオオブジェクトを受信し、前記複数のオーディオオブジェクトのうちのオーディオオブジェクトが、各々の空間位置情報とヘッドフォンレンダリングモード（HRM）とを示す各々のオブジェクトメタデータに関連付けられ、
拡張ハイブリッド距離メトリックを空間コーディングアルゴリズムに適用して各オーディオオブジェクトの部分ラウドネスを計算することによって複数のクラスタ位置を決定し、
前記拡張ハイブリッド距離メトリックを前記空間コーディングアルゴリズムに適用してオブジェクト対クラスタ利得を計算することによって複数のクラスタを形成するように前記オーディオオブジェクトを前記クラスタ位置にレンダリングし、
前記クラスタを空間再生システムに送信する、
ように構成される、システム。

【発明の詳細な説明】

【技術分野】

【0001】

［関連出願］
本願は、国際特許出願番号PCT／CN２０２１／１１７４０１号、２０２１年９月９日出願、米国仮特許出願番号第６３／２４９,７３３号、２０２１年９月２９日出願、国際特許出願番号PCT／CN２０２２／１０７３３５号、２０２２年７月２２日出願、及び米国仮特許出願番号第６３／３７４,８８４号、２０２２年９月７日出願の利益を主張する。これらの出願の全体は参照によりここに組み込まれる。

【0002】

［技術分野］
本出願は、一般に、オブジェクトクラスタリングにおいてヘッドフォンレンダリングモード（headphone rendering mode （HRM））を保存するためのシステム及び方法に関する。

【背景技術】

【0003】

オブジェクトベースのオーディオシステムは、ベッドとオブジェクトの両方を含むオブジェクトベースのオーディオフォーマットを実装する。オーディオベッド（Audio bed）は、所定の固定された位置において再生されることを意味するオーディオチャネルを表す。一方で、オーディオオブジェクト（audio object）は、定められた時間期間の間に存在し、位置及びサイズのような各オブジェクトの空間情報も有してよい、個別オーディオ要素を表す。伝送中に、ベッド及びオブジェクトは、別個に送信され、芸術的意図を再生するために空間再生システムにより使用される。これらの再生システムは、様々な数のスピーカ又はヘッドフォンを含むことが多い。

【発明の概要】

【0004】

一般に、オブジェクトクラスタリング処理（例えば、オブジェクトベースのオーディオシステム内で使用される）は、次の２つのステップを含む：１）クラスタ位置及び関連するメタデータを決定するステップ（「クラスタ重心決定」）、及び２）オブジェクトを計算してクラスタ利得を求め、クラスタを生成するステップ（「クラスタ生成」）。幾つかの実施形態では、クラスタ重心決定（第１ステップ）は、最も知覚的に重要なオブジェクトを選択することによってクラスタ重心を決定する処理を含み、オブジェクトの重要性を測定するときにラウドネス及びコンテンツタイプの両方が考慮される。幾つかの実施形態では、クラスタ生成（第２ステップ）は、オブジェクト対クラスタ利得を計算し、その利得を入力オブジェクトに適用することによってクラスタを生成するステップを含む。幾つかの実施形態では、クラスタ生成は、位置正確性、距離、及び振幅保存を考慮してコスト関数を最小化することによって利得を計算する処理を含む。

【0005】

しかし、配信及び伝送システムの帯域幅制限のために、数百の個々のオブジェクトを含む可能性がある元のオブジェクトベースのオーディオ信号を伝送することは困難になる。幾つかの実施形態では、記載されるオブジェクトクラスタリングシステムは、オーディオシーンの複雑さを低減するために、一連のクラスタリング技術を使用し、その幾つかは「空間コーディング」と呼ばれる。一般に、これらの技術は、オーディオ品質への影響を最小限に抑えたクラスタリングにより、入力オブジェクト及びベッドの数を出力オブジェクトのセット（以下、「クラスタ」と呼ぶ）にまで低減するために使用される。更に、記載されるオブジェクトクラスタリングシステムを使用することは、結果として得られるコンテンツアセットのサイズが小さいため、コンテンツの記憶及びアーカイブ要件を低減し、チャネル／オブジェクト／クラスタの数の低減を含む配信効率を向上させ、これは通常、配信のためのビットレートの低減に直接変換され、また、レンダラーの複雑さは、通常、レンダリングする必要があるオブジェクト／チャネル／クラスタの数に比例して増加するため、レンダリングの複雑さを低減する。

【0006】

従って、本開示は、オブジェクトクラスタリングにおいてHRMを保存するためのシステム及び方法を提供する。幾つかの実施形態では、これらのシステム及び方法は、
複数のオーディオオブジェクトを受信し、前記複数のオーディオオブジェクトのうちのオーディオオブジェクトが、各々の空間位置情報とHRMとを示す各々のオブジェクトメタデータに関連付けられ、
拡張ハイブリッド距離メトリックを空間コーディングアルゴリズムに適用して各オーディオオブジェクトの部分ラウドネスを計算することによって複数のクラスタ位置を決定し、
前記拡張ハイブリッド距離メトリックを前記空間コーディングアルゴリズムに適用してオブジェクト対クラスタ利得を計算することによって複数のクラスタを形成するように前記オーディオオブジェクトを前記クラスタ位置にレンダリングし、
前記クラスタを空間再生システムに送信する、
ための動作を含む。

【0007】

本開示による方法は、本明細書に記載された態様及び特徴の任意の組み合わせを含むことができることが理解される。すなわち、本開示による方法は、本明細書に具体的に記載された態様及び特徴の組み合わせに限定されるものではなく、提供された態様及び特徴の任意の組み合わせを含むこともできる。

【0008】

本開示の１つ以上の実施形態の詳細は、添付の図面及び以下の説明において説明される。本開示の他の特徴及び利点は、説明、図面及び請求項から明らかになるであろう。

【図面の簡単な説明】

【0009】

本開示は、限定ではなく、添付の図面の図中の例を用いて説明され、図中の同様の参照符号は同様の要素を表す。

【0010】

【図1】負のzを有する拡張Atmos座標を示す。

【0011】

【図2】本開示の実装によるヘッドフォンバーチャライザの実施形態において使用される球形システムを示す。

【0012】

【図3】ユークリッド距離、角距離、ハイブリッド距離、及び基準オブジェクトを有するスケーラのパターンの距離パターンを示す。

【0013】

【図4】ユークリッド距離、角距離、ハイブリッド距離、及びスケーラのパターンのマスキングパターンを示す。

【0014】

【図5】ハイブリッド距離から拡張ハイブリッド距離へのマッピングを示す。

【0015】

【図6】記載されるオブジェクトクラスタリングシステムによって使用することができる拡張ハイブリッド距離を使用するアルゴリズムを示す。

【0016】

【図7】使用する適応HRM距離の拡張を示すブロック図である。

【0017】

【図8】本開示のシステム又は方法を実施するようにプログラムすることができるか又は他の方法で構成することができるコンピューティング装置を含む例示的なシステムのブロック図を示す。

【0018】

【図9】本開示の実装による例示的な処理のフローチャートを示す。

【発明を実施するための形態】

【0019】

本開示の実施形態を詳細に説明する前に、本開示は、以下の説明に記載されるか、又は以下の図面に示される実施形態及び構成要素の配置の詳細に適用が限定されないことを理解すべきである。本開示は、他の実施形態も可能であり、様々な方法で実施又は実行することができる。また、ここで使用される語法及び用語は、説明を目的としており、限定として考えられるべきではないことを理解すべきである。ここで使用される「含む」又は「有する」（including、comprising、又はhaving）及びそれらの変形の使用は、その後に列挙される項目及びその均等物、並びに追加項目を包含することを意味する。「取り付けられた」、「接続された」、及び「結合された」という用語は広く使用され、直接的及び間接的な取り付け、接続、及び結合の両方を包含する。更に、「接続された」及び「結合された」は、物理的又は機械的な接続又は結合に限定されず、直接的であれ間接的であれ、電気的又は油圧的な接続又は結合を包含することができる。

【0020】

幾つかの実施形態では、記載されるオブジェクトクラスタリングシステムは、空間位置の記述、及びオプションとしてレンダリング要件の指示（例えば、スピーカレンダリングシナリオでのスナップとゾーンマスク）を含むメタデータを使用する。例えば、ヘッドフォンレンダリングシナリオでは、オブジェクトは、HRMを記述するメタデータに関連付けられる。これらのHRMは、典型的には、コンテンツ作成フェーズでアーティストによって作成され、例えば、バイノーラルヘッドフォンレンダリングに対して仮想化技術又は仮想化のための所望の部屋効果を適用すべきか否か（すなわち「バイパス」モード）を示す。一例として、オブジェクトは、オブジェクトから頭部中心までの３種類の距離のスケーリングを示すために、「近」、「遠」、又は「中」のいずれかでHRMを伝達することができ、これにより、バイノーラルヘッドフォンレンダリングに適用される仮想部屋効果の量の精細な制御が可能になる。一般に、「バイパス」、「近」、「遠」、及び「中」を含むHRMは、アーティストの意図を保存するためにクラスタリングを通じて保存されるべきである。幾つかの実施形態では、記載されるオブジェクトクラスタリングシステムは、複数の「バケット」を使用し、各バケットは、保存されるべきメタデータの固有のタイプを表す。ヘッドフォンメタデータ保存のユースケースでは、例えば、４つのバケットを使用して、４つのHRM、「バイパス」、「近」、「遠」、及び「中」を表すことができる。

【0021】

一般に、記載されるオブジェクトクラスタリングシステムは、３つのステップを含むオブジェクトクラスタリング処理を使用する。第１に、保存すべきメタデータを有するオーディオオブジェクトを１つのバケットに割り当て、残りのオブジェクトをまとめて別のバケットに割り当てる。幾つかの実施形態では、各バケットが保存を必要とするメタデータの一意の組み合わせを表す、より多くのバケットを使用する。第２に、利用可能なクラスタの全体（最大）数及び全体的なエラー基準に従って、クラスタリング処理を通じて各バケットに多数のクラスタが割り当てられる。その後、各バケット内のクラスタ数に従ってオブジェクトがクラスタリングされる。最後に、バケットからのクラスタが組み合わされて、最終的なクラスタリング結果が生成される。幾つかの実施形態では、バケット間でのリークが許容されるファジィバケットモード、又はバケット間でのリークが許容されないハードバケットモードの２つのバケット分離モードのうちの１つが実装される。

【0022】

幾つかの実施形態では、ハイブリッドモードを使用して、様々な種類のメタデータをそれらの関係を考慮して保存する。例えば、各種類のメタデータはバケットと考えられ、複数のバケットグループに分類される。各バケットグループ内では、バケット間で「リーク」が許容される。ただし、異なるグループ内のバケットについては、リークを防止する必要がある。

【0023】

例えば、上記のHRM保存シナリオでは、２つのバケットグループを配置できる。バイパスオブジェクトのグループ１と、HRMが近、遠、又は中のオブジェクトのグループ２である。幾つかの実施形態では、レンダリング手順の点で類似しているため（特に、唯一の違いが関連する部屋の音響である異なるHRMを持つ１つのオブジェクト／クラスタの場合）、近／遠／中オブジェクトは１つのバケットグループに配置される。幾つかの実施形態では、HRMは、ダイアログ保存ユースケースでダイアログ／非ダイアログバケットを使用するのと同様に、特定の意味論的意味を持つバケット／バケットグループと見なされる。幾つかの実施形態では、HRMは、バイノーラルレンダリングシステムにおけるオブジェクトの空間情報に密接に関連しているため、空間距離の追加属性として解釈される。具体的には、頭部中心に対するオブジェクトの位置は、オブジェクトのHRMと空間位置メタデータの両方によって決定される。幾つかの実施形態では、位置メタデータが方向を決定し、HRMは頭部中心までの距離のスケーリング係数として機能する。

【0024】

一般に、クラスタリングの前後のオブジェクトベースのオーディオコンテンツのレンダリングは、芸術的意図を維持するために十分に類似しているか、又は知覚的に同等である必要があり、これは技術的な困難をもたらす可能性がある。例えば、スピーカレンダリングシステムでは、オブジェクトの位置はメタデータ内の位置ベクトルから読み取られ、HRMは破棄される。言い換えれば、HRMはバイノーラルレンダリングシステムによってのみ使用できる。従って、幾つかの実施形態では、両方のレンダリングシステムで良好な性能を確保するために、２つの目標が一緒に考慮される。
（１）位置／方向の正確性。クラスタから再構成されたオブジェクトは、元のオブジェクトの位置に可能な限り近くなければならない。
（２）HRMの正確性。オブジェクトは、良好なバイノーラル／ヘッドフォンレンダリング性能を確保するために、同じ又は知覚的に類似したHRMを持つクラスタにクラスタリングされなければならない。
ここで、（１）は両方のレンダリングシステムに不可欠な要素であり、（２）はバイノーラルレンダリングシステムのみに重要である。

【0025】

もう１つの技術的な困難は、一致するオブジェクトの可能性が高いことである。ここでの「一致」には、２つのオブジェクトがデカルト形式でほぼ等しい位置メタデータを持ち、個々のHRM（異なる可能性がある）を含む場合が含まれる。このようなケースは、空間コーディングアルゴリズムにジレンマをもたらす。一方で、同じ重心位置と異なるHRMを持つ複数のクラスタを割り当てることは、このケースでは理想的だが、他の領域／方向のクラスタの不足につながる。一方で、一致するオブジェクト位置に対して１つのクラスタのみが選択された場合、HRMのリークは避けられない。従って、一致するオブジェクトの重心選択は慎重に処理される。

【0026】

幾つかの実施形態では、提案された空間コーディング方法は、スピーカ及びバイノーラルレンダリングシステムに各々一般的に使用されるユークリッド距離と角距離を組み合わせた拡張ハイブリッド距離メトリックを使用する。更に、幾つかの実施形態では、HRM距離が定義され、ハイブリッド距離に統合されて、拡張ハイブリッド距離が形成される。幾つかの実施形態では、拡張ハイブリッド距離が空間コーディングアルゴリズムに適用され、HRMメタデータの保存も考慮しながら、主要なタスクとして位置の正確性を確保する。説明はHRM保存シナリオに焦点を当てているが、ハイブリッドモードは一般的なケースに適用可能である。

【0027】

＜定義＞
特に定義されていない限り、ここで使用されるすべての技術用語は、本発明の主題が属する技術分野の通常の技術者によって一般的されるものと同じ意味を持つ。本明細書及び添付の特許請求の範囲で使用されるように、単数形「a」、「an」、及び「the」は、文脈が明確に指示しない限り、複数の参照を含む。本明細書における「又は」へのいかなる参照も、別段の記述がない限り、「及び／又は」を包含することを意図している。

【0028】

本明細書で使用されるように、用語「リアルタイム」は、システムの処理制限、データ及び画像を正確に取得するために必要な時間、及びデータ及び画像の変化率を考慮して、意図的な遅延なしにデータを送信又は処理することを意味する。幾つかの例において、「リアルタイム」は、本開示の実施形態のコンポーネントから取得された情報の提示を記述するために使用される。

【0029】

本願明細書で使用されるとき、用語「オーディオベッド（Audio bed）」は、所定の固定された位置において再生されることを意味するオーディオチャネルを表す。一方で、オーディオオブジェクト（audio object）は、定められた時間期間の間に存在し、位置及びサイズのような各オブジェクトの空間情報も有してよい、個別オーディオ要素を表す。

【0030】

本明細書で使用されるように、用語「クラスタ」は、オーディオ品質への影響を最小限に抑えてクラスタリングを介して入力オブジェクト及びベッドの数を減らすことによって生成される出力オブジェクトのセットを意味する。

【0031】

＜ハイブリッド距離－ユークリッド距離と角距離＞
図１は、負のzを有する拡張Atmos座標を示す。幾つかの実施形態において、図１に示されるデカルト座標は、オーディオオブジェクトの位置を表すために使用され、以下、座標系１（CS-１）と呼ぶ。CS-１は、聴取者の平面を表すためにx-y平面を使用し、原点は、左端及び最前面の位置に配置される。次に、x、y、z軸は、各々、右、後ろ及び上を指す。３つの座標の有効な値がx、y、z∈[０,１］に制限される場合、有効な位置のセットは、Atmos立方体を形成する。一部のユースケースでは、聴取者の平面より下のオブジェクトを表すために、負のzが許容され、zは[-１、１］に拡張できる。

【0032】

CS-１内の空間位置が２つの位置ベクトルp_i=[x_i,y_i,z_i]^T及びp_j=[x_j,y_j,z_j]^Tによって各々表される２つのオブジェクトi,jを考える。次のように示されるオブジェクトi,j間のユークリッド距離：

【数1】

は、次のように計算できる。

【数2】

システムは、将来の処理の便宜のために、次のようにユークリッド距離を[０,１］に制限できる。

【数3】

【0033】

バイノーラルレンダリングシステムでは、頭部中心座標系を使用することができる。幾つかの実施形態では、頭部中心座標系は、頭部中心を原点とする（以下、座標系２（CS-２）と呼ぶ）。図２は、ヘッドフォンバーチャライザの実施形態で使用される球状システム２００を示す。図２に示すCS-２のx-y平面（聴取者の平面）は、x、y軸が各々前方及び左方向を指し、z軸が頭上の上向きの方向を指すことを示す。３つの座標の有効な値は、x'、y'、z'∈[-１、１］となる。幾つかの実施形態では、同じ位置メタデータを有するが異なるHRMを有するオブジェクトについて、バイノーラルレンダリングシステムは、それらのHRMに従って頭部中心（CS-２の原点）に対して異なる距離を割り当てながら、それらを同じ方向に配置する。円２０２、２０４及び２０６は、同じ位置ベクトルを有するが異なるHRMを有する３つのオブジェクト、各々「近」、「中」及び「遠」を示す。

【0034】

CS-１はCS-２に変換することができる。具体的には、CS-１における任意の位置ベクトルp_i=[x_i,y_i,z_i]^Tは、以下により、CS-２においてp'_i=[x'_i,y'_i,z'_i]^Tに変換することができる：

【数4】

【0035】

CS-２では、頭部中心に対する２つのオブジェクトの方向差を測定することが便利である。CS-２におけるオブジェクトi,jの位置ベクトルを各々p'_i、p'_jとする。次のように示されるオブジェクトi,j間の角度θ（i,j）は、次のように計算できる。

【数5】

d_ang（i,j）によって示されるオブジェクトi,jの角距離は、θ（i,j）を[０,１］に変換することによって得ることができる。θ（i,j）∈[０,π］であるので、d_ang（i,j）は以下のように定義することができる。

【数6】

代替として、非線形関数を適用することができる。例えば、

【数7】

一般性を失うことなく、幾つかの実施形態では、式（５）が角距離d_ang（i,j）を計算するために使用される。この計算のために、以下では式（５）を使用する。

【0036】

＜HRMを使用しないハイブリッド距離＞
ユークリッド距離d_euc（i,j）及び角距離d_ang（i,j）の両方が決定されると、d_１によって示される、HRMを考慮しないハイブリッド距離は、以下に従って定義することができる。

【数8】

幾つかの実施形態において、スケーラ変数sは、以下に従って定義される。

【数9】

しかしながら、スケーラ変数sは、別の定義に従って定義することもできる。

【0037】

幾つかの実施形態では、ハイブリッド距離d_１は、ユークリッド距離と角距離の組み合わせであり、以下では「スケーラ」と呼ばれる係数sは、角距離の寄与量を反映する。d_euc、d_ang∈[０,１］なので、d_１∈[０,１］である。

【0038】

図３は、ユークリッド距離３００、角距離３０２、ハイブリッド距離（HRMなし）３０４、及び（０.２５、０.２５、０）に位置する基準オブジェクトを有するスケーラs３０６のパターンの距離パターンを示す。d_euc、d_ang及びd_１の定義によれば、距離パターン３００は、図３に示すように、任意の所与の基準位置について得ることができ、ここで、基準位置はp_i=（０.２５、０.２５、０）である。

【0039】

幾つかの実施形態では、マスキングレベルhは、距離dの減少関数として更に定義される。例えば、

【数10】

ここで、距離dは、d_euc、d_ang又はd_１であってよい。

【0040】

図４は、ユークリッド距離４００、角距離４０２、ハイブリッド距離（HRMなし）４０４のマスキングパターンを示す。図４は、各々τ=０．１５、０．１及び０．１のd_euc、d_ang及びd_１のマスキングパターンを示す。スケーラs３０６のパターンも参考のために図４に含まれる。

【0041】

＜HRMを使用するハイブリッド距離＞
幾つかの実施形態では、ハイブリッド距離は、HRM差を考慮することによって拡張される。幾つかの実施形態では、HRM距離プロト（proto）は、個々のHRMを含む２つの一致するオブジェクトのHRM差をキャプチャする。次に、拡張されたハイブリッド距離d_２∈[０,１］は、HRM距離プロトをハイブリッド距離d_１に統合すること（integrating）によって構築される。

【0042】

幾つかの実施形態では、HRMは、HRMインデックスによって表される。一般性を失うことなく、HRM「バイパス」、「近」、「遠」及び「中」は、以下、各々HRMインデックス１、２、３及び４によって表される。幾つかの実施形態では、既知の関数h[j］を使用して、オブジェクトインデックスjをHRMインデックスh[j］にマップする。すなわち、オブジェクトjのHRMは、HRMインデックスh[j]∈{１、２、３、４}によって表される。

【0043】

＜HRM距離プロト＞
２つの一致するオブジェクトが与えられると、２種類のHRM距離プロトを異なる観点から定義することができる。まず、マスキングの観点から、２つのオブジェクトは、互いに十分に近い場合に相互にマスキングされる可能性がある。マスキング量は、２つのオブジェクトの距離が減少するにつれて増加する。バイノーラルレンダリングシステム（例えば、CS-２を使用する）では、異なるHRMを持つ２つの一致するオブジェクトは、同じ方向を持つが、頭部中心に関して異なる距離を持つ２つのオブジェクトとして解釈できる。つまり、一致するオブジェクトの場合、「遠」いオブジェクトは「近」いオブジェクトよりも「中」間のオブジェクトに近いことを意味する。従って、HRM間の相対的な距離を行列Mにより定義し表すことができる。Mの設定例を次に示す：

【数11】

ここで、行／列インデックスはHRMインデックスを表す。HRMインデックスh[i]=u、h[j]=vを持つ２つの一致するオブジェクトi,jの場合、HRM距離はm_h[i],h[j]=m_u,vで定義できる。m_u,vの値が大きいほど、HRMインデックスuとvの間のマスキング量が小さいことを示す。行列Mは対称であることに注意する。つまり、m_u,v=m_v,uである。例えば、HRM「近」（HRMインデックス=２）と「遠」（HRMインデックス=３）を持つ２つの一致するオブジェクトのHRM距離はm_２,３=m_３,２=０．９５に等しくなる。

【0044】

次に、レンダリング／クラスタリングの観点から、オブジェクトを一致するクラスタにレンダリングすると、異なるHRM間でリークが発生する。HRMを持つ２つの一致するオブジェクト間のリークのコストは、行列Lによって定義及び表現できる。Lの設定例を次に示す：

【数12】

ここで、行／列インデックスの意味は行列Mの場合と同じである。l_u,vの値が大きいほど、HRMインデックスuを持つ一致するクラスタにリークする、HRMインデックスvを持つオブジェクトのコストが高くなる。行列Lは一般に非対称であるため、リークコストはHRMインデックス「vからuへ」と「uからvへ」の間で異なる可能性があることに注意する。例えば、l_３,２=０．４、l_４,２=０．１は、一致する「遠」クラスタと「中」クラスタにリークする「近」オブジェクトのコストが各々０．４と０．１に等しいことを意味する。ただし、「中」から「近」へのコストはl_２,４=０．０５≠l_４,２になる。

【0045】

２つのHRM距離遠近法（distance perspective）と行列M、Lの結果として生じるエントリは、空間コーディングアルゴリズムの異なるフェーズに適用される。これについては、以下のハイブリッド距離を使用したオブジェクトクラスタリングの章で説明する。

【0046】

＜ハイブリッド距離へのHRM距離プロトの統合＞
行列M又はLによって記述されるHRM差は、２つの任意のオブジェクトに対して一般化できる。具体的には、各々HRMインデックスu=h[i]、v=h[j］を持つ２つのオブジェクトi,jが与えられた場合、オブジェクトi,jの２つのタイプのHRM距離は、以下に従い定義できる。

【数13】

幾つかの実施形態では、d_２（i、j）によって示されるオブジェクトi,jの拡張ハイブリッド距離は、ハイブリッド距離d_１（i、j）とHRM距離d_hrm（i、j）の組み合わせによって定義される。

【数14】

幾つかの実施形態では、HRM距離d'_hrm（i、j）が使用される場合、拡張ハイブリッド距離は、以下に従い定義される。

【数15】

ここで、α_m、α_l∈（０,１）は、空間コーディングアルゴリズムのステップ１及びステップ２に対して各々設定されるHRM距離の係数である。

【0047】

図５は、ハイブリッド距離d_１から拡張ハイブリッド距離d_２への様々なd_hrm値によるマッピング５００を示している。異なるd_hrm５００によるd_１からd_２へのマッピングは、異なる線によって表される異なるd_hrm値を示している。直線のy切片は、α_md_hrm（i,j）に等しい。d_１が増加するにつれて、直線が１対１のマッピング（破線）に近づき、同じ点（１、１）に収束することが分かる。これは、ハイブリッド距離d_１が十分に小さい場合にのみ、HRM距離が有意な違いをもたらすことを意味する。それ以外の場合、最終的なハイブリッド距離d_２はd_１によって支配される。

【0048】

＜ハイブリッド距離を使用したオブジェクトクラスタリング－クラスタリングフレームワークの概要＞
幾つかの実施形態では、I個の入力オブジェクトは、各々が空間位置とHRMを含む時間的に変化するメタデータを有すると想定される。幾つかの実施形態では、Jによって示される最大クラスタ数は固定であり、これは通常、実際のユースケースで使用可能な帯域幅又は予想されるビットレートに従って事前設定される。幾つかの実施形態では、クラスタリングはフレーム毎に実行される。

【0049】

上述したように、幾つかの実施形態では、クラスタリングは、クラスタ決定とオブジェクト対クラスタ利得計算の２つのステップを含む。２つのオブジェクト／クラスタの距離は、両方のステップに対して重要な役割を果たす。この章は、拡張ハイブリッド距離を使用する新しい空間コーディングアルゴリズムを提示する。フレームワークが図６に示され、図６は、記載されるオブジェクトクラスタリングシステムによって使用することができる拡張ハイブリッド距離を使用するアルゴリズム６００を示す。

【0050】

＜ハイブリッド距離を使用したクラスタ重心の選択＞
幾つかの実施形態では、クラスタリングのステップ１において、重心位置及びHRMは、目標クラスタ数に達するまで１つずつ決定される。幾つかの実施形態では、各反復において、重心位置及びHRMは、反復貪欲法、すなわち、最大部分ラウドネスを有するオブジェクトを選択することによって決定される。具体的には、励起E_iを有する任意の所与のオブジェクトiについて、聴覚フィルタbにおけるオブジェクトiの特定のラウドネスN'i（b）は、以下に従って計算することができる。

【数16】

ここで、A、αはモデルパラメータであり、f（i,j）は、２つのオブジェクトi及びjの距離に依存するマスキングの量を表す。f（i,j）の例示的な定義は、以下のようにすることができる：

【数17】

ここで、dは距離を表し、τ∈（０,１）は固定カットオフ閾値である。

【0051】

古典的な空間コーディング法は、式（１）及び（２）で説明されるように、CS-１で演算されるユークリッド距離を距離メトリックとして使用する。HRM保存システムでは、式（１３）によって定義される拡張ハイブリッド距離d_２が距離メトリックとして使用される。すなわち、式（１６）に以下を取り入れる：

【数18】

ここで、d_２（i,j）は、式（１３）を使用して得られ、α_m=τとする。

【0052】

幾つかの実施形態では、オブジェクトiの部分ラウドネスは、聴覚フィルタbに渡る特定のラウドネスN'i（b）の合計である。

【数19】

幾つかの実施形態では、これらの手順は、最大の部分ラウドネスを有するもの、従って次のクラスタ位置を決定するために、すべての候補オブジェクトに対して行われる。幾つかの実施形態では、選択されたオブジェクトのインデックスがi*によって示される場合、クラスタ位置及びHRMは、オブジェクト位置p_i*及びHRM h[i*］に等しい。

【0053】

次に、各候補オブジェクトの励起は、以下に従って更新される必要がある。

【数20】

【0054】

幾つかの実施形態では、更新された励起を用いて、非選択オブジェクトの部分ラウドネスは、次の重心を選択するために、式（１５）及び（１８）に従って、次の反復において再度計算される。

【0055】

＜ハイブリッド距離を使用したオブジェクトのクラスタへのレンダリング＞
各オブジェクトi及びクラスタj=１,．．．,Jについて、オブジェクト対クラスタ利得g_i,j、j=１,．．．,Jは、コスト関数を最小化することによって決定することができ、コストは幾つかのペナルティ項を含む。

【0056】

幾つかの実施形態では、第１ペナルティ項E_Pは、元のオブジェクト位置とクラスタによる「再構成された」位置との差を測定する。

【数21】

ここで、p_i、p_j、及びp^{^} _iは、各々、オブジェクトi、クラスタj、及びオブジェクトiの再構成位置の位置ベクトルである。

【0057】

幾つかの実施形態では、第２項E_Dは、オブジェクトiとクラスタjとの間の「距離」を測定する。幾つかの実施形態では、式（１４）で定義される拡張ハイブリッド距離d'_２（i,j）が使用され、以下に従って定義される。

【数22】

ここで、d'_２（i,j）は、式（１４）を使用して得られ、α_１=（０,１）を固定値として予め設定する。d'_２の定義に従って、この項はユークリッド距離、角距離及びHRM距離を一緒に考慮する。

【0058】

第３項E_Nは、合計対１（sum-to-one）のルールに従ってエネルギの損失を測定する。

【数23】

【0059】

全体コストは、３つのサブコスト項の線形結合として定義される。

【数24】

ここで、w_P、w_D、及びw_Nは、対応するサブコスト項の調整可能な係数である。

【0060】

＜拡張＞
説明されるオブジェクトクラスタリングシステムの幾つかの実施形態では、HRM距離d_hrm（行列Mによって決定される）は、予め設定され、従って固定される。ただし、d_hrmは、空間の複雑さの点で異なるオーディオシーンに適応可能である。例えば、多数の疎に分散されたオブジェクトを含む複雑なオーディオシーンでは、全体的な位置の正確性を維持するために、HRMの正確性を妥協しなければならない場合がある。従って、このような場合には、より小さいd_hrm値を使用することができる。一方、ほとんどのオブジェクトが少数の位置にのみ分散される単純なシーンでは、少数のクラスタを使用して位置の正確性を容易に維持することができる。従って、より大きいd_hrm値を使用して、HRMの正確性を確保することができる。

【0061】

幾つかの実施形態において、提案される空間コーディングフレームワークは、ステップ１において適応HRM距離を使用することによって拡張される。図７は、適応HRM距離を使用するステップ１の拡張を示すブロック図７００である。図７に示すように、幾つかのHRM距離候補が事前設定される。各候補HRM距離で、クラスタ重心が決定される。次に、ステップ２の処理に従って、オブジェクト対クラスタ利得が再計算される。クラスタ重心、利得及びHRM距離が与えられると、空間歪みが計算される。空間歪みの定義については後述する。すべてのHRM距離候補に対してこの手順を実行すると、対応するHRM距離を使用して、最小の空間歪みを達成したものとして最終的なクラスタ重心を（ステップ１の出力として）決定することができる。

【0062】

候補HRM距離は、元のHRM距離にいわゆる全体的なマスキングレベルを乗算することによって設定することができる。具体的には、拡張フレームワークがd^（k） _hrm、k=１,．．．,Kで示されるK個のHRM距離候補を使用すると仮定すると、次のようにして求めることができる。

【数25】

ここで、β_k＞０は全体的なマスキングレベルである。従って、β_k、k=１,．．．,Kが事前設定できる。β_kが大きいほど、異なるHRM間でのマスキング量が小さくなる。例えば、d^（k） _hrm（i,j）のようなβ_kが存在する場合、HRMインデックスuを持つオブジェクトは、HRMインデックスvを持つ一致するオブジェクトによってマスキングできないことを意味する。d_２（i,j）は、重心の選択に使用される式（１３）にd^（k） _hrm（i,j）を代入することによって得られることに注意する。

【0063】

選択された重心が与えられると、オブジェクトからクラスタへの利得g_i,jは、セクション２．３で紹介した方法を使用して得ることができる。これらの利得はステップ１で内部的に使用され、最終的な利得は、最終的なクラスタ重心が決定されたときにステップ２で決定されることに注意する。

【0064】

HRM距離d^（k） _hrm（i,j）を使用すると、距離コストは以下に従い定義できる。

【数26】

ここで、d_１（i,j）は、式（７）で定義されるHRMを使用しないハイブリッド距離である。代替として、空間距離に対するHRMの相対的重要性を考慮に入れることができる。

【数27】

ここで、γ∈（０,１）は、HRMの相対的重要性を表す。

【0065】

幾つかの実施形態では、空間歪みは、以下に従ってオブジェクトのラウドネスを考慮したすべてのオブジェクトに対する加重和によって定義される。

【数28】

ここで、N'_iは、オブジェクトiの部分的ラウドネスを表す。y^（k）がすべての１,．．．,Kに対して得られたとき、以下のようになる。

【数29】

従って、最終的な重心はd^（k*） _hrmを使用する重心である。

【0066】

＜コンピューティング装置及びプロセッサ＞
幾つかの実施形態では、本明細書に記載するプラットフォーム、システム、媒体、及び方法は、図８に示すようなコンピューティング装置を介して使用される。更なる実施形態では、コンピューティング装置は、装置機能を実行する１つ以上のハードウェア中央処理装置（CPU）又は汎用グラフィックス処理装置（GPGPU）を含む。更に別の実施形態では、コンピューティング装置は、実行可能命令を実行するように構成されたオペレーティングシステムを含む。幾つかの実施形態では、コンピューティング装置は、コンピュータネットワークに任意に通信可能に接続される。更に別の実施形態では、コンピューティング装置は、ワールドワイドウェブにアクセスできるように、インターネットに任意に通信可能に接続される。更に別の実施形態では、コンピューティング装置は、クラウドコンピューティングインフラストラクチャに任意に通信可能に接続される。他の実施形態では、コンピューティング装置は、イントラネットに任意に通信可能に接続される。他の実施形態では、コンピューティング装置は、データストレージ装置に任意に通信可能に接続される。

【0067】

本明細書の説明によれば、適切なコンピューティング装置は、非限定的な例として、サーバコンピュータ、デスクトップコンピュータ、ラップトップコンピュータ、ノートブックコンピュータ、サブノートブックコンピュータ、ネットブックコンピュータ、ネットパッドコンピュータ、ハンドヘルドコンピュータ、インターネット家電、モバイルスマートフォン、タブレットコンピュータ、並びに車両、選択されたテレビ、ビデオプレイヤ、及びオプションのコンピュータネットワーク接続を備えたデジタル音楽プレイヤを含む。適切なタブレットコンピュータには、ブックレット、スレート、及びコンバーチブル構成を備えたものが含まれる。

【0068】

幾つかの実施形態では、コンピューティング装置は、実行可能命令を実行するように構成されたオペレーティングシステムを含む。オペレーティングシステムは、例えば、装置のハードウェアを管理し、アプリケーションの実行のためのサービスを提供するプログラム及びデータを含むソフトウェアである。適切なサーバオペレーティングシステムには、非限定的な例として、FreeBSD、OpenBSD、NetBSD（登録商標）、Linux（登録商標）、Apple（登録商標）MacOSXServer（登録商標）、Oracle（登録商標）Solaris（登録商標）、WindowsServer（登録商標）、及びNovell（登録商標）NetWare（登録商標）が含まれる。適切なパーソナルコンピュータオペレーティングシステムには、非限定的な例として、Microsoft（登録商標）Windows（登録商標）、Apple（登録商標）MacOSX（登録商標）、UNIX（登録商標）、及びGNU／Linux（登録商標）などのUNIX（登録商標）類似オペレーティングシステムが含まれる。幾つかの実施形態では、オペレーティングシステムはクラウドコンピューティングによって提供される。適切なモバイルスマートフォンオペレーティングシステムには、非限定的な例として、Nokia（登録商標）Symbian（登録商標）OS、Apple（登録商標）iOS（登録商標）、ResearchInMotion（登録商標）BlackBerryOS（登録商標）、Google（登録商標）Android（登録商標）、Microsoft（登録商標）WindowsPhone（登録商標）OS、Microsoft（登録商標）WindowsMobile（登録商標）OS、Linux（登録商標）、及びPalm（登録商標）WebOS（登録商標）が含まれる。

【0069】

従って、本開示のシステム又は方法を実施するために使用できるコンピューティング装置が本明細書で提供される。図８は、本開示のシステム又は方法を実施するためにプログラム又は別の方法で構成可能なコンピュータ又はコンピューティング装置８１０を含む例示的なシステム８００を示す。例えば、コンピューティング装置８１０は、オブジェクトクラスタリング又はオブジェクトベースのオーディオデータの圧縮によってHRMを保存するようにプログラム又は別の方法で構成可能である。

【0070】

図示された実施形態では、コンピュータ又はコンピューティング装置８１０は、電子プロセッサ（本明細書では「プロセッサ」及び「コンピュータプロセッサ」ともいう）８１２を含み、これは、場合によっては、シングルコア、マルチコアプロセッサ、又は並列処理のための複数のプロセッサである。図示された実施形態は、メモリ８１７（例えば、ランダムアクセスメモリ、リードオンリーメモリ、フラッシュメモリ）、電子記憶ユニット８１４（ハードディスクやフラッシュなど）、１つ以上の他のシステムと通信するための通信インターフェース８１５（ネットワークアダプタやモデムなど）、及びキャッシュ、他のメモリ、データ記憶装置、マイクロフォン、スピーカなどの周辺装置８１６も含む。幾つかの実施形態では、メモリ８１７、記憶ユニット８１４、通信インターフェース８１５、及び周辺装置８１６は、マザーボードなどの通信バス（実線で示す）を介して電子プロセッサ８１２と通信する。幾つかの実施形態では、コンピューティング装置８１０のバスは、複数のバスを含む。幾つかの実施形態では、コンピューティング装置８１０は、図８に示されたものよりも多く又は少ないコンポーネントを含み、本明細書に記載されたもの以外の機能を実行する。

【0071】

幾つかの実施形態では、メモリ８１７及び記憶ユニット８１４は、データ又はプログラムを一時的又は永続的に記憶するために使用される１つ以上の物理装置を含む。幾つかの実施形態では、メモリ８１７は揮発性メモリであり、記憶された情報を維持するために電力を必要とする。幾つかの実施形態では、メモリ８１７は、非限定的な例として、フラッシュメモリ、ダイナミックランダムアクセスメモリ（DRAM）、強誘電体ランダムアクセスメモリ（FRAM（登録商標））、又は相変化ランダムアクセスメモリ（PRAM）を含む。幾つかの実施形態では、記憶ユニット８１４は、不揮発性メモリであり、コンピュータに電力が供給されていないときに記憶された情報を保持する。他の実施形態では、記憶ユニット８１４は、非限定的な例として、コンパクトディスク読み出し専用メモリ（CD-ROM）、デジタル汎用ディスク（DVD）、フラッシュメモリ装置、磁気ディスクドライブ、磁気テープドライブ、光ディスクドライブ、及びクラウドコンピューティングベースのストレージを含む。更なる実施形態では、メモリ８１７又は記憶ユニット８１４は、本明細書に開示されたものなどの装置の組み合わせである。幾つかの実施形態では、メモリ８１７又は記憶ユニット８１４は、ネットワークベースのメモリ又はコンピューティング装置８１０の動作を実行する複数のマシン内のメモリなどの複数のマシンに分散される。

【0072】

幾つかの実施形態では、記憶ユニット８１４は、データを記憶するためのデータストレージユニット又はデータストアである。幾つかの実施形態では、記憶ユニット８１４は、ドライバ、ライブラリ、及び保存されたプログラムなどのファイルを記憶する。幾つかの実施形態では、記憶ユニット８１４は、ユーザデータ（例えば、ユーザ設定及びユーザプログラム）を記憶する。幾つかの実施形態では、コンピューティング装置８１０は、イントラネット又はインターネットを介して通信しているリモートサーバ上に配置されるなど、外部にある１つ以上の追加のデータ記憶ユニットを含む。

【0073】

幾つかの実施形態では、本明細書に記載される方法は、例えばメモリ８１７又は記憶ユニット８１４など、コンピューティング装置８１０の電子記憶位置に記憶されたマシン又はコンピュータプロセッサ実行可能コードによって実施される。幾つかの実施形態では、電子プロセッサ８１２は、コードを実行するように構成される。幾つかの実施形態では、機械実行可能コード又は機械可読コードは、ソフトウェアの形態で提供される。幾つかの実施形態では、使用中に、コードは電子プロセッサ８１２によって実行される。幾つかの場合では、コードは、記憶ユニット８１４から読み出され、電子プロセッサ８１２によってすぐにアクセスできるようにメモリ８１７に格納される。幾つかの状況では、記憶ユニット８１４は除外され、機械実行可能命令はメモリ８１７に格納される。幾つかの実施形態では、コードは、プレコンパイルされる。幾つかの実施形態では、コードは、実行時にコンパイルされる。コードは、プリコンパイル又はコンパイル時の方法でコードを実行できるように選択可能なプログラミング言語で提供することができる。例えば、実行可能コードは、本明細書に記載される技術を実行するエントロピーコーディングアプリケーションを含むことができる。

【0074】

幾つかの実施形態では、電子プロセッサ８１２は、プログラム又はソフトウェアで具体化することができる機械可読命令のシーケンスを実行することができる。命令は、メモリ８１７などのメモリ位置に格納することができる。命令は、電子プロセッサ８１２に送ることができ、その後、本開示の方法を実施するように電子プロセッサ８１２をプログラムするか、又は構成することができる。電子プロセッサ８１２によって実行される動作の例は、フェッチ、デコード、実行、及び書き戻しを含むことができる。幾つかの実施形態では、電子プロセッサ８１２は、集積回路などの回路の構成要素である。コンピューティング装置８１０の１つ以上の他の構成要素は、オプションで回路に含めることができる。幾つかの実施形態では、回路は、特定用途向け集積回路（ASIC）又はフィールドプログラマブルゲートアレイ（FPGA）である。幾つかの実施形態では、電子プロセッサ８１２の動作は、直接又はネットワークを介して結合することができる複数のマシン（ここで、個々のマシンは１つ以上のプロセッサを有することができる）に渡り分散させることができる。

【0075】

幾つかの実施形態では、コンピューティング装置８１０は、通信インターフェース８１５を介してコンピュータネットワークにオプションで動作可能に結合される。幾つかの実施形態では、コンピューティング装置８１０は、ネットワークを介して１つ以上のリモートコンピュータシステムと通信する。例えば、コンピューティング装置８１０は、ネットワークを介してリモートコンピュータシステムと通信することができる。リモートコンピュータシステムの例には、パーソナルコンピュータ（ポータブルPCなど）、スレート又はタブレットPC（例えば、Apple（登録商標）iPad（登録商標）、Samsung（登録商標）GalaxyTabなど）、スマートフォン（例えば、Apple（登録商標）iPhone（登録商標）、Android対応装置、Blackberry（登録商標）など）、又は携帯情報端末が含まれる。幾つかの実施形態では、ユーザは、ネットワークを介してコンピューティング装置８１０にアクセスすることができる。幾つかの実施形態では、コンピューティング装置８１０は、ピアツーピアネットワーク内のノードとして構成される。

【0076】

幾つかの実施形態では、コンピューティング装置８１０は、１つ以上の出力装置８２０を含むか、又はそれと通信している。幾つかの実施形態では、出力装置８２０は、視覚情報をユーザに送信するディスプレイを含む。幾つかの実施形態では、出力装置８２０は、液晶ディスプレイ（LCD）である。更なる実施形態では、出力装置８２０は、薄膜トランジスタ液晶ディスプレイ（TFT-LCD）である。幾つかの実施形態では、出力装置８２０は、有機発光ダイオード（OLED）ディスプレイである。更に様々な実施形態では、OLEDディスプレイは、パッシブマトリクスOLED（PMOLED）又はアクティブマトリクスOLED（AMOLED）ディスプレイである。幾つかの実施形態では、出力装置８２０は、プラズマディスプレイである。他の実施形態では、出力装置８２０は、ビデオプロジェクタである。更に他の実施形態では、出力装置８２０は、（仮想現実）VRヘッドセットなど、コンピュータと通信するヘッドマウントディスプレイである。更なる実施形態では、適切なVRヘッドセットは、非限定的な例として、High Tech Computer（HTC）Vive（登録商標）、OculusRift（登録商標）、Samsung GearVR、Microsoft HoloLens（登録商標）、Razer Open-Source Virtual Reality（OSVR）（登録商標）、FOVEVR、Zeiss VR One（登録商標）、Avegant Glyph（登録商標）、Freefly VRヘッドセットなどを含む。幾つかの実施形態では、出力装置８２０は、タッチ入力を感知するように動作可能であり、出力装置８２０及び入力装置８３０の両方として機能するタッチ感知素子とディスプレイを組み合わせるタッチ感知ディスプレイである。更に他の実施形態では、出力装置８２０は、本明細書に開示されているような装置の組み合わせである。幾つかの実施形態では、出力装置８２０は、コンピューティング装置８１０（例えば、コンピューティング装置８１０によって実行されるソフトウェア）によって生成されるユーザインタフェース（UI）８２５を提供する。

【0077】

幾つかの実施形態では、コンピューティング装置８１０は、ユーザから情報を受信するように構成された１つ以上の入力装置８３０を含むか、又はそれと通信している。幾つかの実施形態では、入力装置８３０はキーボードである。幾つかの実施形態では、入力装置８３０は、非限定的な例として、マウス、トラックボール、トラックパッド、ジョイスティック、ゲームコントローラ、又はスタイラスを含むポインティング装置である。幾つかの実施形態では、上述のように、入力装置８３０はタッチスクリーン又はマルチタッチスクリーンである。他の実施形態では、入力装置８３０は、音声又は他の音声入力をキャプチャするマイクである。他の実施形態では、出力装置８３０は、ビデオカメラ又はビデオカメラである。更に別の実施形態では、入力装置は、本明細書に開示されているような装置の組み合わせである。

【0078】

幾つかの実施形態では、コンピューティング装置８１０は、実行可能命令を実行するように構成されたオペレーティングシステムを含む。オペレーティングシステムは、例えば、装置のハードウェアを管理し、アプリケーションの実行のためのサービスを提供するプログラム及びデータを含むソフトウェアである。

【0079】

また、記載された実施形態を実施するために、複数のハードウェア及びソフトウェアベースの装置、並びに複数の異なる構造コンポーネントを使用してもよいことに留意されたい。更に、実施形態は、ハードウェア、ソフトウェア、及び電子コンポーネント又はモジュールを含むことができ、これらは、説明の目的上、コンポーネントの大部分がハードウェアのみで実施されるかのように図示及び説明される場合がある。幾つかの実施形態では、本開示の電子ベースの態様は、電子プロセッサ８１２などの１つ以上のプロセッサによって実行可能なソフトウェア（例えば、非一時的コンピュータ可読媒体に保存される）で実装することができる。このように、複数のハードウェア及びソフトウェアベースの装置、並びに複数の異なる構造コンポーネントを使用して、様々な実施形態を実装することができることに留意されたい。また、特定の図面は、特定の装置内に配置されたハードウェア及びソフトウェアを図示しているが、これらの図示は説明目的のみであることも理解されたい。幾つかの実施形態では、図示されたコンポーネントは、別々のソフトウェア、ファームウェア又はハードウェアに結合又は分割することができる。例えば、単一の電子プロセッサ内に配置され、単一の電子プロセッサによって実行される代わりに、論理及び処理は、複数の電子プロセッサ間に分散することができる。どのように結合又は分割されるかにかかわらず、ハードウェア及びソフトウェアコンポーネントは、同じコンピューティング装置上に配置することができ、又は、１つ以上のネットワーク又は他の適切な通信リンクによって接続された異なるコンピューティング装置間に分散することができる。

【0080】

＜例示的な処理＞
図９は、本開示の実施形態によって実施することができる処理の例９００のフローチャートを示す。処理９００は、一般に、説明したオブジェクトクラスタリングシステムを使用してオブジェクトクラスタリングにおいてHRMがどのように保存されるかをより詳細に示す。説明を明確にするために、以下の説明では、図１～８のコンテキストで処理９００を一般的に説明する。しかし、処理９００は、例えば、任意の他の適切なシステム、環境、ソフトウェア及びハードウェア、又はシステム、環境、ソフトウェア及びハードウェアの適宜の組み合わせによって実行されてもよいことが理解されよう。幾つかの実施形態では、処理９００の様々な動作は、並列に、組み合わせて、ループで、又は任意の順序で実行されてもよい。

【0081】

９０２で、複数のオーディオオブジェクトが受信される。複数のオーディオオブジェクトのうちのオーディオオブジェクトは、各々の空間位置情報及びHRMを示す各々のオブジェクトメタデータに関連付けられる。幾つかの実施形態では、HRMは、「バイパス」、「近」、「遠」、又は「中」の値を有する。９０２から、処理９００は９０４に進む。

【0082】

９０４で、拡張ハイブリッド距離メトリックを空間コーディングアルゴリズムに適用して、オーディオオブジェクトの各々について部分ラウドネスを計算することによって、複数のクラスタ位置が決定される。幾つかの実施形態では、拡張ハイブリッド距離メトリックは、HRM距離をハイブリッド距離に統合する。幾つかの実施形態では、ハイブリッド距離は、ユークリッド距離と角距離を組み合わせる。幾つかの実施形態では、HRM距離の計算は、空間的複雑性の観点から異なるオーディオシーンに適応する。幾つかの実施形態では、HRM距離は、クラスタ位置を決定するときに、オーディオオブジェクトのペア間の距離を計算するためのスケーリング係数として機能する。幾つかの実施形態では、HRM距離は、オーディオオブジェクトをクラスタ位置にレンダリングするときに、各オーディオオブジェクトと各クラスタ間の距離を計算するためのスケーリング係数として機能する。幾つかの実施形態では、拡張ハイブリッド距離メトリックは、空間コーディングアルゴリズムに適用されて、位置的正確性を確保し、HRMを保存する。幾つかの実施形態では、クラスタ位置は、目標クラスタ数に従って決定される。幾つかの実施形態では、目標クラスタ数は、利用可能な帯域幅又は予想されるビットレートに従って設定される。幾つかの実施形態では、各クラスタ位置は、反復貪欲法によって決定される。幾つかの実施形態では、反復貪欲法は、最大部分ラウドネス、全体ラウドネス、エネルギ、レベル、顕著性、又は重要性を有するオーディオオブジェクトを選択することを含む。９０４から、処理９００は９０６に進む。

【0083】

９０６で、拡張ハイブリッド距離メトリックを空間コーディングアルゴリズムに適用してオブジェクト対クラスタ利得を計算することによって、複数のクラスタを形成するように、オーディオオブジェクトがクラスタ位置にレンダリングされる。幾つかの実施形態では、オブジェクト対クラスタ利得を計算するときの全体的なコストは、複数のペナルティ項を含む。幾つかの実施形態では、ペナルティ項の少なくとも１つは、拡張ハイブリッド距離メトリックを使用する。幾つかの実施形態では、全体コストは、各ペナルティ項のサブコストの線形結合として定義される。幾つかの実施形態では、全体コストは、オブジェクト位置の差異を記述する少なくとも１つの位置距離メトリック、HRMにおける類似性又は非類似性を表すメトリック、及びオーディオオブジェクトのラウドネス、レベル、又は重要度メトリックを組み合わせる。幾つかの実施形態では、全体コストを最小化することによって、オーディオオブジェクトをクラスタ位置にレンダリングする。幾つかの実施形態では、拡張ハイブリッド距離メトリックを適用してクラスタ位置を決定する際に、第１パラメータセットが使用される。幾つかの実施形態では、拡張ハイブリッド距離メトリックを適用してオーディオオブジェクトをクラスタ位置にレンダリングする際に、第２パラメータセットが使用される。幾つかの実施形態では、各クラスタは、クラスタオーディオデータ及び関連するクラスタメタデータを含む。幾つかの実施形態では、クラスタオーディオデータは、各々のクラスタにレンダリングされた各オーディオオブジェクトのオーディオデータにオブジェクト対クラスタ利得を適用することによって決定される。幾つかの実施形態では、クラスタメタデータは、関連するクラスタのクラスタ位置及びクラスタHRMを含む。幾つかの実施形態では、クラスタにレンダリングされた各オーディオオブジェクトに関連するオブジェクトメタデータの少なくとも１つが、各々の関連するクラスタメタデータに保存される。９０６から、処理９００は９０８に進む。

【0084】

９０８で、クラスタは空間再生システムに送信される。幾つかの実施形態では、空間再生システムは、複数のスピーカ又はヘッドフォンを含む。９０８から、処理９００が終了する。

【0085】

＜実装メカニズム－ハードウェア概要＞
１実装によると、本願明細書に記載の技術は、１つ以上の専用コンピューティング装置により実装される。専用コンピューティング装置は、技術を実行するためにハード結線されてよく、又は技術を実行するために永久的にプログラムされた１つ以上のASIC又はFPGAのようなデジタル電子装置を含んでよく、又はファームウェア、メモリ、他の記憶装置又はそれらの組み合わせの中のプログラム命令に従い技術を実行するためにプログラムされた１つ以上の汎用ハードウェアプロセッサを含んでよい。このような専用コンピューティング装置は、技術を達成するために、カスタムハードワイヤドロジック、ASIC、又はFPGAをカスタムプログラミングと結合してもよい。専用コンピューティング装置は、デスクトップコンピュータシステム、ポータブルコンピュータシステム、ハンドヘルド装置、ネットワーク装置、又は技術を実装するためにハードワイヤ－ド又はプログラムロジックを組み込む任意の他の装置であってよい。技術は、ハードウェア回路及びソフトウェアの任意の特定の組み合わせにもコンピューティング装置又はデータ処理システムにより実行される命令の任意の特定のソースにも、限定されない。

【0086】

＜非一時的コンピュータ可読記憶媒体＞
幾つかの実施形態では、本明細書に開示されたプラットフォーム、システム、媒体、及び方法は、任意にネットワーク化されたコンピュータのオペレーティングシステムによって実行可能な命令を含むプログラムで符号化された１つ以上の非一時的コンピュータ読み取り可能記憶媒体を含む。更なる実施形態では、コンピュータ可読記憶媒体は、コンピュータの有形の構成要素である。更に他の実施形態では、コンピュータ可読記憶媒体は、任意でコンピュータから取り外し可能な構成要素である。

【0087】

本願明細書で使用される用語「記憶媒体」は、機械を特定の方法で動作させるデータ又は命令を格納する任意の媒体を表す。それは非一時的である。そのような記憶媒体は、不揮発性媒体又は揮発性媒体を含んでよい。不揮発性媒体は、例えば、光学又は磁気ディスクを含む。揮発性媒体は、動的メモリを含む。記憶媒体の一般的な形態は、例えば、フロッピーディスク、フレキシブルディスク、ハードディスク、ソリッドステートメモリ、磁気テープドライブ、磁気ディスクドライブ（又は任意の他の磁気データ記憶媒体）、CD-ROM、DVD、フラッシュメモリ装置、光学データ記憶媒体、ランダムアクセスメモリ（RAM）、プログラマブルROM（PROM）、及び消去可能プログラマブルROM（EPROM）、フラッシュEPROM、不揮発性RM（NVRAM）、又は任意の他のメモリチップ又はカートリッジを含む。場合によっては、プログラム及び命令は、媒体上に永久的、実質的に永久的、半永久的、又は非過渡的に符号化される。

【0088】

記憶媒体は、伝送媒体と異なるが、それと関連して使用されてよい。伝送媒体は、記憶媒体の間で情報を転送する際に関連する。例えば、伝送媒体は、同軸ケーブル、銅線、及び光ファイバを含む。伝送媒体は、無線波及び赤外線データ通信の間に生成されるような、音響又は光波の形式も取りうる。

【0089】

＜コンピュータプログラム＞
幾つかの実施形態において、本明細書に開示されるプラットフォーム、システム、媒体、及び方法は、少なくとも１つのコンピュータプログラム、又はその使用を含む。コンピュータプログラムは、指定されたタスクを実行するために書き込まれた、コンピュータのCPUで実行可能な一連の命令を含む。コンピュータ可読命令は、特定のタスクを実行する、又は特定の抽象データ型を実装する、関数、オブジェクト、API、データ構造などのプログラムモジュールとして実装することができる。本明細書に提供される開示に照らして、当業者は、コンピュータプログラムが様々な言語の様々なバージョンで書かれてもよいことを認識するであろう。

【0090】

コンピュータ可読命令の機能は、様々な環境で所望に応じて結合又は分散されてもよい。幾つかの実施形態では、コンピュータプログラムは、命令の１つのシーケンスを含む。幾つかの実施形態では、コンピュータプログラムは、複数の命令シーケンスを含む。幾つかの実施形態では、コンピュータプログラムは、１つの場所から提供される。幾つかの実施形態では、コンピュータプログラムは、複数の場所から提供される。様々な実施形態では、コンピュータプログラムは、１つ以上のソフトウェアモジュールを含む。様々な実施形態では、コンピュータプログラムは、１つ以上のウェブアプリケーション、１つ以上のモバイルアプリケーション、１つ以上のスタンドアロンアプリケーション、１つ以上のウェブブラウザプラグイン、拡張機能、アドイン、又はアドオン、又はそれらの組み合わせを、部分的又は全体的に含む。

【0091】

＜データストア＞
幾つかの実施形態では、本明細書に開示されたプラットフォーム、システム、媒体、及び方法は、１つ以上のデータストアを含む。本明細書に提供された開示を考慮すると、当業者は、データストアが、データのコレクションを永続的に格納及び管理するためのリポジトリであることを認識するであろう。データストアリポジトリのタイプには、例えば、データベース及びより単純なストアタイプ、又はそれらの使用が含まれる。より単純なストアタイプには、ファイル、電子メールなどが含まれる。ある実施形態では、データベースは、DBMSによって管理される一連のバイトである。多くのデータベースは、気象、海事、環境、民間、政府、又は軍事データなどの様々なタイプのデータを受信するのに適している。様々な実施形態では、適切なデータベースは、非限定的な例として、リレーショナルデータベース、非リレーショナルデータベース、オブジェクト指向データベース、オブジェクトデータベース、エンティティ関係モデルデータベース、連想データベース、及び拡張可能マークアップ言語（XML）データベースを含む。更に非限定的な例には、構造化照会言語（SQL）、PostgreSQL、MySQL（登録商標）、Oracle（登録商標）、DB２（登録商標）、及びSybase（登録商標）が含まれる。ある実施形態では、データベースはインターネットベースである。ある実施形態では、データベースはウェブベースである。ある実施形態では、データベースはクラウドコンピューティングベースである。ある実施形態では、データベースは１つ以上のローカルコンピュータ記憶装置に基づく。

【0092】

＜均等物、拡張機能、代替案、等（Equivalents, Extensions, Alternatives 、and Miscellaneous）＞
以上の明細書において、本開示の可能な実装は、実装毎に変化し得る多数の特定の詳細を参照して説明された。請求の範囲に含まれる用語について本願明細書に明示的に記載された任意の定義は、請求の範囲において使用されるこのような用語の意味を支配するべきである。従って、請求の範囲に明示的に記載されないいかなる限定、要素、特徴、利点、又は属性は、いかなる方法でも、請求の範囲の範囲を限定すべきではない。明細書及び図面は、従って、限定的意味ではなく、説明であると考えられるべきである。更に理解されるべきことに、明確さのために、「例えば」（e.g.）は、「例のために」（網羅的ではない）を意味し、「つまり」（i.e.）又は「すなわち」とは異なる。

【0093】

更に、前述の説明では、特定のコンポーネント、装置、方法、等のような多数の特定の詳細が、本開示の実装の完全な理解尾w提供するために説明された。しかしながら、当業者には、これらの特定の詳細が本開示の実装を実施するために利用される必要がないことが明らかである。他の例では、よく知られた材料又は方法は、本開示の実装を不必要に曖昧にすることを避けるために、詳細に記載されない。

【0094】

＜構成例＞
本開示の種々の態様は、以下の例示的な構成のうちの任意の１つ以上を取り入れてよい。

【0095】

EEE（１）オブジェクトクラスタリングにおいてHRMを保存するための方法であって、
複数のオーディオオブジェクトを受信するステップであって、前記複数のオーディオオブジェクトのうちのオーディオオブジェクトが、各々の空間位置情報とHRMとを示す各々のオブジェクトメタデータに関連付けられる、ステップと、
拡張ハイブリッド距離メトリックを空間コーディングアルゴリズムに適用して各オーディオオブジェクトの部分ラウドネスを計算することによって複数のクラスタ位置を決定するステップと、
前記拡張ハイブリッド距離メトリックを前記空間コーディングアルゴリズムに適用してオブジェクト対クラスタ利得を計算することによって複数のクラスタを形成するように前記オーディオオブジェクトを前記クラスタ位置にレンダリングするステップと、
前記クラスタを空間再生システムに送信するステップと、
を含む方法。

【0096】

EEE（２）拡張ハイブリッド距離メトリックは、HRM距離をハイブリッド距離に統合する、EEE（１）記載のオブジェクトクラスタリングにおけるヘッドフォンレンダリングモード保存方法。

【0097】

EEE（３）ハイブリッド距離はユークリッド距離と角距離を組み合わせたものである、EEE（１）又はEEE（２）のいずれか一項に記載のオブジェクトクラスタリングにおけるヘッドフォンレンダリングモード保存方法。

【0098】

EEE（４）HRM距離の計算は空間複雑度の点で異なるオーディオシーンに適応する、EEE（１）～EEE（３）のいずれか一項に記載のオブジェクトクラスタリングにおけるヘッドフォンレンダリングモード保存方法。

【0099】

EEE（５）クラスタ位置を決定する場合にHRM距離がオーディオオブジェクトのペア間の距離を計算するスケーリング係数として機能し、オーディオオブジェクトをクラスタ位置にレンダリングする場合にHRM距離が各オーディオオブジェクトと各クラスタ間の距離を計算するスケーリング係数として機能する、EEE（１）～EEE（４）のいずれか一項に記載のオブジェクトクラスタリングにおけるヘッドフォンレンダリングモード保存方法。

【0100】

EEE（６）拡張ハイブリッド距離メトリックを空間コーディングアルゴリズムに適用して位置正確性を確保しHRMを保存する、EEE（１）～EEE（５）のいずれか一項に記載のオブジェクトクラスタリングにおけるヘッドフォンレンダリングモード保存方法。

【0101】

EEE（７）前記オブジェクト対クラスタ利得を計算する場合の全体コストは、複数のペナルティ項を含み、前記ペナルティ項の少なくとも１つは、前記拡張ハイブリッド距離メトリックを使用する、EEE（１）～EEE（６）のいずれか一項に記載のオブジェクトクラスタリングにおけるヘッドフォンレンダリングモード保存方法。

【0102】

EEE（８）前記全体コストは、前記ペナルティ項の各々のサブコストの線形結合として定義され、前記全体コストは、オブジェクト位置の差異を記述する少なくとも１つの位置距離メトリック、HRMにおける類似性又は非類似性を表すメトリック、及び前記オーディオオブジェクトのラウドネス、レベル又は重要度メトリック、を結合する、EEE（１）～EEE（７）のいずれか一項に記載のオブジェクトクラスタリングにおけるヘッドフォンレンダリングモード保存方法。

【0103】

EEE（９）全体コストを最小化することによってオーディオオブジェクトをクラスタ位置にレンダリングする、EEE（１）～EEE（８）のいずれか一項に記載のオブジェクトクラスタリングにおけるヘッドフォンレンダリングモード保存方法。

【0104】

EEE（１０）前記拡張ハイブリッド距離メトリックを適用して前記クラスタ位置を決定する場合に第１パラメータセットが使用され、前記拡張ハイブリッド距離メトリックを適用して前記オーディオオブジェクトを前記クラスタ位置にレンダリングする場合に第２パラメータセットが使用される、EEE（１）～EEE（９）のいずれか一項に記載のオブジェクトクラスタリングにおけるヘッドフォンレンダリングモード保存方法。

【0105】

EEE（１１）前記クラスタ位置は、目標クラスタ数に従って決定され、前記目標クラスタ数は、利用可能な帯域幅又は予想されるビットレートに従って設定される、EEE（１）～EEE（１０）のいずれか一項に記載のオブジェクトクラスタリングにおけるヘッドフォンレンダリングモード保存方法。

【0106】

EEE（１２）各クラスタ位置は反復貪欲法によって決定される、EEE（１）～EEE（１１）のいずれか一項に記載のオブジェクトクラスタリングにおけるヘッドフォンレンダリングモード保存方法。

【0107】

EEE（１３）反復貪欲法は、最大の部分ラウドネス、全体ラウドネス、エネルギ、レベル、顕著性、又は重要性を有するオーディオオブジェクトを選択することを含む、EEE（１）～EEE（１２）のいずれか一項に記載のオブジェクトクラスタリングにおけるヘッドフォンレンダリングモード保存方法。

【0108】

EEE（１４）ハイブリッド距離はユークリッド距離と角距離を組み合わせたものである、EEE（１）～EEE（１３）のいずれか一項に記載のオブジェクトクラスタリングにおけるヘッドフォンレンダリングモード保存方法。

【0109】

EEE（１５）前記クラスタオーディオデータは、前記オブジェクト対クラスタ利得を、前記各々のクラスタにレンダリングされる前記オーディオオブジェクトの各々のオーディオデータに適用することによって決定される、EEE（１）～EEE（１４）のいずれか一項に記載のオブジェクトクラスタリングにおけるヘッドフォンレンダリングモード保存方法。

【0110】

EEE（１６）クラスタメタデータは、関連するクラスタのクラスタ位置及びクラスタHRMを含む、EEE（１）～EEE（１５）のいずれか一項に記載のオブジェクトクラスタリングにおけるヘッドフォンレンダリングモード保存方法。

【0111】

EEE（１７）前記クラスタにレンダリングされた前記オーディオオブジェクトの各々に関連する前記オブジェクトメタデータの少なくとも１つは、前記各々の関連するクラスタメタデータに保存される、EEE（１）～EEE（１６）のいずれか一項に記載のオブジェクトクラスタリングにおけるヘッドフォンレンダリングモード保存方法。

【0112】

EEE（１８）HRMは、「バイパス」、「近」、「遠」又は「中」の値を有する、EEE（１）～EEE（１７）のいずれか一項に記載のオブジェクトクラスタリングにおけるヘッドフォンレンダリングモード保存方法。

【0113】

EEE（１９）空間再生システムは、多数のスピーカ又はヘッドフォンを含む、EEE（１）～EEE（１８）のいずれか一項に記載のオブジェクトクラスタリングにおけるヘッドフォンレンダリングモード保存方法。

【0114】

EEE（２０）非一時的コンピュータ可読記憶媒体であって、電子プロセッサに結合され、格納された命令を含み、前記命令は、前記電子プロセッサによって実行されたときに、前記電子プロセッサに動作を実行させ、前記動作は、
複数のオーディオオブジェクトを受信するステップであって、前記複数のオーディオオブジェクトのうちのオーディオオブジェクトが、各々の空間位置情報とHRMとを示す各々のオブジェクトメタデータに関連付けられる、ステップと、
拡張ハイブリッド距離メトリックを空間コーディングアルゴリズムに適用して各オーディオオブジェクトの部分ラウドネスを計算することによって複数のクラスタ位置を決定するステップと、
前記拡張ハイブリッド距離メトリックを前記空間コーディングアルゴリズムに適用してオブジェクト対クラスタ利得を計算することによって複数のクラスタを形成するように前記オーディオオブジェクトを前記クラスタ位置にレンダリングするステップと、
前記クラスタを空間再生システムに送信するステップと、
を含む、非一時的コンピュータ可読記憶媒体。

【0115】

EEE（２１）前記拡張ハイブリッド距離メトリックは、HRM距離をハイブリッド距離に統合する、EEE（２０）に記載の媒体。

【0116】

EEE（２２）ハイブリッド距離はユークリッド距離と角距離を組み合わせたものである、EEE（２０）又はEEE（２１）のいずれか一項に記載の媒体。

【0117】

EEE（２３）HRM距離の計算は空間複雑度の点で異なるオーディオシーンに適応する、EEE（２０）～EEE（２２）のいずれか一項に記載の媒体。

【0118】

EEE（２４）クラスタ位置を決定する場合にHRM距離がオーディオオブジェクトのペア間の距離を計算するスケーリング係数として機能し、オーディオオブジェクトをクラスタ位置にレンダリングする場合にHRM距離が各オーディオオブジェクトと各クラスタ間の距離を計算するスケーリング係数として機能する、EEE（２０）～EEE（２３）のいずれか一項に記載の媒体。

【0119】

EEE（２５）拡張ハイブリッド距離メトリックを空間コーディングアルゴリズムに適用して位置正確性を確保しHRMを保存する、EEE（２０）～EEE（２４）のいずれか一項に記載の媒体。

【0120】

EEE（２６）前記オブジェクト対クラスタ利得を計算する場合の全体コストは、複数のペナルティ項を含み、前記ペナルティ項の少なくとも１つは、前記拡張ハイブリッド距離メトリックを使用する、EEE（２０）～EEE（２５）のいずれか一項に記載の媒体。

【0121】

EEE（２７）前記全体コストは、前記ペナルティ項の各々のサブコストの線形結合として定義され、前記全体コストは、オブジェクト位置の差異を記述する少なくとも１つの位置距離メトリック、HRMにおける類似性又は非類似性を表すメトリック、及び前記オーディオオブジェクトのラウドネス、レベル又は重要度メトリック、を結合する、EEE（２０）～EEE（２６）のいずれか一項に記載の媒体。

【0122】

EEE（２８）全体コストを最小化することによってオーディオオブジェクトをクラスタ位置にレンダリングする、EEE（２０）～EEE（２７）のいずれか一項に記載の媒体。

【0123】

EEE（２９）前記拡張ハイブリッド距離メトリックを適用して前記クラスタ位置を決定する場合に第１パラメータセットが使用され、前記拡張ハイブリッド距離メトリックを適用して前記オーディオオブジェクトを前記クラスタ位置にレンダリングする場合に第２パラメータセットが使用される、EEE（２０）～EEE（２８）のいずれか一項に記載の媒体。

【0124】

EEE（３０）前記クラスタ位置は、目標クラスタ数に従って決定され、前記目標クラスタ数は、利用可能な帯域幅又は予想されるビットレートに従って設定される、EEE（２０）～EEE（２９）のいずれか一項に記載の媒体。

【0125】

EEE（３１）各クラスタ位置は反復貪欲法によって決定される、EEE（２０）～EEE（３０）のいずれか一項に記載の媒体。

【0126】

EEE（３２）反復貪欲法は、最大の部分ラウドネス、全体ラウドネス、エネルギ、レベル、顕著性、又は重要性を有するオーディオオブジェクトを選択することを含む、EEE（２０）～EEE（３１）のいずれか一項に記載の媒体。

【0127】

EEE（３３）ハイブリッド距離はユークリッド距離と角距離を組み合わせたものである、EEE（２０）～EEE（３２）のいずれか一項に記載の媒体。

【0128】

EEE（３４）前記クラスタオーディオデータは、前記オブジェクト対クラスタ利得を、前記各々のクラスタにレンダリングされる前記オーディオオブジェクトの各々のオーディオデータに適用することによって決定される、EEE（２０）～EEE（３３）のいずれか一項に記載の媒体。

【0129】

EEE（３５）クラスタメタデータは、関連するクラスタのクラスタ位置及びクラスタHRMを含む、EEE（２０）～EEE（３４）のいずれか一項に記載の媒体。

【0130】

EEE（３６）前記クラスタにレンダリングされた前記オーディオオブジェクトの各々に関連する前記オブジェクトメタデータの少なくとも１つは、前記各々の関連するクラスタメタデータに保存される、EEE（２０）～EEE（３５）のいずれか一項に記載の媒体。

【0131】

EEE（３７）HRMは、「バイパス」、「近」、「遠」又は「中」の値を有する、EEE（２０）～EEE（３６）のいずれか一項に記載の媒体。

【0132】

EEE（３８）空間再生システムは、多数のスピーカ又はヘッドフォンを含む、EEE（２０）～EEE（３７）のいずれか一項に記載の媒体。

【0133】

EEE（３９）プロセッサを含むオブジェクトベースのオーディオデータ処理システムであって、前記プロセッサは、
複数のオーディオオブジェクトを受信し、前記複数のオーディオオブジェクトのうちのオーディオオブジェクトが、各々の空間位置情報とヘッドフォンレンダリングモード（HRM）とを示す各々のオブジェクトメタデータに関連付けられ、
拡張ハイブリッド距離メトリックを空間コーディングアルゴリズムに適用して各オーディオオブジェクトの部分ラウドネスを計算することによって複数のクラスタ位置を決定し、
前記拡張ハイブリッド距離メトリックを前記空間コーディングアルゴリズムに適用してオブジェクト対クラスタ利得を計算することによって複数のクラスタを形成するように前記オーディオオブジェクトを前記クラスタ位置にレンダリングし、
前記クラスタを空間再生システムに送信する、
ように構成される、オブジェクトベースのオーディオデータ処理システム。

【0134】

EEE（４０）前記拡張ハイブリッド距離メトリックは、HRM距離をハイブリッド距離に統合する、EEE（３９）に記載のオブジェクトベースのオーディオデータ処理システム。

【0135】

EEE（４１）ハイブリッド距離はユークリッド距離と角距離を組み合わせたものである、EEE（３９）又はEEE（４０）のいずれか一項に記載のオブジェクトベースのオーディオデータ処理システム。

【0136】

EEE（４２）HRM距離の計算は空間複雑度の点で異なるオーディオシーンに適応する、EEE（３９）～EEE（４１）のいずれか一項に記載のオブジェクトベースのオーディオデータ処理システム。

【0137】

EEE（４３）HRM距離は、クラスタ位置を決定する場合にオーディオオブジェクトのペア間の距離を算出するためのスケーリング係数として機能し、HRM距離は、オーディオオブジェクトをクラスタ位置にレンダリングする場合に各オーディオオブジェクトと各クラスタとの間の距離を算出するためのスケーリング係数として機能する、EEE（３９）～EEE（４２）のいずれか一項に記載のオブジェクトベースのオーディオデータ処理システム。

【0138】

EEE（４４）拡張ハイブリッド距離メトリックを空間コーディングアルゴリズムに適用して位置正確性を確保しHRMを保存する、EEE（３９）～EEE（４３）のいずれか一項に記載のオブジェクトベースのオーディオデータ処理システム。

【0139】

EEE（４５）前記オブジェクト対クラスタ利得を計算する場合の全体コストは、複数のペナルティ項を含み、前記ペナルティ項の少なくとも１つは、前記拡張ハイブリッド距離メトリックを使用する、EEE（３９）～EEE（４４）のいずれか一項に記載のオブジェクトベースのオーディオデータ処理システム。

【0140】

EEE（４６）前記全体コストは、前記ペナルティ項の各々のサブコストの線形結合として定義され、前記全体コストは、オブジェクト位置の差異を記述する少なくとも１つの位置距離メトリック、HRMにおける類似性又は非類似性を表すメトリック、及び前記オーディオオブジェクトのラウドネス、レベル又は重要度メトリック、を結合する、EEE（３９）～EEE（４５）のいずれか一項に記載のオブジェクトベースのオーディオデータ処理システム。

【0141】

EEE（４７）全体コストを最小化することによってオーディオオブジェクトをクラスタ位置にレンダリングする、EEE（３９）～EEE（４６）のいずれか一項に記載のオブジェクトベースのオーディオデータ処理システム。

【0142】

EEE（４８）前記拡張ハイブリッド距離メトリックを適用して前記クラスタ位置を決定する場合に第１パラメータセットが使用され、前記拡張ハイブリッド距離メトリックを適用して前記オーディオオブジェクトを前記クラスタ位置にレンダリングする場合に第２パラメータセットが使用される、EEE（３９）～EEE（４７）のいずれか一項に記載のオブジェクトベースのオーディオデータ処理システム。

【0143】

EEE（４９）前記クラスタ位置は、目標クラスタ数に従って決定され、前記目標クラスタ数は、利用可能な帯域幅又は予想されるビットレートに従って設定される、EEE（３９）～EEE（４８）のいずれか一項に記載のオブジェクトベースのオーディオデータ処理システム。

【0144】

EEE（５０）各クラスタ位置は反復貪欲法によって決定される、EEE（３９）～EEE（４９）のいずれか一項に記載のオブジェクトベースのオーディオデータ処理システム。

【0145】

EEE（５１）反復貪欲法は、最大の部分ラウドネス、全体ラウドネス、エネルギ、レベル、顕著性、又は重要性を有するオーディオオブジェクトを選択することを含む、EEE（３９）～EEE（５０）のいずれか一項に記載のオブジェクトベースのオーディオデータ処理システム。

【0146】

EEE（５２）ハイブリッド距離はユークリッド距離と角距離を組み合わせたものである、EEE（３９）～EEE（５１）のいずれか一項に記載のオブジェクトベースのオーディオデータ処理システム。

【0147】

EEE（５３）前記クラスタオーディオデータは、前記オブジェクト対クラスタ利得を、前記各々のクラスタにレンダリングされる前記オーディオオブジェクトの各々のオーディオデータに適用することによって決定される、EEE（３９）～EEE（５２）のいずれか一項に記載のオブジェクトベースのオーディオデータ処理システム。

【0148】

EEE（５４）クラスタメタデータは、関連するクラスタのクラスタ位置及びクラスタHRMを含む、EEE（３９）～EEE（５３）のいずれか一項に記載のオブジェクトベースのオーディオデータ処理システム。

【0149】

EEE（５５）前記クラスタにレンダリングされた前記オーディオオブジェクトの各々に関連する前記オブジェクトメタデータの少なくとも１つは、前記各々の関連するクラスタメタデータに保存される、EEE（３９）～EEE（５４）のいずれか一項に記載のオブジェクトベースのオーディオデータ処理システム。

【0150】

EEE（５６）HRMは、「バイパス」、「近」、「遠」又は「中」の値を有する、EEE（３９）～EEE（５５）のいずれか一項に記載のオブジェクトベースのオーディオデータ処理システム。

【0151】

EEE（５７）空間再生システムは、多数のスピーカ又はヘッドフォンを含む、EEE（３９）～EEE（５６）のいずれか一項に記載のオブジェクトベースのオーディオデータ処理システム。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【手続補正書】

【提出日】2023-09-25

【手続補正1】

【補正対象書類名】特許請求の範囲

【補正対象項目名】全文

【補正方法】変更

【補正の内容】

【特許請求の範囲】

【請求項1】

オブジェクトクラスタリングにおいてヘッドフォンレンダリングモード（HRM）を保存するための方法であって、
複数のオーディオオブジェクトを受信するステップであって、前記複数のオーディオオブジェクトのうちのオーディオオブジェクトが、各々の空間位置情報とHRMとを示す各々のオブジェクトメタデータに関連付けられる、ステップと、
拡張ハイブリッド距離メトリックを空間コーディングアルゴリズムに適用して各オーディオオブジェクトの部分ラウドネスを計算することによって複数のクラスタ位置を決定するステップと、
前記拡張ハイブリッド距離メトリックを前記空間コーディングアルゴリズムに適用してオブジェクト対クラスタ利得を計算することによって複数のクラスタを形成するように前記オーディオオブジェクトを前記クラスタ位置にレンダリングするステップと、
前記クラスタを空間再生システムに送信するステップと、
を含み、
前記拡張ハイブリッド距離メトリックは、ハイブリッド距離とHRM距離の結合を含み、
前記ハイブリッド距離は、ユークリッド距離と角距離の結合を含み、
前記HRM距離は、前記クラスタ位置を決定する場合には、前記オーディオオブジェクトのペア間の距離を、又は前記オーディオオブジェクトを前記クラスタ位置にレンダリングする場合には、前記オーディオオブジェクトの各々と前記クラスタの各々との間の距離を含む、方法。

【請求項2】

前記HRM距離の計算は、空間的複雑性の観点から異なるオーディオシーンに適応する、請求項１に記載の方法。

【請求項3】

前記HRM距離は、前記拡張ハイブリッド距離メトリックの中の第１スケーリング係数又は第２スケーリング係数によりスケーリングされ、前記第１スケーリング係数は、前記クラスタ位置を決定する場合に、前記オーディオオブジェクトのペア間の距離を計算するために使用され、前記第２スケーリング係数は、前記オーディオオブジェクトを前記クラスタ位置にレンダリングする場合に、前記オーディオオブジェクトの各々と前記クラスタの各々との間の距離を計算するために使用される、請求項１に記載の方法。

【請求項4】

前記拡張ハイブリッド距離メトリックは、前記空間コーディングアルゴリズムに適用されて、位置的正確性を確保し、前記HRMを保存する、請求項１に記載の方法。

【請求項5】

前記オブジェクト対クラスタ利得を計算する場合の全体コストは、複数のペナルティ項を含み、前記ペナルティ項の少なくとも１つは、前記拡張ハイブリッド距離メトリックを使用する、請求項１に記載の方法。

【請求項6】

前記全体コストは、前記ペナルティ項の各々のサブコストの線形結合として定義され、前記全体コストは、オブジェクト位置の差異を記述する少なくとも１つの位置距離メトリック、HRMにおける類似性又は非類似性を表すメトリック、及び前記オーディオオブジェクトのラウドネス、レベル又は重要度メトリック、を結合する、請求項５に記載の方法。

【請求項7】

前記全体コストを最小化することによって、前記オーディオオブジェクトを前記クラスタ位置にレンダリングする、請求項５に記載の方法。

【請求項8】

前記拡張ハイブリッド距離メトリックを適用して前記クラスタ位置を決定する場合に第１パラメータセットが使用され、前記拡張ハイブリッド距離メトリックを適用して前記オーディオオブジェクトを前記クラスタ位置にレンダリングする場合に第２パラメータセットが使用される、請求項１に記載の方法。

【請求項9】

前記クラスタ位置は、目標クラスタ数に従って決定され、前記目標クラスタ数は、利用可能な帯域幅又は予想されるビットレートに従って設定される、請求項１に記載の方法。

【請求項10】

前記クラスタ位置の各々は、反復貪欲法によって決定される、請求項１に記載の方法。

【請求項11】

前記反復貪欲法は、最大部分ラウドネス、全体ラウドネス、エネルギ、レベル、顕著性、又は重要性を有するオーディオオブジェクトを選択することを含む、請求項１０に記載の方法。

【請求項12】

前記クラスタの各々は、クラスタオーディオデータ及び関連するクラスタメタデータを含む、請求項１に記載の方法。

【請求項13】

前記クラスタオーディオデータは、前記オブジェクト対クラスタ利得を、前記各々のクラスタにレンダリングされる前記オーディオオブジェクトの各々のオーディオデータに適用することによって決定される、請求項１２に記載の方法。

【請求項14】

前記クラスタメタデータは、前記関連するクラスタのクラスタ位置及びクラスタHRMを含む、請求項１２に記載の方法。

【請求項15】

前記クラスタにレンダリングされた前記オーディオオブジェクトの各々に関連する前記オブジェクトメタデータの少なくとも１つは、前記各々の関連するクラスタメタデータに保存される、請求項１２に記載の方法。

【請求項16】

前記HRMは、「バイパス」、「近」、「遠」、又は「中」の値を有する、請求項１に記載の方法。

【請求項17】

前記空間再生システムは、複数のスピーカ又はヘッドフォンを含む、請求項１に記載の方法。

【請求項18】

非一時的コンピュータ可読記憶媒体であって、電子プロセッサに結合され、格納された命令を含み、前記命令は、前記電子プロセッサによって実行されたときに、前記電子プロセッサに動作を実行させ、前記動作は、
複数のオーディオオブジェクトを受信するステップであって、前記複数のオーディオオブジェクトのうちのオーディオオブジェクトが、各々の空間位置情報とヘッドフォンレンダリングモード（HRM）とを示す各々のオブジェクトメタデータに関連付けられる、ステップと、
拡張ハイブリッド距離メトリックを空間コーディングアルゴリズムに適用して各オーディオオブジェクトの部分ラウドネスを計算することによって複数のクラスタ位置を決定するステップと、
前記拡張ハイブリッド距離メトリックを前記空間コーディングアルゴリズムに適用してオブジェクト対クラスタ利得を計算することによって複数のクラスタを形成するように前記オーディオオブジェクトを前記クラスタ位置にレンダリングするステップと、
前記クラスタを空間再生システムに送信するステップと、
を含み、
前記拡張ハイブリッド距離メトリックは、ハイブリッド距離とHRM距離の結合を含み、
前記ハイブリッド距離は、ユークリッド距離と角距離の結合を含み、
前記HRM距離は、前記クラスタ位置を決定する場合には、前記オーディオオブジェクトのペア間の距離を、又は前記オーディオオブジェクトを前記クラスタ位置にレンダリングする場合には、前記オーディオオブジェクトの各々と前記クラスタの各々との間の距離を含む、非一時的コンピュータ可読記憶媒体。

【請求項19】

プロセッサを含むオブジェクトベースのオーディオデータ処理システムであって、前記プロセッサは、
複数のオーディオオブジェクトを受信し、前記複数のオーディオオブジェクトのうちのオーディオオブジェクトが、各々の空間位置情報とヘッドフォンレンダリングモード（HRM）とを示す各々のオブジェクトメタデータに関連付けられ、
拡張ハイブリッド距離メトリックを空間コーディングアルゴリズムに適用して各オーディオオブジェクトの部分ラウドネスを計算することによって複数のクラスタ位置を決定し、
前記拡張ハイブリッド距離メトリックを前記空間コーディングアルゴリズムに適用してオブジェクト対クラスタ利得を計算することによって複数のクラスタを形成するように前記オーディオオブジェクトを前記クラスタ位置にレンダリングし、
前記クラスタを空間再生システムに送信する、
ように構成され、
前記拡張ハイブリッド距離メトリックは、ハイブリッド距離とHRM距離の結合を含み、
前記ハイブリッド距離は、ユークリッド距離と角距離の結合を含み、
前記HRM距離は、前記クラスタ位置を決定する場合には、前記オーディオオブジェクトのペア間の距離を、又は前記オーディオオブジェクトを前記クラスタ位置にレンダリングする場合には、前記オーディオオブジェクトの各々と前記クラスタの各々との間の距離を含む、システム。

【国際調査報告】