特表2024-519458広がりをもつオーディオ・オブジェクトをモデル化するための方法、装置およびシステム
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公表特許公報(A)
(11)【公表番号】
(43)【公表日】2024-05-14
(54)【発明の名称】広がりをもつオーディオ・オブジェクトをモデル化するための方法、装置およびシステム
(51)【国際特許分類】
H04S 7/00 20060101AFI20240507BHJP
【ＦＩ】
H04S7/00 300
【審査請求】未請求
【予備審査請求】有
(21)【出願番号】P 2023564170
(86)(22)【出願日】2022-04-28
(85)【翻訳文提出日】2023-10-19
(86)【国際出願番号】 EP2022061331
(87)【国際公開番号】W WO2022229319
(87)【国際公開日】2022-11-03
(31)【優先権主張番号】63/181,865
(32)【優先日】2021-04-29
(33)【優先権主張国・地域又は機関】US
(31)【優先権主張番号】63/247,156
(32)【優先日】2021-09-22
(33)【優先権主張国・地域又は機関】US
(31)【優先権主張番号】21200055.8
(32)【優先日】2021-09-30
(33)【優先権主張国・地域又は機関】EP
(81)【指定国・地域】
(71)【出願人】
【識別番号】510185767
【氏名又は名称】ドルビー・インターナショナル・アーベー
(74)【代理人】
【識別番号】100107766
【弁理士】
【氏名又は名称】伊東 忠重
(74)【代理人】
【識別番号】100070150
【弁理士】
【氏名又は名称】伊東 忠彦
(74)【代理人】
【識別番号】100135079
【弁理士】
【氏名又は名称】宮崎 修
(72)【発明者】
【氏名】テレンティフ，レオン
(72)【発明者】
【氏名】フィッシャー，ダニエル
(72)【発明者】
【氏名】セティアワン，パンジ
(72)【発明者】
【氏名】フェルシュ，クリストフ
【テーマコード（参考）】
5D162
【Ｆターム（参考）】
5D162AA06
5D162CC09
5D162CC31
5D162EG02
(57)【要約】
仮想現実環境または拡張現実環境におけるオーディオ・レンダリングのために広がりのあるオーディオ・オブジェクトをモデル化する方法が記述される。本方法は、広がりのあるオーディオ・オブジェクトの幾何学的形態を示す広がり表現と、前記広がりのあるオーディオ・オブジェクトに関連付けられた一つまたは複数の第1のオーディオ源に関する情報とを取得することを含む。さらに、本方法は、前記広がりのあるオーディオ・オブジェクトの前記幾何学的形態上の相対点を、前記仮想または拡張現実環境におけるユーザー位置に基づいて取得することを含む。本方法はまた、前記ユーザー位置および前記相対点に基づいて前記広がり表現の広がりパラメータを決定し、前記広がりのあるオーディオ・オブジェクトをモデル化するための一つまたは複数の第2のオーディオ源の、前記ユーザー位置に対する位置を決定することを含む。さらに、本方法は、前記広がりのあるオーディオ・オブジェクトをモデル化するための、前記広がりのあるオーディオ・オブジェクトの修正された表現を出力することを含む。
【特許請求の範囲】
【請求項1】
仮想または拡張現実環境におけるオーディオ・レンダリングのために広がりのあるオーディオ・オブジェクトをモデル化する、コンピュータ実装される方法であって、当該方法は：広がりのあるオーディオ・オブジェクトの幾何学的形態を示す広がり表現と、前記広がりのあるオーディオ・オブジェクトに関連付けられた一つまたは複数の第1のオーディオ源に関する情報とを取得するステップと；
前記広がりのあるオーディオ・オブジェクトの前記幾何学的形態を示す前記広がり表現を使って、前記仮想または拡張現実環境におけるユーザー位置に最も近い相対点を取得するステップと；
前記ユーザー位置および前記相対点に基づいて前記広がり表現の広がりパラメータを決定するステップであって、前記広がりパラメータは、前記ユーザー位置において知覚される前記広がりのあるオーディオ・オブジェクトの空間的広がりを記述する、ステップと；
前記広がりのあるオーディオ・オブジェクトをモデル化するための一つまたは複数の第2のオーディオ源の、前記ユーザー位置に対する位置を決定するステップと；
前記広がりのあるオーディオ・オブジェクトをモデル化するための、前記広がりのあるオーディオ・オブジェクトの修正された表現を出力するステップであって、前記修正された表現は、前記広がりパラメータおよび前記一つまたは複数の第2のオーディオ源の位置を含む、ステップとを含む、
コンピュータ実装される方法。
【請求項2】
前記広がりのあるオーディオ・オブジェクトの前記修正された表現に基づいて、前記広がりのあるオーディオ・オブジェクトをレンダリングするステップをさらに含み、前記広がりのあるオーディオ・オブジェクトは、前記一つまたは複数の第2のオーディオ源の決定された位置および前記広がりパラメータを使ってレンダリングされる、請求項１に記載のコンピュータ実装される方法。
【請求項3】
前記レンダリングが6DoFオーディオ・レンダリングを含み、前記レンダリングのために、前記ユーザー位置、前記広がりのあるオーディオ・オブジェクトの位置および／または配向および幾何形状を取得するステップをさらに含む、請求項２に記載のコンピュータ実装される方法。
【請求項4】
前記一つまたは複数の第1のオーディオ源に基づいて、前記広がりのあるオーディオ・オブジェクトをモデル化するための前記一つまたは複数の第2のオーディオ源を決定するステップをさらに含む、請求項１または２に記載のコンピュータ実装される方法。
【請求項5】
前記広がりパラメータは、前記広がりのあるオーディオ・オブジェクトの位置および／または配向にさらに基づいて決定される、請求項１ないし４のうちいずれか一項に記載のコンピュータ実装される方法。
【請求項6】
前記ユーザー位置、前記相対点および前記広がりのあるオーディオ・オブジェクトの前記位置および／または配向に基づいて、相対広がり角を決定するステップをさらに含み、前記広がりパラメータは、前記相対広がり角に基づいて決定される、請求項５に記載のコンピュータ実装される方法。
【請求項7】
前記一つまたは複数の第2のオーディオ源の位置を決定することは：前記ユーザー位置、前記相対点、および前記広がりのあるオーディオ・オブジェクトの前記幾何学的形態に基づいて円弧を決定し；
前記決定された一つまたは複数の第2のオーディオ源を前記円弧上に位置決めすることを含む、
請求項１ないし６のうちいずれか一項に記載のコンピュータ実装される方法。
【請求項8】
前記位置決めすることは、前記円弧上にすべての前記第2のオーディオ源を等間隔に分布させることを含む、請求項７に記載のコンピュータ実装される方法。
【請求項9】
前記位置決めすることは、前記第2のオーディオ源の間の相関レベルおよび／またはコンテンツ作成者の意図に依存する、請求項７または８に記載のコンピュータ実装される方法。
【請求項10】
前記広がりパラメータは、決定された一つまたは複数の第2のオーディオ源の数にさらに基づいて決定される、請求項４を引用する場合の、請求項１ないし９のうちいずれか一項に記載のコンピュータ実装される方法。
【請求項11】
決定された一つまたは複数の第2のオーディオ源の数は、前記ユーザー位置および／または前記相対点とは無関係の所定の定数である、請求項１０に記載のコンピュータ実装される方法。
【請求項12】
前記広がりのあるオーディオ・オブジェクトをモデル化するための前記一つまたは複数の第2のオーディオ源を決定することは、前記相対広がり角に基づいて前記一つまたは複数の第2のオーディオ源の数を決定することを含む、請求項４を引用する場合の請求項１０に記載のコンピュータ実装される方法。
【請求項13】
前記一つまたは複数の第2のオーディオ源の数は、前記相対広がり角が増加するにつれて増加する、請求項１２に記載のコンピュータ実装される方法。
【請求項14】
前記広がりのあるオーディオ・オブジェクトをモデル化するための前記一つまたは複数の第2のオーディオ源を決定することは：前記一つまたは複数の第1のオーディオ源を複製する、または前記一つまたは複数の第1のオーディオ源の重み付けされた混合を追加し；
複製または追加された第1のオーディオ源に脱相関プロセスを適用することをさらに含む、請求項４を引用する場合の請求項１ないし１３のうちいずれか一項に記載のコンピュータ実装される方法。
【請求項15】
前記広がり表現は、前記広がりのあるオーディオ・オブジェクトの空間的広がりを表すための2次元または3次元の幾何学的形態を示す、請求項１ないし１４のうちいずれか一項に記載のコンピュータ実装される方法。
【請求項16】
前記広がりのあるオーディオ・オブジェクト（3）は、2次元または3次元において配向される、請求項１ないし１５のうちいずれか一項に記載のコンピュータ実装される方法。
【請求項17】
前記ユーザー位置において知覚される前記広がりのあるオーディオ・オブジェクトの前記空間的広がりは、前記広がりのあるオーディオ・オブジェクトの知覚される幅、サイズ、および／または重量感として記述される、請求項１ないし１６のうちいずれか一項に記載のコンピュータ実装される方法。
【請求項18】
前記ユーザー位置と前記相対点とを結ぶ第1の線に直交する投影面上の前記広がりのあるオーディオ・オブジェクトの垂直投影を取得するステップと；前記垂直投影上で、前記広がりのあるオーディオ・オブジェクトの投影サイズを識別する複数の境界点を決定するステップとをさらに含み、
前記相対広がり角は、前記ユーザー位置および前記複数の境界点を使用して決定される、
請求項６を引用する場合の請求項１ないし１７のうちいずれか一項に記載のコンピュータ実装される方法。
【請求項19】
前記複数の境界点を決定することは、前記広がりのあるオーディオ・オブジェクトの水平投影サイズに関する第2の線を取得することを含み、前記複数の境界点は、前記第2の線上の前記垂直投影の最も左側の境界点および最も右側の境界点を含む、請求項１８に記載のコンピュータ実装される方法。
【請求項20】
前記水平投影サイズは、前記広がりのあるオーディオ・オブジェクトの最大サイズである、請求項１９に記載のコンピュータ実装される方法。
【請求項21】
前記垂直投影は、複雑な幾何形状を有する前記広がりのあるオーディオ・オブジェクトの簡略化された投影を含む、請求項１８ないし２０のうちいずれか一項に記載のコンピュータ実装される方法。
【請求項22】
前記広がりパラメータを使用して前記広がりのあるオーディオ・オブジェクトの知覚されるサイズを制御することをさらに含む、請求項１ないし２１のうちいずれか一項に記載のコンピュータ実装される方法。
【請求項23】
前記広がりのあるオーディオ・オブジェクトは、前記広がりのあるオーディオ・オブジェクトの知覚されるサイズを制御することによって、点源またはワイド源としてモデル化される、請求項２３に記載のコンピュータ実装される方法。
【請求項24】
前記一つまたは複数の第2のオーディオ源の位置は、すべての前記第2のオーディオ源が前記ユーザー位置から同じ基準距離を有するように決定される、請求項１ないし２３のうちいずれか一項に記載のコンピュータ実装される方法。
【請求項25】
前記広がりのあるオーディオ・オブジェクトの前記幾何学的形態を示す前記広がり表現を使って、前記相対点を取得することが、前記幾何学的形態上の前記相対点を得ること、または前記広がり表現からある距離離れたところに前記相対点を得ることを含む、請求項１ないし２４のうちいずれか一項に記載のコンピュータ実装される方法。
【請求項26】
仮想または拡張現実環境におけるオーディオ・レンダリングのために広がりのあるオーディオ・オブジェクトをモデル化するための装置であって、当該装置は、プロセッサと、該プロセッサに結合され、該プロセッサのための命令を記憶しているメモリとを有しており、前記プロセッサは、請求項１ないし２５のうちいずれか一項に記載のコンピュータ実装される方法のすべてのステップを実行するように構成される、装置。
【請求項27】
仮想または拡張現実環境におけるオーディオ・レンダリングを実装するためのシステムであって、当該システムは：仮想または拡張現実環境におけるオーディオ・レンダリングのために広がりのあるオーディオ・オブジェクトをモデル化するための装置であって、該装置は、プロセッサと、該プロセッサに結合され、該プロセッサのための命令を記憶しているメモリとを有しており、前記プロセッサは、請求項１ないし２５のうちいずれか一項に記載のコンピュータ実装される方法のすべてのステップを実行するように構成される、装置と；
広がりモデリング・ユニットとを有し、前記広がりモデリング・ユニットは、前記広がりのあるオーディオ・オブジェクトの前記修正された表現に関する情報を前記装置から受信し、前記修正された表現に関する前記情報に基づいて、前記広がりのあるオーディオ・オブジェクトの広がりサイズを制御するように構成されており、
当該システムは、前記広がりのあるオーディオ・オブジェクトの前記修正された表現に関する前記情報および／または前記制御された広がりサイズをオーディオ出力に送信するように構成されている、
システム。
【請求項28】
当該システムは、ユーザー仮想現実コンソールであるか、またはその一部である、請求項２７に記載のシステム。
【請求項29】
当該システムは、前記広がりのあるオーディオ・オブジェクトの前記修正された表現に関する前記情報および／または前記制御された広がりサイズをオーディオ出力に送信するように構成されている、請求項２７または２８に記載のシステム。
【請求項30】
コンピューティング・デバイスによって実行されるときに該コンピューティング・デバイスに請求項１ないし２５のうちいずれか一項に記載の方法のすべてのステップを実行させる命令を有するコンピュータ・プログラム。
【請求項31】
請求項３０に記載のコンピュータ・プログラムを記憶しているコンピュータ可読記憶媒体。
【発明の詳細な説明】
【技術分野】
【0001】
関連出願への相互参照
本願は、以下の優先権出願の優先権を主張する：2021年4月29日に出願された米国仮出願第63/181,865号（整理番号：D21045USP1）、2021年9月22日に出願された米国仮出願第63/247,156号（整理番号：D21045USP2）および2021年9月30日に出願された欧州特許出願第21200055.8号（整理番号：D21045EP）。
本願は、以下の優先権出願の優先権を主張する：2021年4月29日に出願された米国仮出願第63/181,865号（整理番号：D21045USP1）、2021年9月22日に出願された米国仮出願第63/247,156号（整理番号：D21045USP2）および2021年9月30日に出願された欧州特許出願第21200055.8号（整理番号：D21045EP）。
【0002】
技術分野
本稿は、オブジェクト・ベースのオーディオ・レンダリングに関し、より詳細には、仮想現実（VR）環境において広がりをもつオーディオ・オブジェクトをレンダリングすることに関する。
本稿は、オブジェクト・ベースのオーディオ・レンダリングに関し、より詳細には、仮想現実（VR）環境において広がりをもつオーディオ・オブジェクトをレンダリングすることに関する。
【背景技術】
【0003】
新しいMPEG-I規格は、仮想現実（VR）、拡張現実（AR）、複合現実（MR）、および／またはエクステンデッド現実（XR）アプリケーションにおいて完全な6自由度（6DoF）をサポートすることによって、異なる視点および／または観点または聴取位置からの音響体験を可能にする。6DoF対話は、頭部回転（ピッチ、ヨー、およびロール）に限定される3DoFの球面的ビデオ／オーディオ体験を拡張して、並進移動（前後、上下、および左右）を含め、頭部回転に加えて、仮想環境内でのナビゲーション（たとえば、室内で物理的に歩くこと）を許容する。
【0004】
VRアプリケーションにおけるオーディオ・レンダリングのために、オブジェクト・ベースのアプローチが広く採用されており、それは、複数の別個のオーディオ・オブジェクトとして複雑な聴覚シーンを表すことによるものであり、オーディオ・オブジェクトのそれぞれは、シーンにおけるそのオブジェクトの場所／位置および軌道を定義するパラメータまたはメタデータに関連付けられる。点音源である代わりに、オーディオ・オブジェクトは、そのオーディオ・オブジェクトから得られる聴覚知覚を反映する空間的広がり（spatial extent）を与えられてもよい。そのようなオーディオ・オブジェクトは、VR実装においてレンダリングされるべき一つまたは複数の音源を発しうる。
【0005】
聴取者にとって自然でリアルな6DoF体験を作り出すために、音またはオーディオ源（オブジェクト）の方向性および空間的広がりの聴取者の体験は、6DoFレンダリングにとって、特に、シーンを通る、仮想オーディオ源のまわりでのナビゲーションの体験を実現するために重要である。6DoFレンダリングは、聴取者の聴取位置のより大きな並進変化をさらに伴うので、絶えず変化する聴取位置と洗練された構造をもつオーディオ・オブジェクト広がりとの間の複雑な相互作用は、6DoFレンダリング実装において困難をもたらしうる。特に、そのような位置‐オブジェクト相互作用をモデル化するためには、より多くのパラメータが必要とされ、これは、対応するオーディオ処理において非常に高い計算複雑性を引き起こす。
【0006】
利用可能なオーディオ・レンダリング・システム（MPEG-H 3Dオーディオ・レンダラーなど）は、典型的には、聴取者の聴取位置の並進変化を考慮しない3DoF（すなわち、聴取者の頭の動きによって引き起こされるオーディオ・シーンの回転運動）のレンダリングに限定されることに留意されたい。3DoF+であっても、聴取者の聴取位置の小さな並進変化を加えるだけであり、聴取者のより大きな並進運動は考慮に入れない。よって、聴取者のより大きな並進運動を考慮していない既存の技法は、6DoF音の真の没入型レンダリングにおいて困難に遭遇することがある。
【発明の概要】
【発明が解決しようとする課題】
【0007】
よって、オーディオ・オブジェクトの6DoFレンダリングを実装する簡単な方法を提供する必要がある。特に、6DoFレンダリングのための有意なユーザー移動を考慮に入れて、オーディオ・オブジェクトの（空間的）広がりのモデリングを簡略化することが望ましいことがある。
【課題を解決するための手段】
【0008】
ある側面によれば、仮想現実環境または拡張現実環境（または一般に、コンピュータ媒介現実環境）におけるオーディオ・レンダリングのために広がりのあるオーディオ・オブジェクト（extended audio object）をモデル化する（たとえば、コンピュータ実装される）方法が記述される。本方法は、広がりのあるオーディオ・オブジェクトの幾何学的形態を示す広がり表現（extent representation）と、広がりのあるオーディオ・オブジェクトに関連付けられた一つまたは複数の第1のオーディオ源に関する情報とを取得するステップを含みうる。一つまたは複数の第1のオーディオ源は、オーディオ・センサーを使用して、広がりのあるオーディオ・オブジェクトに関連付けられた記録されたオーディオ源として捕捉されうる。具体的には、本方法は、仮想または拡張現実環境におけるユーザー位置（すなわち、聴取者の聴取位置）に基づいて、前記広がりのあるオーディオ・オブジェクトの前記幾何学的形態（たとえば、前記幾何学的形態を示す広がり表現）を使用して相対点を取得するステップを含みうる。さらに、本方法は、ユーザー位置および相対点に基づいて前記広がり表現の広がりパラメータ（extent parameter）を決定するステップを含んでいてもよい。
【0009】
特に、広がりパラメータは、ユーザー位置において知覚される広がりのあるオーディオ・オブジェクトの空間的広がり（spatial extent）を記述しうる。よって、広がりのあるオーディオ・オブジェクトのそのような空間的広がりは、ユーザー位置に従って変化することができ、広がりのあるオーディオ・オブジェクトは、さまざまなユーザー位置のために適応的にモデル化されうることが理解されうる。広がりのあるオーディオ・オブジェクトを効果的にモデル化するために、本方法はまた、ユーザー位置に対する一つまたは複数の第2のオーディオ源の位置を決定することを含みうる。そのような一つまたは複数の第2のオーディオ源は、対応するユーザー位置において広がりのあるオーディオ・オブジェクトをモデル化するための仮想的な再生されたオーディオ源と見なされうる。さらに、本方法は、広がりのあるオーディオ・オブジェクトをモデル化するために、広がりのあるオーディオ・オブジェクトの修正された表現を出力することを含むことができる。修正された表現は、決定された広がりパラメータおよび一つまたは複数の第2のオーディオ源の位置を含むことに留意されたい。
【0010】
上記のように構成されて、提案される方法は、単純なパラメータを用いて広がりのあるオーディオ・オブジェクトをモデル化することを許容する。特に、広がりのあるオーディオ・オブジェクトの空間的広がりと、所与のユーザー位置について計算された第2の（仮想）オーディオ源（単数または複数）の対応する位置との知識を用いて、広がりのあるオーディオ・オブジェクトは、所与のユーザー位置に対応する適切な（知覚）サイズを有するように効果的にモデル化されることができ、これは、広がりのあるオーディオ・オブジェクトの後続のレンダリング（たとえば、6DoF）に適用可能でありうる。それにより、オーディオ・オブジェクトの形態／位置／配向およびユーザー位置の移動に関する詳細な情報が必要とされなくてもよいので、オーディオ・レンダリングの計算の複雑さを低減することができる。
【0011】
言い換えれば、提案される方法は、6DoFデータ（たとえば、入力オーディオ・オブジェクト源、ユーザー位置、オブジェクトの広がりの幾何形状、オブジェクトの広がりの位置／配向など）を、広がりモデリング（extent modeling）・インターフェース／ツールのための入力としての単純な情報に効果的に変換する。これは、膨大な量のデータを処理することを必要とすることなく、オーディオ・オブジェクトの効率的な6DoFレンダリングを許容する。ある実施形態では、広がりのあるオーディオ・オブジェクトの幾何学的形態を示す広がり表現は、広がりのあるオーディオ・オブジェクトの幾何学的形態に対応する（一致する）。たとえば、比較的単純な幾何学的形態については、広がりのあるオーディオ・オブジェクトの幾何学的形態が、広がり表現として使用されうる。
【0012】
ある実施形態では、広がりパラメータは、広がりのあるオーディオ・オブジェクトの位置および／または配向にさらに基づいて決定されてもよい。また、本方法は、一つまたは複数の第1のオーディオ源に基づいて、広がりのあるオーディオ・オブジェクトをモデル化するための一つまたは複数の第2のオーディオ源を決定することをさらに含みうる。この実施形態によれば、この方法は、ユーザー位置、相対点、ならびに広がりのあるオーディオ・オブジェクトの位置および／または配向に基づいて広がり角（extent angle）を決定することをさらに含んでいてもよい。たとえば、広がり角は、ユーザー位置において知覚される広がりのあるオーディオ・オブジェクトの空間的広がりを示す弧測度（arc measure）でありうる。したがって、広がり角は、相対点、ならびに広がりのあるオーディオ・オブジェクトの位置および／または配向に依存する相対弧測度（すなわち、相対広がり角）を指しうる。この場合、広がりパラメータは、（相対的な）広がり角に基づいて決定されうる。
【0013】
上記のように構成されて、提案される方法は、異なるユーザー位置におけるオーディオ・オブジェクトの空間的広がり／知覚サイズの正確な推定を得るための簡略化された方法を提供し、それにより、単純なパラメータを使用してオーディオ・オブジェクトをモデル化する際の性能を改善する。
【0014】
ある実施形態では、一つまたは複数の第2のオーディオ源の位置を決定することは、ユーザー位置、相対点、および広がりのあるオーディオ・オブジェクトの幾何学的形態に基づいて円弧を決定することを含みうる。加えて、一つまたは複数の第2のオーディオ源の位置を決定することは、決定された一つまたは複数の第2のオーディオ源を円弧上に位置決めすることをさらに含みうる。さらに、円弧は、ユーザー位置における対応する弧測度としての（相対的な）広がり角に関連する弧を含んでいてもよく、広がり角およびユーザー位置に基づいて決定されてもよい。ある実施形態では、位置決めすることは、円弧上にすべての第2のオーディオ源を等間隔に分布させることを含んでいてもよい。また、位置決めは、第2のオーディオ源の間の相関レベルおよび／またはコンテンツ作成者の意図に依存しうる。言い換えれば、第2のオーディオ源は、第2のオーディオ源の間の相関レベルおよび／またはコンテンツ作成者の意図に基づいて決定された適切な距離間隔で円弧上に配置されうる。
【0015】
ある実施形態では、広がりパラメータは、決定された一つまたは複数の第2のオーディオ源の数（すなわち、カウント）にさらに基づいて決定されうる。特に、決定された一つまたは複数の第2のオーディオ源の数は、ユーザー位置および／または相対点とは無関係の所定の定数であってもよい。代替的に、広がりのあるオーディオ・オブジェクトをモデル化するための一つまたは複数の第2のオーディオ源を決定することは、（相対）広がり角に基づいて一つまたは複数の第2のオーディオ源の数を決定することを含みうる。この場合、一つまたは複数の第2のオーディオ源の数は、広がり角が増加するにつれて増加しうる（すなわち、数は、広がり角と正に相関しうる）。より具体的には、広がりのあるオーディオ・オブジェクトをモデル化するための一つまたは複数の第2のオーディオ源を決定することは、一つまたは複数の第1のオーディオ源を複製すること、または一つまたは複数の第1のオーディオ源の重み付けされた混合を追加すること、および複製または追加された第1のオーディオ源に脱相関プロセスを適用することをさらに含みうる。すなわち、決定された数の第2のオーディオ源を得るために、第1のオーディオ源（単数または複数）が複製されてもよく、またはそれらの重み付けされた混合が加えられてもよい。
【0016】
上記のように構成され、第2の（仮想）オーディオ源を適切に定義することによって、本方法は、オーディオ・オブジェクトを正確かつ適応可能な仕方でモデル化することを許容する。特に、モデリングは、さまざまなユーザー位置について、異なる入力源および形態／位置をもつオーディオ・オブジェクトについて、ならびにコンテンツ作成者の意図について、効果的に実行されることができる。
【0017】
ある実施形態では、広がり表現は、広がりのあるオーディオ・オブジェクトの空間的広がりを表すための2次元または3次元幾何学的形態を示しうる。さらに、広がりのあるオーディオ・オブジェクトは、2次元または3次元で配向されうる。また、ユーザー位置において知覚される広がりのあるオーディオ・オブジェクトの空間的広がりは、広がりのあるオーディオ・オブジェクトの知覚される幅、サイズ、および／または重量感（massiveness）として記述されうる。
【0018】
相対点は、広がりのあるオーディオ・オブジェクトの幾何学的形態（たとえば、それを示す広がり表現）を使用して、仮想または拡張現実環境内のユーザー位置に最も近いところで取得されうる。
【0019】
特に、相対点は、ユーザー位置に最も近い、広がりのあるオーディオ・オブジェクトの幾何学的形態（たとえば、それを示す広がり表現）上の点であってもよい。
【0020】
本発明者らは、驚くべきことに、広がりのあるオーディオ・オブジェクトをモデル化するためにユーザー位置に最も近い相対点を使用することが、広がりのあるオーディオ・オブジェクトに対する異なるユーザー位置についてのオーディオ・レベルの減衰の、より良好な制御につながり、したがって、広がりのあるオーディオ・オブジェクトのより良好なモデル化につながることを見出した。
【0021】
ある実施形態では、広がりのあるオーディオ・オブジェクトの幾何学的形態を示す広がり表現を使用して相対点を取得することは、前記幾何学的形態上の相対点を取得すること、または前記幾何学的形態もしくは広がり表現から離れた距離で相対点を取得することを含む。たとえば、相対点は幾何学形状上に位置してもよい。あるいはまた、相対点は、広がり表現または幾何学的形態から離れた距離に位置してもよい。たとえば、相対点は、広がり表現または幾何学的形態の境界または原点から離れた距離に位置してもよい。
【0022】
ある実施形態では、方法は、ユーザー位置と相対点とを結ぶ第1の線に直交する投影面上の広がりのあるオーディオ・オブジェクトの垂直投影を取得することをさらに含んでいてもよい。本方法はまた、垂直投影上で、広がりのあるオーディオ・オブジェクトの投影サイズを識別する複数の境界点を決定することを含んでいてもよい。この場合、（相対的な）広がり角は、ユーザー位置および複数の境界点を使用して決定されうる。たとえば、2つの境界点をユーザー位置と結ぶとともに、それぞれの境界点をユーザー位置とを結ぶ2つの直線がなす角度を広がり角として決定することによって、広がり角が決定されてもよい。
【0023】
具体的には、複数の境界点を決定することは、広がりのあるオーディオ・オブジェクトの水平投影サイズに関する第2の線を取得することを含みうる。よって、複数の境界点は、第2の線上の垂直投影の最も左側の境界点および最も右側の境界点を含みうる。広がりのあるオーディオ・オブジェクトの配向に依存して、水平投影サイズは、広がりのあるオーディオ・オブジェクトの最大サイズであってもよい。いくつかの実施形態では、広がりのあるオーディオ・オブジェクトは、複雑な幾何学的形態を有してもよく、垂直投影は、複雑な幾何形状を有する広がりのあるオーディオ・オブジェクトの簡略化された投影を含んでいてもよい。この場合、本方法は、広がりのあるオーディオ・オブジェクトの幾何学的形態上の相対点を取得する前に、相対点を決定する際に使用するための広がりのあるオーディオ・オブジェクトの簡略化された幾何学的形態を取得することをさらに含みうる。
【0024】
上記のように構成されると、本方法は、単純なパラメータを使用してオーディオ・オブジェクトをモデル化する際に十分な精度を提供しながら、さまざまな幾何学的形態を有するオーディオ・オブジェクトの空間広がり／知覚サイズの推定を簡略化することを可能にする。
【0025】
ある実施形態では、本方法は、広がりのあるオーディオ・オブジェクトの修正された表現に基づいて、広がりのあるオーディオ・オブジェクトをレンダリングすることをさらに含みうる。広がりのあるオーディオ・オブジェクトは、一つまたは複数の第2のオーディオ源の決定された位置と広がりパラメータとを使用してレンダリングされうる。特に、レンダリングは、6DoFオーディオ・レンダリングを含むことができる。本方法は、ユーザー位置、レンダリングのための広がりのあるオーディオ・オブジェクトの位置および／または配向および幾何形状を取得することをさらに含みうる。
【0026】
ある実施形態では、本方法は、広がりパラメータを使用して広がりのあるオーディオ・オブジェクトの知覚されるサイズを制御することをさらに含みうる。よって、広がりのあるオーディオ・オブジェクトは、広がりのあるオーディオ・オブジェクトの知覚されるサイズを制御することによって、点源またはワイド源としてモデル化されうる。一つまたは複数の第2のオーディオ源の位置は、すべての第2のオーディオ源がユーザー位置から同じ基準距離を有するように決定されうることに留意されたい。
【0027】
上記構成により、簡単なパラメータを用いて広がりのあるオーディオ・オブジェクトを効果的にモデル化することができる。特に、広がりのあるオーディオ・オブジェクトの空間的広がりおよび第2の（仮想）オーディオ源の対応する位置は、所与のユーザー位置に対応するオーディオ・オブジェクトの適切な（知覚）サイズ（すなわち、そのユーザー位置において知覚されうる空間的広がりサイズ）の正確な推定を許容するために、所与のユーザー位置について計算される。オーディオ・オブジェクトの形態／位置／配向およびユーザー位置の移動に関する詳細な情報は、モデリングのためには必要とされなくてもよいので、オーディオ・オブジェクトの後続のレンダリング（たとえば、6DoFレンダリング）のための処理は、それに応じて簡略化されてもよい。
【0028】
言い換えれば、提案された方法は、入力インターフェース・データとして単純なパラメータを必要としうるオーディオ広がりモデリングのための6DoFデータ（たとえば、入力オーディオ・オブジェクト源、ユーザー位置、オブジェクトの広がり幾何形状、オブジェクトの広がり位置／配向（extent position/orientation）など）の自動変換を提供し、複雑なデータ処理なしにオーディオ・オブジェクトの効率的な6DoFレンダリングをさらに許容する。
【0029】
別の側面によれば、仮想または拡張現実環境（または一般に、コンピュータ媒介現実環境）におけるオーディオ・レンダリングのための広がりのあるオーディオ・オブジェクトをモデル化するための装置が記述される。本装置は、プロセッサと、プロセッサに結合され、プロセッサのための命令を記憶するメモリとを含みうる。プロセッサは、広がりのあるオーディオ・オブジェクトの幾何学的形態を示す広がり表現と、広がりのあるオーディオ・オブジェクトに関連付けられた一つまたは複数の第1のオーディオ源に関する情報とを取得するように構成されうる。一つまたは複数の第1のオーディオ源は、広がりのあるオーディオ・オブジェクトに関連付けられた記録されたオーディオ源として、オーディオ・センサーを使用して捕捉されうる。具体的には、プロセッサは、仮想または拡張現実環境におけるユーザー位置に基づいて、広がりのあるオーディオ・オブジェクトの幾何学的形態上の相対点を取得するように構成されてもよい。加えて、プロセッサは、ユーザー位置および相対点に基づいて広がり表現のための広がりパラメータを決定するように構成されてもよい。
【0030】
特に、広がりパラメータは、ユーザー位置において知覚される広がりのあるオーディオ・オブジェクトの空間的広がりを記述しうる。よって、広がりのあるオーディオ・オブジェクトのそのような空間的広がりは、ユーザー位置に従って変化してもよく、広がりのあるオーディオ・オブジェクトは、さまざまなユーザー位置について適応的にモデル化されうることが理解されうる。さらに、プロセッサは、広がりのあるオーディオ・オブジェクトをモデル化するために、ユーザー位置に対する一つまたは複数の第2のオーディオ源の位置を決定するように構成されうる。そのような一つまたは複数の第2のオーディオ源は、対応するユーザー位置における広がりのあるオーディオ・オブジェクトをモデル化するための仮想的な再生されるオーディオ源と見なされうる。また、プロセッサは、広がりのあるオーディオ・オブジェクトをモデル化するために、広がりのあるオーディオ・オブジェクトの修正された表現を出力するように構成されてもよい。特に、修正された表現は、広がりパラメータと、一つまたは複数の第2のオーディオ源の位置とを含みうる。
【0031】
上記のように構成されて、提案される装置は、6DoFデータ（たとえば、入力オーディオ・オブジェクト源、ユーザー位置、オブジェクトの広がり幾何形状、オブジェクトの広がり位置／配向など）を、広がりモデリング・インターフェース／ツールのための入力としての単純な情報／パラメータに効果的に変換する。これは、膨大な量のデータを処理することを必要とすることなくオーディオ・オブジェクトの効率的な6DoFレンダリングを許容する。
【0032】
特に、広がりのあるオーディオ・オブジェクトの空間的広がりと、所与のユーザー位置について計算された第2の（仮想）オーディオ源の対応する位置との知識を用いて、広がりのあるオーディオ・オブジェクトは、所与のユーザー位置に対応する適切な（知覚される）サイズを有するように効果的にモデル化されることができ、これは、広がりのあるオーディオ・オブジェクトの後続のレンダリング（たとえば6DoF）に適用可能でありうる。それにより、オーディオ・オブジェクトの形態／位置／配向およびユーザー位置の移動に関する詳細な情報が必要とされなくてもよいので、オーディオ・レンダリングの計算の複雑さを低減することができる。
【0033】
別の側面によれば、仮想または拡張現実環境（または一般に、コンピュータ媒介現実環境）においてオーディオ・レンダリングを実装するためのシステムが記述される。システムは、（たとえば上述したような）前記提案された装置と、広がりモデリング・ユニットとを含んでいてもよい。広がりモデリング・ユニットは、上述したような広がりのあるオーディオ・オブジェクトの修正された表現に関する情報を前記装置から受信するように構成されてもよい。さらに、広がりモデリング・ユニットは、修正された表現に関する前記情報（たとえば、修正された表現に含まれる広がりパラメータ）に基づいて、広がりのあるオーディオ・オブジェクトの広がりサイズをさらに制御するように構成されてもよい。いくつかの実施形態では、システムは、ユーザー仮想現実コンソール（たとえば、ヘッドセット、コンピュータ、携帯電話、または仮想および／または拡張現実環境においてオーディオをレンダリングするための任意の他のオーディオ・レンダリング・デバイス）であってもよく、またはその一部であってもよい。いくつかの実施形態において、システムは、広がりのあるオーディオ・オブジェクトの修正された表現に関する前記情報および／または前記制御された広がりサイズをオーディオ出力に送信するように構成されてもよい。
【0034】
さらなる側面によれば、コンピュータ・プログラムが記述される。コンピュータ・プログラムは、コンピューティング・デバイスによって実行されるときに本開示全体にわたって概説される方法ステップを実行するための実行可能命令を含むことができる。
【0035】
別の側面によれば、コンピュータ可読記憶媒体が記述される。記憶媒体は、プロセッサ上での実行のために、かつプロセッサ上で実行されるときに本開示全体にわたって概説される方法ステップを実行するように適応されたコンピュータ・プログラムを記憶することができる。
【0036】
本特許出願において概説されるようなその好ましい実施形態を含む方法およびシステムは、単独で、または本明細書において開示される他の方法およびシステムと組み合わせて使用されうることに留意されたい。さらに、本特許出願において概説される方法およびシステムのすべての側面は、任意に組み合わされてもよい。特に、請求項の特徴は、任意の仕方で互いに組み合わせることができる。
【0037】
装置の特徴および方法のステップは、多くの仕方で交換されうることが理解されるであろう。特に、開示される方法の詳細は、当業者が理解するように、対応する装置によって実現されることができ、逆もまた同様である。さらに、方法（および、たとえば、それらのステップ）に関してなされた上記の陳述のいずれも、対応する装置（および、たとえば、それらのブロック、ステージ、ユニット）に同様に適用されると理解され、逆もまた同様である。
【図面の簡単な説明】
【0038】
本発明は、添付の図面を参照して例示的に以下に説明される。
【図1】本開示の実施形態による例示的な広がりモデリング・ツールの概念図である。
【図2a】本開示の実施形態による、広がりのあるオーディオ・オブジェクトのオーディオ・レンダリングを実装するための異なるユーザー位置を含む例示的なオーディオ・シーンを示す。
【図3】本開示の実施形態による、広がりのあるオーディオ・オブジェクトのオーディオ・レンダリングを実装するための例示的なフローチャートを示す。
【図4】本開示の実施形態による、広がりのあるオーディオ・オブジェクトのオーディオ・レンダリングを実装するための例示的なブロック図を示す。
【図5a】本開示の実施形態による方法300で実施される、広がりのあるオーディオ・オブジェクトの修正された表現を決定するための概略図の一を示す。
【図5b】本開示の実施形態による方法300で実施される、広がりのあるオーディオ・オブジェクトの修正された表現を決定するための概略図の一を示す。
【図5c】本開示の実施形態による方法300で実施される、広がりのあるオーディオ・オブジェクトの修正された表現を決定するための概略図の一を示す。
【図6】本開示の実施形態による方法300において実施される、広がりのあるオーディオ・オブジェクトの修正された表現を決定するための別の概略図である。
【図7】（a）～（b）は、広がりをもつオブジェクト源についての基準距離の定義を示す。
【発明を実施するための形態】
【0039】
上記で概説したように、本開示は、仮想および／または拡張現実環境（または一般にコンピュータ媒介現実環境）におけるオーディオ・レンダリングのための、広がりをもつオーディオ・オブジェクトの効果的なモデリングに関する。図1は、本開示の実施形態による例示的な広がりモデリング・ツールの概念図を示す。ここで、モデル化されるべき広がりのあるオーディオ・オブジェクト101は、一つまたは複数のオーディオ源102に関連付けられる。オーディオ源102は、オーディオ・センサー（たとえば、マイクロフォンなど）を使用して、記録されたオーディオ源として捕捉されうる。一般に、広がりのあるオーディオ・オブジェクト101は、幾何学的形態を有する広がりをもつオーディオ・オブジェクトと見なされうる。それは、幾何学的形態を示す広がり表現と、一つまたは複数のオーディオ源102に関する情報とを提供されうる。加えて、一つまたは複数のオーディオ源102は、たとえば、広がりのあるオーディオ・オブジェクト101に関連付けられた一つまたは複数の点源信号を含んでいてもよい。広がりモデリング・ツール103が、広がりのあるオーディオ・オブジェクト101の形態および一つまたは複数のオーディオ源102に関する情報に基づいて、広がりのあるオーディオ・オブジェクト101をモデル化することができる。たとえば、一つまたは複数のオーディオ源102の位置が、広がり表現に含まれてもよい。一つまたは複数のオーディオ源102自体は、広がり表現に含まれても含まれなくてもよい。
【0040】
広がりモデリング・ツール103はまた、仮想および／または拡張現実環境におけるユーザー位置（たとえば、聴取者の聴取位置）に基づいて、広がりのあるオーディオ・オブジェクト101をモデル化してもよい。すなわち、ユーザー位置に依存して、広がりのあるオーディオ・オブジェクト101は、異なる広がりサイズを有するオーディオ源（たとえば、ワイド源または点源）としてモデル化されうる。これは、（もとの）広がり表現に基づいて、特定のユーザー位置について広がりのあるオーディオ・オブジェクト101の修正された表現を提供することによって達成されうる。よって、広がりのあるオーディオ・オブジェクト101は、それぞれの修正された表現を介して異なるユーザー位置において経験／知覚される異なる広がりサイズを有するものとして効果的にモデル化されうる。
【0041】
図2（a）は、本開示の実施形態による、広がりのあるオーディオ・オブジェクトのオーディオ・レンダリングを実装するための異なるユーザー位置を含む例示的オーディオ・シーンを示す。一例として、広がりのあるオーディオ・オブジェクトは、大きな波のある「ビーチフロント」を含みうる。他の例が当業者に知られていることがありうる。例示的なオーディオ・シーンは、仮想または拡張現実環境において6DoFオーディオ・レンダリングを実装するために適用されうる。本実施形態では、オブジェクト広がり201が、2次元または3次元において配向されうる2次元または3次元の幾何学的形態を有する広がりのあるオーディオ・オブジェクトとして示されている。オブジェクト広がり201の幾何学的形態を示す（もとの）広がり表現が取得され、広がりの幾何学的形状、位置、および配向に関する情報、ならびにオブジェクト広がりに関連するオーディオ源202に関する情報を含む。オーディオ源202は、ここでは2つの点源として示されているが、任意の数および他の種類のオーディオ源が、本開示の文脈において実現可能でありうる。上述のように、オーディオ源202は、オーディオ・センサー（たとえば、マイクロフォンなど）を使用して捕捉された録音されたオーディオ源でありうる。さらに、ユーザー位置203a、203b、203c（たとえば、オブジェクト広がり201に対する相対位置であってもよい）も取得される。図示された例示的なシーンでは、ユーザー203aおよびユーザー203bは、オブジェクト広がり201の手前に位置するが、オブジェクト広がり201から異なる距離にあり、ユーザー203cは、オブジェクト広がり201の片側に位置する。しかしながら、任意の他の位置もユーザー位置としてシーンに含まれてもよい。
【0042】
図2（b）は、本開示の実施形態による、図2（a）に示される例示的オーディオ・シーン内の対応するユーザー位置についての広がりレベルを示す。ここで広がりレベル204a、204b、204cは、ユーザー位置203a、203b、203cにおけるオブジェクト広がり201のそれぞれの知覚を表す。この実施形態では、広がりレベルは、特定のユーザー位置で知覚されるオブジェクト広がり（広がりのあるオーディオ・オブジェクト）の空間的広がりを記述する広がりパラメータを使用して定義されうる。特に、オブジェクト広がり201の知覚は（したがって、広がりパラメータは）、相対的なユーザー対広がりの幾何位置および配向（たとえば、オブジェクト広がりに対するユーザー位置および／または広がりオブジェクトの配向）に依存しうる。たとえば、図2（b）に示されるように、ユーザーは、対応する広がりレベル204bおよび204cをそれぞれ有するユーザー位置203bおよび203cにおいてよりも、ユーザー位置203aにおいて、より大きい広がりレベル204aを経験しうる。よって、そのような広がりレベルをユーザー位置に関係付け、広がりパラメータを単に使用して、ユーザー位置の著しい変化（すなわち、大きい並進運動）が発生しうるオーディオ・シーンをレンダリングするために、広がりのあるオーディオ・オブジェクトをモデル化することが有益でありうる。
【0043】
図3は、本開示の実施形態による、広がりのあるオーディオ・オブジェクトのオーディオ・レンダリングを実装するための例示的フローチャートを示す。図示されているように、方法300は、仮想および／または拡張現実環境におけるオーディオ・レンダリングのために、広がりのあるオーディオ・オブジェクト101またはオブジェクト広がり201などの広がりのあるオーディオ・オブジェクトをモデル化するために実行されうる。ステップ301において、広がりのあるオーディオ・オブジェクトの幾何学的形態を示す広がり表現と、広がりのあるオーディオ・オブジェクトに関連付けられた一つまたは複数の第1のオーディオ源に関する情報とが取得される。ステップ302において、広がりのあるオーディオ・オブジェクトの幾何学的形態（たとえば、該幾何学的形態を示す広がり表現）上の相対点が、仮想現実環境または拡張現実環境におけるユーザー位置に基づいて取得（たとえば、決定）される。ステップ303において、広がりパラメータ（たとえば、広がりのあるオーディオ・オブジェクトの知覚された／空間的広がりを表す広がりレベルを示す）が、ユーザー位置および相対点に基づいて広がり表現について決定される。上述したように、広がりパラメータは、ユーザー位置において知覚される広がりのあるオーディオ・オブジェクトの空間的広がりを記述することができる。
【0044】
ステップ304において、広がりのあるオーディオ・オブジェクトをモデル化するために、ユーザー位置に対する一つまたは複数の第2のオーディオ源の位置が決定される。直接録音を通じて捕捉されたことがありうる第1のオーディオ源とは異なり、一つまたは複数の第2のオーディオ源は、以下で詳細に説明するように、たとえば複製および／またはオーディオ処理（たとえばフィルタリングを含む）を介して、第1のオーディオ源（単数または複数）に基づいて決定された、仮想的な再生されたオーディオ源（virtual, reproduced audio sources）であってもよい。その後、ステップ305において、広がりのあるオーディオ・オブジェクトをモデル化するために、広がりのあるオーディオ・オブジェクトの修正された表現が出力される。修正された表現は、広がりパラメータと、所与のユーザー位置についての一つまたは複数の第2のオーディオ源の決定された位置とを含みうることに留意されたい。よって、広がりのあるオーディオ・オブジェクトは、この特定の位置について計算された、広がりのあるオーディオ・オブジェクトの空間的広がりおよび／または第2のオーディオ源の対応する位置の知識を含む単純なパラメータを用いて、特定のユーザー位置について効果的にモデル化できる。
【0045】
言い換えれば、提案される方法300は、6DoFデータ（たとえば、入力オーディオ・オブジェクト源、ユーザー位置、オブジェクトの広がり幾何形状、オブジェクトの広がり位置／配向など）を、いくつかの実装形態ではレガシー・インターフェース／ツールでありうる広がりモデリング・インターフェース／ツール（たとえば、広がりモデリング・ツール103）のための入力としての単純な情報（たとえば、修正された表現に含まれる広がりパラメータおよび第2のオーディオ源の位置）に効果的に変換する。
【0046】
さらに、広がりのあるオーディオ・オブジェクトのその後のレンダリングは、広がりのあるオーディオ・オブジェクトの修正された表現に基づいて実行されてもよい。この場合、広がりのあるオーディオ・オブジェクトは、一つまたは複数の第2のオーディオ源の決定された位置と広がりパラメータとを使用してレンダリングされうる。いくつかの実施形態では、レンダリングは、広がりのあるオーディオ・オブジェクトの6DoFオーディオ・レンダリングであってもよい。この場合、ユーザー位置に加えて、広がりのあるオーディオ・オブジェクトの位置および／または配向ならびに幾何形状がレンダリングのために取得されうる。よって、広がりパラメータは、広がりのあるオーディオ・オブジェクトの位置および／または配向にさらに基づいて決定されてもよい。
【0047】
図4は、本開示の実施形態による、広がりのあるオーディオ・オブジェクトのオーディオ・レンダリングを実装するための例示的ブロック図を示す。特に、システム400は、仮想および／または拡張現実環境におけるオーディオ・レンダリングのために広がりのあるオーディオ・オブジェクトをモデル化するための装置を備える。諸実施形態では、システム400は、ヘッドセット、コンピュータ、携帯電話、または仮想および／または拡張現実環境においてオーディオをレンダリングするための任意の他のオーディオ・レンダリング・デバイス等のユーザー仮想現実コンソールであってもよく、またはその一部であってもよい。
【0048】
いくつかの実施形態では、装置はパラメータ変換ユニット401の形であってもよく、パラメータ変換ユニット401は、たとえば、方法300のすべてのステップを実行するように構成されたプロセッサと、プロセッサに結合され、プロセッサのための命令を記憶するメモリとを備える。特に、パラメータ変換ユニット401は、たとえば入力オーディオ・オブジェクト源、ユーザー位置403、および広がりのあるオーディオ・オブジェクト402（たとえば、広がりのあるオーディオ・オブジェクト101またはオブジェクト広がり201）の広がり幾何形状、位置、および／または配向に関する情報を含む6DoFデータなどのオーディオ・シーン・データを受信するように構成されうる。パラメータ変換ユニット401は、上記で説明した方法300のステップ301～305を実行するようにさらに構成されうる。よって、パラメータ変換ユニット401は、受信されたオーディオ・シーン・データを、（たとえば、広がりのあるオーディオ・オブジェクトの修正された表現としての）簡略化された情報に変換する。該簡略化された情報は、第2の（仮想）オーディオ・オブジェクト404に関する情報（たとえば、第2のオーディオ源（複数可）のオブジェクト位置および信号データ）と、特定の位置において経験される前記広がりのあるオーディオ・オブジェクトの知覚される／空間的な広がりを表す広がりレベルを示す広がりパラメータ405とを含む。パラメータ変換ユニット401は、この（簡略化された）情報を、直接または他の処理コンポーネントを介して、ユーザーにオーディオを出力するためのオーディオ・レンダリング・ユニット（たとえば、システム400の内部または外部）に送信してもよい（または代替的に、たとえば適切なデバイス・スピーカーを介して、ユーザーにオーディオを出力するオーディオ・レンダリング・ユニットの一部であってもよい）。よって、システム400は、オーディオ・レンダリング・デバイスの一部であるとき、変換されたパラメータ（たとえば、修正された表現に関係する上述の簡略化された情報）をオーディオ・レンダリング・デバイスのオーディオ出力に送信しうる。
【0049】
いくつかの実施形態では、パラメータ変換ユニット401によって出力された簡略化された情報は、その後、入力インターフェース・データとして、広がりモデリング・ユニット406に提供されてもよい。広がりモデリング・ユニット406（広がりモデリング・ツール、たとえば、広がりモデリング・ツール103としても知られる）は、簡略化された情報に含まれる広がりパラメータに基づいて、（たとえば、レンダリングされる）広がりのあるオーディオ・オブジェクトの広がりサイズを制御しうる。たとえば、広がりのあるオーディオ・オブジェクトの知覚されるサイズは、広がりパラメータを使用して制御されてもよく、該広がりパラメータにより、広がりのあるオーディオ・オブジェクトが点源またはワイド源〔幅広源〕としてモデル化されうる。よって、特定のユーザー位置に対応する適切な（知覚される）サイズは、単に広がりパラメータ（たとえば、広がりレベル）を調整することによって、広がりのあるオーディオ・オブジェクトのその後のレンダリング（たとえば、6DoFレンダリング）に提供されうる。これは、広がりのあるオーディオ・オブジェクトの6DoFレンダリングを実装するための簡略化されたシステムを提供する。結果として、オーディオ・オブジェクトの形態／位置／配向およびユーザー位置の（並進）移動に関する詳細な情報は、レンダリング／モデリングのために必要とされなくてもよく、これはさらに、（たとえば、3DoFレンダリングに適した）既存のオーディオ・レンダリング技法によって6DoFレンダリングが実行されることを許容し、それにより、6DoFオーディオ・レンダリングの計算の複雑さを減少させる。
【0050】
言い換えれば、6DoFシーン・データの自動変換が、入力インターフェース・データとして単純なパラメータを必要としうるオーディオ広がりモデリングのための提案された方法300および／またはシステム400によって提供され、レンダリングのための複雑なデータ処理を必要とせずに、利用可能な既存のシステムを使用してオーディオ・オブジェクトの効率的な6DoFレンダリングを許容する。
【0051】
図5（a）～図5（c）は、本開示の実施形態による方法300で行われるような広がりのあるオーディオ・オブジェクトの修正された表現を決定するための概略図を示す。広がり表現は、3次元において配向された広がりのあるオーディオ・オブジェクトの空間的広がりを表すための3次元幾何学的形態を示すと想定される。図5に示される例示的な実施形態では、広がり表現は、所与のユーザー位置において知覚される広がりのあるオーディオ・オブジェクトの空間的広がりを表す直方体を示し、これは、広がりのあるオーディオ・オブジェクトの知覚される幅、サイズ、および／または重量感として記述されうる。しかしながら、広がり表現は、オブジェクト広がりを表現するための他の立体形状またはより複雑な幾何形状を示すこともできる。3次元（3D）幾何形状を2次元（2D）ユーザー観察ドメインに変換する第1段の例が図5（a）に示されている。その後、2Dユーザー観測ドメインにおける第2段は、図5（b）に示されるように、所与のユーザー位置についての広がりパラメータ（たとえば、広がりレベル）を決定し、第3段は、図5（c）の例に示されるように、1次元（1D）ビューに従って一つまたは複数の第2のオーディオ源の位置を決定する。
【0052】
図5（a）の例に見られるように、ユーザー501は、3次元において配向されている広がりのあるオーディオ・オブジェクト503の手前に位置する。広がりのあるオーディオ・オブジェクト503は、広がりのあるオーディオ・オブジェクト503の空間的広がりを示す3D幾何学的形態によって表される。例示的な実施形態によれば、ユーザー501に最も近い広がりのあるオーディオ・オブジェクト503の幾何学的形態上の点502が（たとえば、相対点として）取得（たとえば、決定）されうる。任意的に、ユーザー位置501と点502とを結ぶ第1の線505に直交する投影面504が取得（たとえば、決定）されうる。投影面504上で、広がりのあるオーディオ・オブジェクト503の垂直投影506が取得（たとえば、決定）されてもよい。その後、広がりのあるオーディオ・オブジェクト503の（たとえば投影上での）水平方向のサイズを特徴付ける第2の線507が取得（たとえば、決定）されうる。第2の線507は、第1の線505とともに平面508（たとえば、観察面として）を形成しうる。よって、図5（a）に示される第1段は、広がりのあるオーディオ・オブジェクト503の3D幾何形状を2D観察面508に変換する。
【0053】
図5（b）の例に見られるように、複数の境界点509、510が、垂直投影506上で決定されうる。特に、境界点509、510は、第2の線507上の透視投影506の最も左側および最も右側の境界を含むことができる。よって、複数の境界点509、510は、広がりのあるオーディオ・オブジェクト503の投影サイズを識別することができる。決定された境界点509、510およびユーザー位置501を使用して、（たとえば、広がりパラメータとして）広がりレベルを表す広がり角x0が、たとえば、三角法計算によってそれに応じて計算されうる。すなわち、広がり角x0は、ユーザー位置501と境界点509、510とをそれぞれ結ぶ2つの線の間の角度として決定されうる。したがって、上述のように、広がり角x0は、相対点、ならびに広がりのあるオーディオ・オブジェクトの位置および／または配向に依存する相対弧測度（すなわち、相対広がり角）を指すことができる。さらに、円弧513は、ユーザー位置501、相対点502、および広がりのあるオーディオ・オブジェクト503の幾何学的形態に基づいて決定されてもよい。特に、円弧513は、ユーザー位置501における対応する弧測度としての広がり角x0に関連する弧であってもよく、広がり角x0およびユーザー位置501に基づいて決定されてもよい。
【0054】
上述したように、広がりのあるオーディオ・オブジェクトの位置および／または配向は、広がりパラメータを決定するために使用されてもよい。より具体的には、ユーザー位置501、相対点502、ならびに広がりのあるオーディオ・オブジェクト503の位置および／または配向は、広がりパラメータが基づきうる広がり角度x0を決定するために使用されうる。上述したように、広がり角x0は、三角法演算の使用によって決定（たとえば、計算）されてもよい。決定された広がりレベル（たとえば、スカラー量として）は、したがってこの段階で得られた対応する弧は、以下で説明される第3段で行われる、オーディオ源位置決めのために使用されうることがさらに理解されうる。
【0055】
広がり角x0および対応する円弧513を決定した後、一つまたは複数の第2のオーディオ源511が、図5（c）の例に示されるように、円弧513上に位置決めされてもよい。弧513上に位置決めされたオーディオ源は、ユーザー501にとって等しい音量であってもよく（たとえば、等しい大きさとして知覚されてもよく）、同じ基準距離を有しうることに留意されたい。任意的に、第2のオーディオ源511の数（カウント）は、広がり角x0に基づいて決定されてもよい。たとえば、小さな角度については1つだけの第2のオーディオ源（N＝1）が適用されてもよく、大きな角度については2つ以上の第2のオーディオ源（N＞1）が適用されてもよい。すなわち、第2のオーディオ源511の数は、広がり角x0が増加するにつれて増加しうる。代替的に、第2のオーディオ源511の数Nは、ユーザー位置501および／または相対点502に依存しない（たとえば、広がり角x0、広がりレベル512、および円弧513の長さに依存しない）所定の定数でありうる。
【0056】
その後、広がりレベル512が、広がりのあるオーディオ・オブジェクト503をモデル化するために、（相対）広がり角x0および第2のオーディオ源511の数Nに依存して設定／決定されてもよい。特に、第2のオーディオ源511は、円弧513上に配置／位置決めされてもよい。2つ以上の第2のオーディオ源（すなわち、N＞1）の場合、すべての第2のオーディオ源511がユーザーにとって等しい音量である（すなわち、等しい大きさとして知覚される）ように、および／または適切な距離減衰のために弧513上の点から計算された同じ基準距離（たとえば、ユーザー位置から相対点502までの距離）を有するように、これらの利用可能なN個のオーディオ源511は円弧513上に位置決めされうる。たとえば、第2のオーディオ源511は、円弧513上に等間隔に分布されてもよく、すなわち、隣接する第2のオーディオ源511を同じ距離が互いに分離するよう、円弧513上に配置／位置決めされてもよい。2つ以上の第2のオーディオ源が考慮されるいくつかの実施形態では、位置決めは、図5（c）の例におけるN＝2の場合に示されるように、第2のオーディオ源511の間の相関レベルおよび／またはコンテンツ作成者の意図に依存しうる。たとえば、隣接する第2のオーディオ源511のそれぞれのペアは、（たとえば、それらのもとの録音、または複製、脱相関フィルタリングなどの（追加的／人工的な）処理に従う）異なるレベルの脱相関を有しうる。高い（またはより高い）レベルの脱相関を有する一対の第2のオーディオ信号511間の距離D2は、低い（またはより低い）レベルの脱相関を有する一対の第2のオーディオ信号511間の距離D1よりも大きくてもよい。
【0057】
一つまたは複数の第2のオーディオ源511は、たとえば第1のオーディオ源の数を増加させることによって、（もとの）第1のオーディオ源から決定されうることにさらに留意されたい。これは、一つまたは複数の第1のオーディオ源を複製し、および／または一つまたは複数の第1のオーディオ源の重み付けされた混合を追加し、次いで、複製および／または追加された第1のオーディオ源に脱相関プロセスを適用することによって達成されうる。たとえば、1つまたは少数の第1のオーディオ源のみが広がりのあるオーディオ・オブジェクトのために記録／捕捉されているとき、第2のオーディオ源を決定するために、オーディオ源の数は、1つまたは少数の第1のオーディオ源の複製によって増加されうる。代替的に、複数の第1のオーディオ源の場合、第2のオーディオ源は、それらの重み付けされた混合を加えることによって決定されうる。信号脱相関プロセスのその後の適用は、最終的な第2のオーディオ源を取得するために実行されうる。
【0058】
図6は、本開示の諸実施形態による、（たとえば、方法300で行われる）広がりのあるオーディオ・オブジェクトの修正された表現を決定するための例の別の概略図を示す。図5は、広がりのあるオーディオ・オブジェクト503の空間的な広がりを表すための直方体を示しているが、図6の例は広がりのあるオーディオ・オブジェクト603が複雑な幾何学形状（たとえば、車両）を有しうる場合を示している。図5の実施形態と同様に、ユーザー601は、3次元において配向された広がりのあるオーディオ・オブジェクト603の手前に位置する。しかしながら、この例示的な実施形態では、ステップ301および303を簡略化するために、提案された方法300のステップ301を適用する前に、たとえば楕円体を示す簡略化された広がり表現605が取得されてもよい。言い換えれば、広がりオブジェクトが複雑な幾何形状を有する実施形態については、方法300は、広がりのあるオーディオ・オブジェクトの幾何学的形態上の相対点を取得する前に、または取得するために、相対点を決定する際に使用する広がりのあるオーディオ・オブジェクトの簡略化された幾何学的形態（簡略化された広がり幾何形状）605を取得することをさらに含むことができる。よって、上記で説明した広がり角／レベル604のその後の決定のために、広がりのあるオーディオ・オブジェクト603の簡略化された垂直投影606が得られてもよい。
【0059】
図5に戻ると、第2のオーディオ源511は、ユーザー位置501に対して同じ基準距離を有するように円弧513上に位置決めされうる。基準距離は、使用される距離減衰則とは無関係に、オーディオ源要素の計算された減衰が最小、たとえば0dBになる距離（たとえば、ユーザー‐源距離）を指定することが理解されよう。広がりをもつオブジェクト源については、そのようなユーザー‐源距離は、図7（a）および図7（b）の例にそれぞれ示されるように、広がりの原点（たとえば、その「位置」属性）に対して、または広がり自体に対して測定されうる。図7（a）の例では、基準距離Drefは、オブジェクト広がり701aの原点702aに対して定義され、一方、図7（b）の例では、基準距離Drefは、図5の例における相対点502によっても示されるように、オブジェクト広がり701bの最も近い点に対して定義される。したがって、図7（a）および7（b）を参照すると、ユーザー位置に最も近い相対点は破線上に位置することになる。図7（a）の例では、相対点は、オブジェクト広がり701aの原点702aから基準距離Drefのところに位置する。図7（b）の例では、相対点はオブジェクト広がり701bから基準距離Drefのところに位置する。図5（b）を参照すると、（たとえば、ユーザー501に最も近い点としての）相対点502も弧513上に位置するので、弧513上に配置された第2のオーディオ源は相対点502と同じ基準距離を有し、そこでは減衰が最小値を示しうる。
【0060】
図8（a）～（c）は、本開示の諸実施形態による、図2に示されるような異なるユーザー位置についての広がりのあるオーディオ・オブジェクトのそれぞれの結果として生じる修正された表現の例を示す。図2に示されるオーディオ・シーンと同様に、ユーザー803aおよびユーザー803bはオブジェクト広がり801の手前に位置するが、オブジェクト広がり801からの距離が異なり、ユーザー803cはオブジェクト広がり801の一方の側に位置する。任意の他の位置も、ユーザー位置としてシーンに含まれうることが理解されうる。よって、結果として広がりレベル804a、804b、804cは、ユーザー位置803a、803b、803cにおけるオブジェクト広がり801のそれぞれの知覚（たとえば、空間的広がり）を表す。図8の例に示されるように、ユーザー位置803aにおける結果として生じる広がりレベル804aは、ユーザー位置803bにおける結果として生じる広がりレベル804bよりも大きい。これはまた、オブジェクト広がり801をモデル化するために、より多数の第2のオーディオ源802aが決定（および配置）されることを許容しうる。同様に、ユーザー位置803bにおける結果として生じる広がりレベル804bは、ユーザー位置803cにおける結果として生じる広がりレベル804cよりも大きく、これはまた、オブジェクト広がり801をモデル化するために、より多くの数の第2のオーディオ源802bが決定（および配置）されることを許容しうる。この例では、ユーザー位置803aについての修正された表現は、5つの第2のオーディオ源802aを含み、ユーザー位置803bについての修正された表現は、2つの第2のオーディオ源802bを含み、ユーザー位置803cについての修正された表現は、1つの第2のオーディオ源802cのみを含む。
【0061】
解釈
本明細書で説明されるシステムの諸側面は、デジタルまたはデジタル化されたオーディオ・ファイルを処理するための適切なコンピュータ・ベースのサウンド処理ネットワーク環境（たとえば、サーバーまたはクラウド環境）において実装されうる。適応的なオーディオ・システムの諸部分は、コンピュータ間で送信されるデータをバッファし、ルーティングするはたらきをする一つまたは複数のルータ（図示せず）を含む、任意の所望の数の個々のマシンを含む一つまたは複数のネットワークを含むことができる。そのようなネットワークは、種々の異なるネットワーク・プロトコル上に構築されてもよく、インターネット、広域ネットワーク（WAN）、ローカルエリアネットワーク（LAN）、またはそれらの任意の組み合わせであってもよい。
本明細書で説明されるシステムの諸側面は、デジタルまたはデジタル化されたオーディオ・ファイルを処理するための適切なコンピュータ・ベースのサウンド処理ネットワーク環境（たとえば、サーバーまたはクラウド環境）において実装されうる。適応的なオーディオ・システムの諸部分は、コンピュータ間で送信されるデータをバッファし、ルーティングするはたらきをする一つまたは複数のルータ（図示せず）を含む、任意の所望の数の個々のマシンを含む一つまたは複数のネットワークを含むことができる。そのようなネットワークは、種々の異なるネットワーク・プロトコル上に構築されてもよく、インターネット、広域ネットワーク（WAN）、ローカルエリアネットワーク（LAN）、またはそれらの任意の組み合わせであってもよい。
【0062】
コンポーネント、ブロック、プロセス、または他の機能構成要素のうちの一つまたは複数は、システムのプロセッサ・ベースのコンピューティング・デバイスの実行を制御するコンピュータ・プログラムを通して実装されてもよい。本明細書で開示されるさまざまな機能は、それらの挙動、レジスタ転送、論理構成要素、および／または他の特性に関して、ハードウェア、ファームウェアの任意の数の組み合わせを使用して、および／またはさまざまな機械可読媒体またはコンピュータ可読媒体において具現されるデータおよび／または命令として説明されうることにも留意されたい。そのようなフォーマットされたデータおよび／または命令が具現されうるコンピュータ可読媒体は、限定されるものではないが、光記憶媒体、磁気記憶媒体、または半導体記憶媒体など、さまざまな形の物理的（非一時的）な不揮発性記憶媒体を含む。
【0063】
具体的には、実施形態は、ハードウェア、ソフトウェア、および電子コンポーネントまたはモジュールを含むことができ、議論のために、構成要素の大部分がハードウェアのみで実装されているかのように図示および説明されることがあることを理解されたい。しかしながら、当業者は、この詳細な説明を読むことに基づいて、少なくとも1つの実施形態では、電子ベースの側面が、マイクロプロセッサおよび／または特定用途向け集積回路（「ASIC」）などの一つまたは複数の電子プロセッサによって実行可能な（たとえば、非一時的コンピュータ可読媒体に記憶された）ソフトウェアで実装されうることを認識するであろう。よって、複数のハードウェアおよびソフトウェアベースのデバイス、ならびに複数の異なる構造的構成要素が、実施形態を実装するために利用されうることに留意されたい。たとえば、本明細書で記載される「コンテンツ活動検出器」は、一つまたは複数の電子プロセッサ、一つまたは複数のコンピュータ可読媒体モジュール、一つまたは複数の入出力インターフェース、および該さまざまな構成要素を接続するさまざまな接続（たとえば、システムバス）を含むことができる。
【0064】
一つまたは複数の実装が、例として、特定の実施形態に関して説明されてきたが、一つまたは複数の実装は、開示された実施形態に限定されないことを理解されたい。むしろ、当業者に明白であろうさまざまな修正および同様の構成をカバーすることが意図されている。したがって、添付の特許請求の範囲は、すべてのそのような修正および同様の構成を包含するように最も広い解釈を与えられるべきである。
【0065】
また、本明細書で使用される表現および用語は、説明のためのものであり、限定するものと見なされるべきではないことを理解されたい。「含む」、「備える」、または「有する」、およびそれらの変形の使用は、列挙される項目およびそれらの均等物ならびに追加の項目を包含することが意図されている。別段の指定または制限がない限り、「取り付けられた」、「接続された」、「支持された」、および「結合された」という用語、ならびにそれらの変形は、広義に使用され、直接および間接の両方の取り付け、接続、支持、および結合を包含する。
【0066】
箇条書き例示的実施形態
本開示のさまざまな側面および実装は、請求項ではない以下の箇条書き例示的実施形態（enumerated example embodiment、EEE）からも理解されうる。
〔EEE１〕
仮想現実環境または拡張現実環境におけるオーディオ・レンダリングのために広がりのあるオーディオ・オブジェクトをモデル化する方法であって：広がりのあるオーディオ・オブジェクトの幾何学的形態を示す広がり表現と、前記広がりのあるオーディオ・オブジェクトに関連付けられた一つまたは複数の第1のオーディオ源に関する情報とを取得するステップと；前記仮想または拡張現実環境におけるユーザー位置に基づいて、前記広がりのあるオーディオ・オブジェクトの前記幾何学的形態上の相対点を取得するステップと；前記ユーザー位置および前記相対点に基づいて前記広がり表現の広がりパラメータを決定するステップであって、前記広がりパラメータは、前記ユーザー位置において知覚される前記広がりのあるオーディオ・オブジェクトの空間的広がりを記述する、ステップと；前記広がりのあるオーディオ・オブジェクトをモデル化するための一つまたは複数の第2のオーディオ源の、前記ユーザー位置に対する位置を決定するステップと；前記広がりのあるオーディオ・オブジェクトをモデル化するための、前記広がりのあるオーディオ・オブジェクトの修正された表現を出力するステップであって、前記修正された表現は、前記広がりパラメータおよび前記一つまたは複数の第2のオーディオ源の位置を含む、ステップとを含む、方法。
〔EEE２〕
前記一つまたは複数の第1のオーディオ源に基づいて、前記広がりのあるオーディオ・オブジェクトをモデル化するための前記一つまたは複数の第2のオーディオ源を決定するステップをさらに含む、EEE１に記載の方法。
〔EEE３〕
前記広がりパラメータは、前記広がりのあるオーディオ・オブジェクトの位置および／または配向にさらに基づいて決定される、EEE１または２に記載の方法。
〔EEE４〕
前記ユーザー位置、前記相対点および前記広がりのあるオーディオ・オブジェクトの前記位置および／または配向に基づいて、相対広がり角を決定するステップをさらに含み、前記広がりパラメータは、前記相対広がり角に基づいて決定される、EEE３に記載の方法。
〔EEE５〕
前記一つまたは複数の第2のオーディオ源の位置を決定することは、前記ユーザー位置、前記相対点、および前記広がりのあるオーディオ・オブジェクトの前記幾何学的形態に基づいて円弧を決定し；前記決定された一つまたは複数の第2のオーディオ源を前記円弧上に位置決めすることを含む、EEE１ないし４のうちいずれか一項に記載の方法。
〔EEE６〕
前記位置決めすることは、前記円弧上にすべての前記第2のオーディオ源を等間隔に分布させることを含む、EEE５に記載の方法。
〔EEE７〕
前記位置決めすることは、前記第2のオーディオ源の間の相関レベルおよび／またはコンテンツ作成者の意図に依存する、EEE５または６に記載の方法。
〔EEE８〕
前記広がりパラメータは、決定された一つまたは複数の第2のオーディオ源の数にさらに基づいて決定される、EEE２ないし７のうちいずれか一項に記載の方法。
〔EEE９〕
決定された一つまたは複数の第2のオーディオ源の数は、前記ユーザー位置および／または前記相対点とは無関係の所定の定数である、EEE８に記載の方法。
〔EEE１０〕
前記広がりのあるオーディオ・オブジェクトをモデル化するための前記一つまたは複数の第2のオーディオ源を決定することは、前記相対広がり角に基づいて前記一つまたは複数の第2のオーディオ源の数を決定することを含む、EEE４を引用する場合のEEE８に記載の方法。
〔EEE１１〕
前記一つまたは複数の第2のオーディオ源の数は、前記相対広がり角が増加するにつれて増加する、EEE１０に記載の方法。
〔EEE１２〕
前記広がりのあるオーディオ・オブジェクトをモデル化するための前記一つまたは複数の第2のオーディオ源を決定することは、前記一つまたは複数の第1のオーディオ源を複製すること、または前記一つまたは複数の第1のオーディオ源の重み付けされた混合を追加し；複製または追加された第1のオーディオ源に脱相関プロセスを適用することをさらに含む、EEE２ないし１１のうちいずれか一項に記載の方法。
〔EEE１３〕
前記広がり表現は、前記広がりのあるオーディオ・オブジェクトの空間的広がりを表すための2次元または3次元の幾何学的形態を示す、EEE１ないし１２のうちいずれか一項に記載の方法。
〔EEE１４〕
前記広がりのあるオーディオ・オブジェクト（3）は、2次元または3次元において配向される、EEE１ないし１３のうちいずれか一項に記載の方法。
〔EEE１５〕
前記ユーザー位置において知覚される前記広がりのあるオーディオ・オブジェクトの前記空間的広がりは、前記広がりのあるオーディオ・オブジェクトの知覚される幅、サイズ、および／または重量感として記述される、EEE１ないし１４のうちいずれか一項に記載の方法。
〔EEE１６〕
前記相対点は、前記広がりのあるオーディオ・オブジェクトの前記幾何学的形態上の、前記ユーザー位置に最も近い点である、EEE１ないし１５のうちいずれか一項に記載の方法。
〔EEE１７〕
前記ユーザー位置と前記相対点とを結ぶ第1の線に直交する投影面上の前記広がりのあるオーディオ・オブジェクトの垂直投影を取得するステップと；前記垂直投影上で、前記広がりのあるオーディオ・オブジェクトの投影サイズを識別する複数の境界点を決定するステップとをさらに含み、前記相対広がり角は、前記ユーザー位置および前記複数の境界点を使用して決定される、EEE４ないし１６のうちいずれか一項に記載の方法。
〔EEE１８〕
前記複数の境界点を決定することは、前記広がりのあるオーディオ・オブジェクトの水平投影サイズに関する第2の線を取得することを含み、前記複数の境界点は、前記第2の線上の前記垂直投影の最も左側の境界点および最も右側の境界点を含む、EEE１７に記載の方法。
〔EEE１９〕
前記水平投影サイズは、前記広がりのあるオーディオ・オブジェクトの最大サイズである、EEE１８に記載の方法。
〔EEE２０〕
前記垂直投影は、複雑な幾何形状を有する前記広がりのあるオーディオ・オブジェクトの簡略化された投影を含む、EEE１７ないし１９のうちいずれか一項に記載の方法。
〔EEE２１〕
前記広がりのあるオーディオ・オブジェクトの前記幾何学的形態上の前記相対点を取得する前に、前記相対点を決定する際に使用するための前記広がりのあるオーディオ・オブジェクトの簡略化された幾何学的形態を取得するステップをさらに含む、EEE２０に記載の方法。
〔EEE２２〕
前記広がりのあるオーディオ・オブジェクトの前記修正された表現に基づいて、前記広がりのあるオーディオ・オブジェクトをレンダリングするステップをさらに含み、前記広がりのあるオーディオ・オブジェクトは、前記一つまたは複数の第2のオーディオ源の決定された位置と前記広がりパラメータとを使用してレンダリングされる、EEE１ないし２１のうちいずれか一項に記載の方法。
〔EEE２３〕
前記レンダリングは、6DoFオーディオ・レンダリングを含み、前記レンダリングのために、前記ユーザー位置、前記広がりのあるオーディオ・オブジェクトの位置および／または配向および幾何形状を取得するステップをさらに含む、EEE２２に記載の方法。
〔EEE２４〕
前記広がりパラメータを使用して前記広がりのあるオーディオ・オブジェクトの知覚されるサイズを制御することをさらに含む、EEE１ないし２３のうちいずれか一項に記載の方法。
〔EEE２５〕
前記広がりのあるオーディオ・オブジェクトは、前記広がりのあるオーディオ・オブジェクトの知覚されるサイズを制御することによって、点源またはワイド源としてモデル化される、EEE２４に記載の方法。
〔EEE２６〕
前記一つまたは複数の第2のオーディオ源の位置は、すべての前記第2のオーディオ源が前記ユーザー位置から同じ基準距離を有するように決定される、EEE１ないし２５のうちいずれか一項に記載の方法。
〔EEE２７〕
仮想または拡張現実環境におけるオーディオ・レンダリングのために広がりのあるオーディオ・オブジェクトをモデル化するための装置であって、当該装置は、プロセッサと、該プロセッサに結合され、該プロセッサのための命令を記憶しているメモリとを有しており、前記プロセッサは、EEE１ないし２６のうちいずれか一項に記載の方法のすべてのステップを実行するように構成される、装置。
〔EEE２８〕
仮想または拡張現実環境におけるオーディオ・レンダリングを実装するためのシステムであって、当該システムは、EEE２７に記載の装置と；広がりモデリング・ユニットとを有し、前記広がりモデリング・ユニットは、前記広がりのあるオーディオ・オブジェクトの前記修正された表現に関する情報を前記装置から受信し、前記修正された表現に関する前記情報に基づいて、前記広がりのあるオーディオ・オブジェクトの広がりサイズを制御するように構成されている、システム。
〔EEE２９〕
当該システムは、ユーザー仮想現実コンソールであるか、またはその一部である、EEE２８に記載のシステム。
〔EEE３０〕
当該システムは、前記広がりのあるオーディオ・オブジェクトの前記修正された表現に関する前記情報および／または前記制御された広がりサイズをオーディオ出力に送信するように構成されている、EEE２８または２９に記載のシステム。
〔EEE３１〕
コンピューティング・デバイスによって実行されるときに該コンピューティング・デバイスにEEE１ないし２６のうちいずれか一項に記載の方法のすべてのステップを実行させる命令を有するコンピュータ・プログラム。
〔EEE３２〕
EEE３１に記載のコンピュータ・プログラムを記憶しているコンピュータ可読記憶媒体。
本開示のさまざまな側面および実装は、請求項ではない以下の箇条書き例示的実施形態（enumerated example embodiment、EEE）からも理解されうる。
〔EEE１〕
仮想現実環境または拡張現実環境におけるオーディオ・レンダリングのために広がりのあるオーディオ・オブジェクトをモデル化する方法であって：広がりのあるオーディオ・オブジェクトの幾何学的形態を示す広がり表現と、前記広がりのあるオーディオ・オブジェクトに関連付けられた一つまたは複数の第1のオーディオ源に関する情報とを取得するステップと；前記仮想または拡張現実環境におけるユーザー位置に基づいて、前記広がりのあるオーディオ・オブジェクトの前記幾何学的形態上の相対点を取得するステップと；前記ユーザー位置および前記相対点に基づいて前記広がり表現の広がりパラメータを決定するステップであって、前記広がりパラメータは、前記ユーザー位置において知覚される前記広がりのあるオーディオ・オブジェクトの空間的広がりを記述する、ステップと；前記広がりのあるオーディオ・オブジェクトをモデル化するための一つまたは複数の第2のオーディオ源の、前記ユーザー位置に対する位置を決定するステップと；前記広がりのあるオーディオ・オブジェクトをモデル化するための、前記広がりのあるオーディオ・オブジェクトの修正された表現を出力するステップであって、前記修正された表現は、前記広がりパラメータおよび前記一つまたは複数の第2のオーディオ源の位置を含む、ステップとを含む、方法。
〔EEE２〕
前記一つまたは複数の第1のオーディオ源に基づいて、前記広がりのあるオーディオ・オブジェクトをモデル化するための前記一つまたは複数の第2のオーディオ源を決定するステップをさらに含む、EEE１に記載の方法。
〔EEE３〕
前記広がりパラメータは、前記広がりのあるオーディオ・オブジェクトの位置および／または配向にさらに基づいて決定される、EEE１または２に記載の方法。
〔EEE４〕
前記ユーザー位置、前記相対点および前記広がりのあるオーディオ・オブジェクトの前記位置および／または配向に基づいて、相対広がり角を決定するステップをさらに含み、前記広がりパラメータは、前記相対広がり角に基づいて決定される、EEE３に記載の方法。
〔EEE５〕
前記一つまたは複数の第2のオーディオ源の位置を決定することは、前記ユーザー位置、前記相対点、および前記広がりのあるオーディオ・オブジェクトの前記幾何学的形態に基づいて円弧を決定し；前記決定された一つまたは複数の第2のオーディオ源を前記円弧上に位置決めすることを含む、EEE１ないし４のうちいずれか一項に記載の方法。
〔EEE６〕
前記位置決めすることは、前記円弧上にすべての前記第2のオーディオ源を等間隔に分布させることを含む、EEE５に記載の方法。
〔EEE７〕
前記位置決めすることは、前記第2のオーディオ源の間の相関レベルおよび／またはコンテンツ作成者の意図に依存する、EEE５または６に記載の方法。
〔EEE８〕
前記広がりパラメータは、決定された一つまたは複数の第2のオーディオ源の数にさらに基づいて決定される、EEE２ないし７のうちいずれか一項に記載の方法。
〔EEE９〕
決定された一つまたは複数の第2のオーディオ源の数は、前記ユーザー位置および／または前記相対点とは無関係の所定の定数である、EEE８に記載の方法。
〔EEE１０〕
前記広がりのあるオーディオ・オブジェクトをモデル化するための前記一つまたは複数の第2のオーディオ源を決定することは、前記相対広がり角に基づいて前記一つまたは複数の第2のオーディオ源の数を決定することを含む、EEE４を引用する場合のEEE８に記載の方法。
〔EEE１１〕
前記一つまたは複数の第2のオーディオ源の数は、前記相対広がり角が増加するにつれて増加する、EEE１０に記載の方法。
〔EEE１２〕
前記広がりのあるオーディオ・オブジェクトをモデル化するための前記一つまたは複数の第2のオーディオ源を決定することは、前記一つまたは複数の第1のオーディオ源を複製すること、または前記一つまたは複数の第1のオーディオ源の重み付けされた混合を追加し；複製または追加された第1のオーディオ源に脱相関プロセスを適用することをさらに含む、EEE２ないし１１のうちいずれか一項に記載の方法。
〔EEE１３〕
前記広がり表現は、前記広がりのあるオーディオ・オブジェクトの空間的広がりを表すための2次元または3次元の幾何学的形態を示す、EEE１ないし１２のうちいずれか一項に記載の方法。
〔EEE１４〕
前記広がりのあるオーディオ・オブジェクト（3）は、2次元または3次元において配向される、EEE１ないし１３のうちいずれか一項に記載の方法。
〔EEE１５〕
前記ユーザー位置において知覚される前記広がりのあるオーディオ・オブジェクトの前記空間的広がりは、前記広がりのあるオーディオ・オブジェクトの知覚される幅、サイズ、および／または重量感として記述される、EEE１ないし１４のうちいずれか一項に記載の方法。
〔EEE１６〕
前記相対点は、前記広がりのあるオーディオ・オブジェクトの前記幾何学的形態上の、前記ユーザー位置に最も近い点である、EEE１ないし１５のうちいずれか一項に記載の方法。
〔EEE１７〕
前記ユーザー位置と前記相対点とを結ぶ第1の線に直交する投影面上の前記広がりのあるオーディオ・オブジェクトの垂直投影を取得するステップと；前記垂直投影上で、前記広がりのあるオーディオ・オブジェクトの投影サイズを識別する複数の境界点を決定するステップとをさらに含み、前記相対広がり角は、前記ユーザー位置および前記複数の境界点を使用して決定される、EEE４ないし１６のうちいずれか一項に記載の方法。
〔EEE１８〕
前記複数の境界点を決定することは、前記広がりのあるオーディオ・オブジェクトの水平投影サイズに関する第2の線を取得することを含み、前記複数の境界点は、前記第2の線上の前記垂直投影の最も左側の境界点および最も右側の境界点を含む、EEE１７に記載の方法。
〔EEE１９〕
前記水平投影サイズは、前記広がりのあるオーディオ・オブジェクトの最大サイズである、EEE１８に記載の方法。
〔EEE２０〕
前記垂直投影は、複雑な幾何形状を有する前記広がりのあるオーディオ・オブジェクトの簡略化された投影を含む、EEE１７ないし１９のうちいずれか一項に記載の方法。
〔EEE２１〕
前記広がりのあるオーディオ・オブジェクトの前記幾何学的形態上の前記相対点を取得する前に、前記相対点を決定する際に使用するための前記広がりのあるオーディオ・オブジェクトの簡略化された幾何学的形態を取得するステップをさらに含む、EEE２０に記載の方法。
〔EEE２２〕
前記広がりのあるオーディオ・オブジェクトの前記修正された表現に基づいて、前記広がりのあるオーディオ・オブジェクトをレンダリングするステップをさらに含み、前記広がりのあるオーディオ・オブジェクトは、前記一つまたは複数の第2のオーディオ源の決定された位置と前記広がりパラメータとを使用してレンダリングされる、EEE１ないし２１のうちいずれか一項に記載の方法。
〔EEE２３〕
前記レンダリングは、6DoFオーディオ・レンダリングを含み、前記レンダリングのために、前記ユーザー位置、前記広がりのあるオーディオ・オブジェクトの位置および／または配向および幾何形状を取得するステップをさらに含む、EEE２２に記載の方法。
〔EEE２４〕
前記広がりパラメータを使用して前記広がりのあるオーディオ・オブジェクトの知覚されるサイズを制御することをさらに含む、EEE１ないし２３のうちいずれか一項に記載の方法。
〔EEE２５〕
前記広がりのあるオーディオ・オブジェクトは、前記広がりのあるオーディオ・オブジェクトの知覚されるサイズを制御することによって、点源またはワイド源としてモデル化される、EEE２４に記載の方法。
〔EEE２６〕
前記一つまたは複数の第2のオーディオ源の位置は、すべての前記第2のオーディオ源が前記ユーザー位置から同じ基準距離を有するように決定される、EEE１ないし２５のうちいずれか一項に記載の方法。
〔EEE２７〕
仮想または拡張現実環境におけるオーディオ・レンダリングのために広がりのあるオーディオ・オブジェクトをモデル化するための装置であって、当該装置は、プロセッサと、該プロセッサに結合され、該プロセッサのための命令を記憶しているメモリとを有しており、前記プロセッサは、EEE１ないし２６のうちいずれか一項に記載の方法のすべてのステップを実行するように構成される、装置。
〔EEE２８〕
仮想または拡張現実環境におけるオーディオ・レンダリングを実装するためのシステムであって、当該システムは、EEE２７に記載の装置と；広がりモデリング・ユニットとを有し、前記広がりモデリング・ユニットは、前記広がりのあるオーディオ・オブジェクトの前記修正された表現に関する情報を前記装置から受信し、前記修正された表現に関する前記情報に基づいて、前記広がりのあるオーディオ・オブジェクトの広がりサイズを制御するように構成されている、システム。
〔EEE２９〕
当該システムは、ユーザー仮想現実コンソールであるか、またはその一部である、EEE２８に記載のシステム。
〔EEE３０〕
当該システムは、前記広がりのあるオーディオ・オブジェクトの前記修正された表現に関する前記情報および／または前記制御された広がりサイズをオーディオ出力に送信するように構成されている、EEE２８または２９に記載のシステム。
〔EEE３１〕
コンピューティング・デバイスによって実行されるときに該コンピューティング・デバイスにEEE１ないし２６のうちいずれか一項に記載の方法のすべてのステップを実行させる命令を有するコンピュータ・プログラム。
〔EEE３２〕
EEE３１に記載のコンピュータ・プログラムを記憶しているコンピュータ可読記憶媒体。
【図1】
【図2a】
【図2b】
【図3】
【図4】
【図5a】
【図5b】
【図5c】
【図6】
【図7】
【図8a】
【図8b】
【図8c】
【手続補正書】
【提出日】2023-10-31
【手続補正1】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項1】
仮想または拡張現実環境におけるオーディオ・レンダリングのために広がりのあるオーディオ・オブジェクトをモデル化する、コンピュータ実装される方法であって、当該方法は：広がりのあるオーディオ・オブジェクトの幾何学的形態を示す広がり表現と、前記広がりのあるオーディオ・オブジェクトに関連付けられた一つまたは複数の第1のオーディオ源に関する情報とを取得するステップと；
前記広がりのあるオーディオ・オブジェクトの前記幾何学的形態を示す前記広がり表現を使って、前記仮想または拡張現実環境におけるユーザー位置に最も近い相対点を取得するステップであって、前記広がりのあるオーディオ・オブジェクトの前記幾何学的形態を示す前記広がり表現を使って前記相対点を取得することが、前記幾何学的形態上の前記相対点を得ること、または前記広がり表現からある距離離れたところに前記相対点を得ることを含む、段階と；
前記ユーザー位置および前記相対点に基づいて前記広がり表現の広がりパラメータを決定するステップであって、前記広がりパラメータは、前記ユーザー位置において知覚される前記広がりのあるオーディオ・オブジェクトの空間的広がりを記述する、ステップと；
前記広がりのあるオーディオ・オブジェクトをモデル化するための一つまたは複数の第2のオーディオ源の、前記ユーザー位置に対する位置を決定するステップと；
前記広がりのあるオーディオ・オブジェクトをモデル化するための、前記広がりのあるオーディオ・オブジェクトの修正された表現を出力するステップであって、前記修正された表現は、前記広がりパラメータおよび前記一つまたは複数の第2のオーディオ源の位置を含む、ステップとを含む、
コンピュータ実装される方法。
【請求項2】
前記広がりのあるオーディオ・オブジェクトの前記修正された表現に基づいて、前記広がりのあるオーディオ・オブジェクトをレンダリングするステップをさらに含み、前記広がりのあるオーディオ・オブジェクトは、前記一つまたは複数の第2のオーディオ源の決定された位置および前記広がりパラメータを使ってレンダリングされる、請求項１に記載のコンピュータ実装される方法。
【請求項3】
前記レンダリングが6DoFオーディオ・レンダリングを含み、前記レンダリングのために、前記ユーザー位置、前記広がりのあるオーディオ・オブジェクトの位置および／または配向および幾何形状を取得するステップをさらに含む、請求項２に記載のコンピュータ実装される方法。
【請求項4】
前記一つまたは複数の第1のオーディオ源に基づいて、前記広がりのあるオーディオ・オブジェクトをモデル化するための前記一つまたは複数の第2のオーディオ源を決定するステップをさらに含む、請求項１に記載のコンピュータ実装される方法。
【請求項5】
前記広がりパラメータは、前記広がりのあるオーディオ・オブジェクトの位置および／または配向にさらに基づいて決定される、請求項１に記載のコンピュータ実装される方法。
【請求項6】
前記ユーザー位置、前記相対点および前記広がりのあるオーディオ・オブジェクトの前記位置および／または配向に基づいて、相対広がり角を決定するステップをさらに含み、前記広がりパラメータは、前記相対広がり角に基づいて決定される、請求項５に記載のコンピュータ実装される方法。
【請求項7】
前記一つまたは複数の第2のオーディオ源の位置を決定することは：前記ユーザー位置、前記相対点、および前記広がりのあるオーディオ・オブジェクトの前記幾何学的形態に基づいて円弧を決定し；
前記決定された一つまたは複数の第2のオーディオ源を前記円弧上に位置決めすることを含む、
請求項１に記載のコンピュータ実装される方法。
【請求項8】
前記位置決めすることは、前記円弧上にすべての前記第2のオーディオ源を等間隔に分布させることを含む、請求項７に記載のコンピュータ実装される方法。
【請求項9】
前記位置決めすることは、前記第2のオーディオ源の間の相関レベルおよび／またはコンテンツ作成者の意図に依存する、請求項７に記載のコンピュータ実装される方法。
【請求項10】
前記広がりパラメータは、決定された一つまたは複数の第2のオーディオ源の数にさらに基づいて決定される、請求項４に記載のコンピュータ実装される方法。
【請求項11】
決定された一つまたは複数の第2のオーディオ源の数は、前記ユーザー位置および／または前記相対点とは無関係の所定の定数である、請求項１０に記載のコンピュータ実装される方法。
【請求項12】
前記広がりのあるオーディオ・オブジェクトをモデル化するための前記一つまたは複数の第2のオーディオ源を決定することは、前記相対広がり角に基づいて前記一つまたは複数の第2のオーディオ源の数を決定することを含む、請求項１０に記載のコンピュータ実装される方法。
【請求項13】
前記一つまたは複数の第2のオーディオ源の数は、前記相対広がり角が増加するにつれて増加する、請求項１２に記載のコンピュータ実装される方法。
【請求項14】
前記広がりのあるオーディオ・オブジェクトをモデル化するための前記一つまたは複数の第2のオーディオ源を決定することは：前記一つまたは複数の第1のオーディオ源を複製する、または前記一つまたは複数の第1のオーディオ源の重み付けされた混合を追加し；
複製または追加された第1のオーディオ源に脱相関プロセスを適用することをさらに含む、請求項４に記載のコンピュータ実装される方法。
【請求項15】
前記広がり表現は、前記広がりのあるオーディオ・オブジェクトの空間的広がりを表すための2次元または3次元の幾何学的形態を示す、請求項１に記載のコンピュータ実装される方法。
【請求項16】
前記広がりのあるオーディオ・オブジェクト（3）は、2次元または3次元において配向される、請求項１に記載のコンピュータ実装される方法。
【請求項17】
前記ユーザー位置において知覚される前記広がりのあるオーディオ・オブジェクトの前記空間的広がりは、前記広がりのあるオーディオ・オブジェクトの知覚される幅、サイズ、および／または重量感として記述される、請求項１に記載のコンピュータ実装される方法。
【請求項18】
前記ユーザー位置と前記相対点とを結ぶ第1の線に直交する投影面上の前記広がりのあるオーディオ・オブジェクトの垂直投影を取得するステップと；前記垂直投影上で、前記広がりのあるオーディオ・オブジェクトの投影サイズを識別する複数の境界点を決定するステップとをさらに含み、
前記相対広がり角は、前記ユーザー位置および前記複数の境界点を使用して決定される、
請求項６に記載のコンピュータ実装される方法。
【請求項19】
前記複数の境界点を決定することは、前記広がりのあるオーディオ・オブジェクトの水平投影サイズに関する第2の線を取得することを含み、前記複数の境界点は、前記第2の線上の前記垂直投影の最も左側の境界点および最も右側の境界点を含む、請求項１８に記載のコンピュータ実装される方法。
【請求項20】
前記水平投影サイズは、前記広がりのあるオーディオ・オブジェクトの最大サイズである、請求項１９に記載のコンピュータ実装される方法。
【請求項21】
前記垂直投影は、複雑な幾何形状を有する前記広がりのあるオーディオ・オブジェクトの簡略化された投影を含む、請求項１８に記載のコンピュータ実装される方法。
【請求項22】
前記広がりパラメータを使用して前記広がりのあるオーディオ・オブジェクトの知覚されるサイズを制御することをさらに含む、請求項１に記載のコンピュータ実装される方法。
【請求項23】
前記広がりのあるオーディオ・オブジェクトは、前記広がりのあるオーディオ・オブジェクトの知覚されるサイズを制御することによって、点源またはワイド源としてモデル化される、請求項２３に記載のコンピュータ実装される方法。
【請求項24】
前記一つまたは複数の第2のオーディオ源の位置は、すべての前記第2のオーディオ源が前記ユーザー位置から同じ基準距離を有するように決定される、請求項１に記載のコンピュータ実装される方法。
【請求項25】
仮想または拡張現実環境におけるオーディオ・レンダリングのために広がりのあるオーディオ・オブジェクトをモデル化するための装置であって、当該装置は、プロセッサと、該プロセッサに結合され、該プロセッサのための命令を記憶しているメモリとを有しており、前記プロセッサは、請求項１ないし２４のうちいずれか一項に記載のコンピュータ実装される方法のすべてのステップを実行するように構成される、装置。
【請求項26】
仮想または拡張現実環境におけるオーディオ・レンダリングを実装するためのシステムであって、当該システムは：仮想または拡張現実環境におけるオーディオ・レンダリングのために広がりのあるオーディオ・オブジェクトをモデル化するための装置であって、該装置は、プロセッサと、該プロセッサに結合され、該プロセッサのための命令を記憶しているメモリとを有しており、前記プロセッサは、請求項１ないし２４のうちいずれか一項に記載のコンピュータ実装される方法のすべてのステップを実行するように構成される、装置と；
広がりモデリング・ユニットとを有し、前記広がりモデリング・ユニットは、前記広がりのあるオーディオ・オブジェクトの前記修正された表現に関する情報を前記装置から受信し、前記修正された表現に関する前記情報に基づいて、前記広がりのあるオーディオ・オブジェクトの広がりサイズを制御するように構成されており、
当該システムは、前記広がりのあるオーディオ・オブジェクトの前記修正された表現に関する前記情報および／または前記制御された広がりサイズをオーディオ出力に送信するように構成されている、
システム。
【請求項27】
当該システムは、ユーザー仮想現実コンソールであるか、またはその一部である、請求項２６に記載のシステム。
【請求項28】
当該システムは、前記広がりのあるオーディオ・オブジェクトの前記修正された表現に関する前記情報および／または前記制御された広がりサイズをオーディオ出力に送信するように構成されている、請求項２６に記載のシステム。
【請求項29】
コンピューティング・デバイスによって実行されるときに該コンピューティング・デバイスに請求項１ないし２４のうちいずれか一項に記載の方法のすべてのステップを実行させる命令を有するコンピュータ・プログラム。
【請求項30】
請求項２９に記載のコンピュータ・プログラムを記憶しているコンピュータ可読記憶媒体。
【国際調査報告】