特開2023-66402アコースティック環境間のオーディオ遷移のための方法および装置
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2023066402
(43)【公開日】2023-05-15
(54)【発明の名称】アコースティック環境間のオーディオ遷移のための方法および装置
(51)【国際特許分類】
H04S 7/00 20060101AFI20230508BHJP
【ＦＩ】
H04S7/00 330
【審査請求】有
【請求項の数】20
【出願形態】ＯＬ
【外国語出願】
(21)【出願番号】P 2022171185
(22)【出願日】2022-10-26
(31)【優先権主張番号】2115533.8
(32)【優先日】2021-10-28
(33)【優先権主張国・地域又は機関】GB
(71)【出願人】
【識別番号】515076873
【氏名又は名称】ノキア テクノロジーズ オサケユイチア
(74)【代理人】
【識別番号】100099759
【弁理士】
【氏名又は名称】青木 篤
(74)【代理人】
【識別番号】100123582
【弁理士】
【氏名又は名称】三橋 真二
(74)【代理人】
【識別番号】100092624
【弁理士】
【氏名又は名称】鶴田 準一
(74)【代理人】
【識別番号】100141162
【弁理士】
【氏名又は名称】森 啓
(72)【発明者】
【氏名】スジート シャムスンダル マテ
(72)【発明者】
【氏名】ユッシ アルットゥリ レッパネン
(72)【発明者】
【氏名】アンティ ヨハンネス エロネン
(72)【発明者】
【氏名】オット ビルヤミ ハルユ
【テーマコード（参考）】
5D162
【Ｆターム（参考）】
5D162AA05
5D162CC36
5D162CD23
5D162DA04
5D162DA16
5D162DA17
5D162DA18
5D162EG05
(57)【要約】 （修正有）
【課題】アコースティック環境間のオーディオ遷移のための方法及び装置を提供する。
【解決手段】少なくとも２つのアコースティック環境間のオーディオ遷移を可能にする装置は、第１アコースティック環境１００と第２アコースティック環境１０２とを備えるオーディオシーンに関連付けられ、少なくとも第１アコースティック環境体情報を取得するステップと、前記オーディオシーン内のリスニング位置に応じて、両アコースティック環境間の適応的レンダリングを可能にするオーディオ遷移領域を少なくとも部分的に定義する第１の距離閾値を取得するステップと、両アコースティック環境のうちの少なくとも１つの環境特性を調整するためにリスニング位置を決定するステップと、リスニング位置に応じて両アコースティック環境のうちの少なくとも１つの環境特性を調整するステップとを、実行する手段を備える。環境特性は、オーディオシーン内で適応的に制御される。
【選択図】図１
【解決手段】少なくとも２つのアコースティック環境間のオーディオ遷移を可能にする装置は、第１アコースティック環境１００と第２アコースティック環境１０２とを備えるオーディオシーンに関連付けられ、少なくとも第１アコースティック環境体情報を取得するステップと、前記オーディオシーン内のリスニング位置に応じて、両アコースティック環境間の適応的レンダリングを可能にするオーディオ遷移領域を少なくとも部分的に定義する第１の距離閾値を取得するステップと、両アコースティック環境のうちの少なくとも１つの環境特性を調整するためにリスニング位置を決定するステップと、リスニング位置に応じて両アコースティック環境のうちの少なくとも１つの環境特性を調整するステップとを、実行する手段を備える。環境特性は、オーディオシーン内で適応的に制御される。
【選択図】図１
【特許請求の範囲】
【請求項1】
少なくとも２つのアコースティック環境の間のオーディオ遷移を可能にするための装置であって、前記装置は、オーディオシーンに関連する少なくとも第１アコースティック環境の情報を取得し、ここで、該オーディオシーンは、第１アコースティック環境と第２アコースティック環境とを備え、前記オーディオシーン内のリスニング位置に応じて前記第１および第２アコースティック環境間の適応的レンダリングを可能にするオーディオ遷移領域を少なくとも部分的に定義する第１距離閾値を取得し、前記第１および第２アコースティック環境のうちの少なくとも１つの前記環境特性を調整するためにリスニング位置を決定し、前記オーディオシーン内で適応的に制御されるようにする前記リスニング位置に応じて前記第１および第２アコースティック環境のうちの少なくとも１つの環境特性を調整する、ように構成される手段を備える、装置。
【請求項2】
前記手段は、前記オーディオシーンに関連する少なくとも第１アコースティック環境の情報を取得するように構成され、ここで、前記オーディオシーンは前記第１アコースティック環境を含み、第２アコースティック環境は、前記オーディオシーンに関連する少なくとも前記第１アコースティック環境の情報を含むビットストリームを受信するように構成される、請求項１に記載の装置。
【請求項3】
前記ビットストリームは前記第１距離閾値をさらに備え、前記第１距離閾値を取得するように構成された前記手段は、前記ビットストリームから前記第１距離閾値を取得するように構成される、請求項２に装置の方法。
【請求項4】
前記第１アコースティック環境と前記第２アコースティック環境とは、前記第１アコースティック環境と前記第２アコースティック環境との間の境界に位置する第１のアコースティックカップリングによって結合される、請求項１ないし３のいずれか１項に記載の装置。
【請求項5】
前記オーディオ遷移領域を少なくとも部分的に画定する前記第１距離閾値は、
前記第１アコースティック環境内に位置し、前記第２アコースティック環境と関連付けられる、請求項１ないし４のいずれか１項に記載の装置。
前記第１アコースティック環境内に位置し、前記第２アコースティック環境と関連付けられる、請求項１ないし４のいずれか１項に記載の装置。
【請求項6】
前記リスニング位置に応じて、前記第１および第２アコースティック環境のうちの少なくとも１つの前記環境特性を調整するように構成された前記手段は、前記リスナ位置がオーディオ遷移領域内にあることを決定し、前記第１距離閾値に対するリスニング位置、および、前記第１アコースティック環境と前記第２アコースティック環境との間の境界に基づいて、第１アコースティック環境の第１の残響利得パラメータ、または、第２アコースティック環境の第の残響利得パラメータのうちの少なくとも１つを調整するように構成される、請求項１ないし５のいずれか１項に記載の装置。
【請求項7】
前記手段は、前記第１距離閾値に関連する第１の機能を取得するようにさらに構成され、前記リスニング位置に応じて前記第１および第２アコースティック環境のうちの少なくとも１つの前記環境特性を調整するように構成された前記手段は、前記第１距離閾値に対する前記リスニング位置に適用された前記第１の機能と、前記第１アコースティック環境と前記第２アコースティック環境との間の前記境界とにさらに基づいて、前記第１アコースティック環境の第１の残響利得パラメータまたは前記第２アコースティック環境の第の残響利得パラメータのうちの少なくとも１つを調整するように構成される、請求項６に記載の装置。
【請求項8】
前記手段は空間オーディオ信号をレンダリングするようにさらに構成され、前記空間オーディオ信号は、前記第１および第２アコースティック環境のうちの少なくとも１つの前記環境特性に基づいて、少なくとも部分的に生成された残響？？？を有する、請求項１ないし７のいずれか１項に記載の装置。
【請求項9】
前記空間オーディオ信号をレンダリングするように構成された前記手段が、前記第１アコースティック環境の前記第１の残響ゲインパラメータに基づいて第１の残響部分を備える前記空間オーディオ信号を生成し、および／または、前記第２アコースティック環境の前記第２の残響ゲインパラメータに基づいて第２の残響部分を生成するように構成される、請求項６または７のいずれかに従属するとき、請求項８に記載の装置。
【請求項10】
前記第１アコースティック環境の前記第１の残響ゲインパラメータに基づいて、第１の残響部分、および／または、前記第２の残響ゲインパラメータに基づいて、第２の残響部分を備える前記空間オーディオ信号を生成するように構成された前記手段は、前記リスナ位置が前記第１アコースティック環境内にあるとき、現在のアコースティック環境を前記第１アコースティックアコースティックとして設定し、寄与しない前記第１アコースティック環境を除いて、他のすべてのアコースティック環境に対して残響減衰を設定し、前記リスナ位置が前記閾値によって定義される前記第１アコースティック環境内の領域内にある前記第２アコースティック環境のための定義された寄与を提供するように残響減衰を設定し、現在のアコースティック環境および他のアコースティック環境に対する残響寄与を決定し、空間オーディオ信号の一部を形成するために、残響寄与を組み合わせるように構成される、請求項９に記載の装置。
【請求項11】
請求項７に従属するとき前記閾値によって定義される前記第１アコースティック環境内の前記領域内に前記リスナ位置がある前記第２アコースティック環境に前記定義された寄与を提供するように残響減衰を設定するように構成される前記手段は、前記第１の機能に基づいて前記第２アコースティック環境に前記定義された寄与を提供するように前記残響減衰を設定するように構成される、請求項１０に記載の装置。
【請求項12】
前記オーディオシーン内のリスニング位置に応じて前記第１および第２のアコースティック環境間の適応レンダリングを可能にするオーディオ遷移領域を少なくとも部分的に画定する第１の距離閾値を取得するように構成された前記手段は、前記第１距離閾値が適用可能なアコースティック環境の数を示す情報、前記第１距離閾値がどのアコースティック環境に適用可能であるかを示す情報、前記第１距離閾値がどのアコースティック環境にあるかを示す情報、前記第１距離閾値に対する距離値を示す情報、前記第１距離閾値に関連する形状またはプロフィーを示す情報、ヒステリシス領域を定義するヒステリシスオフセット値を示す情報、前記リスナ位置が、前記第１距離閾値の外側から前記第１アコースティック環境と前記第２アコースティック環境との間の境界まで移動するときに減衰レベルを修正するための機能を定義する減衰変調タイプを示す情報、現在のアコースティック環境から目的アコースティック環境までのホップ数を規定するホップを示す情報と、最大減衰量レベルを規定するパラメータ減衰量上限を示す情報と、のうちの少なくとも１つを取得するように構成される、請求項１から１１のいずれかに記載の装置。
【請求項13】
オーディオシーンのレンダリングを支援するためにアコースティック環境を生成するための装置であって、前記装置は、前記オーディオシーンに関連する少なくとも第１アコースティック音境の情報を取得し、ここで、前記オーディオシーンは、前記第１アコースティック環境と第２の環境とを備え、前記オーディオシーン内のリスニング位置に応じて前記第１および第２アコースティック環境間の適応的レンダリングを可能にするオーディオ遷移領域を少なくとも部分的に定義する第１距離閾値を取得し、前記情報と前記第１距離閾値とを符号化して出力するように構成される手段を備える、装置。
【請求項14】
前記手段は、前記第１の距離閾値に関連する第１の機能を取得するようにさらに構成され、前記第１の機能は、前記第１および第２アコースティック環境のうちの少なくとも１つに特徴的な環境の調節を定義する、請求項１２に記載の装置。
【請求項15】
前記オーディオシーン内のリスニング位置に応じて前記第１および第２のアコースティック環境間の適応レンダリングを可能にするオーディオ遷移領域を少なくとも部分的に画定する前記第１の距離閾値を取得するように構成された前記手段は、前記第１距離閾値が適用可能なアコースティック環境の数を示す情報、 前記第１距離閾値がどのアコースティック環境に適用可能であるかを示す情報、前記第１距離閾値がどのアコースティック環境にあるかを示す情報、前記第１距離閾値に対する距離値を示す情報、前記第１距離閾値に関連する形状またはプロファイルを示す情報、ヒステリシス領域を定義するヒステリシスオフセット値を示す情報、前記リスナ位置が第１距離閾値の外側から第１アコースティック環境と第２アコースティック環境との間の境界まで移動するときに減衰レベルを修正するための機能を定義する減衰変調タイプを示す情報、現在のアコースティック環境から目的アコースティック環境までのホップ数を規定するホップを示す情報と、最大減衰量レベルを規定するパラメータ減衰量上限を示す情報と、のうちの少なくとも１つを取得するように構成される、請求項１３または１４に記載の装置。
【請求項16】
前記情報を符号化して出力するように構成された前記手段は、符号化された情報と第１の距離閾値とを備えるビットストリームを生成するように構成される、請求項１３ないし１５のいずれか１項に装置。
【請求項17】
前記手段は、前記オーディオシーンに関連付けられた少なくとも１つのオーディオ信号を取得するようにさらに構成され、前記情報を符号化し出力するように構成された前記手段は、符号化された少なくとも１つのオーディオ信号を含む前記ビットストリームを生成する請求項１６に記載の装置。
【請求項18】
少なくとも２つのアコースティック環境間のオーディオ遷移を可能にするための装置のための方法であって、該方法は、オーディオシーンに関連付けられた少なくとも第１アコースティック環境の情報を取得するステップであって、前記オーディオシーンが第１アコースティック環境および第２アコースティック環境を備える、ステップと、前記オーディオシーン内のリスニング位置に応じて、前記第１アコースティック環境と前記第２アコースティック環境との間の適応的レンダリングを可能にするオーディオ遷移領域を少なくとも部分的に定義する第１距離閾値を取得するステップと、前記第１および第２アコースティック環境のうちの少なくとも１つの環境特性を調整するために前記リスニング位置を決定するステップと、前記リスニング位置に応じて、前記第１および第２アコースティック環境のうちの少なくとも１つの環境特性を調整するステップであって、前記環境特性がオーディオシーン内で適応的に制御される、ステップと、を含む、方法。
【請求項19】
オーディオシーンのレンダリングを支援するためにアコースティック環境情報を生成するための装置のための方法であって、該方法は、前記オーディオシーンに関連付けられた少なくとも第１アコースティック環境の情報を取得するステップであって、前記オーディオシーンは、前記第１アコースティック環境と第２の環境とを備える、ステップと、前記オーディオシーン内のリスニング位置に応じて前記第１アコースティック環境と第２アコースティック環境との間の適応的レンダリングを可能にするオーディオ遷移領域を少なくとも部分的に定義する第１の距離閾値を取得するステップと、前記情報および第１の距離閾値を符号化および出力するステップと、を含む、方法。
【発明の詳細な説明】
【技術分野】
【0001】
本出願は、没入型オーディオシーンにおけるアコースティック環境間の遅延残響断面フェード実装のための方法および装置に関し、６自由度レンダリングのための没入型オーディオシーンにおけるアコースティック環境間の遅延残響断面フェード実装のための方法および装置に関するが、これに限定されない。
【背景技術】
【0002】
ヘッドマウントデバイス（ＨＭＤ）を装着しているユーザに仮想シーンが表される、拡張現実（ＡＲ）アプリケーション（および混合現実（ＭＲ）および仮想現実（ＶＲ）などの他の同様の仮想シーン作成アプリケーション）は、時間の経過とともにより複雑かつ高度になっている。用途は、ビジュアルコンポーネント（またはオーバーレイ）と、ユーザに提示されるオーディオコンポーネント（またはオーバーレイ）とを含むデータを含むことができる。これらの構成要素は、拡張現実（ＡＲ）シーン内の（６自由度アプリケーションのための）ユーザの位置および向きに応じてユーザに提供され得る。
【0003】
ＡＲシーンをレンダリングするためのシーン情報は、通常、２つの部分を含む。１つの部分は、コンテンツ作成中に（または適切なキャプチャ装置またはデバイスによって）記述され得、キャプチャされた（または最初に生成された）シーンを表す仮想シーン情報である。仮想シーンは、エンコーダ入力フォーマット（ＥＩＦ）データフォーマットで提供され得る。ＥＩＦおよび（キャプチャまたは生成された）オーディオデータはエンコーダによって、シーン記述および空間オーディオメタデータ（および符号化オーディオ信号）を生成するために使用され、それはビットストリームを介してレンダリング（再生）デバイスまたは装置に配信され得る。ＥＩＦは、ＩＳＯ／ＩＥＣ ＪＴＣ１ ＳＣ２９ ＷＧ６ ＭＰＥＧオーディオ符号化におけるＭＰＥＧ－Ｉ ６ＤｏＦオーディオの提案（ＣｆＰ）のために開発されたＭＰＥＧ－Ｉ ６ＤｏＦオーディオエンコーダ入力フォーマットに記載されている。実装形態は主に、本明細書に従って説明されるが、シーン／コンテンツクリエータによって提供または使用され得る他のシーン記述フォーマットを使用することもできる。
【0004】
ＥＩＦによれば、エンコーダ入力データは、ＭＰＥＧ－Ｉ ６ＤｏＦオーディオシーンを記述する情報を含む。これは、仮想聴覚シーンのすべての内容、すなわちそのすべての音源、およびオーディオ波形、音源放射パターン、アコースティック環境に関する情報などのリソースデータをカバーする。したがって、コンテンツは、オブジェクト、チャネル、および高次アンビソニックスなどのオーディオ生成要素と、それらのメタデータ（位置および向きおよびソース指向性パターンなど）と、非オーディオ生成要素（アコースティック的に関連するシーンジオメトリおよびマテリアルプロパティなど）との両方を含むことができる。入力データはまた、シーンの変化を記述することを可能にする。更新と呼ばれるこれらの変化は異なる時間に発生することができ、シーンをアニメーション化することができる（例えば、移動するオブジェクト）。代替的に、それらは、手動で、または条件（例えば、リスナが近接に入る）によってトリガされるか、または外部エンティティから動的に更新されることができる。
【0005】
したがって、ＥＩＦ情報は、作成された、またはキャプチャされたアコースティック環境を定義する。これは、いくつかの状況では一連のアコースティック的に結合された（すなわち、オーディオの伝達を可能にするための接続）アコースティック環境としてモデル化され得る。したがって、残響特性を指定するためのアコースティック環境に加えて、アコースティック的に結合された空間は、全体的なレンダリングを現実的にするために「ポータル」の概念を必要とする。アコースティックポータルは、隣接する部屋から残響をレンダリングする機能を有する。ポータルは特に、隣接するアコースティック環境の残響から供給されるオーディオを有するアコースティック環境において、音源としてモデル化またはレンダリングすることができる。
【発明の概要】
【0006】
少なくとも２つのアコースティック環境の間のオーディオ遷移を可能にするための装置であって、該装置は、オーディオシーンに関連付けられた少なくとも第１アコースティック環境の情報を取得するステップであって、前記オーディオシーンが前記第１アコースティック環境と第２アコースティック環境とを備える、ステップと、前記オーディオシーン内のリスニング位置に応じて前記第１および第２アコースティック環境の間の適応的レンダリングを可能にするオーディオ遷移領域を少なくとも部分的に画定する第１距離閾値を取得するステップと、前記リスニング位置を決定して前記第１および第２アコースティック環境のうちの少なくとも１つの環境特性を調整するステップと、前記リスニング位置に応じて前記第１および第２アコースティック環境のうちの少なくとも１つの環境特性を調整するステップであって、前記環境特性が前記オーディオシーン内で適応的に制御される、ステップと、を実行するように構成された手段を含む、装置である。
【0007】
オーディオシーンに関連付けられた少なくとも第１アコースティック環境の情報を取得するように構成された手段であって、前記オーディオシーンが、第１アコースティック環境および第２アコースティック環境を備える、手段が、オーディオシーンに関連付けられた少なくとも第１アコースティック環境の情報を備えるビットストリームを受信する、ように構成される。
【0008】
ビットストリームは第１距離閾値をさらに備えることができ、第１距離閾値を取得するように構成された手段はビットストリームから第１距離閾値を取得するように構成することができる。
【0009】
第１アコースティック環境および第２アコースティック環境は、第１アコースティック環境と第２アコースティック環境との間の境界に位置する第１のアコースティックカップリングによって結合され得る。
【0010】
オーディオ遷移領域を少なくとも部分的に画定する第１距離閾値は、第１アコースティック環境内に位置し、第２アコースティック環境と関連付けることができる。
【0011】
リスニング位置に応じて第１および第２アコースティック環境のうちの少なくとも１つの環境特性を調整するように構成された手段は、リスナ位置がオーディオ移行領域内にあることを決定し、第１アコースティック環境と第２アコースティック環境との間の境界とに対するリスニング位置に基づいて、第１アコースティック環境の第１の残響ゲインパラメータまたは第２アコースティック環境の第２の残響ゲインパラメータのうちの少なくとも１つを調整するように構成することができる。
【0012】
手段は第１の距離閾値に関連する第１の機能を取得するようにさらに構成することができ、リスニング位置に応じて第１および第２アコースティック環境のうちの少なくとも１つの環境特性を調整するように構成された手段は、第１の距離閾値に対するリスニング位置に適用された第１の機能と、第１アコースティック環境と第２アコースティック環境との間の境界とにさらに基づいて、第１アコースティック環境の第１の残響利得パラメータまたは第２アコースティック環境の第の残響利得パラメータのうちの少なくとも１つを調整するように構成することができる。
【0013】
本願手段は空間オーディオ信号をレンダリングするようにさらに構成することができ、空間オーディオ信号は、第１および第２アコースティック環境のうちの少なくとも１つの環境特性に基づいて生成された残響から少なくとも部分的に構成することができる。
【0014】
空間オーディオ信号をレンダリングするように構成された手段は、第１アコースティック環境の第１の残響ゲインパラメータに基づいて第１の残響部分を備える空間オーディオ信号を生成するように構成することができ、および／または第２アコースティック環境の第２の残響ゲインパラメータに基づいて第２の残響部分を生成するように構成することができる。
【0015】
第１アコースティック環境の第１の残響利得パラメータ、および／または、第２アコースティック環境の第の残響利得パラメータに基づいた、第の残響利得パラメータに基づいた、第１の残響利得パラメータを備える空間オーディオ信号を生成するように構成された手段は、リスナ位置が第１アコースティック環境内にあるときに、現在のアコースティック環境を第１アコースティック環境として設定するステップと、寄与を提供しないように、第１アコースティック環境とは別に、他のすべてのアコースティック環境の残響減衰を設定するステップと、第２のアコースティック環境に対して定義された寄与を提供するために、残響減衰を設定するステップであって、リスナ位置が、閾値によって定義された第１のアコースティック環境内の領域内にある、ステップと、現在のアコースティック環境と他のアコースティック環境に対する残響寄与を決定するステップと、空間オーディオ信号の一部を形成するために、残響寄与を組み合わるステップと、を実行するように構成できる。
【0016】
リスナ位置が閾値によって定義される第１アコースティック環境内の領域内にある第２アコースティック環境のための定義された寄与を提供するように残響減衰を設定するように構成された手段は、第１の機能に基づいて第２アコースティック環境のための定義された寄与を提供するように残響減衰を設定するように構成することができる。
【0017】
オーディオ場面内のリスナ位置に応じて第１および第２アコースティック環境間の適応レンダリングを可能にする第１距離閾値を少なくとも部分的に規定する第１距離閾値を取得するように構成された手段は、第１距離閾値が適用可能なアコースティック環境の数を示す情報、第１距離閾値が適用可能なアコースティック環境を示す情報、第１距離閾値がどのアコースティック環境に位置するかを示す情報、第１距離閾値に対する距離値を示す情報、第１距離閾値に関連する形状またはプロファイルを示す情報、ヒステリシス領域を規定するヒステリシスオフセット値を示す情報、リスナ位置が第１距離閾値の外側から第１および第２アコースティック環境の間の境界まで移動するときの減衰レベルを修正するための機能を規定する減衰変調タイプを示す情報、現在のアコースティック環境から目的のアコースティック環境までのホップの数を規定するホップを示す情報、および、最大減衰レベルを規定するパラメータ減衰上限を示す情報のうちの少なくとも１つを取得するように構成されることができる。
【0018】
第２の態様によれば、オーディオシーンのレンダリングを支援するためのアコースティック環境情報を生成するための装置が提供され、装置は、オーディオシーンに関連する少なくとも第１アコースティック環境の情報を取得することであって、オーディオシーンが第１アコースティック環境と第２の環境とを備える、取得することと、オーディオシーン内のリスニング位置に応じて第１と第２アコースティック環境との間の適応レンダリングを可能にするオーディオ移行領域を少なくとも部分的に定義する第１距離閾値を取得することと、情報と第１距離閾値とを符号化して出力することとを行うように構成された手段を備える。
【0019】
本願手段は、第１の距離閾値に関連付けられた第１の機能を取得するようにさらに構成することができ、第１の機能は第１アコースティック環境および第２アコースティック環境のうちの少なくとも１つに特徴的な環境の調節を定義する。
【0020】
オーディオ場面内のリスナ位置に応じて第１および第２アコースティック環境間の適応レンダリングを可能にする第１距離閾値を少なくとも部分的に規定する第１距離閾値を取得するように構成された手段は、第１距離閾値が適用可能なアコースティック環境の数を示す情報と、第１距離閾値が適用可能なアコースティック環境を示す情報と、第１距離閾値がどのアコースティック環境に位置するかを示す情報と、第１距離閾値に対する距離値を示す情報と、第１距離閾値に関連付けられた形状またはプロファイルを示す情報と、ヒステリシス領域を規定するヒステリシスオフセット値を示す情報と、リスナ位置が第１距離閾値外から第１および第２アコースティック環境間の境界まで移動するときの減衰レベルを修正するための機能を規定する減衰変調タイプを示す情報と、現在のアコースティック環境から目的アコースティック環境までのホップ数を規定するホップを示す情報と、最大減衰レベルを規定するパラメータ減衰上限を示す情報とのうちの少なくとも１つを取得するように構成されてもよい。
【0021】
情報を符号化および出力するように構成された手段は、符号化された情報と第１の距離閾値とを備えるビットストリームを生成するように構成することができる。この手段は、オーディオシーンに関連付けられた少なくとも１つのオーディオ信号を取得するようにさらに構成することができ、情報を符号化および出力するように構成された手段は符号化された少なくとも１つのオーディオ信号を備えるビットストリームを生成するように構成される。
【0022】
第３の態様によれば、少なくとも２つのアコースティック環境間のオーディオ遷移を可能にするための装置が提供され、この方法は、オーディオシーンに関連する少なくとも第１アコースティック環境体情報を取得するステップであって、オーディオシーンが第１アコースティック環境と第２アコースティック環境とを備える、ステップと、オーディオシーン内のリスナ位置に応じて、第１アコースティック環境と第２アコースティック環境との間の適応的レンダリングを可能にするオーディオ遷移領域を少なくとも部分的に定義する第１距離閾値を取得するステップと、第１アコースティック環境と第２アコースティック環境とのうちの少なくとも１つの環境特性を調整するために、リスナ位置を決定するステップと、リスナ位置に応じて、第１アコースティック環境と第２アコースティック環境とのうちの少なくとも１つの環境特性を調整するステップであって、環境特性がオーディオシーン内で適応的に制御される、ステップと、を含む。
【0023】
オーディオシーンに関連する少なくとも第１アコースティック環境の情報を取得することは、オーディオシーンは第１アコースティック環境を含み、第２アコースティック環境はオーディオシーンに関連する少なくとも第１アコースティック環境の情報を含むことができ、ここで、オーディオシーンに関連する少なくとも第１アコースティック環境の情報を含むビットストリームを受信することを含む。
【0024】
ビットストリームは第１距離閾値をさらに備えることができ、第１距離閾値を取得することはビットストリームから第１距離閾値を取得することを含むことができる。
【0025】
第１アコースティック環境および第２アコースティック環境は、第１アコースティック環境と第２アコースティック環境との間の境界に位置する第１のアコースティックカップリングによって結合され得る。
【0026】
オーディオ遷移領域を少なくとも部分的に画定する第１距離閾値は第１アコースティック環境内に位置し、第２アコースティック環境と関連付けることができる。
【0027】
リスニング位置に応じて第１および第２アコースティック環境のうちの少なくとも１つの環境特性を調整するステップは、リスナ位置がオーディオ遷移領域内にあることを決定するステップと、第１距離閾値および第１アコースティック環境と第２アコースティック環境との間の境界に対するリスナ位置に基づいて、第１アコースティック環境の第１の残響利得パラメータまたは第２アコースティック環境の第の残響利得パラメータのうちの少なくとも１つを調整するステップと、を含むことができる。
【0028】
本方法は、第１距離閾値に関連する第１の機能を取得することをさらに備えることができ、リスニング位置に応じて第１および第２アコースティック環境のうちの少なくとも１つの環境特性を調整することは、第１距離閾値および第１アコースティック環境と第２アコースティック環境との間の境界に対してリスニング位置に適用される第１の機能にさらに基づいて、第１アコースティック環境の第１の残響利得パラメータまたは第２アコースティック環境の第の残響利得パラメータのうちの少なくとも１つを調整することを含むことができる。
【0029】
本方法は空間オーディオ信号をレンダリングすることをさらに備えることができ、空間オーディオ信号は、第１および第２アコースティック環境のうちの少なくとも１つの環境特性に基づいて生成された残響から少なくとも部分的に含むことができる。
【0030】
空間オーディオ信号をレンダリングすることは、第１アコースティック環境の第１の残響利得パラメータに基づいて第１の残響部分を備える空間オーディオ信号を生成すること、および／または、第２アコースティック環境の第の残響利得パラメータに基づいて第２の残響部分を生成することを含むことができる。
【0031】
第２アコースティック環境の第の残響利得パラメータに基づいて、第１アコースティック環境の第１の残響利得パラメータおよび／または第２の残響利得パラメータに基づいて、第１の残響利得パラメータを備える空間オーディオ信号を生成することは、リスナ位置が第１アコースティック環境内にあるときに、現在のアコースティック環境を第１アコースティック環境として設定することと、寄与を提供しないように、第１アコースティック環境とは別に、他のすべてのアコースティック環境のための残響減衰を設定することと、リスナ位置が閾値によって定義される第１アコースティック環境内の領域内にある第２アコースティック環境のための定義された寄与を提供するように、残響減衰を設定することと、現在のアコースティック環境および他のアコースティック環境のための残響寄与を決定することと、空間オーディオ信号の一部を形成するために、残響寄与を組み合わせることとを含むことができる。
【0032】
リスナ位置が閾値によって定義される第１アコースティック環境内の領域内にある第２アコースティック環境のための定義された寄与を提供するように残響減衰を設定することは、第１の機能に基づいて第２アコースティック環境のための定義された寄与を提供するように残響減衰を設定することを含むことができる。
【0033】
オーディオシーン内のリスナ位置に応じて第１および第２アコースティック環境間の適応レンダリングを可能にするオーディオ遷移領域を少なくとも部分的に定義する第１距離閾値を取得することは、第１距離閾値が適用可能なアコースティック環境の数を示す情報、第１距離閾値が適用可能なアコースティック環境を示す情報、第１距離閾値がどのアコースティック環境に位置するかを示す情報、第１距離閾値に対する距離値を示す情報、第１距離閾値に関連する形状またはプロファイルを示す情報、ヒステリシス領域を定義するヒステリシスオフセット値を示す情報、リスナ位置が第１距離閾値の外側から第１および第２アコースティック環境の間の境界まで移動するときの減衰レベルを修正するための機能を定義する減衰変調タイプを示す情報、現在のアコースティック環境から目的のアコースティック環境へのホップの数を定義するホップを示す情報、および、最大減衰レベルを定義するパラメータ減衰上限を示す情報のうちの少なくとも１つを取得することを含むことができる。
【0034】
第４の態様によれば、オーディオシーンのレンダリングを支援するためにアコースティック環境情報を生成するための装置のための方法が提供され、この方法は、オーディオシーンに関連する少なくとも第１アコースティック環境体情報を取得するステップであって、オーディオシーンが第１アコースティック環境と第２の環境とを備える、ステップと、オーディオシーン内のリスニング位置に応じて、第１アコースティック環境と第２アコースティック環境との間の適応レンダリングを可能にするオーディオ遷移領域を少なくとも部分的に定義する第１距離閾値を取得するステップと、情報と第１距離閾値とを符号化して出力するステップとを備える。
【0035】
本方法は第１距離閾値に関連する第１の機能を取得することをさらに含むことができ、第１の機能は第１および第２アコースティック環境のうちの少なくとも１つの環境特性の調整を定義する。
【0036】
オーディオシーン内のリスナ位置に応じて第１および第２アコースティック環境間の適応レンダリングを可能にするオーディオ遷移領域を少なくとも部分的に定義する第１距離閾値を取得することは、第１距離閾値が適用可能なアコースティック環境の数を示す情報、第１距離閾値が適用可能なアコースティック環境を示す情報、第１距離閾値がどのアコースティック環境にあるかを示す情報、第１距離閾値に対する距離値を示す情報、第１距離閾値に関連する形状またはプロファイルを示す情報、ヒステリシス領域を定義するヒステリシスオフセット値を示す情報、リスナ位置が第１距離閾値の外側から第１および第２アコースティック環境の間の境界まで移動するときの減衰レベルを修正するための機能を定義する減衰変調タイプを示す情報、現在のアコースティック環境から目的のアコースティック環境へのホップの数を定義するホップを示す情報、および、最大減衰レベルを定義するパラメータ減衰上限を示す情報のうちの少なくとも１つを取得することを含むことができる。
【0037】
情報を符号化および出力することは、符号化された情報と第１距離閾値とを備えるビットストリームを生成することを備え得る。
【0038】
本願方法は、オーディオシーンに関連付けられた少なくとも１つのオーディオ信号を取得するステップをさらに含むことができ、情報を符号化および出力するステップは、符号化された少なくとも１つのオーディオ信号を備えるビットストリームを生成するステップを含むことができる。
【0039】
第５の態様によれば、コンピュータプログラムコードを含む少なくとも１つのメモリとを備えた装置であって、該少なくとも１つのメモリおよび該コンピュータプログラムコードは、該少なくとも１つのプロセッサを用いて、該装置に、少なくとも、オーディオシーンに関連する少なくとも１つの第１アコースティック環境の情報を取得させ、ここで、オーディオシーンが、第１アコースティック環境および第２アコースティック環境を備え、オーディオシーン内のリスナ位置に応じて第１アコースティック環境と第２アコースティック環境との間の適応的レンダリングを可能にするオーディオ遷移領域を少なくとも部分的に定義する第１距離閾値を取得させ、第１および第２のアコースティック環境の少なくとも一方の環境特性を調整するために、リスニングポジションを決定させ、リスナ位置に応じて、第１および第２のアコースティック環境の少なくとも一方の環境特性を調整し、環境特性は、オーディオシーン内で適応的に制御させるように構成される、装置が提供される。
【0040】
第１アコースティック環境を備えるオーディオシーンに関連する少なくとも第１アコースティック環境の情報を取得する装置は、第２アコースティック環境が、オーディオシーンに関連する少なくとも第１アコースティック環境の情報を備えるビットストリームを受信することができる。
【0041】
ビットストリームは第１距離閾値をさらに備えることができ、第１距離閾値を取得するように構成された手段はビットストリームから第１距離閾値を取得するように構成することができる。
【0042】
第１アコースティック環境および第２アコースティック環境は、第１アコースティック環境と第２アコースティック環境との間の境界に位置する第１のアコースティックカップリングによって結合され得る。
【0043】
オーディオ遷移領域を少なくとも部分的に画定する第１距離閾値は第１アコースティック環境内に位置し、第２アコースティック環境と関連付けることができる。
【0044】
リスニング位置に応じて第１および第２アコースティック環境のうちの少なくとも１つの環境特性を調整させる装置は、リスナ位置がオーディオ遷移領域内にあることを決定し、第１距離閾値および第１アコースティック環境と第２アコースティック環境との間の境界に対するリスニング位置に基づいて、第１アコースティック環境の第１の残響ゲインパラメータまたは第２アコースティック環境の第２の残響ゲインパラメータのうちの少なくとも１つを調整させることができる。
【0045】
装置は第１距離閾値に関連する第１の機能を取得することをさらにさせることができ、リスニング位置に応じて第１および第２アコースティック環境のうちの少なくとも１つの環境特性を調整することを引き起こされる装置は、第１距離閾値に対するリスニング位置に適用される第１の機能と、第１アコースティック環境と第２アコースティック環境との間の境界とにさらに基づいて、第１アコースティック環境の第１の残響利得パラメータまたは第２アコースティック環境の第の残響利得パラメータのうちの少なくとも１つを調整することをさせることができる。
【0046】
本願装置は、空間オーディオ信号をレンダリングするようにされることができ、空間オーディオ信号は、第１および第２アコースティック環境のうちの少なくとも１つの環境特性に基づいて生成された残響から少なくとも部分的に備えることができる。
【0047】
空間オーディオ信号をレンダリングさせる装置は、第１アコースティック環境の第１の残響利得パラメータに基づいて第１の残響部分を備える空間オーディオ信号を生成させることができ、および／または、第２アコースティック環境の第２の残響利得パラメータに基づいて第２の残響部分を生成させることができる。
【0048】
第１アコースティック環境の第１の残響利得パラメータに基づいて、第１の残響部分を含む空間オーディオ信号を生成させる装置、および／または、第２の残響利得パラメータに基づいて、第２の残響部分を備える空間オーディオ信号を生成することを引き起こす装置は、リスナ位置が第１アコースティック環境内にあるときに、現在のアコースティック環境を第１アコースティック環境として設定することと、寄与を提供しないように、第１アコースティック環境とは別に、他のすべてのアコースティック環境のための残響減衰を設定することと、リスナ位置が閾値によって定義される第１アコースティック環境内の領域内にある第２アコースティック環境のための定義された寄与を提供するように、残響減衰を設定することと、現在のアコースティック環境および他のアコースティック環境のための残響寄与を決定することと、空間オーディオ信号の一部を形成するために、残響寄与を組み合わせることとを実行することができる。
【0049】
閾値によって定義される第１アコースティック環境内の領域内にリスナ位置がある第２アコースティック環境のための定義された寄与を提供するように残響減衰を設定させる装置は、第１の機能に基づいて第２アコースティック環境のための定義された寄与を提供するように残響減衰を設定させることができる。
【0050】
オーディオシーン内のリスナ位置に応じて第１アコースティック環境と第２アコースティック環境との間の適応的なレンダリングを可能にするオーディオ遷移領域を少なくとも部分的に規定する第１距離閾値を取得するようにした装置は、第１距離閾値が適用可能なアコースティック環境の数を示す情報と、第１距離閾値が適用可能なアコースティック環境を示す情報と、第１距離閾値がどのアコースティック環境にあるかを示す情報と、第１距離閾値についての距離値を示す情報と、第１距離閾値に関連付けられた形状またはパラメータを示す情報と、ヒステリシス領域を定義するヒステリシスオフセット値を示す情報と、減衰レベルを変更する機能を定義する減衰変調タイプを示す情報であって、前記リスナ位置が前記第１の距離閾値の外側から前記第１のアコースティック環境と前記第２のアコースティック環境との境界まで移動したときに、前記減衰レベルを変更する機能を定義する減衰変調タイプを示す情報と、現在の音環境から目的地の音環境までのホップ数を示すホップ情報と、減衰量の最大値を示すパラメータ減衰量上限値を示す情報と、の少なくとも１つを得るようにすることができる。
【0051】
第６の態様によれば、少なくとも１つのプロセッサと、コンピュータプログラムコードを含む少なくとも１つの記憶装置とを備える装置が提供され、少なくとも１つの記憶装置およびコンピュータプログラムコードは、少なくとも１つのプロセッサを用いて、装置に、少なくとも、オーディオシーンに関連する少なくとも第１アコースティック環境の情報を取得させ、オーディオシーンは、第１アコースティック環境および第２の環境を備え、オーディオシーン内のリスナ位置に応じて、第１アコースティック環境と第２アコースティック環境との間の適応的レンダリングを可能にするオーディオ遷移領域を少なくとも部分的に定義する第１距離閾値を取得させ、情報および第１距離閾値を符号化して出力させるように構成される。
【0052】
装置は第１距離閾値に関連する第１の機能を取得することをさらにさせることができ、第１の機能は第１および第２アコースティック環境のうちの少なくとも１つの環境特性の調整を定義する。
【0053】
オーディオシーン内のリスナ位置に応じて、第１および第２アコースティック環境間の適応レンダリングを可能にするオーディオ遷移領域を少なくとも部分的に定義する第１距離閾値を取得するための装置は、第１距離閾値が適用可能なアコースティック環境の数を示す情報と、第１距離閾値が適用可能なアコースティック環境を示す情報と、第１距離閾値がどのアコースティック環境にあるかを示す情報と、第１距離閾値に対する距離値を示す情報と、第１距離閾値に関する距離値を示す情報と、第１距離閾値に関連付けられた形状またはプロファイルを示す情報と、ヒステリシス領域を定義するヒステリシスオフセット値を示す情報と、リスナ位置が第１距離閾値の外側から第１および第２アコースティック環境の間の境界まで移動するときの減衰レベルを修正するための機能を定義する減衰変調タイプを示す情報と、現在のアコースティック環境から目的のアコースティック環境へのホップの数を定義するホップを示す情報と、最大減衰レベルを定義するパラメータ減衰上限を示す情報と、のうちの少なくとも１つを取得することができる。
【0054】
情報を符号化して出力させる装置は、符号化された情報と第１距離閾値とを備えるビットストリームを生成させることができる。
【0055】
装置はオーディオシーンに関連付けられた少なくとも１つのオーディオ信号を取得することをさらにさせることができ、情報を符号化および出力することを引き起こされる装置は符号化された少なくとも１つのオーディオ信号を備えるビットストリームを生成することをさせることができる。
【0056】
第７の態様によれば、オーディオシーンに関連する少なくとも第１のアコースティック装置の情報を取得するための手段であって、オーディオシーンが第１のアコースティック装置および第２のアコースティック装置を備える、手段と、オーディオシーン内のリスナ位置に応じて、第１のアコースティック装置と第２のアコースティック装置との間の適応的レンダリングを可能にするオーディオ移行領域を少なくとも部分的に定義する第１の距離閾値を取得するための手段と、第１のアコースティック装置および第２のアコースティック装置のうちの少なくとも１つの装置特性を調整するために、リスナ位置を決定するための手段と、前記第１及び第２のアコースティック環境の少なくとも一方の環境特性を前記リスナ位置に応じて調整する手段であって、前記環境特性が前記オーディオシーン内で適応的に制御される、手段と、を備える装置が提供される。
【0057】
第８の態様によれば、オーディオシーンに関連する少なくとも第１アコースティック環境の情報を取得するための手段であって、オーディオシーンが、第１アコースティック環境と第２の環境とを備える、手段と、オーディオシーン内のリスナ位置に応じて、第１アコースティック環境と第２アコースティック環境との間の適応的レンダリングを可能にするオーディオ移行領域を少なくとも部分的に定義する第１の距離閾値を取得するための手段と、情報および第１の距離閾値を符号化および出力するための手段とを備える装置が提供される。
【0058】
第９の態様によれば、装置に、オーディオシーンに関連する少なくとも第１アコースティック環境の情報を取得するステップであって、オーディオシーンは第１アコースティック環境と第２アコースティック環境とを備える、ステップと、オーディオシーン内のリスナ位置に応じて、第１アコースティック環境と第２アコースティック環境との間の適応的レンダリングを可能にするオーディオ遷移領域を少なくとも部分的に定義する第１距離閾値を取得するステップと、第１アコースティック環境と第２アコースティック環境とのうちの少なくとも１つの環境特性を調整するために、リスニング位置を決定するステップと、および、リスニング位置に応じて、第１アコースティック環境と第２アコースティック環境とのうちの少なくとも１つの環境特性を調整するステップであって、環境特性は、オーディオシーン内で適応的に制御される、ステップとを少なくとも実行させるための命令［またはプログラム命令を備えるコンピュータ可読媒体］を備えるコンピュータプログラムが提供される。
【0059】
第１０の態様によれば、装置に、少なくとも、オーディオシーンに関連する少なくとも第１アコースティック環境の情報を取得することであって、オーディオシーンが第１アコースティック環境および第２の環境を備える、取得するステップと、オーディオシーン内のリスニング位置に応じて第１アコースティック環境と第２アコースティック環境との間の適応的レンダリングを可能にするオーディオ遷移領域を少なくとも部分的に定義する第１距離閾値を取得するステップと、情報および第１距離閾値を符号化および出力するステップと、を実行させるための命令［またはプログラム命令を備えるコンピュータ可読媒体］を備えるコンピュータプログラムが提供される。
【0060】
第１１の態様によれば、装置に、少なくとも、オーディオシーンに関連付けられた少なくとも第１アコースティック環境の情報を取得するステップであって、前記オーディオシーンは、前記第１のアコースティック環境と前記第２のアコースティック環境とを含む、ステップと、オーディオシーン内のリスニング位置に応じて第１アコースティック環境と第２アコースティック環境との間の適応的レンダリングを可能にするオーディオ遷移領域を少なくとも部分的に定義する第１距離閾値を取得するステップと、第１アコースティック環境と第２アコースティック環境とのうちの少なくとも１つの環境特性を調整するためにリスニング位置を決定するステップと、リスニング位置に応じて第１アコースティック環境と第２アコースティック環境とのうちの少なくとも１つの環境特性を調整するステップであって、環境特性はオーディオシーン内で適応的に制御される、ステップと、を実行させるためのプログラム命令を備える非一時的コンピュータ可読媒体が提供される。
【0061】
第１２の態様によれば、装置に、少なくとも、オーディオシーンに関連する少なくとも第１アコースティック環境の情報を取得するステップであって、オーディオシーンが第１アコースティック環境と第２の環境とを備える、ステップと、取得することオーディオシーン内のリスニング位置に応じて、第１アコースティック環境と第２アコースティック環境との間の適応的レンダリングを可能にするオーディオ遷移領域を少なくとも部分的に定義する第１距離閾値を取得するステップと、前記情報および前記第１距離閾値を符号化し、出力するステップと、を実行させるためのプログラム命令を備える非一時的コンピュータ可読媒体が提供される。
【0062】
第１３の態様によれば、オーディオシーンに関連する少なくとも第１アコースティック環境の情報を取得するように構成された取得回路であって、前記オーディオシーンは前記第１アコースティック環境と第２アコースティック環境とを備える、取得回路と、前記オーディオシーンは前記オーディオシーン内のリスニング位置に応じて、前記第１アコースティック環境と前記第２アコースティック環境との間の適応レンダリングを可能にするオーディオ遷移領域を少なくとも部分的に画定する第１距離閾値を取得するように構成された取得回路と、前記第１アコースティック環境と前記第２アコースティック環境とのうちの少なくとも１つの環境特性を調整するように前記リスニング位置を決定するように構成された決定回路と、前記リスニング位置に応じて、前記第１アコースティック環境と前記第２アコースティック環境とのうちの少なくとも１つの環境特性を調整する調整回路であって、該環境特性は、オーディオシーン内で適応的に制御される、調整回路と、を備える装置が提供される。
【0063】
第１４の態様によれば、オーディオシーンに関連する少なくとも第１アコースティック環境の情報を取得するように構成された取得回路であって、オーディオシーンは、第１アコースティック環境と第２の環境とを備える、取得回路と、オーディオシーン内のリスニング位置に応じて、第１アコースティック環境と第２アコースティック環境との間の適応レンダリングを可能にするオーディオ遷移領域を少なくとも部分的に定義する第１距離閾値を取得するように構成された取得回路と、情報および第１距離閾値を符号化および出力するように構成された符号化および出力回路とを備える装置が提供される。
【0064】
第１５の態様によれば、装置に、少なくとも、オーディオシーンに関連する少なくとも第１アコースティック環境の情報を取得するステップであって、前記オーディオシーンは、前記第１のアコースティック環境と前記第２のアコースティック環境を含む、ステップと、
オーディオシーン内のリスニング位置に応じて第１アコースティック環境と第２アコースティック環境との間の適応的レンダリングを可能にするオーディオ遷移領域を少なくとも部分的に定義する第１距離閾値を取得するステップと、第１アコースティック環境と第２アコースティック環境とのうちの少なくとも１つの環境特性を調整するためにリスニング位置を決定するステップと、リスニング位置に応じて第１アコースティック環境と第２アコースティック環境とのうちの少なくとも１つの環境特性を調整するステップであって、環境特性は、オーディオシーン内で適応的に制御される、ステップと、を実行させるためのプログラム命令を備えるコンピュータ可読媒体が提供される。
オーディオシーン内のリスニング位置に応じて第１アコースティック環境と第２アコースティック環境との間の適応的レンダリングを可能にするオーディオ遷移領域を少なくとも部分的に定義する第１距離閾値を取得するステップと、第１アコースティック環境と第２アコースティック環境とのうちの少なくとも１つの環境特性を調整するためにリスニング位置を決定するステップと、リスニング位置に応じて第１アコースティック環境と第２アコースティック環境とのうちの少なくとも１つの環境特性を調整するステップであって、環境特性は、オーディオシーン内で適応的に制御される、ステップと、を実行させるためのプログラム命令を備えるコンピュータ可読媒体が提供される。
【0065】
第１６の態様によれば、装置に、少なくとも、オーディオシーンに関連する少なくとも第１アコースティック環境の情報を取得するステップであって、オーディオシーンは、第１アコースティック環境および第２の環境を備える、ステップと、オーディオシーン内のリスニング位置に応じて、第１アコースティック環境と第２アコースティック環境との間の適応的レンダリングを可能にするオーディオ遷移領域を少なくとも部分的に定義する第１距離閾値を取得するステップと、情報および第１距離閾値を符号化および出力するステップと、を実行させるためのプログラム命令を備えるコンピュータ可読媒体が提供される。
【0066】
装置は、上述のような動作を実行するための手段を含む。
【0067】
装置は、上記に記載の方法のアクションを実行するように構成される。
【0068】
コンピュータプログラムは、上記の方法をコンピュータに実行させるためのプログラム命令を含む。
【0069】
媒体上に記憶されたコンピュータプログラム製品は装置に、本明細書で説明する方法を実行させ得る。
【0070】
電子デバイスは、本明細書で説明されるような装置を備え得る。
【0071】
チップセットは、本明細書に記載の装置を備えてもよい。
【0072】
本出願の実施形態は、最新技術に関連する課題に対処することを目的とする。
【図面の簡単な説明】
【0073】
本出願をより良く理解するために、ここで、例として添付の図面を参照する。
【発明を実施するための形態】
【0074】
上述のように、作成またはキャプチャされたオーディオシーンは、一連のアコースティック環境としてモデル化することができる。
各アコースティック環境について、個々のアコースティック環境の特性に応じた特性を有する別個の構成された残響器（例えば、残響をモデル化する遅延線の出力タップからの１５個の無相関出力を有する）をモデル化することができる。
各アコースティック環境について、個々のアコースティック環境の特性に応じた特性を有する別個の構成された残響器（例えば、残響をモデル化する遅延線の出力タップからの１５個の無相関出力を有する）をモデル化することができる。
【0075】
本明細書の実施形態で論じられる概念は、２つ以上のアコースティック環境間のシームレスな遷移を可能にする装置および方法が提供されるものである。各アコースティック環境に対する残響のモデリングはアコースティック特性、例えば、環境の物理的サイズに応じて、各アコースティック環境に対して異なるように実行することができる。
【0076】
その結果、レンダラはアコースティック環境ごとに残響フィルタを個別に構成することができ、異なるアコースティック環境において異なる拡散遅延残響モデリングを生成する。
【0077】
そのようなモデリングアプローチはリスナが２つのアコースティック環境間の境界を横切って移動するとき、急激な変化を作り出す。このような急激な変化と、アコースティック環境ごとの拡散後期残響の明確な差異は、不自然で気が散り、没入感を壊すような効果を生み出す。これは、あるアコースティック環境から別のアコースティック環境へ移行する際に、現実世界での経験や知覚がそれほど劇的でないことが一般的だからである。例えば、ホールと廊下を行き来する際にも、オーディオが急に変化して邪魔になるようなことはない。
【0078】
したがって、本明細書に記載の実施形態では、リスニング体験をより信用できるようにする、滑らかで継ぎ目のない遷移を可能にするための装置および方法が提供される。
【0079】
拡散後期残響はいくつかの実施形態ではアコースティック環境内のリスナ位置に本質的に無知であるが、その結果得られる残響レンダリングは、特殊な状況（アコースティック環境の境界付近など）において、より信憑性を高めるために修正される。
【0080】
いくつかの実施形態では、したがって、この装置と方法は、アコースティック環境（ＡＥ）間のシームレスな移行を得ることに関連しており、２つのアコースティック環境間の知覚的にシームレスな遷移を有する結果的な遅延残響レンダリングを達成するように実行される、第２のアコースティック的に結合されたＡＥに近接するリスナ位置に応じて、第１のＡＥにおける遅延リバーベーションを修正するための機構が提供される。知覚的にシームレスな遷移は、いくつかの実施形態では、ビットストリーム内のオーディオシーンメタデータからのアコースティック環境エクステント情報を取得するステップ、ビットストリーム内のオーディオシーンメタデータ内の他のＡＥに対する近接閾値距離を取得するステップ、リスナの位置に応じたリスナの現在のアコースティック環境を決定するステップ、
現在のアコースティック環境を、残響の減衰量がゼロになるように設定するステップと、によって達成することができる。こうして、残響を最大のゲインレベルでレンダリングする。
現在のアコースティック環境を、残響の減衰量がゼロになるように設定するステップと、によって達成することができる。こうして、残響を最大のゲインレベルでレンダリングする。
【0081】
他のＡＥとのリスナの近接度が、取得された近接閾値距離内にあるかどうかを決定する。
【0082】
それぞれの近接閾値距離内のすべてのＡＥについて、遅延残響減衰量は、それぞれのＡＥについての近接閾値距離に（線形に）修正される。例えば、近接閾値距離が１ｍの場合、リスナが第２のＡＥから９０ｃｍの場合、第２のＡＥ残響の減衰値は９０％に設定される。
【0083】
後期残響は、それらのそれぞれの判定された減衰値に従って、全てのＡＥについてレンダリングすることができる。
【0084】
その後、すべての残響が合計され、結果として得られる後期残響が得られる。
【0085】
いくつかの実施形態では、近接閾値が、ＲＴ６０などのアコースティック環境パラメータ、アコースティック環境のサイズ、およびアコースティックカップリングのサイズ（たとえば、幅および高さ、幅、高さ、および長さなど）のうちの１つまたは複数の差に比例して生成される。
【0086】
いくつかの実施形態では、リスナが隣接するアコースティック的に結合されたＡＥまでの近接閾値距離内にあるときの減衰値の変動が、オーディオシーンレンダリングビットストリーム内で定義されたタイプに従って変動することができる。変動のタイプは、線形、指数関数などであり得る。
【0087】
いくつかのさらなる実施形態では、減衰量最大値が１００％未満の値でさえあり得るようにシグナリングされる。これにより、特定のアコースティック環境は、時間、オーディオシーン全体に全く存在しなくなる。そのようなパラメータはポータルを介して残響ルーティングを具体的に組み込む必要なしに、シーン全体において特定のＡＥの遅延残響の音を拡散するための単純な方法であり得る。これは、連結されたアコースティック環境（例えば、ＡＥ間のアコースティックカップリングを有する複数のＡＥを含む）を有する複雑なシーンにおいて、有意な利益となり得る。
【0088】
クロスフェードを伴うシームレスな遷移を実施するためのアコースティック遷移情報はＡＥにわたる後期残響遷移挙動を修正するために、ビットストリームを介してシグナリングされ得る。そのような信号は、いくつかの実施形態ではビットストリーム中の個々のパラメータまたは事前定義されたテーブルの信号インデックスを備えることができる。
【0089】
いくつかの実施形態では、近接閾値がエリアまたはボリュームであり得る。
【0090】
図１および図２に関して、例示的なオーディオシーンが示される。オーディオ場面は、ドア１０４領域と、第１アコースティック環境ＡＥ１ １００と、第２アコースティック環境ＡＥ２ １０２と、を備える。第２アコースティック環境ＡＥ２ １０２は、２つのオーディオソース、すなわち第１のオーディオソースＳ１ １０５および第２のオーディオソースＳ２ １０３と共に示されている。さらに、オーディオシーン内で自由に２回移動し、第２アコースティック環境ＡＥ２ １０２内の第１の位置Ｐ１ １１５、第１アコースティック環境ＡＥ１ １００内の第２の位置Ｐ２ １１３、
およびリスナが屋外１０４にいるときの第３の位置Ｐ３ １１１に示されるリスナが示される。
およびリスナが屋外１０４にいるときの第３の位置Ｐ３ １１１に示されるリスナが示される。
【0091】
図１および図２に示されるオーディオ場面の違いは、第１アコースティック環境ＡＥ１ １００と第２アコースティック環境ＡＥ２ １０２との間の既知のアコースティックカップリングＡＣ１ ２００の存在であり、第２アコースティック環境ＡＥ２ １０２は、２つのＡＥ間のオーディオの「自由である」やり取りを定義する。
【0092】
各アコースティック環境は、モデル化され、指定されたアコースティック特性に従って後期残響を再現するように構成される。アコースティック特性は、ＲＴ６０および拡散対方向比（ＤＤＲ）などのパラメータを含む。ＤＤＲパラメータの値は、特定の計算アプローチに基づいて、またはコンテンツ作成者の意図として指定されるかのいずれかで割り当てることができる。
【0093】
例えば、ＤＤＲを決定または計算するための公知の方法は、MPEG-I I Immersive Audio CfP Supplemental Information、Recommendations and Clarifications、Version1、N00083の第３．３項に記載されている。ＤＤＲは、3.9 EIF N00054項でも定義されている。
【0094】
上述のように、オーディオシーンは、２つの活性オーディオ源Ｓ１ １０５及びＳ２ １０３を含むように示されている。加えて、アコースティック環境ＡＥ１ １００とＡＥ２ １０２とを接続するアコースティックカップリングＡＣ１（または開口部）により、オーディオエネルギは、ＡＥ２ １０２からＡＥ１ １００に移動することができる。
【0095】
アコースティックカップリング情報の存在および詳細は、任意の適切な方法に基づいて取得または決定することができる。例えば、この情報は開口部を識別するために、全ての方向に光線の密集した設定を撮影する、ジオメトリ分析によって決定することができる。しかしながら、アコースティックカップリングの存在および程度を決定するための方法は、以下でさらに詳細には説明されない。本発明では、リスナが遷移することが予想されるアコースティックカップリングが、ＡＥ間のシームレスな遷移を提供するために特別なレンダリングを必要とするので、より重要である。
【0096】
上述のように、リスナが２つのアコースティック環境間を遷移するときに、後期残響レンダリングにおけるシームレスな遷移を可能にすることが重要である。
【0097】
図３および４に関して、いくつかの実施形態を実施するのに適した装置の模式図、および実施形態の流れ図が示される。したがって、シームレスな遷移後の残響の実施形態の実装は、そのため、６ＤｏＦオーディオシーンにおける妥当性およびその結果としての没入感を損ねるような急激な変化を避けることを目的としている。
【0098】
図３に示されるように、仮想シーン定義パラメータおよびオーディオ信号の形成でコンテンツを取得し、オーディオ信号および仮想シーン定義パラメータを備える適切なビットストリーム／データファイルを提供するように構成された例示的な作成装置３０１がある。
【0099】
図３に示されるようないくつかの実施形態では、作成装置３０１がエンコーダ入力フォーマット（ＥＩＦ）データ生成器３１１を備える。エンコーダ入力フォーマット（ＥＩＦ）データ生成部３１１は、コンテンツ作成者シーン記述であるＥＩＦ（Encoder Input Format）データを生成する。シーン記述情報は、オーディオ要素の位置などの仮想シーンジオメトリ情報を含む。さらに、シーン記述情報は、指向性およびサイズ、ならびに他のアコースティック的に関連する素子などの他の関連メタデータを備え得る。例えば、関連するメタデータは、仮想壁の位置と、それらのアコースティック特性と、オクルーダなどの他のアコースティック的に関連するオブジェクトとを含むことができる。アコースティック特性の例は、（周波数依存性の）吸収または反射係数、散乱エネルギーの量、または透過特性などのアコースティック材料特性である。いくつかの実施形態では、仮想アコースティック環境がその（周波数依存の）残響時間または拡散対直接音比に従って説明することができる。いくつかの実施形態におけるＥＩＦデータジェネレータ３１１は、より一般的には仮想シーン情報ジェネレータとして知られ得る。仮想シーン記述は、いくつかの実施形態ではいくつかのアコースティック環境記述を含むことができる。いくつかの実施形態における仮想シーン残響パラメータは、オーディオ信号が初期レベルよりも６０ｄＢ下に減衰するのに必要な時間を指定するプリディレイ、－６０ｄＢ残響時間（ＲＴ６０）、または、ＥＩＦで指定されたアコースティック環境説明の各々における総放射音のレベルに対する拡散残響のレベルを指定する拡散対直接比（ＤＤＲ）などの残響キャラクタリゼーション情報に基づいて導出される。ＲＴ６０およびＤＤＲは、周波数に依存するプロパティである。ＥＩＦパラメータ３１２は、いくつかの実施形態では適切なビットストリームエンコーダ３１７に提供され得る。
【0100】
本出願においてさらに詳細に説明されるように、後期残響および継ぎ目のない後期残響遷移ビットストリーム生成において使用されるパラメータのうちの１つは、近接閾値距離である。近接閾値距離は、リスナが隣接するＡＲから残響を聞くことができる距離である。近接閾値距離はプログラム的に、またはコンテンツクリエータの創造的意図に基づいて、導出されてもよい。
【0101】
いくつかの実施形態では、近接閾値距離が以下の式から導出され得る。
【数1】
【0102】
上記の式ではＤＴＨが電流ＡＥ（発信元ＡＥとも呼ばれる）におけるリスナの近接距離閾値に対応し、リスナが（たとえば、ウォーキングまたはテポートによって）遷移している近隣ＡＥは送信先ＡＥと呼ばれる。ＲＴ６０ＤおよびＲＴ６０Ｓは、宛先および送信元ＡＥのＲＴ６０を表す。ＤＤＲＤ およびＤＤＲＳの値は、送信先およびソースＡＥのＤＤＲ値を表す。ＶＤとＶＳは、宛先と送信元ＡＥ の容量を表す。Ｋ１、Ｋ２とＫ３は、シーンデータに応じてエンコーダで指定できる。上記は、近接距離を導出する一例に過ぎない。この距離は、手動チューニングによってコンテンツ作成者によって導出され、符号化されたビットストリームにおいて指定され得る。他の実施形態では、近接距離がレンダラ実装選択であってもよい。
【0103】
いくつかの実施形態では、クリエータ装置３０１がオーディオコンテンツジェネレータ３１３を備える。オーディオコンテンツ発生剤３１３は、オーディオシーンに対応するオーディオコンテンツを生成するように構成される。いくつかの実施形態では、オーディオコンテンツ発生剤３１３が仮想シーンに関連付けられたオーディオ信号を生成するか、そうでなければ取得するように構成される。例えば、いくつかの実施形態では、これらのオーディオ信号が適切なマイクロフォンまたはマイクロフォンのアレイを使用して取得または捕捉されてもよく、処理された捕捉オーディオ信号に基づいてもよく、または合成されてもよい。いくつかの実施形態では、オーディオコンテンツジェネレータ３１３が、さらに、いくつかの実施形態では、仮想シーン内の位置または信号の指向性など、オーディオ信号に関連するオーディオパラメータを生成または取得するように構成される。オーディオ信号および／またはパラメータ３１２は、いくつかの実施形態では適切なオーディオエンコーダ３１５およびビットストリームエンコーダ３１７に提供され得る。
【0104】
クリエータ装置３０１は、適切なオーディオエンコーダ３１５をさらに備えることができる。オーディオエンコーダ３１５はいくつかの実施形態ではオーディオ信号を使用し、ビットストリームエンコーダ３１７に渡されるエンコーダオーディオを生成するように構成される。
【0105】
いくつかの実施形態では、クリエータ装置３０１がビットストリームエンコーダ３１７を備える。ビットストリームエンコーダ３１７はＥＩＦパラメータ３１２および符号化オーディオ信号／パラメータを受信し、この情報に基づいて適切な符号化ビットストリームを生成するように構成される。これは、例えば、ＭＰＥＧ－Ｉ ６ＤｏＦオーディオビットストリームであり得る。いくつかの実施形態では、ビットストリームエンコーダ３１７が専用の符号化デバイスとすることができる。ビットストリームエンコーダ３１７の出力は、配信または記憶装置３０３に渡すことができる。ＭＰＥＧ－Ｉ ６ＤｏＦオーディオビットストリーム内のオーディオ信号は、一実施形態では、「ISO/IEC 23008-3:2018 High efficiency coding and media delivery in heterogenous environments - Part 3: 3D audio」において記載されるＭＰＥＧ－Ｈ ３Ｄフォーマットで符号化されることができる。本明細書は、オーディオオブジェクト、チャネル、および高次アンビソニクスのための適切な符号化方法を説明する。本明細書の低複雑度（ＬＣ）プロファイルは、オーディオ信号を符号化するために特に有用であり得る。
【0106】
いくつかの実施形態では、遅延残響レンダリングメタデータに組み込むことができるビットストリームシンタックスが以下の例である。
【数2】
【0107】
AcousticEnvironmentTransitionStruct()に関して、num_AcousticEnvironmentsパラメータは、リスナがアコースティックカップリングを介して通過することができるＡＥの数を提供するように構成される。含まれるＡＥは、隣接する隣接オブジェクトのみに限定されず、隣接する隣接オブジェクトにアコースティック的に結合されるＡＥにも限定され得る。
【0108】
current_acousticEnvironment_IDパラメータは、電流ＡＥの環境ＩＤを提供する。これは、AcousticEnvironmentTransitionStruct()がLateReverbStruct()内で配信される場合は存在しない可能性がある。
【0109】
destination_acousticEnvironment_IDは、リスナが通過できる送信先ＡＥの環境ＩＤを提供するように構成することができる。移行は、単純歩行またはテレポーテーションのいずれかによって起こり得る。
【0110】
さらに、proximity_threshold_distanceパラメータは、リスナがＡＥ間の境界の近くにいるときに、近隣からの後期残響の継ぎ目のない遷移を開始するための距離（ミリメートル単位）を識別するように構成される。
【0111】
パラメータnum_hopsは、電流ＡＥから送信先ＡＥへのホップ数を定義することができる。
直近の場合、ホップサイズは１である。さらに、リスナがＡＥ間の境界の近くにいるとき、近隣からの後期残響の継ぎ目のない遷移を開始するための値距離（ミリメートル）。
直近の場合、ホップサイズは１である。さらに、リスナがＡＥ間の境界の近くにいるとき、近隣からの後期残響の継ぎ目のない遷移を開始するための値距離（ミリメートル）。
【0112】
さらに、パラメータhysteresis_offsetは、リスナがオーディオシーン内の他のＡＥに対してproximity_threshold_distanceよりも短い距離を有する後に、proximity_threshold_distanceに追加される距離（ミリメートル単位）である。この値は、ユーザがproximity_threshold_distance境界でわずかな量だけ前後に移動した場合の不自然な動作を防ぐために追加される。他の実施形態では、ヒステリシス＿オフセットが１～１００の範囲のパーセンテージポイントとして指定することができる。
【0113】
いくつかの実施形態におけるattenuation_modulation_typeは、リスナが近接閾値距離の外側から境界まで移動するときに、１００から０に減衰レベルを修正するための方法を識別する。値は例えば、使用される曲線のタイプ、線形、指数等を示すことができる。
【0114】
パラメータattenuation_upperbound_indexは、最大減衰レベルである。０の屈折率値は、最大減衰レベルが１００％であることを示す。１より大きい指数の値の場合、最大減衰は９５％、９０％などに制限される。
【0115】
上記のシームレスな遷移データ構造は、いくつかの実施形態では以下に説明する方法でLateReverbStruct()に埋め込むことができる。
【数3】
【数4】
【0116】
LateReverbStruct()の構造のいくつかの実施形態では、パラメータnumberOfSpatialPositionsが遅延残響ペイロードの遅延ライン位置の数を定義する。この値は、特定の数の遅延線に対応するインデックスを使用して定義される。
ビット列「０ｂ００」の値は、遅延線のための１５の空間方向の値にレンダラをシグナリングする。
他の３つの値「０ｂ０１」、「０ｂ１０」、「０ｂ１１」は予約済みである。
ビット列「０ｂ００」の値は、遅延線のための１５の空間方向の値にレンダラをシグナリングする。
他の３つの値「０ｂ０１」、「０ｂ１０」、「０ｂ１１」は予約済みである。
【0117】
いくつかの実施形態では、方位パラメータがリスナに対する遅延線の方位を定義する。
範囲は－１８０～１８０度である。
範囲は－１８０～１８０度である。
【0118】
パラメータ仰角は、リスナに対する遅延線の仰角を定義する仰角を識別することができる。
範囲は－９０～９０度である。
範囲は－９０～９０度である。
【0119】
パラメータnumberOfAcousticEnvironmentsは、オーディオシーンのアコースティック可境の数を定義する。いくつかの実施形態におけるLateReverbStruct()は、その時点でオーディオシーンに存在する１つまたは複数のアコースティック環境に関する情報を搬送する。
【0120】
さらに、パラメータenvironmentIdは、アコースティック環境の一意の識別子を定義する。
【0121】
delayLineLength値は、減衰フィルタの設定に使用されるグラフィックイコライザ（ＧＥＱ）フィルタのサンプル単位の長さを定義する。
同じアコースティック環境に対応する異なる遅延線の長さは、互いに素である。
同じアコースティック環境に対応する異なる遅延線の長さは、互いに素である。
【0122】
構造filterParamsStruct()は、いくつかの実施形態では遅延線のための減衰フィルタを構成するためのグラフィックイコライザカスケードフィルタを記述することができる。同じ構造が拡散－直接残響比のためのフィルタを構成するために、その後に使用される。
【0123】
filterParamsStruct()SOSLengthパラメータは、２次セクションフィルタ係数の各々の長さである。ｂ１、ｂ２、ａ１、ａ２の値はフィルタ係数ｂ１、ｂ２、ａ１、ａ２である。
さらに、globalGainパラメータは、ＧＥＱのゲイン係数をデシベルで指定することができる。
さらに、globalGainパラメータは、ＧＥＱのゲイン係数をデシベルで指定することができる。
【0124】
levelDB値は、ディレイラインごとのサウンドレベルをデシベル単位で指定する。
【0125】
別の実装形態では、パラメータfadeInDistanceおよびシームレス遷移有効化フラグがレンダラ設定に存在し得る。他の実施形態では、これらは以下のようにビットストリームに含まれ得る。
「fadeInDistance」はクロスフェードを有効にする近接距離の閾値で、「enabled」フィールドは特定のＡＥに対してこのクロスフェード機能を有効／無効にするフラグである。
【数5】
【0126】
ＡＥパラメータを選択または生成する方法は、図４ａの流れ図に関して示すことができる。
【0127】
したがって、例えば、ステップ４５１によって、図４ａに示されるような全てのＡＥのリストが得られる。
【0128】
次いで、ステップ４５３によって、図４ａに示されるように、ＡＥ間のアコースティックカップリングが決定／取得または受信される。
【0129】
次いで、ステップ４５５によって、図４ａに示されるように、ＡＥのうちの１つに関するオーディオシーンにおける許容可能なＡＥ遷移の各セットのパラメータが取得される
（さらに、いくつかの実施形態では、ＡＥのうちの１つが「電流ＡＥ」として設定される）。
（さらに、いくつかの実施形態では、ＡＥのうちの１つが「電流ＡＥ」として設定される）。
【0130】
ステップ４５７によって、図４ａに示されるように、電流ＡＥに対する他のＡＥのための近接閾値が決定される。
【0131】
次に、ステップ４５９によって、図４ａに示すように、特定の電流ＡＥと他のＡＥとの間のシームレスな遷移を可能にするために、電流ＡＥの後期残響ペイロードパラメータに近接閾値距離が挿入される。
【0132】
次いで、ステップ４６１によって、電流ＡＥに対するすべてのアコースティック的に結合されたＡＥについて、この手法が繰り返され、図４ａに示される。
【0133】
反復ループにおいて、近接閾値距離はステップ４６３によって、図４ａに示されるように、他のすべてのアコースティック的に結合されたＡＥに関して、各ＡＥについて決定される。
【0134】
さらに、図３に示される装置のシステムは、（任意の）格納／配信装置３０３を備える。
格納／配信装置３０３は、（パラメータおよびオーディオ信号を含む）符号化ビットストリーム３１６を作成装置３０１から取得し、これらを適切な再生装置３０５に格納および／または配信するように構成される。いくつかの実施形態では、格納／配信装置３０３の機能がクリエータ装置３０１内に統合される。
格納／配信装置３０３は、（パラメータおよびオーディオ信号を含む）符号化ビットストリーム３１６を作成装置３０１から取得し、これらを適切な再生装置３０５に格納および／または配信するように構成される。いくつかの実施形態では、格納／配信装置３０３の機能がクリエータ装置３０１内に統合される。
【0135】
いくつかの実施形態では、ビットストリームが任意の所望の配信フォーマットを有するネットワークを介して配信される。いくつかの実施形態で採用され得る例示的な配信フォーマットは、ＤＡＳＨ(Dynamic Adaptive Streaming over HTTP)、ＣＭＡＦ(Common Media Application Format)、ＨＬＳ(HTP live streaming)などの任意の適切なアプローチでも可能である。
【0136】
いくつかの実施形態ではこの例ではさらに詳細に説明しないが、オーディオ信号は別個のデータストリームで符号化パラメータに送信される。
【0137】
いくつかの実施形態では、記憶／配信装置３０３が符号化されたオーディオおよびパラメータを取得し、記憶するように構成されたビットストリーム記憶装置３２１を備える。
【0138】
さらに、いくつかの実施形態では、格納／配信装置３０３が符号化されたビットストリーム（符号化されたオーディオおよびパラメータ）を配信するように構成されたコンテンツセレクタ／供給者３２３を備える。いくつかの実施形態では、コンテンツセレクタ／サプライヤが図３に示されるように、リスナ位置情報に基づいて、符号化されたパラメータおよびオーディオデータ３２４の形態でメタデータを供給するように構成される。
【0139】
図３に示される装置のシステムは、再生装置３０５をさらに備える。再生装置３０５は記憶／配信装置３０３から、符号化されたパラメータおよび（リスナ位置に基づく）符号化されたオーディオ信号３２４を取得するように構成される。加えて、いくつかの実施形態では、再生装置３０５が（物理的な聴取空間に関連する）センサデータ３３０を取得するように構成され、例えば、図３に示されるように、ヘッドマウントデバイスＨＭＤ３０７（いくつかの実施形態ではセンサおよびヘッドホンを備えることができる）ユーザに提供される適切な１つまたは複数のレンダリングされたオーディオ信号３３４を生成するように構成される。センサは例えば、リスナが位置する物理的空間、又はリスナの位置及び／又は向きを決定することができる。
【0140】
再生装置３０５は、いくつかの実施形態では（パラメータおよびオーディオデータを含む）ビットストリーム３２４を受信するように構成された（ＭＰＥＧ－Ｉ ６ＤｏＦ）プレーヤ３２１を備える。プレーヤ３２１は、いくつかの実施形態では、ＡＲレンダリングの場合、装置はまた、リスニング空間の物理的特性を得るために、ＡＲ感知モジュールを備えることが期待される。
【0141】
６ＤｏＦビットストリーム（パラメータおよびオーディオ信号を含む）のみで、ＶＲシナリオにおけるレンダリングを実行するのに十分である。すなわち、ＶＲシナリオでは、
必要なアコースティック情報がビットストリームで搬送され、材料および残響パラメータなどの仮想アコースティック特性に従って、シーン内の異なる仮想位置でオーディオシーンをレンダリングするのに十分である。
必要なアコースティック情報がビットストリームで搬送され、材料および残響パラメータなどの仮想アコースティック特性に従って、シーン内の異なる仮想位置でオーディオシーンをレンダリングするのに十分である。
【0142】
ＡＲシナリオの場合、レンダラはレンダリング中に、例えばＬＳＤＦフォーマットでレンダラに提供されるＡＲセンシングを使用してリスナ空間情報を取得することができる。これは、リスナの物理的空間反射要素（壁、カーテン、窓、部屋間の開口など）などの情報を提供する。
【0143】
したがって、例えば、いくつかの実施形態では、ユーザまたはリスナが適切なヘッドマウントデバイス（ＨＭＤ）２０７を操作（または装着）している。ＨＭＤは、再生装置３０５に渡すことができる適切なセンサデータ３３０を生成するように構成されたセンサを装備することができる。
【0144】
再生装置３０５（およびＭＰＥＧ－Ｉ ６ＤｏＦプレーヤ３２１）はさらに、いくつかの実施形態では、ＡＲセンサアナライザ３３１を備える。ＡＲセンサ分析器３３１は、物理的空間情報を（ＨＭＤ感知データまたはその他から）生成するように構成される。これは、例えば、ＬＳＤＦパラメータフォーマットと、適切なレンダラ３３３に渡される関連するＬＳＤＦパラメータとであり得る。
【0145】
いくつかの実施形態では、再生装置３０５（およびＭＰＥＧ－Ｉ ６ＤｏＦプレーヤ３２１）がコンテンツセレクタ３４２をさらに備える。いくつかの実施形態におけるコンテンツセレクタ３４２は、コンテンツセレクタ／供給者３２３がリスナ位置に基づいてオーディオおよびパラメータを提供することができるように、リスナ位置および／または向きを取得し、この情報をコンテンツセレクタ／供給者３２３に渡すように構成される。
【0146】
再生装置３０５（およびＭＰＥＧ－Ｉ ６ＤｏＦプレーヤ３２１）は、さらに、いくつかの実施形態では、仮想空間パラメータ、オーディオ信号（およびいくつかの実施形態では物理リスニング空間パラメータ）を受信し、図３に示されるようにＨＭＤ３０７に出力される適切な空間オーディオ信号を、たとえばヘッドホンによって出力されるバイノーラルオーディオ信号として生成するように構成されたレンダラ３３３を備える。
【0147】
いくつかの実施形態では、レンダラ３３３がジオメトリチェッカ３３４を備える。幾何学チェッカ３３４はいくつかの実施形態ではリスナ位置を決定または取得するように構成され、さらに、リスナ位置がアコースティック環境のうちの１つにリスナを位置付けているかどうか、およびそのような場合、どのアコースティック環境にあるかをチェックするように構成されたリスナ位置に基づく。このアコースティック環境は、電流ＡＥとして決定することができる。
【0148】
ジオメトリチェッカ３３４はさらに、リスナ位置に基づいて、リスナ位置が近隣ＡＥの近傍内にあるかどうかを決定するための幾何学的チェックを実行するように構成することができ、近接閾値は、６ＤｏＦレンダリングバイストリーム中の受信された遅延残響レンダリングメタデータから取得される。
【0149】
いくつかの実施形態では、レンダラ３３３が電流ＡＥ残響器３３６を備える。電流ＡＥ残響器３３６は電流ＡＥに関連付けられた残響器であり、任意の適切な方法に従って実装することができる。例えば、いくつかの実施形態では、残響器３３６が可変利得フィードバックループまたは可変利得フィードフォワードループを有する遅延線として実装される。
【0150】
いくつかの実施形態では、レンダラ３３３が送信先ＡＥ残響器３３８を備える。送信先ＡＥ残響器３３８は送信先ＡＥに関連付けられた残響器であり、任意の適切な方式に従って実装され得る。例えば、いくつかの実施形態では、残響器３３８が可変利得フィードバックループまたは可変利得フィードフォワードループを有する遅延線として実装される。いくつかの実施形態では、電流および送信先残響音に寄与する他のＡＥが存在し得る。そのようなＡＥは、電流および送信先ＡＥ遅延残響レンダリングのためのレンダリングに含まれることが暗黙的であると考えられる。
【0151】
いくつかの実施形態では、レンダラ３３３が遅延残響ミキサ３３２を備える。後期残響ミキサは電流及び送信先の後期レンダラからの後期残響器からの出力を取得し、それらを組み合わせて、組み合わせられたレンダリング出力を生成するように構成される。
【0152】
したがって、一般に、シームレス遷移は、以下の方法で実施される。リスナが特定のＡＥエクステント境界内にあることが分かった場合、リスナはそのＡＥ内にあるように設定される。例えば、リスナは、ＡＥ１およびＡＥ２のアコースティックエンバイロメントを含む場面について、リスナがＡＥ１の境界内にある場合、ＡＥ１内にあるように設定される。続いて、レンダラがリスナがＡＥ１内にあるが、ＡＥ２、ＡＥ１減衰までの近接閾値距離からさらに離れていることに気付いた場合、シームレストランジションハンドリングのために、ＡＥ２減衰は０に設定され、１００に設定される。これは、リスナが遷移ゾーンからかなり遠いためである。続いて、リスナがＡＥ２への近接閾値距離未満であるがリスナ位置がＡＥ１内にあり続けるように、ＡＥ１の減衰量を０に、ＡＥ２の減衰量を近接距離（近接閾値以下）に応じてレンダリングさせるシームレスな遷移機構が有効である。このように、減衰量０のＡＥ１の後期残響と減衰量１００未満０以上のＡＥ２の後期残響を合計した残響をシームレスにトランジションレンダリングすることになる。これは、リスナがＡＥ１とＡＥ２の境界に移動するまで続く。この時点で、アッテネーションはＡＥ１ とＡＥ２に対して０になる。
【0153】
いくつかの実施形態（上記の実装形態をさらに詳細に説明する）に関してレンダラで実行される動作を、図４ｂのフロー図に示す。
【0154】
したがって、ステップ４０１によって、図４ｂに示すように、オーディオシーン内のすべてのＡＥに関する情報が取得される。いくつかの実施形態では、この情報が現在消費されている６ＤｏＦオーディオシーンに対応するビットストリーム内の６ＤｏＦメタデータの形態で取得される。したがって、情報は、オーディオシーン内の１つまたは複数のＡＥのための情報を備える。いくつかの実施形態では、オーディオシーンが２つ以上のＡＥを含む。さらに、いくつかの実施形態では、オーディオシーンがリスナがアコースティック環境にわたって遷移することができる、ＡＥ間のアコースティックカップリングをさらに含む。さらに、後期残響レンダリングパラメータは、オーディオシーン内の１つまたは複数のＡＥについて取得される。
【0155】
オーディオシーンのすべてのＡＥの減衰レベルは、フルまたは１００％に設定される。言い換えれば、ステップ４０３によって、図４ｂに示されるように、すべてのＡＥのためのすべての後期残響レンダリングが、音を生成しないように設定される。
【0156】
次いで、ステップ４０５によって、図４ｂに示されるように、リスナが存在するＡＥを識別するために、オーディオシーン内のリスナの現在位置に基づいて幾何学的チェックが実行される。
【0157】
リスナが存在すると判定されたＡＥについては、ステップ４０７によって、図４ｂに示されるように、減衰レベルが０に設定される。
【0158】
したがって、電流ＡＥ遅延残響はステップ４０９によって、図４ｂに示されるように、フルボリュームに設定される。
【0159】
次のステップでは、レンダラが、シーン消費中にリスナがＡＥ境界を通って遷移することを可能にすると決定された他のＡＥ（たとえば、近隣ＡＥ）の各々についてリスナ近接閾値を取得または検索するように構成することができる。近接閾値の取得は、ステップ４１１によって図４ｂに示される。
【0160】
近接閾値の例を図５に示す。この例では第１および第２のアコースティックエンバイロメントをＡＥ１ ５００およびＡＥ２ ５１０として示す。アコースティック環境間には、アコースティックカップリング５２０がある。さらに、ＡＥ１内の近接閾値ＤＴＨ－ＡＥ１－ＡＥ２ ５０１が示され、ＡＥ２と関連付けられる。近接閾値ＤＴＨ－ＡＥ１－ＡＥ２ ５０１は、ＡＲ１内の音波結合５２０から離れた位置５０５に配置される。さらに、ＡＥ２内に近接閾値ＤＴＨ－ＡＥ２－ＡＥ１ ５０３が示され、ＡＥ１と関連付けられる。
近接閾値ＤＴＨ－ＡＥ２－ＡＥ１ ５０３は、ＡＥ２ ５１０内の音波結合５２０からさらに離れた位置５０７に配置される。近接閾値は、シームレス遷移処理閾値マーカ５１１を定義する。
近接閾値ＤＴＨ－ＡＥ２－ＡＥ１ ５０３は、ＡＥ２ ５１０内の音波結合５２０からさらに離れた位置５０７に配置される。近接閾値は、シームレス遷移処理閾値マーカ５１１を定義する。
【0161】
ステップ４１３によって図４に示されるように、リスナに対する隣人ＡＥの近接度について、近接閾値が６ＤｏＦレンダリングバイストリーム内の受信された遅延残響レンダリングメタデータから取得される、
【0162】
前記幾何学的検査で前記近傍ＡＥを決定する（ｐｒｏｘｉｍｉｔｙ）ことに基づいて、少なくとも１つの近傍ＡＥを決定する場合、図４にステップ４１３で示すように、さらなる幾何学的なチェックが行われる。いくつかの実施形態における減衰は、近隣ＡＥへのリスナの近接度に従って変調または修正される。
【0163】
いくつかの実施形態では、リスナ距離が他のＡＥに対する近接閾値よりも大きい場合、減衰量が１００に設定されるように、減衰量変調または修正が線形に実行される。一方、リスナが他のＡＥから０距離にある場合、減衰量は０に設定される。
【0164】
この初期リニア設定は、ステップ４１５によって図４ｂに示される。
【0165】
０と１００との間の変動は、任意の適切なマッピングまたは関数に基づいて制御することができる。さらに、いくつかの実施形態では、このマッピングまたは関数が、変動が線形、指数関数的などであるかどうかを指定する、ビットストリームから配信されるパラメータに基づいて決定される。ゲイン値に適用される修正またはマッピング関数は、ステップ４１７によって図４ｂに示される。
【0166】
図６を参照すると、例示的な線形マッピング６００および非線形マッピング６１０が示されている。したがって、線形マッピング６０７の例に関して示されるように、０％から１００％までの減衰６０１は、０の距離から他のＡＥ ６０３からの近接閾値距離６０５まで変化する。０％から１００％までの減衰量６１１が、０の距離から他のＡＥ ６１３からの近接閾値距離６１５まで変化する、例示的なリニア（または指数関数的）マッピング６１７も示されている。
【0167】
次に、利得を設定すると、ステップ４１９によって、図４ｂに示すように、それぞれの減衰値に従ってＡＥがレンダリングされる。
【0168】
残響レンダリング部分を生成すると、ステップ４２１によって、図４ｂに示されるように、すべてのＡＥ部分が合計される。
【0169】
次に、ステップ４２３によって、図４ｂに示すように、レンダリングが出力される。
【0170】
オーディオシーン内の２つを超えるＡＥの場合、複数のＡＥ間にアコースティックカップリングが存在し得ることに留意されたい。例えば、図７に示すように、ＡＥ１ ７００とＡＥ２ ７１０との間に第１のアコースティックカップリングＡＣ１ ７０２があり、
ＡＥ２ ７１０とＡＥ３ ７２０との間に第２のアコースティックカップリングＡＣ２ ７１２がある、第１、第２、および第３のアコースティック環境ＡＥ１ ７００、ＡＥ２ ７１０、およびＡＥ３ ７２０が示されている。さらに、ＡＥ１ ７００内の第１の近接閾値ＤＴＨ－ＡＥ１－ＡＥ２ ７０１と、ＡＥ１ ７００内に位置するＡＥ２および第２の近接閾値ＤＴＨ－ＡＥ１－ＡＥ３ ７０３とが示されており、ＡＥ３と関連付けられている。
ＡＥ２ ７１０とＡＥ３ ７２０との間に第２のアコースティックカップリングＡＣ２ ７１２がある、第１、第２、および第３のアコースティック環境ＡＥ１ ７００、ＡＥ２ ７１０、およびＡＥ３ ７２０が示されている。さらに、ＡＥ１ ７００内の第１の近接閾値ＤＴＨ－ＡＥ１－ＡＥ２ ７０１と、ＡＥ１ ７００内に位置するＡＥ２および第２の近接閾値ＤＴＨ－ＡＥ１－ＡＥ３ ７０３とが示されており、ＡＥ３と関連付けられている。
【0171】
そのようなケースでは、近接閾値がＡＥ２ ７１０およびＡＥ３ ７２０に対応するＡＥ１ ７００内のリスナＬ ７０５に適用される。先の例と異なる点は、ＡＥ１からＡＥ２への移行時にＡＥ３の減衰量が０にならないことである。リスナがＡＥ２との境目にいるときに、後期残響のＡＥ３減衰量が０になるからである。この手法の利点はＡＥ３をＡＥ２に供給し、次いでＡＥ２をＡＥ１に混合する必要がないことである。
【0172】
したがって、そのような実施形態は遅延残響レンダリング出力を実行する前に、カスケード結合ＡＥを供給することによって誘発される全体的な処理遅延を低減する。
【0173】
さらに、このアプローチは、４つのＡＥを含むオーディオシーンに対して、図８に示されるような他のジオメトリに適用することができる。この実例では、第１、第２、第３、および第４のアコースティック環境ＡＥ１ ８００、ＡＥ２ ８１０、ＡＥ３ ８２０、およびＡＥ４ ８３０が示されており、ここで、ＡＥ１ ８００とＡＥ２ ８１０との間に第１のアコースティックカップリングＡＣ１ ８０２があり、ＡＥ２ ８１０とＡＥ３ ８２０との間に第２のアコースティックカップリングＡＣ２ ８１２があり、ＡＥ１ ８００とＡＥ４ ８３０との間に第３のアコースティックカップリングＡＣ３ ８２２がある。さらに、ＡＥ１ ８００内の、ＡＥ２に関連する第１の近接閾値ＤＴＨ－ＡＥ１－ＡＥ２ ８０１と、ＡＥ１ ８００内にも位置し、ＡＥ３に関連する第２の近接閾値ＤＴＨ－ＡＥ１－ＡＥ３ ８１１と、ＡＥ１ ８００内にも位置し、ＡＥ３に関連する第３の近接閾値ＤＴＨ－ＡＥ１－ＡＥ４ ８２１とが示されている。
【0174】
そのような場合、ジオメトリチェックは、関連する遷移に向かうリスナの動きを識別するように構成される。例えば、ＡＥ１－＞ＡＥ４と比較した遷移ＡＥ１－＞ＡＥ２は、アッテネーションフィルタの様々な選択をもたらす。
【0175】
したがって、ジオメトリチェックがＡＥ１－＞ＡＥ２推移からの推移を決定するように構成されるいくつかの実施形態では、ＡＥ３はまた、ＡＥ２に加えてＡＥ１からＡＥ２へのシームレスな推移を可能にするために、リスナからＡＥ２への接近中にレンダリングされ得る。ただし、ＡＥ３の近接閾値はＡＥ１内のリスナ位置まで拡張する必要がある。
【0176】
同様に、リスナがＡＥ１－＞ＡＥ４から遷移するいくつかの実施形態では、ＡＥ４のみがレンダリングされ、近接閾値内のシームレスな遷移をＡＥ４に可能にする。
【0177】
いくつかの実施形態では、近接距離閾値が近接領域として実装され得る（領域がエリアまたはボリュームによって指定され得る）。領域またはボリュームは、プリミティブとすることができる。いくつかの実装形態では、近接容積はまた、メッシュによって指定され得る。
【0178】
さらに、本明細書で論じるように、ＡＲアプリケーション内の没入型オーディオのための実用的なレンダリングを提供する装置および可能な機構がある。
【0179】
本明細書で説明する実施形態は、リスニング空間特性と仮想シーンレンダリングパラメータとを組み合わせて、シーン特性に関係なく適切なオーディオ性能を提供する融合レンダリングを取得する。
【0180】
いくつかの実施形態で説明される融合（または組み合わせ）は、オーラライゼーションは、レンダリングがＡＲ用であるかＶＲ用であるかを認識しないように実装される。言い換えれば、本明細書で説明する実施形態は、ＡＲ、ＶＲ（および複合現実（ＭＲ））を実行するのに適したシステム内で実装され得る。そのような機構は、ＡＲレンダリングが多くの異なる聴覚化実装を用いて展開可能であることを可能にする。
【0181】
いくつかの実施形態では、本明細書で説明される装置および可能な機構が、６自由度
（すなわち、リスナまたはリスニング位置がシーン内で移動することができ、リスナ位置が追跡される）を有するシステム内でオーディオのバイノーラルレンダリングを実施することができる。
（すなわち、リスナまたはリスニング位置がシーン内で移動することができ、リスナ位置が追跡される）を有するシステム内でオーディオのバイノーラルレンダリングを実施することができる。
【0182】
このような実施形態では、仮想シーン記述とレンダリング中に得られたリスナの物理空間の記述とからなるビットストリームで指定されたオーディオシーンからの情報を使用して、仮想空間と物理空間に不可知な可聴化を可能にし、物理空間内で高品質の没入感をもたらす統一シーン表現を得る装置および方法が提案される。
【0183】
図９に関して、上に示される装置のいずれかを表し得る例示的な電子デバイス（例えば、コンピュータ１ ５１１、コンピュータ２ ５２１、またはコンピュータ３ ５３１）。デバイスは、任意の適切な電子デバイスまたは装置であってもよい。例えば、いくつかの実施形態では、デバイス１４００がモバイルデバイス、ユーザ機器、タブレットコンピュータ、コンピュータ、オーディオ再生装置などである。
【0184】
いくつかの実施形態では、デバイス１４００が少なくとも１つのプロセッサまたは中央処理装置１４０７を備える。プロセッサ１４０７は、本明細書で説明されるような方法などの様々なプログラムコードを実行するように構成することができる。
【0185】
いくつかの実施形態では、装置１４００が記憶装置１４１１を備える。いくつかの実施形態では、少なくとも１つのプロセッサ１４０７が記憶装置１４１１に結合される。記憶装置１４１１は、任意の適切な記憶手段とすることができる。いくつかの実施形態では、記憶装置１４１１がプロセッサ１４０７上で実施可能なプログラムコードを記憶するためのプログラムコードセクションを備える。さらに、いくつかの実施形態では、記憶装置１４１１が、データ、たとえば、本明細書で説明する実施形態に従って処理された、または処理されるべきデータを記憶するための記憶データセクションをさらに備えることができる。プログラムコードセクション内に記憶された実施されたプログラムコードおよび記憶されたデータセクション内に記憶されたデータは、必要に応じて、メモリ－プロセッサ結合を介してプロセッサ１４０７によって取り出すことができる。
【0186】
いくつかの実施形態では、装置１４００がユーザインターフェース１４０５を備える。
ユーザインターフェース１４０５は、いくつかの実施形態ではプロセッサ１４０７に結合され得る。
いくつかの実施形態では、プロセッサ１４０７がユーザインターフェース１４０５の動作を制御し、ユーザインターフェース１４０５から入力を受信することができる。いくつかの実施形態では、ユーザインターフェース１４０５がユーザが、例えばキーパッドを介して、デバイス１４００にコマンドを入力することを可能にすることができる。いくつかの実施形態では、ユーザインターフェース１４０５がユーザが装置１４００から情報を取得することを可能にすることができる。例えば、ユーザインターフェース１４０５は、装置１４００からの情報をユーザに表示するように構成されたディスプレイを備えてもよい。ユーザインターフェース１４０５は、いくつかの実施形態では、情報がデバイス１４００に入力されることを可能にすることと、デバイス１４００のユーザに情報をさらに表示することとの両方が可能なタッチスクリーンまたはタッチインターフェースを備えることができる。いくつかの実施形態では、ユーザインターフェース１４０５が本明細書で説明されるように、位置決定器と通信するためのユーザインターフェースであり得る。
ユーザインターフェース１４０５は、いくつかの実施形態ではプロセッサ１４０７に結合され得る。
いくつかの実施形態では、プロセッサ１４０７がユーザインターフェース１４０５の動作を制御し、ユーザインターフェース１４０５から入力を受信することができる。いくつかの実施形態では、ユーザインターフェース１４０５がユーザが、例えばキーパッドを介して、デバイス１４００にコマンドを入力することを可能にすることができる。いくつかの実施形態では、ユーザインターフェース１４０５がユーザが装置１４００から情報を取得することを可能にすることができる。例えば、ユーザインターフェース１４０５は、装置１４００からの情報をユーザに表示するように構成されたディスプレイを備えてもよい。ユーザインターフェース１４０５は、いくつかの実施形態では、情報がデバイス１４００に入力されることを可能にすることと、デバイス１４００のユーザに情報をさらに表示することとの両方が可能なタッチスクリーンまたはタッチインターフェースを備えることができる。いくつかの実施形態では、ユーザインターフェース１４０５が本明細書で説明されるように、位置決定器と通信するためのユーザインターフェースであり得る。
【0187】
いくつかの実施形態では、装置１４００が入力／出力ポート１４０９を備える。いくつかの実施形態では、入力／出力ポート１４０９がトランシーバを備える。そのような実施形態におけるトランシーバは、プロセッサ１４０７に結合され、例えば、無線通信ネットワークを介して、他の装置または電子デバイスとの通信を可能にするように構成することができる。トランシーバまたは任意の好適なトランシーバまたは送信機および／または受信機手段は、いくつかの実施形態では有線または有線結合を介して他の電子機器または機器と通信するように構成することができる。
【0188】
トランシーバは、任意の適切な既知の通信プロトコルによって、さらなる装置と通信することができる。例えば、いくつかの実施形態では、トランシーバが、適切なユニバーサルモバイルテレコミュニケーションシステム（ＵＭＴＳ）プロトコル、例えばＩＥＥＥ８０２．Ｘなどのワイヤレスローカルエリアネットワーク（ＷＬＡＮ）プロトコル、Ｂｌｕｅｔｏｏｔｈ（登録商標）などの適切な短距離無線周波数通信プロトコル、または、赤外線データ通信経路（ＩＲＤＡ）を使用することができる。
【0189】
トランシーバ入力／出力ポート１４０９は、信号を受信するように構成することができ、
いくつかの実施形態では、適切なコードを実行するプロセッサ１４０７を使用することによって、本明細書で説明するようにパラメータを決定する。
いくつかの実施形態では、適切なコードを実行するプロセッサ１４０７を使用することによって、本明細書で説明するようにパラメータを決定する。
【0190】
また、本明細書では、上記で例示的な実施形態を説明したが、本発明の技術的範囲から逸脱することなく、開示された溶液に対して行うことができるいくつかの変形形態および修正形態があることに留意されたい。
【0191】
一般に、様々な態様は、ハードウェアまたは専用回路、ソフトウェア、ロジック、またはそれらの任意の組合せで実装され得る。本開示のいくつかの態様は、ハードウェアで実装され得、他の態様はコントローラ、マイクロプロセッサ、または他の計算装置によって実行され得るファームウェアまたはソフトウェアで実装され得るが、本開示はそれらに限定されない。本開示の様々な態様はブロック図、フローチャートとして、または何らかの他の図表現を使用して図示および目的され得るが、本明細書で目的するこれらのブロック、装置、システム、技術または方法は、非限定的な例として、ハードウェア、ソフトウェア、ファームウェア、専用回路または論理、汎用ハードウェアもしくはコントローラ、または他の計算装置、あるいはそれらの何らかの組合せで実装され得ることが十分に理解される。
【0192】
本出願で使用される場合、「回路」という用語は、以下のうちの１つまたは複数またはすべてを指し得る。
（ａ）ハードウェアのみの回路実装（アナログおよび／またはデジタル回路のみの実装など）および
（ｂ）（該当する場合）などのハードウェア回路とソフトウェアの組み合わせ、
（ｉ）アナログおよび／またはデジタルハードウェア回路とソフトウェア／ファームウェアとの組み合わせ、および、
（ｉｉ）（デジタル信号プロセッサを含む）ソフトウェア、ソフトウェア、および記憶装置を有するハードウェアプロセッサの任意の部分は、
携帯電話またはサーバなどの装置に様々な機能を実行させるように協働し、
（ｃ）マイクロプロセッサやマイクロプロセッサの一部など、動作にソフトウェア（例：ファームウェア）を必要とするハードウェア回路やプロセッサ、動作のために必要とされないときにはソフトウェアは存在しなくてもよい。
（ａ）ハードウェアのみの回路実装（アナログおよび／またはデジタル回路のみの実装など）および
（ｂ）（該当する場合）などのハードウェア回路とソフトウェアの組み合わせ、
（ｉ）アナログおよび／またはデジタルハードウェア回路とソフトウェア／ファームウェアとの組み合わせ、および、
（ｉｉ）（デジタル信号プロセッサを含む）ソフトウェア、ソフトウェア、および記憶装置を有するハードウェアプロセッサの任意の部分は、
携帯電話またはサーバなどの装置に様々な機能を実行させるように協働し、
（ｃ）マイクロプロセッサやマイクロプロセッサの一部など、動作にソフトウェア（例：ファームウェア）を必要とするハードウェア回路やプロセッサ、動作のために必要とされないときにはソフトウェアは存在しなくてもよい。
【0193】
回路のこの定義は、任意の特許請求の範囲を含む、本出願におけるこの用語の全ての使用に適用される。さらなる例として、本出願で使用されるように、回路という用語は、単にハードウェア回路もしくはプロセッサ（または複数のプロセッサ）、またはハードウェア回路もしくはプロセッサの一部、およびそれ（またはそれらの）付随するソフトウェアおよび／またはファームウェアの実装も包含する。
【0194】
回路という用語は例えば、特定の請求項要素に適用可能な場合、サーバ、セルラーネットワークデバイス、または他のコンピューティングもしくはネットワークデバイスにおけるモバイルデバイスまたは同様の集積回路のためのベースバンド集積回路またはプロセッサ集積回路も包含する。
【0195】
本開示の実施形態は、プロセッサエンティティ内などのモバイルデバイスのデータプロセッサによって、またはハードウェアによって、またはソフトウェアとハードウェアとの組合せによって実行可能なコンピュータソフトウェアによって実装され得る。ソフトウェアルーチン、アプレット、および／またはマクロを含む、プログラム製品とも呼ばれるコンピュータソフトウェアまたはプログラムは、任意の装置可読データ記憶媒体に記憶され得、それらは特定のタスクを実行するためのプログラム命令を備える。コンピュータプログラム製品はプログラムが実行されるとき、実施形態を実行するように構成される、１つまたは複数のコンピュータ実行可能構成要素を備え得る。１つまたは複数のコンピュータ実行可能コンポーネントは、少なくとも１つのソフトウェアコードまたはその一部であってもよい。
【0196】
さらに、この点に関して、図のような論理フローの任意のブロックは、プログラムステップ、または相互接続された論理回路、ブロックおよび機能、またはプログラムステップと論理回路、ブロックおよび機能の組合せを表し得ることに留意されたい。ソフトウェアは、メモリチップなどの物理的媒体、またはプロセッサ内に実装されたメモリブロック、ハードディスクまたはフロッピーディスクなどの磁気媒体、およびたとえばＤＶＤおよびそのデータ変異体ＣＤなどの光媒体に記憶され得る。物理媒体は、非一時的な媒体である。
【0197】
メモリはローカル技術環境に適した任意のタイプのものとすることができ、半導体ベースの記憶装置、磁気記憶装置およびシステム、光記憶装置およびシステム、固定メモリおよび取り外し可能メモリなどの任意の適切なデータ記憶技術を使用して実装することができる。データプロセッサは、ローカル技術環境に適した任意のタイプであってもよく、非限定的な例として、汎用コンピュータ、専用コンピュータ、マイクロプロセッサ、デジタル信号プロセッサ（ＤＳＰ）、特定用途向け集積回路（ＡＳＩＣ）、ＦＰＧＡ、ゲートレベル回路、およびマルチコアプロセッサアーキテクチャに基づくプロセッサのうちの１つまたは複数を備えてもよい。
【0198】
本開示の実施形態は、集積回路モジュールなどの様々な部品において実施され得る。集積回路の設計は、大規模で高度に自動化された処理によるものである。論理レベル設計を、エッチングされて半導体基板上に形成される準備ができた半導体回路設計に変換するために、複雑で強力なソフトウェアツールが利用可能である。
【0199】
本開示の様々な実施形態のために求められる保護の範囲は、独立請求項によって示される。本明細書に記載され、独立請求項の技術的範囲に含まれない実施形態および特徴は、本開示の様々な実施形態を理解するのに有用な例として解釈されるべきである。
【0200】
前述の説明は、非限定的な例として、本開示の例示的な実施形態の完全かつ有益な説明を提供した。しかしながら、添付の図面および付随の請求項を熟読する際に、前述の説明を考慮して、種々の修正および適合が、当業者に明白になるのであろう。しかしながら、本開示の教示のすべてのそのようなおよび同様の修正は、添付の特許請求の範囲に定義される本発明の範囲内に依然として含まれる。実際、１つ以上の実施形態と、先に論じた他の実施形態のいずれかとの組み合わせを含むさらなる実施形態がある。
【図1】
【図2】
【図3】
【図4a】
【図4b】
【図5】
【図6】
【図7】
【図8】
【図9】
【手続補正書】
【提出日】2023-02-27
【手続補正1】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項1】
少なくとも１つのプロセッサと、コンピュータプログラムコードを含む少なくとも１つのメモリと、少なくとも２つのアコースティック環境の間のオーディオ遷移を可能にする装置であって、
該少なくとも１つのメモリおよび該コンピュータプログラムコードは、該少なくとも１つのプロセッサを用いて、該装置に、少なくとも、
オーディオシーンに関連する少なくとも第１アコースティック環境の情報を取得するステップであって、前記オーディオシーンが第１アコースティック環境および第２アコースティック環境を備える、ステップと、
前記オーディオシーン内のリスニング位置に応じて、前記第１アコースティック環境と前記第２アコースティック環境との間の適応的レンダリングを可能にするオーディオ遷移領域を少なくとも部分的に画定する第１距離閾値を取得するステップと、
前記第１および第２アコースティック環境のうちの少なくとも１つの環境特性を調整するためにリスニング位置を決定するステップと、
前記リスニング位置に応じて、前記第１および第２アコースティック環境のうちの少なくとも１つに環境特性を調整するステップであって、前記環境特性がオーディオシーン内で適応的に制御される、ステップと、
を実行させるように構成される、装置。
該少なくとも１つのメモリおよび該コンピュータプログラムコードは、該少なくとも１つのプロセッサを用いて、該装置に、少なくとも、
オーディオシーンに関連する少なくとも第１アコースティック環境の情報を取得するステップであって、前記オーディオシーンが第１アコースティック環境および第２アコースティック環境を備える、ステップと、
前記オーディオシーン内のリスニング位置に応じて、前記第１アコースティック環境と前記第２アコースティック環境との間の適応的レンダリングを可能にするオーディオ遷移領域を少なくとも部分的に画定する第１距離閾値を取得するステップと、
前記第１および第２アコースティック環境のうちの少なくとも１つの環境特性を調整するためにリスニング位置を決定するステップと、
前記リスニング位置に応じて、前記第１および第２アコースティック環境のうちの少なくとも１つに環境特性を調整するステップであって、前記環境特性がオーディオシーン内で適応的に制御される、ステップと、
を実行させるように構成される、装置。
【請求項2】
前記オーディオシーンに関連付けられた少なくとも１つの前記第１アコースティック環境の前記取得した情報は、該装置に、少なくとも前記第１アコースティック環境の情報を含むビットストリームを受信するさせる、請求項１に記載の装置。
【請求項3】
前記ビットストリームは前記第１距離閾値をさらに備え、
前記装置は、前記ビットストリームから前記第１距離閾値を取得する、
請求項２に記載の装置。
前記装置は、前記ビットストリームから前記第１距離閾値を取得する、
請求項２に記載の装置。
【請求項4】
前記第１アコースティック環境と前記第２アコースティック環境とは、前記第１アコースティック環境と前記第２アコースティック環境との間の境界に位置する第１アコースティックカップリングによって結合される、請求項１に記載の装置。
【請求項5】
前記オーディオ遷移領域を少なくとも部分的に画定する前記第１距離閾値は、
前記第１アコースティック環境内に位置し、
前記第２アコースティック環境と関連付けられる、
請求項１に記載の装置。
前記第１アコースティック環境内に位置し、
前記第２アコースティック環境と関連付けられる、
請求項１に記載の装置。
【請求項6】
前記装置は、前記第１アコースティック環境および第２アコースティック環境のうちの少なくとも１つに環境特性を調整し、
該装置に、リスナ位置がオーディオ遷移領域内にあることを決定させ、
前記第１距離閾値に対するリスニング位置、および、前記第１アコースティック環境と前記第２アコースティック環境との間の境界とに基づいて、前記第１アコースティック環境の第１残響利得パラメータ、または、前記第２アコースティック環境の第の残響利得パラメータのうちの少なくとも１つを調整する、
請求項１に記載の装置。
該装置に、リスナ位置がオーディオ遷移領域内にあることを決定させ、
前記第１距離閾値に対するリスニング位置、および、前記第１アコースティック環境と前記第２アコースティック環境との間の境界とに基づいて、前記第１アコースティック環境の第１残響利得パラメータ、または、前記第２アコースティック環境の第の残響利得パラメータのうちの少なくとも１つを調整する、
請求項１に記載の装置。
【請求項7】
前記装置は、さらに、前記第１距離閾値に関連する第１機能を取得するさせ、
前記装置は、前記リスニング位置に応じて、前記第１および第２アコースティック環境のうちの少なくとも１つに環境特性を調整し、
該装置に、前記第１距離閾値に対する前記リスニング位置に適用された、前記第１機能、および、前記第１アコースティック環境と前記第２アコースティック環境との間の前記境界にさらに基づいて、前記第１アコースティック環境の第１残響利得パラメータ、または、前記第２アコースティック環境の第２残響利得パラメータのうちの少なくとも１つを調整させる、
請求項６に記載の装置。
前記装置は、前記リスニング位置に応じて、前記第１および第２アコースティック環境のうちの少なくとも１つに環境特性を調整し、
該装置に、前記第１距離閾値に対する前記リスニング位置に適用された、前記第１機能、および、前記第１アコースティック環境と前記第２アコースティック環境との間の前記境界にさらに基づいて、前記第１アコースティック環境の第１残響利得パラメータ、または、前記第２アコースティック環境の第２残響利得パラメータのうちの少なくとも１つを調整させる、
請求項６に記載の装置。
【請求項8】
前記装置は、さらに、空間オーディオ信号をレンダリングさせ、
前記空間オーディオ信号は、前記第１アコースティック環境および前記第２アコースティック環境のうちの少なくとも１つの前記環境特性に基づいて、少なくとも部分的に生成された残響を有する、
請求項１に記載の装置。
前記空間オーディオ信号は、前記第１アコースティック環境および前記第２アコースティック環境のうちの少なくとも１つの前記環境特性に基づいて、少なくとも部分的に生成された残響を有する、
請求項１に記載の装置。
【請求項9】
前記装置は、
前記空間オーディオ信号をレンダリングするようにされ、
前記第１アコースティック環境の第１残響ゲインパラメータに基づいて、第１残響部分および／または前記第２アコースティック環境の第２残響ゲインパラメータに基づいて第２残響部分を備える前記空間オーディオ信号を生成する、請求項８に記載の装置。
前記空間オーディオ信号をレンダリングするようにされ、
前記第１アコースティック環境の第１残響ゲインパラメータに基づいて、第１残響部分および／または前記第２アコースティック環境の第２残響ゲインパラメータに基づいて第２残響部分を備える前記空間オーディオ信号を生成する、請求項８に記載の装置。
【請求項10】
前記装置は、
第１アコースティック環境の前記第１残響ゲインパラメータ、に基づいて前記第１残響部分、および／または、前記第２残響ゲインパラメータに基づいて、前記第２残響部分を備える前記空間オーディオ信号を生成するようにされ、
リスナ位置が前記第１アコースティック環境の内にあるとき、現在のアコースティック環境を前記第１アコースティックアコースティックとして設定し、
寄与しない前記第１アコースティック環境を除いて、他のすべてのアコースティック環境に対して残響減衰を設定し、
前記リスナ位置が閾値によって定義される前記第１アコースティック環境内の領域内にある前記第２アコースティック環境のための定義された寄与を提供するように残響減衰を設定し、
現在のアコースティック環境および他のアコースティック環境に対する残響寄与を決定し、
空間オーディオ信号の一部を形成するために、残響寄与を組み合わせる、
請求項９に記載の装置。
第１アコースティック環境の前記第１残響ゲインパラメータ、に基づいて前記第１残響部分、および／または、前記第２残響ゲインパラメータに基づいて、前記第２残響部分を備える前記空間オーディオ信号を生成するようにされ、
リスナ位置が前記第１アコースティック環境の内にあるとき、現在のアコースティック環境を前記第１アコースティックアコースティックとして設定し、
寄与しない前記第１アコースティック環境を除いて、他のすべてのアコースティック環境に対して残響減衰を設定し、
前記リスナ位置が閾値によって定義される前記第１アコースティック環境内の領域内にある前記第２アコースティック環境のための定義された寄与を提供するように残響減衰を設定し、
現在のアコースティック環境および他のアコースティック環境に対する残響寄与を決定し、
空間オーディオ信号の一部を形成するために、残響寄与を組み合わせる、
請求項９に記載の装置。
【請求項11】
前記装置は、
前記閾値によって定義される前記第１アコースティック環境内の前記領域内にリスナ位置がある前記第２アコースティック環境に前記定義された寄与を提供するために、前記残響減衰を設定するようにされ、
第１機能に基づいて前記第２アコースティック環境に前記定義された寄与を提供するように前記残響減衰を設定する、
請求項１０に記載の装置。
前記閾値によって定義される前記第１アコースティック環境内の前記領域内にリスナ位置がある前記第２アコースティック環境に前記定義された寄与を提供するために、前記残響減衰を設定するようにされ、
第１機能に基づいて前記第２アコースティック環境に前記定義された寄与を提供するように前記残響減衰を設定する、
請求項１０に記載の装置。
【請求項12】
前記装置は、
前記第１距離閾値を取得するようにされ、
前記第１距離閾値が適用可能なアコースティック環境の数を示す情報、
前記第１距離閾値がどのアコースティック環境に適用可能であるかを示す情報、
前記第１距離閾値がどのアコースティック環境にあるかを示す情報、
前記第１距離閾値に対する距離値を示す情報、
前記第１距離閾値に関連する形状またはプロファイルを示す情報、
ヒステリシス領域を定義するヒステリシスオフセット値を示す情報、
リスナ位置が第１距離閾値の外側から第１アコースティック環境と第２アコースティック環境との間の境界まで移動するときに減衰レベルを修正するための機能を定義する減衰変調タイプを示す情報、
現在のアコースティック環境から目的アコースティック環境までのホップ数を規定するホップを示す情報、および、
最大減衰量レベルを規定するパラメータ減衰量上限を示す情報
のうちの少なくとも１つを取得する、
請求項１に記載の装置。
前記第１距離閾値を取得するようにされ、
前記第１距離閾値が適用可能なアコースティック環境の数を示す情報、
前記第１距離閾値がどのアコースティック環境に適用可能であるかを示す情報、
前記第１距離閾値がどのアコースティック環境にあるかを示す情報、
前記第１距離閾値に対する距離値を示す情報、
前記第１距離閾値に関連する形状またはプロファイルを示す情報、
ヒステリシス領域を定義するヒステリシスオフセット値を示す情報、
リスナ位置が第１距離閾値の外側から第１アコースティック環境と第２アコースティック環境との間の境界まで移動するときに減衰レベルを修正するための機能を定義する減衰変調タイプを示す情報、
現在のアコースティック環境から目的アコースティック環境までのホップ数を規定するホップを示す情報、および、
最大減衰量レベルを規定するパラメータ減衰量上限を示す情報
のうちの少なくとも１つを取得する、
請求項１に記載の装置。
【請求項13】
オーディオシーンのレンダリングを支援するためにアコースティック環境を生成するための装置であって、
該装置は、少なくとも１つのプロセッサと、コンピュータプログラムコードを含む少なくとも１つのメモリと、を備え、
該少なくとも１つのメモリおよび該コンピュータプログラムコードは、該少なくとも１つのプロセッサを用いて、該装置に、少なくとも、
前記オーディオシーンに関連する少なくとも第１アコースティック環境の情報を取得するステップであって、前記オーディオシーンは、前記第１アコースティック環境と第２環境とを備える、ステップと、
前記オーディオシーン内のリスニング位置に応じて、前記第１アコースティック環境と第２アコースティック環境との間の適応的レンダリングを可能にするオーディオ遷移領域を少なくとも部分的に画定する第１距離閾値を取得ステップと、
前記情報と前記第１距離閾値とを符号化して出力するステップと、
を実行させるように構成される、装置。
該装置は、少なくとも１つのプロセッサと、コンピュータプログラムコードを含む少なくとも１つのメモリと、を備え、
該少なくとも１つのメモリおよび該コンピュータプログラムコードは、該少なくとも１つのプロセッサを用いて、該装置に、少なくとも、
前記オーディオシーンに関連する少なくとも第１アコースティック環境の情報を取得するステップであって、前記オーディオシーンは、前記第１アコースティック環境と第２環境とを備える、ステップと、
前記オーディオシーン内のリスニング位置に応じて、前記第１アコースティック環境と第２アコースティック環境との間の適応的レンダリングを可能にするオーディオ遷移領域を少なくとも部分的に画定する第１距離閾値を取得ステップと、
前記情報と前記第１距離閾値とを符号化して出力するステップと、
を実行させるように構成される、装置。
【請求項14】
前記装置は、さらに、
前記第１距離閾値に関連する第１機能を取得し、
前記第１機能は、前記第１アコースティック環境および前記第２アコースティック環境のうちの少なくとも１つの特徴的な環境の調節を定義する、
請求項１３に記載の装置。
前記第１距離閾値に関連する第１機能を取得し、
前記第１機能は、前記第１アコースティック環境および前記第２アコースティック環境のうちの少なくとも１つの特徴的な環境の調節を定義する、
請求項１３に記載の装置。
【請求項15】
前記装置は、前記第１距離閾値を取得するようにされ、
前記第１距離閾値が適用可能なアコースティック環境の数を示す情報、
前記第１距離閾値がどのアコースティック環境に適用可能であるかを示す情報、
前記第１距離閾値がどのアコースティック環境にあるかを示す情報、
前記第１距離閾値に対する距離値を示す情報、
前記第１距離閾値に関連する形状またはプロファイルを示す情報、
ヒステリシス領域を定義するヒステリシスオフセット値を示す情報、
リスナ位置が前記第１距離閾値の外側から第１アコースティック環境と第２アコースティック環境との間の境界まで移動するときに減衰レベルを修正するための機能を定義する減衰変調タイプを示す情報、
現在のアコースティック環境から目的アコースティック環境までのホップ数を規定するを示す情報、および、
最大減衰量レベルを規定するパラメータ減衰量上限を示す情報のうちの少なくとも１つを取得する、
請求項１３に記載の装置。
前記第１距離閾値が適用可能なアコースティック環境の数を示す情報、
前記第１距離閾値がどのアコースティック環境に適用可能であるかを示す情報、
前記第１距離閾値がどのアコースティック環境にあるかを示す情報、
前記第１距離閾値に対する距離値を示す情報、
前記第１距離閾値に関連する形状またはプロファイルを示す情報、
ヒステリシス領域を定義するヒステリシスオフセット値を示す情報、
リスナ位置が前記第１距離閾値の外側から第１アコースティック環境と第２アコースティック環境との間の境界まで移動するときに減衰レベルを修正するための機能を定義する減衰変調タイプを示す情報、
現在のアコースティック環境から目的アコースティック環境までのホップ数を規定するを示す情報、および、
最大減衰量レベルを規定するパラメータ減衰量上限を示す情報のうちの少なくとも１つを取得する、
請求項１３に記載の装置。
【請求項16】
前記装置は、前記情報を符号化し出力するようにされ、符号化情報と前記第１距離閾値を含むビットストリームを生成する、請求項１３に記載の装置。
【請求項17】
前記装置は、
さらに、前記オーディオシーンに関連付けられた少なくとも１つのオーディオ信号を取得するようにされ、
前記情報を符号化し出力し、
符号化された少なくとも１つのオーディオ信号を含む前記ビットストリームを生成する、
請求項１６に記載の装置。
さらに、前記オーディオシーンに関連付けられた少なくとも１つのオーディオ信号を取得するようにされ、
前記情報を符号化し出力し、
符号化された少なくとも１つのオーディオ信号を含む前記ビットストリームを生成する、
請求項１６に記載の装置。
【請求項18】
少なくとも２つのアコースティック環境間のオーディオ遷移を可能にするための装置のための方法であって、
該方法は、
オーディオシーンに関連付けられた少なくとも第１アコースティック環境の情報を取得するステップであって、前記オーディオシーンが第１アコースティック環境および第２アコースティック環境を備える、ステップと、
前記オーディオシーン内のリスニング位置に応じて、前記第１アコースティック環境と前記第２アコースティック環境との間の適応的レンダリングを可能にするオーディオ遷移領域を少なくとも部分的に画定する第１距離閾値を取得するステップと、
前記第１および第２アコースティック環境のうちの少なくとも１つの環境特性を調整するために前記リスニング位置を決定するステップと、
前記リスニング位置に応じて、前記第１アコースティック環境および前記第２アコースティック環境のうちの少なくとも１つの環境特性を調整するステップであって、前記環境特性がオーディオシーン内で適応的に制御される、ステップと、
を含む、方法。
該方法は、
オーディオシーンに関連付けられた少なくとも第１アコースティック環境の情報を取得するステップであって、前記オーディオシーンが第１アコースティック環境および第２アコースティック環境を備える、ステップと、
前記オーディオシーン内のリスニング位置に応じて、前記第１アコースティック環境と前記第２アコースティック環境との間の適応的レンダリングを可能にするオーディオ遷移領域を少なくとも部分的に画定する第１距離閾値を取得するステップと、
前記第１および第２アコースティック環境のうちの少なくとも１つの環境特性を調整するために前記リスニング位置を決定するステップと、
前記リスニング位置に応じて、前記第１アコースティック環境および前記第２アコースティック環境のうちの少なくとも１つの環境特性を調整するステップであって、前記環境特性がオーディオシーン内で適応的に制御される、ステップと、
を含む、方法。
【請求項19】
前記オーディオシーンに関連付けられた少なくとも前記第１アコースティック環境の情報を取得するステップは、前記オーディオシーンに関連する少なくとも前記第１アコースティック環境の情報を含むビットストリームを受信するステップを含む、請求項１８に記載の方法。
【請求項20】
オーディオシーンのレンダリングを支援するためにアコースティック環境情報を生成するための装置のための方法であって、
前記方法は、
前記オーディオシーンに関連付けられた少なくとも第１アコースティック環境の情報を取得するステップであって、前記オーディオシーンは、前記第１アコースティック環境と第２環境とを備える、ステップと、
前記オーディオシーン内のリスニング位置に応じて、前記第１アコースティック環境と第２アコースティック環境との間の適応的レンダリングを可能にするオーディオ遷移領域を少なくとも部分的に画定する第１距離閾値を取得するステップと、
前記情報および第１距離閾値を符号化および出力するステップと、
を含む、方法。
前記方法は、
前記オーディオシーンに関連付けられた少なくとも第１アコースティック環境の情報を取得するステップであって、前記オーディオシーンは、前記第１アコースティック環境と第２環境とを備える、ステップと、
前記オーディオシーン内のリスニング位置に応じて、前記第１アコースティック環境と第２アコースティック環境との間の適応的レンダリングを可能にするオーディオ遷移領域を少なくとも部分的に画定する第１距離閾値を取得するステップと、
前記情報および第１距離閾値を符号化および出力するステップと、
を含む、方法。
【外国語明細書】