IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ フラウンホーファー−ゲゼルシャフト・ツール・フェルデルング・デル・アンゲヴァンテン・フォルシュング・アインゲトラーゲネル・フェラインの特許一覧

<>
  • 特表-後期残響距離減衰 図1
  • 特表-後期残響距離減衰 図2
  • 特表-後期残響距離減衰 図3
  • 特表-後期残響距離減衰 図4
  • 特表-後期残響距離減衰 図5
  • 特表-後期残響距離減衰 図6
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公表特許公報(A)
(11)【公表番号】
(43)【公表日】2024-11-08
(54)【発明の名称】後期残響距離減衰
(51)【国際特許分類】
   H04S 7/00 20060101AFI20241031BHJP
【FI】
H04S7/00 350
H04S7/00 320
【審査請求】未請求
【予備審査請求】有
(21)【出願番号】P 2024527300
(86)(22)【出願日】2022-11-08
(85)【翻訳文提出日】2024-07-08
(86)【国際出願番号】 EP2022081084
(87)【国際公開番号】W WO2023083788
(87)【国際公開日】2023-05-19
(31)【優先権主張番号】21207191.4
(32)【優先日】2021-11-09
(33)【優先権主張国・地域又は機関】EP
(81)【指定国・地域】
(71)【出願人】
【識別番号】500341779
【氏名又は名称】フラウンホーファー-ゲゼルシャフト・ツール・フェルデルング・デル・アンゲヴァンテン・フォルシュング・アインゲトラーゲネル・フェライン
(74)【代理人】
【識別番号】100134119
【弁理士】
【氏名又は名称】奥町 哲行
(72)【発明者】
【氏名】ジルツル・アンドレアス
(72)【発明者】
【氏名】ヘレ・ユルゲン
(72)【発明者】
【氏名】エロネン・アンティ
【テーマコード(参考)】
5D162
【Fターム(参考)】
5D162AA06
5D162BA14
5D162CC36
5D162CD25
5D162EG04
5D162EG07
(57)【要約】
実施形態によるレンダラ(100)が提供される。レンダラ(100)は、仮想オーディオシーンに音を放出する1つまたは複数の音源の各音源の1つまたは複数のオーディオチャネルに応じて仮想オーディオシーンをレンダリングするように構成され、前記音源の1つまたは複数のオーディオチャネルを処理する。レンダラ(100)は、音源の1つまたは複数のオーディオチャネルに応じて1つまたは複数の後期残響チャネルを生成するように構成された後期残響モジュール(110)を備え、1つまたは複数の後期残響チャネルは、音源によって仮想オーディオシーンに放出された音の後期残響部分を表す。さらに、レンダラ(100)は、1つまたは複数の後期残響チャネルを使用して、仮想オーディオシーンを再生するための1つまたは複数のオーディオ出力チャネルを生成するための音響シーン生成器(120)を備える。後期残響モジュール(110)は、仮想オーディオシーンの音源とリスナーとの間の距離に応じて、音源の1つまたは複数のオーディオチャネルに応じて1つまたは複数の後期残響チャネルを生成するように構成される。

【特許請求の範囲】
【請求項1】
仮想オーディオシーンに音を放出する1つまたは複数の音源の各音源の1つまたは複数のオーディオチャネルに応じて前記仮想オーディオシーンをレンダリングするためのレンダラ(100)であって、前記音源の前記1つまたは複数のオーディオチャネルを処理するために、前記レンダラ(100)は、
前記音源の前記1つまたは複数のオーディオチャネルに応じて1つまたは複数の後期残響チャネルを生成するように構成された後期残響モジュール(110)であって、前記1つまたは複数の後期残響チャネルが、前記音源によって前記仮想オーディオシーンに放出された前記音の後期残響部分を表す、後期残響モジュール(110)と、
前記1つまたは複数の後期残響チャネルを使用して、前記仮想オーディオシーンを再生するための1つまたは複数のオーディオ出力チャネルを生成するための音響シーン生成器(120)とを含み、
前記後期残響モジュール(110)は、前記仮想オーディオシーンの前記音源とリスナーとの間の距離に応じて、前記音源の前記1つまたは複数のオーディオチャネルに応じて前記1つまたは複数の後期残響チャネルを生成するように構成される、レンダラ(100)。
【請求項2】
前記後期残響モジュール(110)は、前記仮想オーディオシーンの前記音源と前記リスナーとの間の前記距離に応じて、前記1つまたは複数の後期残響チャネルの音圧レベルおよび/または振幅および/または大きさおよび/またはエネルギーが適合されるように、前記音源の前記1つまたは複数のオーディオチャネルに応じて前記1つまたは複数の後期残響チャネルを生成するように構成される、
請求項1に記載のレンダラ(100)。
【請求項3】
前記後期残響モジュール(110)は、前記仮想オーディオシーンの前記音源と前記リスナーとの間のより大きい距離は、前記仮想オーディオシーンの前記音源と前記リスナーとの間のより小さい距離と比較して、前記1つまたは複数の後期残響チャネルの前記レベルおよび/または前記振幅および/または前記エネルギーの減衰が強くなるように、前記1つまたは複数の後期残響チャネルの前記音圧レベルおよび/または前記振幅および/または前記大きさおよび/または前記エネルギーをレンダリングするように構成される、
請求項2に記載のレンダラ(100)。
【請求項4】
前記後期残響モジュール(110)は、前記音源と前記リスナーとの間の前記距離が第1の距離の半分である場合、前記1つまたは複数の後期残響チャネルの前記音圧レベルが、前記1つまたは複数のオーディオチャネルの減衰と比較して1dB~2dBの値だけ低減され得るように、前記音源と前記リスナーとの間の前記第1の距離に応じて、前記1つまたは複数の後期残響チャネルの前記音圧レベルおよび/または前記振幅および/または前記大きさおよび/または前記エネルギーをレンダリングするように構成される、
請求項2または3に記載のレンダラ(100)。
【請求項5】
前記レンダラ(100)は、前記音源の前記1つまたは複数のオーディオチャネルに応じて1つまたは複数の直接音チャネルを生成するように構成された直接音モジュールをさらに備え、前記仮想オーディオシーンにおける前記音源と前記リスナーとの間のより大きい距離は、前記仮想オーディオシーンにおける前記音源と前記リスナーとの間のより小さい距離と比較して、前記1つまたは複数の直接音チャネルの前記レベルおよび/または前記振幅および/または前記エネルギーの減衰が強くなり、
前記音響シーン生成器(120)は、前記1つまたは複数の直接音チャネルを用いて前記仮想オーディオシーンを再生するための前記1つまたは複数のオーディオ出力チャネルを生成するように構成される、
請求項1から4の一項に記載のレンダラ(100)。
【請求項6】
前記仮想オーディオシーンの前記音源と前記リスナーとの間の前記距離が前記より小さい距離ではなく前記より大きい距離である場合、前記後期残響モジュール(110)は、前記より大きい距離が、前記より大きい距離に応答して前記直接音モジュールによって伝導される前記1つまたは複数の直接音チャネルの前記レベルおよび/または前記振幅および/または前記エネルギーの前記減衰と比較して相対的に小さい、前記1つまたは複数の後期残響チャネルの前記音圧レベルおよび/または前記振幅および/または前記大きさおよび/または前記エネルギーの減衰をもたらすように、前記1つまたは複数の後期残響チャネルの前記音圧レベルおよび/または前記振幅および/または前記大きさおよび/または前記エネルギーをレンダリングするように構成される、
請求項5に記載のレンダラ(100)。
【請求項7】
前記仮想オーディオシーンの前記音源と前記リスナーとの間の距離が現在の距離の半分である場合と比較して、前記仮想オーディオシーンの前記音源と前記リスナーとの間の前記距離が前記現在の距離である場合、
前記後期直接音モジュールは、前記1つまたは複数の直接音チャネルの前記音圧レベルが5dB~7dBの値だけ低減されるように、前記1つまたは複数の直接音チャネルの前記音圧レベルおよび/または前記振幅および/または前記大きさおよび/または前記エネルギーをレンダリングするように構成され、
前記後期残響モジュール(110)は、前記1つまたは複数の後期残響チャネルの前記音圧レベルが1dB~2dBの値だけ低減されるように、前記1つまたは複数の後期残響チャネルの前記音圧レベルおよび/または前記振幅および/または前記大きさおよび/または前記エネルギーをレンダリングするように構成される、
請求項6に記載のレンダラ(100)。
【請求項8】
前記レンダラ(100)は、後期残響の距離減衰の強度に関する指示を含む1つまたは複数の情報パラメータを受信するように構成され、
前記後期残響モジュール(110)は、前記仮想オーディオシーンの前記音源と前記リスナーとの間の前記距離に応じて、かつ後期残響の前記距離減衰の前記強度の前記指示に応じて、前記1つまたは複数の後期残響チャネルの前記音圧レベルおよび/または前記振幅および/または前記大きさおよび/または前記エネルギーを適合させるように構成される、
請求項2にさらに従属する、請求項1から7の一項に記載のレンダラ(100)。
【請求項9】
ビットストリームは前記1つまたは複数の情報パラメータを含み、
前記レンダラ(100)は、前記ビットストリームを受信するように構成されており、前記ビットストリームから前記1つまたは複数の情報パラメータを取得するように構成される、または、前記レンダラ(100)は、前記ビットストリームを受信し、前記ビットストリームから前記1つまたは複数の情報パラメータを取得した別のユニットから前記1つまたは複数の情報パラメータを受信するように構成される、
請求項8に記載のレンダラ(100)。
【請求項10】
前記1つまたは複数の情報パラメータは、距離低下デシベル係数および基準距離を含み、
前記後期残響モジュール(110)は、前記仮想オーディオシーンの前記音源と前記リスナーとの間の前記距離に応じて、前記距離低下デシベル係数に応じて、および前記基準距離に応じて、前記1つまたは複数の後期残響チャネルの前記音圧レベルおよび/または前記振幅および/または前記大きさおよび/または前記エネルギーを適合させるように構成される、
請求項8または9に記載のレンダラ(100)。
【請求項11】
前記後期残響モジュール(110)は、以下に依存する利得dbGainに応じて、前記1つまたは複数の後期残響チャネルの前記音圧レベルおよび/または前記振幅および/または前記大きさおよび/または前記エネルギーを適合させるように構成され、
distanceGainDbFactor*log10(refDistance/distance);および
distanceGainDbFactor=distanceGainDropDb/log10(2.0);
distanceGainDropDbは、前記距離低下デシベル係数を示し、
refDistanceは、前記基準距離を示し、
距離は、前記仮想オーディオシーンの前記音源と前記リスナーとの間の前記距離を示す、
請求項10に記載のレンダラ(100)。
【請求項12】
前記基準距離は、MPEG-I 6DoF Audio Encoder Input Format(EIF)によるオーディオ要素の基準距離であり、前記オーディオ要素は前記音源である、
請求項10または11に記載のレンダラ(100)。
【請求項13】
前記後期残響モジュール(110)は、フィードバック遅延ネットワーク残響器を使用して前記1つまたは複数の後期残響チャネルを生成するように構成される、
請求項1から12の一項に記載のレンダラ(100)。
【請求項14】
前記レンダラ(100)は、前記音源の前記1つまたは複数のオーディオチャネルに応じて1つまたは複数の初期反射チャネルを生成するように構成された初期反射モジュールをさらに備え、
前記音響シーン生成器(120)は、前記1つまたは複数の初期反射チャネルを使用して前記仮想オーディオシーンを再生するための前記1つまたは複数のオーディオ出力チャネルを生成するように構成される、
請求項1から13の一項に記載のレンダラ(100)。
【請求項15】
前記レンダラ(100)は、前記音源の位置に応じ、また前記リスナーの位置に応じて、前記仮想オーディオシーンの前記音源とリスナーとの間の前記距離を決定するように構成され、
前記音源の前記位置および前記リスナーの前記位置が3次元に対して定められ、および/または
前記音源の前記位置および前記リスナーの前記位置が2次元に対して定められ、および/または
前記音源の前記位置は3次元に対して定められ、前記リスナーの位置および向きは6自由度に対して定められ、前記リスナーの前記位置は3次元に対して定められ、リスナーの頭部の前記向きは3つの回転角度を使用して定められる、
請求項1から14の一項に記載のレンダラ(100)。
【請求項16】
前記1つまたは複数の音源のうちの音源の前記1つまたは複数のオーディオチャネルが、アンビソニックスドメインで表され、前記音響シーン生成器(120)が、前記音源の前記1つまたは複数のオーディオチャネルのうちの1つに関連付けられた、複数の球面調和関数のうちの1つの特性に応じて前記仮想オーディオシーンを再生するように構成されるか、または
前記音源の前記1つまたは複数のオーディオチャネルは、前記アンビソニックスドメインとは異なる、異なるドメインで表され、前記音源の前記1つまたは複数のオーディオチャネルは、前記アンビソニックスドメインで表される前記音源の1つまたは複数の他のチャネルから導出され、前記1つまたは複数のオーディオチャネルの各オーディオチャネルは、前記他のチャネルに関連付けられている複数の球面調和関数のうちの1つの特性に応じて、前記1つまたは複数の他のチャネルのうちの1つから導出される、
請求項1から15の一項に記載のレンダラ(100)。
【請求項17】
前記レンダラ(100)は、前記1つまたは複数の後期残響チャネルに応じて前記仮想オーディオシーンを再生するための2つのオーディオ出力チャネルを生成するように構成されたバイノーラライザを備える、
請求項1から16の一項に記載のレンダラ(100)。
【請求項18】
ビットストリームは、前記1つまたは複数の音源の各音源の前記1つまたは複数のオーディオチャネルを含み、
前記レンダラ(100)は、前記ビットストリームを受信するように構成され、前記ビットストリームから、前記1つまたは複数の音源の各音源の前記1つまたは複数のオーディオチャネルを取得するように構成されるか、または、前記レンダラ(100)は、前記ビットストリームを受信し、前記ビットストリームから前記1つまたは複数の音源の各音源の前記1つまたは複数のオーディオチャネルを取得した別のユニットから、前記1つまたは複数の音源の各音源の前記1つまたは複数のオーディオチャネルを受信するように構成される、
請求項1から17の一項に記載のレンダラ(100)。
【請求項19】
装置であって、
ビットストリームを復号して、1つまたは複数の音源の各音源の前記1つまたは複数のオーディオチャネルを取得するように構成されたデコーダ(50)と、
前記1つまたは複数の音源の各音源の前記1つまたは複数のオーディオチャネルに応じて仮想オーディオシーンをレンダリングするための請求項1から18の一項に記載のレンダラ(100)と
を含む、装置。
【請求項20】
前記レンダラ(100)は、請求項9に記載のレンダラ(100)であり、
前記ビットストリームは、前記1つまたは複数の情報パラメータを含み、
前記デコーダ(50)は、前記ビットストリームから前記1つまたは複数の情報パラメータを取得するように構成され、
前記レンダラ(100)は、前記デコーダ(50)から前記1つまたは複数の情報パラメータを受信するように構成されている、
請求項19に記載の装置。
【請求項21】
ビットストリームであって、
仮想オーディオシーンに音を放出する1つまたは複数の音源の各音源の1つまたは複数のオーディオチャネルの符号化と、
後期残響の距離減衰の強度に関する指示を含む1つまたは複数の情報パラメータを含む1つまたは複数のデータフィールドと
を含む、ビットストリーム。
【請求項22】
前記1つまたは複数の情報パラメータは、距離低下デシベル係数と、任意選択に、基準距離とを含む、
請求項21に記載のビットストリーム。
【請求項23】
ビットストリームを生成するように構成されたエンコーダであって、
前記エンコーダは、前記ビットストリームが、仮想オーディオシーンに音を放出する1つまたは複数の音源の各音源の1つまたは複数のオーディオチャネルの符号化を含むように、前記ビットストリームを生成するように構成され、
前記エンコーダは、前記ビットストリームが、後期残響の距離減衰の強度に関する指示を含む1つまたは複数の情報パラメータを含む1つまたは複数のデータフィールドをさらに含むように、前記ビットストリームを生成するように構成される、エンコーダ。
【請求項24】
前記エンコーダは、前記1つまたは複数の情報パラメータが距離低下デシベル係数および基準距離を含むように前記ビットストリームを生成するように構成される、
請求項23に記載のエンコーダ。
【請求項25】
前記エンコーダは、コンテンツ制作者からの後期残響の前記距離減衰の前記強度に関する前記指示を受信するように構成された入力インターフェースを備える、
請求項23または24に記載のエンコーダ。
【請求項26】
前記エンコーダは、仮想環境の1つまたは複数の特性に依存する自動処理によってコンテンツ制作者からの後期残響の前記距離減衰の前記強度に関する前記指示を決定するように構成された決定モジュールを備える、
請求項23または24に記載のエンコーダ。
【請求項27】
仮想オーディオシーンに音を放出する1つまたは複数の音源の各音源の1つまたは複数のオーディオチャネルに応じて前記仮想オーディオシーンをレンダリングするための方法であって、前記音源の前記1つまたは複数のオーディオチャネルを処理するために、前記方法は、
前記音源の前記1つまたは複数のオーディオチャネルに応じて1つまたは複数の後期残響チャネルを生成することであって、前記1つまたは複数の後期残響チャネルが、前記音源によって前記仮想オーディオシーンに放出された前記音の後期残響部分を表す、生成すること、および
前記1つまたは複数の後期残響チャネルを使用して、前記仮想オーディオシーンを再生するための1つまたは複数のオーディオ出力チャネルを生成すること、を含み、
前記音源の前記1つまたは複数のオーディオチャネルに応じて前記1つまたは複数の後期残響チャネルを生成することが、前記仮想オーディオシーンの前記オブジェクト音源とリスナーとの間の距離に応じて行われる、方法。
【請求項28】
ビットストリームを生成するための方法であって、
前記ビットストリームが仮想オーディオシーンに音を放出する1つまたは複数の音源の各音源の1つまたは複数のオーディオチャネルの符号化を含むように前記ビットストリームを生成すること、および
前記ビットストリームが、後期残響の距離減衰の強度に関する指示を含む1つまたは複数の情報パラメータを含む1つまたは複数のデータフィールドをさらに含むように、前記ビットストリームを生成すること
を含む、方法。
【請求項29】
コンピュータまたは信号プロセッサで実行されるときに、請求項27または28の方法を実施するためのコンピュータプログラム。

【発明の詳細な説明】
【技術分野】
【0001】
本発明は、後期残響距離減衰に関する。特に、本発明は、シミュレートされた音響環境の改善された知覚上の真実性をもたらすことに関する。この概念は、バイノーラル再生システム内で説明されているが、他の形態のオーディオ再生に拡張することもできる。
【背景技術】
【0002】
仮想現実(VR)または拡張現実(AR)のようなシミュレートされた体験の主な態様は、対象が複雑な音響現象を知覚することができる物理空間および環境を作成できることである。これは、対象が特定の物理的特性を有する部屋の中を自由に移動することができ、したがって様々な音響現象を経験する、いわゆる「6自由度」(6DoF)レンダリングの場合に特に当てはまる。レンダリングされた音は、一般に、直接音、初期反射部分(ER)、および後期残響部分(LR)からなる。
【0003】
図3は、閉じた部屋における点音源の距離依存性に対する音の理論的なレベルを示しており、[1]の図1.13に対応する。特に、図1は、閉じた部屋での距離にわたる点音源と受信者(リスナー)との間の音のレベル依存性を視覚化している。音源の近くには自由音場条件があり、レベルは距離2倍当たり2または6dBの係数で低下する。音源から遠く離れた、完全に拡散すると仮定される残響の場では、レベルは一定に保たれる。これら2つの領域間の境界は、臨界距離によって定められる。全方向音源および受信者の臨界距離は、以下によって計算される。
Aは等価吸収面積[m]を示し、Vは部屋の体積[m]であり、RT60は残響時間[s]である(https://en.wikipedia.org/wiki/Critical_distance参照)。
【0004】
部屋の音源および受信者をモデル化することは、通常、仮想環境聴覚化における3つの異なる段階、すなわち直接音、初期反射、および後期残響処理を含む。
【0005】
図4は、3つの段階、直接音、初期反射、および後期残響処理を有する部屋での音源の標準的な実施態様を示す。
【0006】
図4に見られるように、最初の2つの段階は距離依存レベル調整を有し、音源-受信者間距離が大きくなるほど、両方のレベルが低下する。後期残響段階のレベルは、通常、部屋の内部で一定であると仮定される。上述の臨界距離では、直接音レベルおよび残響レベルの量は等しい。再生段階は、最終的に出力をバイノーラルヘッドフォンまたはスピーカ再生のいずれかにレンダリングする。
【先行技術文献】
【非特許文献】
【0007】
【非特許文献1】https://en.wikipedia.org/wiki/Critical_distance
【発明の概要】
【0008】
本発明の目的は、仮想オーディオシーンをレンダリングするための改良された概念を提供することである。本発明の目的は、請求項1に記載のレンダラ、請求項21に記載のビットストリーム、請求項23に記載のエンコーダ、請求項27に記載の方法、請求項28に記載の方法、および請求項29に記載のコンピュータプログラムによって解決される。
【0009】
実施形態によるレンダラが提供される。レンダラは、仮想オーディオシーンに音を放出する1つまたは複数の音源の各音源の1つまたは複数のオーディオチャネルに応じて仮想オーディオシーンをレンダリングするように構成され、前記音源の1つまたは複数のオーディオチャネルを処理する。レンダラは、音源の1つまたは複数のオーディオチャネルに応じて1つまたは複数の後期残響チャネルを生成するように構成された後期残響モジュールを備え、1つまたは複数の後期残響チャネルは、音源によって仮想オーディオシーンに放出された音の後期残響部分を表す。さらに、レンダラは、1つまたは複数の後期残響チャネルを使用して、仮想オーディオシーンを再生するための1つまたは複数のオーディオ出力チャネルを生成するための音響シーン生成器を備える。後期残響モジュールは、仮想オーディオシーンの音源とリスナーとの間の距離に応じて、音源の1つまたは複数のオーディオチャネルに応じて1つまたは複数の後期残響チャネルを生成するように構成される。
【0010】
さらに、実施形態によるビットストリームが提供される。ビットストリームは、仮想オーディオシーンに音を放出する1つまたは複数の音源の各音源の1つまたは複数のオーディオチャネルの符号化を含む。さらに、ビットストリームは、後期残響の距離減衰の強度に関する指示を含む1つまたは複数の情報パラメータを含む1つまたは複数のデータフィールドを含む。
【0011】
さらに、実施形態による、ビットストリームを生成するように構成されたエンコーダが提供される。エンコーダは、ビットストリームが、仮想オーディオシーンに音を放出する1つまたは複数の音源の各音源の1つまたは複数のオーディオチャネルの符号化を含むように、ビットストリームを生成するように構成される。さらに、エンコーダは、ビットストリームが、後期残響の距離減衰の強度に関する指示を含む1つまたは複数の情報パラメータを含む1つまたは複数のデータフィールドをさらに含むように、ビットストリームを生成するように構成される。
【0012】
さらに、実施形態による方法が提供される。方法は、仮想オーディオシーンに音を放出する1つまたは複数の音源の各音源の1つまたは複数のオーディオチャネルに応じて仮想オーディオシーンをレンダリングするように構成され、前記音源の1つまたは複数のオーディオチャネルを処理する。方法は、
-音源の1つまたは複数のオーディオチャネルに応じて1つまたは複数の後期残響チャネルを生成することであって、1つまたは複数の後期残響チャネルは、音源によって仮想オーディオシーンに放出された音の後期残響部分を表す、生成すること、および:
-1つまたは複数の後期残響チャネルを使用して、仮想オーディオシーンを再生するための1つまたは複数のオーディオ出力チャネルを生成すること、を含む。
【0013】
音源の1つまたは複数のオーディオチャネルに応じた1つまたは複数の後期残響チャネルを生成することは、仮想オーディオシーンのオブジェクト音源とリスナーとの間の距離に応じて行われる。
【0014】
さらに、実施形態によるビットストリームを生成するための方法が提供される。方法は、
-ビットストリームが、仮想オーディオシーンに音を放出する1つまたは複数の音源の各音源の1つまたは複数のオーディオチャネルの符号化を含むように、ビットストリームを生成すること、および:
-ビットストリームが、後期残響の距離減衰の強度に関する指示を含む1つまたは複数の情報パラメータを含む1つまたは複数のデータフィールドをさらに含むように、ビットストリームを生成すること、を含む。
【0015】
さらに、コンピュータまたは信号プロセッサで実行されると、上述の方法のうちの1つを実施するための実施形態によるコンピュータプログラムが提供される。
【0016】
以下において、本発明の実施形態は、以下の図を参照してより詳細に説明される。
【図面の簡単な説明】
【0017】
図1】実施形態による仮想オーディオシーンをレンダリングするためのレンダラを示す図である。
図2図1の実施形態のデコーダおよびレンダラを備える実施形態による装置を示す。
図3】閉じた部屋での点音源の距離依存性に対する音の理論的なレベルを示す。
図4】3つの段階、つまり直接音、初期反射、および後期残響処理を有する部屋での音源の標準的な実施態様を示す。
図5】実施形態による残響の場におけるレベル依存性の新しい挙動を示す。
図6】実施形態による距離依存レベル調整を伴う、直接音、初期反射、および後期残響処理の3つの段階を有するルームシミュレーションを示す。
【発明を実施するための形態】
【0018】
図1は、実施形態による仮想オーディオシーンをレンダリングするためのレンダラ100を示す。
【0019】
実施形態によるレンダラ100が提供される。レンダラ100は、仮想オーディオシーンに音を放出する1つまたは複数の音源の各音源の1つまたは複数のオーディオチャネルに応じて仮想オーディオシーンをレンダリングするように構成され、前記音源の1つまたは複数のオーディオチャネルを処理する。
【0020】
レンダラ100は、音源の1つまたは複数のオーディオチャネルに応じて1つまたは複数の後期残響チャネルを生成するように構成された後期残響モジュール110を備え、1つまたは複数の後期残響チャネルは、音源によって仮想オーディオシーンに放出された音の後期残響部分を表す。
【0021】
さらに、レンダラ100は、1つまたは複数の後期残響チャネルを使用して、仮想オーディオシーンを再生するための1つまたは複数のオーディオ出力チャネルを生成するための音響シーン生成器120を備える。
【0022】
後期残響モジュール110は、仮想オーディオシーンの音源とリスナーとの間の距離に応じて、音源の1つまたは複数のオーディオチャネルに応じて1つまたは複数の後期残響チャネルを生成するように構成される。
【0023】
実施形態では、後期残響モジュール110は、例えば、1つまたは複数の後期残響チャネルの音圧レベルおよび/または振幅および/または大きさおよび/またはエネルギーが、例えば、仮想オーディオシーンの音源とリスナーとの間の距離に応じて適合され得るように、音源の1つまたは複数のオーディオチャネルに応じて1つまたは複数の後期残響チャネルを生成するように構成され得る。
【0024】
実施形態によれば、後期残響モジュール110は、例えば、仮想オーディオシーンの音源とリスナーとの間のより大きい距離は、仮想オーディオシーンの音源とリスナーとの間のより小さい距離と比較して、1つまたは複数の後期残響チャネルのレベルおよび/または振幅および/またはエネルギーの減衰が強くなるように、1つまたは複数の後期残響チャネルの音圧レベルおよび/または振幅および/または大きさおよび/またはエネルギーをレンダリングするように構成され得る。
【0025】
実施形態では、後期残響モジュール110は、例えば、音源とリスナーとの間の距離が第1の距離の半分である場合、1つまたは複数の後期残響チャネルの音圧レベルが、例えば、1つまたは複数のオーディオチャネルの減衰と比較して1dB~2dBの値だけ低減され得るように、音源とリスナーとの間の第1の距離に応じて、1つまたは複数の後期残響チャネルの音圧レベルおよび/または振幅および/または大きさおよび/またはエネルギーをレンダリングするように構成され得る。
【0026】
実施形態によれば、レンダラ100は、例えば、音源の1つまたは複数のオーディオチャネルに応じて1つまたは複数の直接音チャネルを生成するように構成された直接音モジュールをさらに備えることができ、その結果、仮想オーディオシーンの音源とリスナーとの間のより大きい距離は、仮想オーディオシーンの音源とリスナーとの間のより小さい距離と比較して、1つまたは複数の直接音チャネルのレベルおよび/または振幅および/またはエネルギーの減衰が強くなり、
音響シーン生成器120は、例えば、1つまたは複数の直接音チャネルを用いて仮想オーディオシーンを再生するための1つまたは複数のオーディオ出力チャネルを生成するように構成され得る。
【0027】
実施形態では、仮想オーディオシーンの音源とリスナーとの間の距離がより小さい距離ではなくより大きい距離である場合、後期残響モジュール110は、例えば、より大きい距離が、より大きい距離に応答して直接音モジュールによって伝導される1つまたは複数の直接音チャネルのレベルおよび/または振幅および/またはエネルギーの減衰と比較して相対的に小さい、1つまたは複数の後期残響チャネルの音圧レベルおよび/または振幅および/または大きさおよび/またはエネルギーの減衰をもたらすように、1つまたは複数の後期残響チャネルの音圧レベルおよび/または振幅および/または大きさおよび/またはエネルギーをレンダリングするように構成することができる。
【0028】
実施形態によれば、仮想オーディオシーンの音源とリスナーとの間の距離が現在の距離の半分である場合と比較して、仮想オーディオシーンの音源とリスナーとの間の距離が現在の距離である場合、後期直接音モジュールは、例えば、1つまたは複数の直接音チャネルの音圧レベルが5dB~7dBの値だけ低減されるように、1つまたは複数の直接音チャネルの音圧レベルおよび/または振幅および/または大きさおよび/またはエネルギーをレンダリングするように構成することができ、後期残響モジュール110は、例えば、1つまたは複数の後期残響チャネルの音圧レベルが1dB~2dBの値だけ低減されるように、1つまたは複数の後期残響チャネルの音圧レベルおよび/または振幅および/または大きさおよび/またはエネルギーをレンダリングするように構成することができる。
【0029】
実施形態では、レンダラ100は、例えば、後期残響の距離減衰の強度に関する指示を含む1つまたは複数の情報パラメータを受信するように構成することができる。後期残響モジュール110は、例えば、仮想オーディオシーンの音源とリスナーとの間の距離に応じて、および後期残響の距離減衰の強度の指示に応じて、音圧レベルおよび/または振幅および/または大きさおよび/または1つまたは複数の後期残響チャネルのエネルギーを適合させるように構成することができる。
【0030】
実施形態によれば、ビットストリームは、例えば、1つまたは複数の情報パラメータを含むことができ、
レンダラ100は、例えば、ビットストリームを受信するように構成することができ、例えば、ビットストリームから1つまたは複数の情報パラメータを取得するように構成することができる、または、レンダラ100は、例えば、ビットストリームを受信し、ビットストリームから1つまたは複数の情報パラメータを取得した別のユニットから1つまたは複数の情報パラメータを受信するように構成することができる。
【0031】
実施形態では、1つまたは複数の情報パラメータは、距離低下デシベル係数および基準距離を含む。後期残響モジュール110は、例えば、仮想オーディオシーンの音源とリスナーとの間の距離に応じて、距離低下デシベル係数に応じて、および基準距離に応じて、音圧レベルおよび/または振幅および/または大きさおよび/または1つまたは複数の後期残響チャネルのエネルギーを適合させるように構成することができる。
【0032】
実施形態によれば、後期残響モジュール110は、例えば、
distanceGainDbFactor * log10(refDistance / distance);および
distanceGainDbFactor = distanceGainDropDb / log10(2.0);
に依存する利得dbGainに応じて、1つまたは複数の後期残響チャネルの音圧レベルおよび/または振幅および/または大きさおよび/またはエネルギーを適合させるように構成することができ、
distanceGainDropDbは、距離低下デシベル係数を示し、refDistanceは、基準距離を示し、距離は、仮想オーディオシーンの音源とリスナーとの間の距離を示す。
【0033】
実施形態では、基準距離は、例えば、MPEG-I 6DoFオーディオエンコーダ入力フォーマット(EIF)によるオーディオ要素の基準距離であってもよく、オーディオ要素は、例えば、音源であってもよい。
【0034】
実施形態によれば、後期残響モジュール110は、例えば、フィードバック遅延ネットワーク残響器を使用して1つまたは複数の後期残響チャネルを生成するように構成され得る。
【0035】
実施形態では、レンダラ100は、例えば、音源の1つまたは複数のオーディオチャネルに応じて1つまたは複数の初期反射チャネルを生成するように構成された初期反射モジュールをさらに備えることができる。音響シーン生成器120は、例えば、1つまたは複数の初期反射チャネルを用いて仮想オーディオシーンを再生するための1つ以上のオーディオ出力チャネルを発生するように構成され得る。
【0036】
実施形態では、レンダラ100は、例えば、音源の位置およびリスナーの位置に応じて、仮想オーディオシーンの音源とリスナーとの間の距離を決定するように構成することができる。音源の位置およびリスナーの位置は、3次元に対して定められ、および/または、音源の位置およびリスナーの位置は、2次元に対して定められ、および/または音源の位置は、例えば、3次元に対して定めることができ、リスナーの位置および向きは、例えば、6自由度に対して定めることができ、その結果、リスナーの位置は、例えば、3次元に対して定めることができ、リスナーの頭部の向きは、例えば、3つの回転角度を使用して定めることができる。
【0037】
実施形態によれば、1つまたは複数の音源のうちの音源の1つまたは複数のオーディオチャネルは、アンビソニックスドメインで表され、音響シーン生成器120は、例えば、前記音源の1つまたは複数のオーディオチャネルのうちの1つに関連付けられた複数の球面調和関数のうちの1つの特性に応じて仮想オーディオシーンを再生するように構成され得る。または、前記音源の1つまたは複数のオーディオチャネルは、アンビソニックスドメインとは異なる、異なるドメインで表され、前記音源の前記1つまたは複数のオーディオチャネルは、アンビソニックスドメインで表される前記音源の1つまたは複数の他のチャネルから導出され、1つまたは複数のオーディオチャネルの各オーディオチャネルは、例えば、複数の球面調和関数のうちの1つの特性に応じて1つまたは複数の他のチャネルのうちの1つから導出され、前記他のチャネルに関連付けられ得る。
【0038】
実施形態では、レンダラ100は、例えば、1つまたは複数の後期残響チャネルに応じて仮想オーディオシーンを再生するための2つのオーディオ出力チャネルを生成するように構成されたバイノーラライザを備えることができる。
【0039】
実施形態によれば、ビットストリームは、例えば、1つまたは複数の音源の各音源の1つまたは複数のオーディオチャネルを含むことができる。レンダラ100は、例えば、ビットストリームを受信するように構成することができ、例えば、ビットストリームから1つまたは複数の音源の各音源の1つまたは複数のオーディオチャネルを取得するように構成することができる、または、レンダラ100は、例えば、ビットストリームを受信し、ビットストリームから1つまたは複数の音源の各音源の1つまたは複数のオーディオチャネルを取得した別のユニットから、1つまたは複数の音源の各音源の1つまたは複数のオーディオチャネルを受信するように構成することができる。
【0040】
図2は、図1の実施形態のデコーダ50およびレンダラ100を備える実施形態による装置を示す。
【0041】
デコーダ50は、ビットストリームを復号して、1つまたは複数の音源の各音源の1つまたは複数のオーディオチャネルを取得するように構成される。
【0042】
レンダラ100は、1つまたは複数の音源の各音源の1つまたは複数のオーディオチャネルに応じて仮想オーディオシーンをレンダリングするように構成される。
【0043】
実施形態によれば、ビットストリームは、例えば、1つまたは複数の情報パラメータを含むことができる。デコーダ50は、例えば、ビットストリームから1つまたは複数の情報パラメータを取得するように構成され得る。さらに、レンダラ100は、例えば、デコーダ50から1つまたは複数の情報パラメータを受信するように構成することができる。
【0044】
さらに、実施形態によるビットストリームが提供される。ビットストリームは、仮想オーディオシーンに音を放出する1つまたは複数の音源の各音源の1つまたは複数のオーディオチャネルの符号化を含む。さらに、ビットストリームは、後期残響の距離減衰の強度に関する指示を含む1つまたは複数の情報パラメータを含む1つまたは複数のデータフィールドを含む。
【0045】
実施形態によれば、1つまたは複数の情報パラメータは、例えば、距離低下デシベル係数、および任意選択に基準距離を含むことができる。
【0046】
さらに、実施形態による、ビットストリームを生成するように構成されたエンコーダが提供される。エンコーダは、ビットストリームが、仮想オーディオシーンに音を放出する1つまたは複数の音源の各音源の1つまたは複数のオーディオチャネルの符号化を含むように、ビットストリームを生成するように構成される。さらに、エンコーダは、ビットストリームが、後期残響の距離減衰の強度に関する指示を含む1つまたは複数の情報パラメータを含む1つまたは複数のデータフィールドをさらに含むように、ビットストリームを生成するように構成される。
【0047】
実施形態によれば、エンコーダは、例えば、1つまたは複数の情報パラメータが距離低下デシベル係数および基準距離を含むようにビットストリームを生成するように構成され得る。
【0048】
実施形態では、エンコーダは、例えば、コンテンツ制作者からの後期残響の距離減衰の強度に関する指示を受信するように構成された入力インターフェースを備えることができる。
【0049】
実施形態によれば、エンコーダは、例えば、仮想環境の1つまたは複数の特性に依存する自動処理によってコンテンツ制作者からの後期残響の距離減衰の強度に関する指示を決定するように構成された決定モジュールを備えることができる。
【0050】
以下では、本発明の実施形態が基づく特定の実施形態および考察について説明する。
【0051】
上述したように、最先端の実施態様では、後期リバーブレベルは一定であり、すなわち音源からリスナーまでの距離とは無関係であり、図3に示す理論的挙動に従う。大きな残響空間(例えば、部屋の遠くの端に音源を有するカテドラル)をレンダリングする場合、これは、音源から、臨界距離外から任意のより長い距離まで離れるときに全体のレベルが決して減少しないため、非現実的な挙動をもたらす。1kmの距離の追加の後でも、後期リバーブのレベルは減衰しない(シミュレートされた部屋が十分に大きい場合)。
【0052】
しかしながら、実際の部屋の音響測定から、拡散音場のレベルは、物理的な現実において臨界距離を超えて完全に一定ではないことがわかっている。特に、完全に拡散してはいない大きな部屋では、後期残響の(距離2倍当たり6dBよりも小さい)低下がある。経験則として、レベルは、壁材料の吸収特性に応じて、距離2倍当たり1~2dBで臨界距離を超えて低下する。
【0053】
本発明の実施形態は、この発見を実際の体験の対話型ルームシミュレーションに含めることにより臨場感を高めるレンダリングを提供する。
【0054】
ここで説明される実施形態は、音源-リスナーの距離に依存するレベルの変化を後期リバーブ段階に追加することによって、これを達成する。図5および図6を参照されたい。
【0055】
図5は、実施形態による残響の場におけるレベル依存性の新しい挙動を示す。新しい挙動は、図5の破線(青い線)によって示されており、距離2倍当たり約1~2dBの残響の場におけるレベル依存性の低下を示している。
【0056】
以下では、さらなる特定の実施形態について説明する。
【0057】
図6は、実施形態による距離依存のレベル調整を伴う、直接音、初期反射、および後期残響処理の3つの段階を有するルームシミュレーションを示す。
【0058】
音源-リスナー依存レベル減衰のための方法は、図6の後期リバーブ処理の前、その中、または図6に示すようにそれの後に、実施することができる。本発明者らの好ましい実施態様では、本方法は、後期リバーブ処理に進む信号の入力に適用される。
【0059】
本発明のレベル調整方法は、レンダリングされるアイテムのデカルト座標における位置(x,y,z)を取得することによって開始される。
sourceLocation = item->position.location;
次に、本方法は、sourceLocationとlistenerLocationとの間の絶対距離distを(同様にデカルト座標で)取得する。
dist = (sourceLocation - listenerLocation).abs();
次いで、方法は、distの最大値およびminimumDistanceの値をとる。これは、音源に非常に近いときに後期リバーブの過度のレベルの上昇を防止するために行われる。現在、minimumDistanceは1メートルと定められている。好ましい実施形態では、後期リバーブminimumDistanceは、シーンエンコーダからシーンデコーダ/レンダラへ、ビットストリームにおいてシグナリングされ得る。
dist = max(minimumDistance, dist);
リバーブ入力信号に適用されるdistanceGainの値は、レンダリングされたアイテムのdistおよびrefDistanceの値に基づいて、方法calculateDistanceGainによって計算される。refDistanceは、エンコーダ入力フォーマットファイルのコンテンツ制作者によって定められ、ビットストリームパラメータとしてシグナリングされる、レンダリングアイテムについてのメートル単位の基準距離である。基準距離は、MPEG-Iエンコーダ入力フォーマット[2]で定められているように、この入力信号の計算された減衰が0dBになる距離である。
distanceGain = calculateDistanceGain(dist, item->refDistance);
itemGain = item->gain * distanceGain;
そのとき、itemGainは、このレンダリングアイテムのリバーブ入力信号に適用されるべきゲインを含み、このレンダリングアイテムのためにコンテンツ制作者によってビットストリームにおいて定められた任意の静的ゲインを、item->gainおよび計算されたdistanceGainにおいて組み合わせる。
【0060】
calculateDistanceGainで実行される方法は以下のとおりである。
dbGain = distanceGainDbFactor * log10(refDistance / distance);
distanceGain = pow(10.0, dbGain / 20.0);
ここで、distanceGainDbFactorは、次のように計算される。
distanceGainDbFactor = distanceGainDropDb / log10(2.0);
実施形態では、distanceGaindDropDbはビットストリームでシグナリングされ、典型的には、距離2倍ごとに1dBから2dBの間のレベルの低下を実施するために、1dBから2dBの間の値を有する。
【0061】
上記の式は単なる例であり、他の実施形態では、所望の減衰(距離2倍当たりのdistanceGaindDropDb)が実現されるように線形利得を直接計算することができる。
【0062】
利得が適用された後の入力信号は、デジタル残響器に供給される。好ましい実施態様では、デジタル残響器は、フィードバック遅延ネットワーク(FDN)残響器である。他の適切な残響器の実現も同様に使用することができる。
【0063】
以下では、具体的な実施形態について説明する。
1つの可能な実施形態では、distanceGaindDropDbは、異なる値を実験し、出力を聞き取り、その値を調整することにより、コンテンツ制作者によって決定することができ、その結果、出力は、その人物の経験および芸術的意図を考慮して、仮想シーンのすべての位置で、知覚的に真実味のある音を発する。
【0064】
別の実施形態では、distanceGaindDropDbは、以下のステップを実行する自動エンコーダ処理によって決定することができる。
-幾何学的形状と、少なくとも吸音パラメータを有する1つまたは複数の音響材料とを含む仮想環境を取得するステップ
-仮想環境の境界のいずれにも近すぎない仮想環境の音源の位置を選択するステップ
-音源の位置から基準距離を離れた位置で第1の受信者位置を選択するステップ
-音源の位置から基準距離よりも大きい距離を有する少なくとも1つの第2の受信者位置を選択するステップ
-第1の受信者位置における第1のインパルス応答および第2の受信者位置における第2のインパルス応答を取得するために、例えば幾何学的音響モデル化、波ベースの音響モデル化、またはこれらの組み合わせを使用して音響のモデル化を実行するステップ
-第1のインパルス応答から、拡散後期残響の時間間隔に対応する第1のレベルの値を取得するステップ
-第2のインパルス応答から、拡散後期残響の時間間隔に対応する第2のレベルの値を取得するステップ
-ラインの傾きを取得するために、デシベル単位で第1のレベルの値および第2のレベルの値にラインフィッティングを実行するステップ
-ラインの傾きをdistanceGainDropDbとしてビットストリームのレンダリング装置にシグナリングするステップ。
【0065】
上記の方法は、適切なパラメータ(距離依存レベル減衰など)を決定してレンダリング装置にシグナリングすることができるエンコーダ装置に提供される仮想シーンがある仮想現実(VR)シーンのレンダリングに適用可能である。
【0066】
いくつかの実施形態では、レンダリングは拡張現実(AR)シナリオで行われ、その場合、再生ルームに関するデータはエンコーダ装置に利用できないが、ユーザ聴取空間およびその音響特性(寸法、材料、および残響時間など)の情報は、レンダリング時間にのみ、例えば聴取空間記述ファイルとして提供される。
【0067】
大きな屋内空間では、後期リバーブ処理への距離依存レベルの減衰の実装が有用であり、オーディオ再生の臨場感を高めることができる。
【0068】
本発明の一実施形態では、上記の音響シミュレーションの同様の方法は、聴取空間記述ファイルパラメータを受信したときにレンダリング装置によって適用される。この手順は、リスナーがリスニング空間記述ファイルによって定められた空間内部にいるときに、残響をレンダリングし、音源-リスナー依存の距離ゲイン減衰を生成するために使用できるdistanceGainDropDbパラメータを生成する。
【0069】
しかしながら、AR処理は、あまり長くかからないはずのレンダラ起動時に実行されるため、レンダラで実行される手順は、エンコーダで実行される手順よりも計算的に簡単であることが望ましい。
【0070】
本発明の実施形態では、聴取空間記述ファイルを使用して音響シミュレーションを実行する代わりに、手順は、リスナー空間記述ファイルに記述された空間の体積および/またはリスナー空間記述ファイルの物質吸収係数の平均を計算し、聴取空間の体積およびその平均吸収係数から距離依存レベル減衰に適した値へのマッピングを実行する。例えば、平均の吸収が低い小さな空間は、distanceGainDropDbについて小さな値を受け取る可能性があり、これは、後期リバーブの音源-リスナー依存の距離の減衰がほとんどないことを意味するが、それに対して、より吸収が多い大きな空間は、distanceGainDropDbについてより大きな値を受け取る可能性があり、これは、そのような空間にある程度の距離依存レベルの減衰があることを意味する。
【0071】
以下では、実施形態の一部の態様について説明する。
最初に、いくつかの特定の実施形態によるレンダリングの態様について説明する。
【0072】
実施形態によれば、1つまたは複数の音源を含む仮想オーディオシーンをレンダリングするように装備され、後期リバーブのレンダリングのためのステージを含むレンダラが提供され、後期リバーブレンダリングは、リバーブ時間(例えばRT60)を含む1つまたは複数のリバーブ制御パラメータに依存し、後期リバーブレベルは、音源とリスナーとの間の距離に応じて、および距離減衰の強度の尺度に応じてレンダリングされることを特徴とする。
【0073】
好ましい実施形態では、後期リバーブ距離減衰の強度のこの尺度は、距離の2倍ごとにデシベルで表される相対減衰増加を示す。
【0074】
さらに好ましい実施形態では、距離の2倍当たり1~2dBの値が適用される。
【0075】
さらに好ましい実施形態では、後期リバーブ距離減衰の強度の程度はビットストリームから読み取られる。
【0076】
次に、いくつかの特定の実施形態によるビットストリームの態様について説明する。
【0077】
シーンの特定の部分における後期残響の少なくとも1つの記述について、シーンのこの部分における後期リバーブのレンダリングに適用される距離の減衰の強度を示すビットストリームフィールドが含まれることを特徴とする、レンダラによる音響シーンのレンダリングのためのビットストリーム。
【0078】
好ましい実施形態では、リバーブ距離減衰の強度を示すこの場は、距離の2倍ごとにデシベルで表される相対減衰増加を表す。
【0079】
特定の実施形態の適用分野は、例えば、リアルタイム聴覚仮想環境の分野またはリアルタイム仮想現実および拡張現実の分野であってもよい。
【0080】
本明細書では、前述のすべての代替形態または態様、および以下の特許請求の範囲における独立請求項によって定められるすべての態様は、個別に、すなわち、企図される代替形態、目的または独立請求項以外の代替形態または目的なしに使用することができることに、言及すべきである。しかし、他の実施形態では、2つ以上の代替形態または態様または独立請求項を互いに組み合わせることができ、他の実施形態では、すべての態様または代替形態およびすべての独立請求項を互いに組み合わせることができる。
【0081】
本発明の符号化されたまたは処理された信号は、デジタル記憶媒体または非一時的記憶媒体に記憶することができ、あるいは無線伝送媒体または有線伝送媒体、例えばインターネットなどの伝送媒体で、伝送することができる。
【0082】
いくつかの態様が装置の文脈で説明されたが、これらの態様は、対応する方法の説明も表すことは明らかであり、ブロックまたはデバイスは、方法ステップまたは方法ステップの特徴に対応する。同様に、方法ステップの文脈で説明された態様は、対応する装置の対応するブロックまたはアイテムまたは機能の説明も表す。
【0083】
特定の実装要件に応じて、本発明の実施形態は、ハードウェアまたはソフトウェアで実装することができる。実装は、フロッピーディスク、DVD、CD、ROM、PROM、EPROM、EEPROM、フラッシュメモリなどのデジタル記憶媒体を使用して実行でき、電子的に読み取り可能な制御信号が格納されており、それぞれの方法が実行されるように、プログラム可能なコンピュータシステムと協働する(または協働することができる)。
【0084】
本発明によるいくつかの実施形態は、本明細書に記載の方法の1つが実行されるように、プログラム可能なコンピュータシステムと協働することができる電子的に読み取り可能な制御信号を有するデータキャリアを含む。
【0085】
一般に、本発明の実施形態は、プログラムコードを伴うコンピュータプログラム製品として実装することができ、プログラムコードは、コンピュータプログラム製品がコンピュータで実行されるときに方法の1つを実行するように動作する。プログラムコードは、例えば、機械可読キャリアに格納されてもよい。
【0086】
他の実施形態は、機械可読キャリア、または非一時的記憶媒体に格納された、本明細書に記載された方法の1つを実行するためのコンピュータプログラムを含む。
【0087】
言い換えれば、本発明の方法の実施形態は、したがって、コンピュータプログラムがコンピュータで実行されるときに、本明細書で説明される方法の1つを実行するためのプログラムコードを有するコンピュータプログラムである。
【0088】
したがって、本発明の方法のさらなる実施形態は、記録される本明細書に記載の方法の1つを実行するためのコンピュータプログラムを含むデータキャリア(またはデジタル記憶媒体、またはコンピュータ可読媒体)である。
【0089】
したがって、本発明の方法のさらなる実施形態は、本明細書で説明される方法の1つを実行するためのコンピュータプログラムを表すデータストリームまたは一連の信号である。データストリームまたは一連の信号は、例えば、インターネットなどのデータ通信接続を介して転送されるように構成され得る。
【0090】
さらなる実施形態は、本明細書に記載された方法の1つを実行するように構成または適合された処理手段、例えば、コンピュータまたはプログラマブル論理デバイスを含む。
【0091】
さらなる実施形態は、本明細書に記載される方法の1つを実行するためのコンピュータプログラムがインストールされているコンピュータを含む。
【0092】
いくつかの実施形態では、プログラマブル論理デバイス(例えば、フィールドプログラマブルゲートアレイ)を使用して、本明細書に記載されている方法の機能の一部またはすべてを実行することができる。いくつかの実施形態では、フィールドプログラマブルゲートアレイは、本明細書で説明される方法の1つを実行するために、マイクロプロセッサと協働し得る。一般に、方法は、好ましくは、任意のハードウェア装置によって実行される。
【0093】
上記の実施形態は、本発明の原理を単に例示するものである。本明細書に記載の配置および細部の修正および変形は、当業者には明らかであることが理解される。したがって、本明細書の実施形態の記載および説明として提示される特定の細部によってではなく、直近の特許クレームの範囲によってのみ制限されることが意図されている。
【0094】
文献
[1] Ginn, K.B., Architectual Acoustics. 1978. Available from: https://www.bksv.com/media/doc/bn1329.pdf. ISBN: 87 87355 24 8.
【0095】
[2] ISO/IEC JTC1/SC29/WG6 (MPEG Audio): N0054 - MPEG-I Immersive Audio Encoder Input Format. 30 April 2021

図1
図2
図3
図4
図5
図6
【手続補正書】
【提出日】2024-10-17
【手続補正1】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項1】
仮想オーディオシーンに音を放出する1つまたは複数の音源の各音源の1つまたは複数のオーディオチャネルに応じて前記仮想オーディオシーンをレンダリングするためのレンダラ(100)であって、前記音源の前記1つまたは複数のオーディオチャネルを処理するために、前記レンダラ(100)は、
前記音源の前記1つまたは複数のオーディオチャネルに応じて1つまたは複数の後期残響チャネルを生成するように構成された後期残響モジュール(110)であって、前記1つまたは複数の後期残響チャネルが、前記音源によって前記仮想オーディオシーンに放出された前記音の後期残響部分を表す、後期残響モジュール(110)と、
前記1つまたは複数の後期残響チャネルを使用して、前記仮想オーディオシーンを再生するための1つまたは複数のオーディオ出力チャネルを生成するための音響シーン生成器(120)とを含み、
前記後期残響モジュール(110)は、前記仮想オーディオシーンの前記音源とリスナーとの間の距離に応じて、前記音源の前記1つまたは複数のオーディオチャネルに応じて前記1つまたは複数の後期残響チャネルを生成するように構成される、レンダラ(100)。
【請求項2】
前記後期残響モジュール(110)は、前記仮想オーディオシーンの前記音源と前記リスナーとの間の前記距離に応じて、前記1つまたは複数の後期残響チャネルの音圧レベルおよび/または振幅および/または大きさおよび/またはエネルギーが適合されるように、前記音源の前記1つまたは複数のオーディオチャネルに応じて前記1つまたは複数の後期残響チャネルを生成するように構成される、
請求項1に記載のレンダラ(100)。
【請求項3】
前記後期残響モジュール(110)は、前記仮想オーディオシーンの前記音源と前記リスナーとの間のより大きい距離は、前記仮想オーディオシーンの前記音源と前記リスナーとの間のより小さい距離と比較して、前記1つまたは複数の後期残響チャネルの前記レベルおよび/または前記振幅および/または前記エネルギーの減衰が強くなるように、前記1つまたは複数の後期残響チャネルの前記音圧レベルおよび/または前記振幅および/または前記大きさおよび/または前記エネルギーをレンダリングするように構成される、
請求項2に記載のレンダラ(100)。
【請求項4】
前記後期残響モジュール(110)は、前記音源と前記リスナーとの間の前記距離が第1の距離の半分である場合、前記1つまたは複数の後期残響チャネルの前記音圧レベルが、前記1つまたは複数のオーディオチャネルの減衰と比較して1dB~2dBの値だけ低減され得るように、前記音源と前記リスナーとの間の前記第1の距離に応じて、前記1つまたは複数の後期残響チャネルの前記音圧レベルおよび/または前記振幅および/または前記大きさおよび/または前記エネルギーをレンダリングするように構成される、
請求項2に記載のレンダラ(100)。
【請求項5】
前記レンダラ(100)は、前記音源の前記1つまたは複数のオーディオチャネルに応じて1つまたは複数の直接音チャネルを生成するように構成された直接音モジュールをさらに備え、前記仮想オーディオシーンにおける前記音源と前記リスナーとの間のより大きい距離は、前記仮想オーディオシーンにおける前記音源と前記リスナーとの間のより小さい距離と比較して、前記1つまたは複数の直接音チャネルの前記レベルおよび/または前記振幅および/または前記エネルギーの減衰が強くなり、
前記音響シーン生成器(120)は、前記1つまたは複数の直接音チャネルを用いて前記仮想オーディオシーンを再生するための前記1つまたは複数のオーディオ出力チャネルを生成するように構成される、
請求項1に記載のレンダラ(100)。
【請求項6】
前記仮想オーディオシーンの前記音源と前記リスナーとの間の前記距離が前記より小さい距離ではなく前記より大きい距離である場合、前記後期残響モジュール(110)は、前記より大きい距離が、前記より大きい距離に応答して前記直接音モジュールによって伝導される前記1つまたは複数の直接音チャネルの前記レベルおよび/または前記振幅および/または前記エネルギーの前記減衰と比較して相対的に小さい、前記1つまたは複数の後期残響チャネルの前記音圧レベルおよび/または前記振幅および/または前記大きさおよび/または前記エネルギーの減衰をもたらすように、前記1つまたは複数の後期残響チャネルの前記音圧レベルおよび/または前記振幅および/または前記大きさおよび/または前記エネルギーをレンダリングするように構成される、
請求項5に記載のレンダラ(100)。
【請求項7】
前記仮想オーディオシーンの前記音源と前記リスナーとの間の距離が現在の距離の半分である場合と比較して、前記仮想オーディオシーンの前記音源と前記リスナーとの間の前記距離が前記現在の距離である場合、
前記後期直接音モジュールは、前記1つまたは複数の直接音チャネルの前記音圧レベルが5dB~7dBの値だけ低減されるように、前記1つまたは複数の直接音チャネルの前記音圧レベルおよび/または前記振幅および/または前記大きさおよび/または前記エネルギーをレンダリングするように構成され、
前記後期残響モジュール(110)は、前記1つまたは複数の後期残響チャネルの前記音圧レベルが1dB~2dBの値だけ低減されるように、前記1つまたは複数の後期残響チャネルの前記音圧レベルおよび/または前記振幅および/または前記大きさおよび/または前記エネルギーをレンダリングするように構成される、
請求項6に記載のレンダラ(100)。
【請求項8】
前記レンダラ(100)は、後期残響の距離減衰の強度に関する指示を含む1つまたは複数の情報パラメータを受信するように構成され、
前記後期残響モジュール(110)は、前記仮想オーディオシーンの前記音源と前記リスナーとの間の前記距離に応じて、かつ後期残響の前記距離減衰の前記強度の前記指示に応じて、前記1つまたは複数の後期残響チャネルの前記音圧レベルおよび/または前記振幅および/または前記大きさおよび/または前記エネルギーを適合させるように構成される、
請求項2に記載のレンダラ(100)。
【請求項9】
ビットストリームは前記1つまたは複数の情報パラメータを含み、
前記レンダラ(100)は、前記ビットストリームを受信するように構成されており、前記ビットストリームから前記1つまたは複数の情報パラメータを取得するように構成される、または、前記レンダラ(100)は、前記ビットストリームを受信し、前記ビットストリームから前記1つまたは複数の情報パラメータを取得した別のユニットから前記1つまたは複数の情報パラメータを受信するように構成される、
請求項8に記載のレンダラ(100)。
【請求項10】
前記1つまたは複数の情報パラメータは、距離低下デシベル係数および基準距離を含み、
前記後期残響モジュール(110)は、前記仮想オーディオシーンの前記音源と前記リスナーとの間の前記距離に応じて、前記距離低下デシベル係数に応じて、および前記基準距離に応じて、前記1つまたは複数の後期残響チャネルの前記音圧レベルおよび/または前記振幅および/または前記大きさおよび/または前記エネルギーを適合させるように構成される、
請求項8に記載のレンダラ(100)。
【請求項11】
前記後期残響モジュール(110)は、以下に依存する利得dbGainに応じて、前記1つまたは複数の後期残響チャネルの前記音圧レベルおよび/または前記振幅および/または前記大きさおよび/または前記エネルギーを適合させるように構成され、
distanceGainDbFactor*log10(refDistance/distance);および
distanceGainDbFactor=distanceGainDropDb/log10(2.0);
distanceGainDropDbは、前記距離低下デシベル係数を示し、
refDistanceは、前記基準距離を示し、
距離は、前記仮想オーディオシーンの前記音源と前記リスナーとの間の前記距離を示す、
請求項10に記載のレンダラ(100)。
【請求項12】
前記基準距離は、MPEG-I 6DoF Audio Encoder Input Format(EIF)によるオーディオ要素の基準距離であり、前記オーディオ要素は前記音源である、
請求項10に記載のレンダラ(100)。
【請求項13】
前記後期残響モジュール(110)は、フィードバック遅延ネットワーク残響器を使用して前記1つまたは複数の後期残響チャネルを生成するように構成される、
請求項1に記載のレンダラ(100)。
【請求項14】
前記レンダラ(100)は、前記音源の前記1つまたは複数のオーディオチャネルに応じて1つまたは複数の初期反射チャネルを生成するように構成された初期反射モジュールをさらに備え、
前記音響シーン生成器(120)は、前記1つまたは複数の初期反射チャネルを使用して前記仮想オーディオシーンを再生するための前記1つまたは複数のオーディオ出力チャネルを生成するように構成される、
請求項1に記載のレンダラ(100)。
【請求項15】
前記レンダラ(100)は、前記音源の位置に応じ、また前記リスナーの位置に応じて、前記仮想オーディオシーンの前記音源とリスナーとの間の前記距離を決定するように構成され、
前記音源の前記位置および前記リスナーの前記位置が3次元に対して定められ、および/または
前記音源の前記位置および前記リスナーの前記位置が2次元に対して定められ、および/または
前記音源の前記位置は3次元に対して定められ、前記リスナーの位置および向きは6自由度に対して定められ、前記リスナーの前記位置は3次元に対して定められ、リスナーの頭部の前記向きは3つの回転角度を使用して定められる、
請求項1に記載のレンダラ(100)。
【請求項16】
前記1つまたは複数の音源のうちの音源の前記1つまたは複数のオーディオチャネルが、アンビソニックスドメインで表され、前記音響シーン生成器(120)が、前記音源の前記1つまたは複数のオーディオチャネルのうちの1つに関連付けられた、複数の球面調和関数のうちの1つの特性に応じて前記仮想オーディオシーンを再生するように構成されるか、または
前記音源の前記1つまたは複数のオーディオチャネルは、前記アンビソニックスドメインとは異なる、異なるドメインで表され、前記音源の前記1つまたは複数のオーディオチャネルは、前記アンビソニックスドメインで表される前記音源の1つまたは複数の他のチャネルから導出され、前記1つまたは複数のオーディオチャネルの各オーディオチャネルは、前記他のチャネルに関連付けられている複数の球面調和関数のうちの1つの特性に応じて、前記1つまたは複数の他のチャネルのうちの1つから導出される、
請求項1に記載のレンダラ(100)。
【請求項17】
前記レンダラ(100)は、前記1つまたは複数の後期残響チャネルに応じて前記仮想オーディオシーンを再生するための2つのオーディオ出力チャネルを生成するように構成されたバイノーラライザを備える、
請求項1に記載のレンダラ(100)。
【請求項18】
ビットストリームは、前記1つまたは複数の音源の各音源の前記1つまたは複数のオーディオチャネルを含み、
前記レンダラ(100)は、前記ビットストリームを受信するように構成され、前記ビットストリームから、前記1つまたは複数の音源の各音源の前記1つまたは複数のオーディオチャネルを取得するように構成されるか、または、前記レンダラ(100)は、前記ビットストリームを受信し、前記ビットストリームから前記1つまたは複数の音源の各音源の前記1つまたは複数のオーディオチャネルを取得した別のユニットから、前記1つまたは複数の音源の各音源の前記1つまたは複数のオーディオチャネルを受信するように構成される、
請求項1に記載のレンダラ(100)。
【請求項19】
装置であって、
ビットストリームを復号して、1つまたは複数の音源の各音源の前記1つまたは複数のオーディオチャネルを取得するように構成されたデコーダ(50)と、
前記1つまたは複数の音源の各音源の前記1つまたは複数のオーディオチャネルに応じて仮想オーディオシーンをレンダリングするための請求項1から18の一項に記載のレンダラ(100)と
を含む、装置。
【請求項20】
前記レンダラ(100)は、請求項9に記載のレンダラ(100)であり、
前記ビットストリームは、前記1つまたは複数の情報パラメータを含み、
前記デコーダ(50)は、前記ビットストリームから前記1つまたは複数の情報パラメータを取得するように構成され、
前記レンダラ(100)は、前記デコーダ(50)から前記1つまたは複数の情報パラメータを受信するように構成されている、
請求項19に記載の装置。
【請求項21】
ビットストリームであって、
仮想オーディオシーンに音を放出する1つまたは複数の音源の各音源の1つまたは複数のオーディオチャネルの符号化と、
後期残響の距離減衰の強度に関する指示を含む1つまたは複数の情報パラメータを含む1つまたは複数のデータフィールドと
を含む、ビットストリーム。
【請求項22】
前記1つまたは複数の情報パラメータは、距離低下デシベル係数と、任意選択に、基準距離とを含む、
請求項21に記載のビットストリーム。
【請求項23】
ビットストリームを生成するように構成されたエンコーダであって、
前記エンコーダは、前記ビットストリームが、仮想オーディオシーンに音を放出する1つまたは複数の音源の各音源の1つまたは複数のオーディオチャネルの符号化を含むように、前記ビットストリームを生成するように構成され、
前記エンコーダは、前記ビットストリームが、後期残響の距離減衰の強度に関する指示を含む1つまたは複数の情報パラメータを含む1つまたは複数のデータフィールドをさらに含むように、前記ビットストリームを生成するように構成される、エンコーダ。
【請求項24】
前記エンコーダは、前記1つまたは複数の情報パラメータが距離低下デシベル係数および基準距離を含むように前記ビットストリームを生成するように構成される、
請求項23に記載のエンコーダ。
【請求項25】
前記エンコーダは、コンテンツ制作者からの後期残響の前記距離減衰の前記強度に関する前記指示を受信するように構成された入力インターフェースを備える、
請求項23に記載のエンコーダ。
【請求項26】
前記エンコーダは、仮想環境の1つまたは複数の特性に依存する自動処理によってコンテンツ制作者からの後期残響の前記距離減衰の前記強度に関する前記指示を決定するように構成された決定モジュールを備える、
請求項23に記載のエンコーダ。
【請求項27】
仮想オーディオシーンに音を放出する1つまたは複数の音源の各音源の1つまたは複数のオーディオチャネルに応じて前記仮想オーディオシーンをレンダリングするための方法であって、前記音源の前記1つまたは複数のオーディオチャネルを処理するために、前記方法は、
前記音源の前記1つまたは複数のオーディオチャネルに応じて1つまたは複数の後期残響チャネルを生成することであって、前記1つまたは複数の後期残響チャネルが、前記音源によって前記仮想オーディオシーンに放出された前記音の後期残響部分を表す、生成すること、および
前記1つまたは複数の後期残響チャネルを使用して、前記仮想オーディオシーンを再生するための1つまたは複数のオーディオ出力チャネルを生成すること、を含み、
前記音源の前記1つまたは複数のオーディオチャネルに応じて前記1つまたは複数の後期残響チャネルを生成することが、前記仮想オーディオシーンの前記オブジェクト音源とリスナーとの間の距離に応じて行われる、方法。
【請求項28】
ビットストリームを生成するための方法であって、
前記ビットストリームが仮想オーディオシーンに音を放出する1つまたは複数の音源の各音源の1つまたは複数のオーディオチャネルの符号化を含むように前記ビットストリームを生成すること、および
前記ビットストリームが、後期残響の距離減衰の強度に関する指示を含む1つまたは複数の情報パラメータを含む1つまたは複数のデータフィールドをさらに含むように、前記ビットストリームを生成すること
を含む、方法。
【請求項29】
コンピュータまたは信号プロセッサで実行されるときに、請求項27または請求項28の方法を実施するためのコンピュータプログラム。
【国際調査報告】