▶ フラウンホーファー−ゲゼルシャフト・ツール・フェルデルング・デル・アンゲヴァンテン・フォルシュング・アインゲトラーゲネル・フェラインの特許一覧
特表2024-538368音処理装置、デコーダ、エンコーダ、ビットストリームおよび対応する方法
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公表特許公報(A)
(11)【公表番号】
(43)【公表日】2024-10-18
(54)【発明の名称】音処理装置、デコーダ、エンコーダ、ビットストリームおよび対応する方法
(51)【国際特許分類】
H04S 7/00 20060101AFI20241010BHJP
G10L 19/00 20130101ALI20241010BHJP
【ＦＩ】
H04S7/00 300
H04S7/00 350
H04S7/00 360
G10L19/00 330B
【審査請求】有
【予備審査請求】未請求
(21)【出願番号】P 2024527191
(86)(22)【出願日】2022-11-08
(85)【翻訳文提出日】2024-07-04
(86)【国際出願番号】 EP2022081065
(87)【国際公開番号】W WO2023083780
(87)【国際公開日】2023-05-19
(31)【優先権主張番号】21207255.7
(32)【優先日】2021-11-09
(33)【優先権主張国・地域又は機関】EP
(81)【指定国・地域】
(71)【出願人】
【識別番号】500341779
【氏名又は名称】フラウンホーファー－ゲゼルシャフト・ツール・フェルデルング・デル・アンゲヴァンテン・フォルシュング・アインゲトラーゲネル・フェライン
(74)【代理人】
【識別番号】100085660
【弁理士】
【氏名又は名称】鈴木 均
(74)【代理人】
【識別番号】100149892
【弁理士】
【氏名又は名称】小川 弥生
(74)【代理人】
【識別番号】100185672
【弁理士】
【氏名又は名称】池田 雅人
(72)【発明者】
【氏名】ヘレ，ユルゲン
(72)【発明者】
【氏名】ジールツレ，アンドレアス
(72)【発明者】
【氏名】ペータース，ニルス
(72)【発明者】
【氏名】ガイアー，マティアス
(72)【発明者】
【氏名】ボース，クリスティアン
(72)【発明者】
【氏名】ローゼンベルガー，デニス
【テーマコード（参考）】
5D162
【Ｆターム（参考）】
5D162AA05
5D162CC36
5D162CD07
5D162CD23
5D162DA23
5D162EG02
5D162EG07
5D162EG08
(57)【要約】
音処理装置は、複数の入力信号を空間的に位置決めし、それらを少なくとも２つの空間信号へと結合するためのパンナーを備える。音処理装置は、空間信号を受信し、フィルタリングされた空間信号のセットを取得するために空間信号を分散フィルタリングするための分散フィルタ段を備える。音処理装置は、フィルタリングされた空間信号に基づいていくつかの出力信号を提供するためのインターフェースを備える。
【選択図】図１
【選択図】図１
【特許請求の範囲】
【請求項1】
複数の入力信号（１４）を空間的に位置決めし、前記入力信号（１４）を少なくとも２つの空間信号（１６）へと結合するためのパンナー（１２；１２１、１２２、１２３）と、前記空間信号（１６）を受信し、フィルタリングされた空間信号（２２）のセットを取得するために前記空間信号（１６）を分散フィルタリングするための分散フィルタ段（１８）と、
前記フィルタリングされた空間信号（２２）に基づいていくつかの出力信号（２４）を提供するためのインターフェース（２３）と
を備える音処理装置。
【請求項2】
前記入力信号（１４）は、初期反射信号および／または回折音信号を含む、請求項１に記載の音処理装置。
【請求項3】
前記分散フィルタ段（１８）に含まれるいくつかの分散フィルタ（３８）は、前記いくつかの出力信号（２４）に対応する、請求項１または２に記載の音処理装置。
【請求項4】
前記分散フィルタ段（１８）は、オールパスフィルタである少なくとも１つの分散フィルタを備える、請求項１～３のいずれか１項に記載の音処理装置。
【請求項5】
前記分散フィルタ段（１８）は、有限インパルス応答（ＦＩＲ）フィルタまたは無限インパルス応答（ＩＩＲ）フィルタである少なくとも１つの分散フィルタを備える、請求項１～４のいずれか１項に記載の音処理装置。
【請求項6】
前記分散フィルタ段（１８）の少なくとも１つの分散フィルタは、時変フィルタ特性を備える、請求項１～５のいずれか１項に記載の音処理装置。
【請求項7】
前記複数の入力信号（１４）を提供するためのレンダラを備える、請求項１～６のいずれか１項に記載の音処理装置。
【請求項8】
前記音処理装置は、直接音成分（４２）および反響音成分（４６）を提供するように構成される、請求項７に記載の音処理装置。
【請求項9】
前記分散フィルタ段（１８）は、前記空間信号（１６）のセットをフィルタリングするように構成され、前記音処理装置は、前記分散フィルタ段（１８）から前記直接音成分（４２）および前記反響音成分（４６）を排除するように構成される、請求項８に記載の音処理装置。
【請求項10】
前記分散フィルタ段（１８）の少なくとも１つの分散フィルタ（３８）を、例えば初期化段階中に、生成するように構成された分散フィルタジェネレータ（５６）を備える、請求項１～９のいずれか１項に記載の音処理装置。
【請求項11】
前記分散フィルタジェネレータ（５６）は、前記分散フィルタによって提供される時間的な広がりの量を決定する長さ、
例えば高レベル制御によって、チャネル間相互相関の程度を変化させるための空間的な広がり、および／または
利得
に基づいて前記少なくとも１つの分散フィルタ（３８）を生成するように構成される、請求項１０に記載の音処理装置。
【請求項12】
前記分散フィルタジェネレータ（５６）は、第１の空間信号（１６１）に対する第１の分散フィルタ（３８１）として前記分散フィルタ（３８）を生成するように構成され、前記音処理装置は、許容範囲内で同じエネルギーの、互いに異なる相関の程度を有する、記憶されたノイズ信号のセットを記憶したメモリを備え、前記音処理装置は、ノイズ系列の基礎として前記記憶されたノイズ信号から選択するように構成される、請求項１０または１１に記載の音処理装置。
【請求項13】
前記ノイズ信号が同一のまたは弱く脱相関した系列であるという特性と、前記系列の長さを示す、例えばビットストリーム内のビットストリームパラメータとして受信される、パラメータと、
脱相関または空間的な広がりの強さを示す、例えばビットストリーム内のビットストリームパラメータとして受信される、パラメータと、
小さい前面開口を有する音源の両耳間相互相関（ＩＡＣＣ）に関連する、例えばビットストリーム内のビットストリームパラメータとして受信される、パラメータと
のうちの少なくとも１つに基づいて前記ノイズ信号を取得するように構成される、請求項１２に記載の音処理装置。
【請求項14】
前記分散フィルタジェネレータ（５６）は、前記第１の分散フィルタ（３８１）と、例えば両耳間相互相関（ＩＡＣＣ）に基づいて取得される、周波数依存フィルタ脱相関を有する第２の分散フィルタ（３８２）とを生成するように構成される、請求項１２または１３に記載の音処理装置。
【請求項15】
第１のノイズ系列および第２のノイズ系列は、等しいエネルギーレベルを備える、請求項１２～１４のいずれか１項に記載の音処理装置。
【請求項16】
前記分散フィルタ段（１８）の分散フィルタ（３８）は、窓化ノイズ系列に基づく、請求項１～１５のいずれか１項に記載の音処理装置。
【請求項17】
前記窓化ノイズ系列は、ホワイトノイズ系列に基づくか、または対応する、請求項１６に記載の音処理装置。
【請求項18】
前記分散フィルタ段（１８）の分散フィルタは、第１の空間信号（１６１）に対する第１の分散フィルタであり、第２の分散フィルタは、異なる第２の空間信号（１６２）をフィルタリングするためのものであり、第１の分散フィルタ（３８１）および第２の分散フィルタ（３８２）は、同一の窓化ノイズ系列に基づくか、または
前記第１の分散フィルタ（３８１）および前記第２の分散フィルタ（３８２）は、知覚基準に従う所定の相関を有する異なるノイズ系列に基づく、請求項１～１７のいずれか１項に記載の音処理装置。
【請求項19】
エネルギー保存的であり、フィルタ利得を考慮して調整可能である、請求項１～１８のいずれか１項に記載の音処理装置。
【請求項20】
バイノーラル化された前記入力信号（１４）にのみ前記分散フィルタ段（１８）を用いて分散フィルタ処理を適用するように構成される、請求項１～１９のいずれか１項に記載の音処理装置。
【請求項21】
前記分散フィルタ段（１８）は、第１の空間信号（１６１）をフィルタリングするための第１の分散フィルタ（３８１）と、第２の空間信号（１６２）をフィルタリングするための第２の分散フィルタ（３８２）とを少なくとも備え、前記第１の分散フィルタ（３８１）および前記第２の分散フィルタ（３８２）は、例えば両耳間相互相関（ＩＡＣＣ）に基づいて取得される、周波数依存フィルタ脱相関を備える、請求項１～２０のいずれか１項に記載の音処理装置。
【請求項22】
前記パンナーは、複数のバイノーラル化段（２６）であって、各バイノーラル化段（２６）は、前記入力信号（１４）のうちの１つを受信するため、ならびに第１のバイノーラル化チャネルおよび第２のバイノーラル化チャネルを取得するために前記受信された入力信号をバイノーラル化するためのものである、複数のバイノーラル化段（２６）と、
前記バイノーラル化段（２６）の前記第１のバイノーラル化チャネルの第１の結合を提供し、前記バイノーラル化段（２６）の前記第２のバイノーラル化チャネルの第２の結合を提供するコンバイナ（３２）と、を備え、
第１の空間信号（１６１）が前記第１の結合に基づき、
第２の空間信号（１６２）が前記第２の結合に基づく、
請求項１～２１のいずれか１項に記載の音処理装置。
【請求項23】
前記パンナー（１２２）は、中間空間信号（６６）を取得するために前記入力信号（１４）を受信し処理するための仮想スピーカプロセッサ（６４）と、複数のバイノーラル化段（２６）であって、各バイノーラル化段（２６）は、前記中間空間信号（６６）のうちの１つを受信するため、ならびに第１のバイノーラル化チャネルおよび第２のバイノーラル化チャネルを取得するために前記受信された中間空間信号（６６）をバイノーラル化するためのものである、複数のバイノーラル化段（２６）と、
前記バイノーラル化段（２６）の前記第１のバイノーラル化チャネルの第１の結合を提供し、前記バイノーラル化段（２６）の前記第２のバイノーラル化チャネルの第２の結合を提供するコンバイナ（３２）と
第１の空間信号（１６１）が前記第１の結合に基づき、
第２の空間信号（１６２）が前記第２の結合に基づく
請求項１～２１のいずれか１項に記載の音処理装置。
【請求項24】
前記バイノーラル化段（２６）は、頭部伝達関数（ＨＲＴＦ）に従って構成される、請求項２２または２３に記載の音処理装置。
【請求項25】
前記出力信号（２４）のためのちょうど２つのオーディオチャネル（Ｌ、Ｒ）を提供するように構成される、請求項２２～２４のいずれか１項に記載の音処理装置。
【請求項26】
前記パンナー（１２３）は、少なくとも１つの初期反射信号および／または少なくとも１つの回折音信号を含む前記入力信号（１４）を受信し、
前記入力信号（１４）に関連付けられた直接音成分（４２）および反響音成分（４６）を受信する
ように構成され、前記空間信号（１６）は、スピーカ設備のスピーカ（６８）に各々関連付けられる、請求項１～２１のいずれか１項に記載の音処理装置。
【請求項27】
前記出力信号（２４）は、オーディオチャネル（Ｌ、Ｒ）、例えばＬ／Ｒ、に各々関連付けられ、前記音処理装置は、前記複数の入力信号（１４）に関連付けられた直接音成分（４２）を処理するための直接音プロセッサ（１００６）を備え、前記パンナーは、前記オーディオチャネル（Ｌ、Ｒ）のうちの１つに各々関連する成分を取得するために、前記直接音成分（４２）を受信しバイノーラル化するための直接音バイノーラル化段（２６）をさらに備え、
前記音処理装置は、第１のオーディオ信号および第２のオーディオ信号を取得するために、同じオーディオチャネル（Ｌ、Ｒ）に関連する信号を結合するためのコンバイナを備える、請求項１～２６のいずれか１項に記載の音処理装置。
【請求項28】
前記出力信号（２４）は、オーディオチャネル（Ｌ、Ｒ）、例えばＬ／Ｒ、に各々関連付けられ、前記音処理装置は、前記複数の入力信号（１４）に関連付けられた後期反響成分（４６）を処理するための反響プロセッサ（１００８）を備え、前記パンナーは、前記オーディオチャネル（Ｌ、Ｒ）のうちの１つに各々関連する成分を取得するために、前記後期反響成分を受信しバイノーラル化するための反響バイノーラル化段（２６）をさらに備え、
前記音処理装置は、第１のオーディオ信号および第２のオーディオ信号を取得するために、同じオーディオチャネルに関連する信号を結合するためのコンバイナを備える、請求項１～２７のいずれか１項に記載の音処理装置。
【請求項29】
前記分散フィルタ段（１８）のちょうど２つの分散フィルタ（３８１、３８２）の使用によってすべての入力信号（１４）をフィルタリングするように構成される、請求項１～２８のいずれか１項に記載の音処理装置。
【請求項30】
前記ちょうど２つの分散フィルタ（３８１、３８２）の数は、入力信号（１４）の数とは独立であり、および／または前記複数の入力信号（１４）を提供する音源の数とは独立である、請求項２９に記載の音処理装置。
【請求項31】
前記音処理装置は、ビットストリーム（７４；７８）の一部として前記入力信号（１４）またはその基礎を受信し、前記ビットストリームの１つまたは複数のデータフィールドに基づいて前記分散フィルタ段（１８）を使用および／または構成するように構成され、前記１つまたは複数のデータフィールドは、前記分散フィルタ段（１８）の使用および／または構成の指示を含む、請求項１～３０のいずれか１項に記載の音処理装置。
【請求項32】
オーディオ信号を表す情報を含むビットストリーム（７８）を復号するためのデコーダ（８０）であって、請求項１～３１のいずれか１項に記載の音処理装置（１０）を備える、デコーダ（８０）。
【請求項33】
オーディオ信号（７２）をビットストリーム（７４）に符号化するためのエンコーダ（７０）であって、分散フィルタ処理を有効または無効にすることを可能にする情報、例えばブール値フラグと、
初期反射音に対する前記分散フィルタ処理を有効または無効にする情報、例えばブール値フラグと、
回折音に対する前記分散フィルタ処理を有効または無効にする情報、例えばブール値フラグと、
前記分散フィルタ処理に使用される分散フィルタの持続時間をシグナリングするためのパラメータを、例えばｍｓ単位で、例として０ｍｓと１００ｍｓとの間で示す情報と、
分散フィルタ利得をシグナリングするためのパラメータを示す情報と、
前記分散フィルタの空間的な広がりをシグナリングするためのパラメータを、例えば０度と±１８０度との間で示す情報と
のうちの１つまたは複数を含むように前記ビットストリーム（７４）を生成するように構成される、エンコーダ（７０）。
【請求項34】
ビットストリーム（７４；７８）であって、オーディオシーンの少なくとも１つの空間的に位置決めされた入力信号を示す情報と、
前記ビットストリームからオーディオ信号を生成するための分散フィルタの使用および／または構成の指示を含む情報を含む１つまたは複数のデータフィールドと
を含む、ビットストリーム（７４；７８）。
【請求項35】
前記１つまたは複数のデータフィールド内の前記情報は、分散フィルタ処理を有効または無効にすることを可能にする情報、例えばブール値フラグと、
初期反射音に対する前記分散フィルタ処理を有効または無効にする情報、例えばブール値フラグと、
回折音に対する前記分散フィルタ処理を有効または無効にする情報、例えばブール値フラグと、
前記分散フィルタ処理に使用される分散フィルタの持続時間をシグナリングするためのパラメータを、例えばｍｓ単位で、例として０ｍｓと１００ｍｓとの間で示す情報と、
分散フィルタ利得をシグナリングするためのパラメータを示す情報と、
前記分散フィルタの空間的な広がりをシグナリングするためのパラメータを、例えば０度と±１８０度との間で示す情報と
のうちの少なくとも１つを示す、請求項３４に記載のビットストリーム。
【請求項36】
音処理のための方法（９００）であって、複数の入力信号を空間的に位置決めし、それらを少なくとも２つの空間信号へと結合すること（９１０）と、
フィルタリングされた空間信号のセットを取得するために前記空間信号を分散フィルタリングすること（９２０）と、
前記フィルタリングされた空間信号に基づいて、いくつかの出力信号を提供すること（９３０）と
を含む、方法（９００）。
【請求項37】
オーディオシーンを符号化するための方法（１０００）であって、前記オーディオシーンから、前記オーディオシーンの少なくとも１つの空間的に位置決めされた入力信号を示す情報を生成すること（１０１０）と、
前記符号化されたオーディオシーンからオーディオ信号を生成するための分散フィルタの使用および／または構成の指示を含む情報を含む１つまたは複数のデータフィールドを提供すること（１０２０）と
を含む、方法（１０００）。
【請求項38】
コンピュータまたは信号プロセッサ上で実行されるときに請求項３６または３７に記載の方法を実施するためのコンピュータプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、フィルタリングされた空間信号に基づいて出力信号を提供するための音処理装置、およびそのような装置を備えるビットストリームを復号するためのデコーダに関する。本発明はさらに、オーディオ信号をビットストリームに符号化するためのエンコーダに関し、ビットストリームに関し、音処理のための方法、およびオーディオシーンを符号化するための方法に関する。本発明は、特に、初期反射のための分散フィルタに関する。
【背景技術】
【0002】
仮想現実（ＶＲ）または拡張現実（ＡＲ）のように、音を仮想音響環境にレンダリングする場合、音響の正確なおよび／または妥当なレンダリングが重要である。通常、仮想環境の音響挙動は、直接音、初期反射、および後期残響の挙動によって記述される。
初期反射は、鏡像法［１］を介して仮想音響リアルタイム環境で計算されることが多い。これらの鏡面反射の計算は効率的であることが知られているが、それらの音響知覚は臨場感を欠く可能性がある。この臨場感の欠如は、すべての反射面が滑らかであり、音響散乱なしで鏡面反射のみを引き起こすというアルゴリズム的仮定、または空気中の音の伝播が、例えば室内の温度差に依存する乱流または異なる伝播速度のない線形プロセスであるというアルゴリズム的仮定によって引き起こされ得る。
実際には、空気中の音響反射および音の伝播は完全に線形には挙動しない。意図的に設計されたフィルタを適用することにより、音響分散の効果は、計算の複雑さにおいて非常に妥当なコストで、初期反射シミュレーションの知覚を効率的に改善し、信憑性および臨場感を高めることができる。
初期反射は、鏡像法［１］を介して仮想音響リアルタイム環境で計算されることが多い。これらの鏡面反射の計算は効率的であることが知られているが、それらの音響知覚は臨場感を欠く可能性がある。この臨場感の欠如は、すべての反射面が滑らかであり、音響散乱なしで鏡面反射のみを引き起こすというアルゴリズム的仮定、または空気中の音の伝播が、例えば室内の温度差に依存する乱流または異なる伝播速度のない線形プロセスであるというアルゴリズム的仮定によって引き起こされ得る。
実際には、空気中の音響反射および音の伝播は完全に線形には挙動しない。意図的に設計されたフィルタを適用することにより、音響分散の効果は、計算の複雑さにおいて非常に妥当なコストで、初期反射シミュレーションの知覚を効率的に改善し、信憑性および臨場感を高めることができる。
【0003】
初期反射をシミュレートする既知の方法は以下のとおりである。
－鏡像法［１］
－粒子シミュレーション法［２］
－レイトレーシング［３］
－ビームトレーシング［４］
これらの幾何学的音響方法は、ルームシミュレーションにおける初期またはすべての反射を計算するために異なる手法を使用する。Ｇｅｒｚｏｎ［５］が既に定式化しているように、「幾何学的モデルにより部屋をモデル化する際の欠点の１つは、部屋の境界における分散効果が一般にうまくモデル化されず、これが一般に不快なカラレーションをもたらすことである」。これを改善するために、彼は２次オールパスフィルタを提案した。これは、反射ごとに１つの「オールパス」フィルタの複雑さをもたらす。
Ｍｏｏｒｅは、［６］において、指数関数的に減衰するホワイトノイズは、コンサートホールのインパルス応答に知覚的に非常に類似していると述べている。
－鏡像法［１］
－粒子シミュレーション法［２］
－レイトレーシング［３］
－ビームトレーシング［４］
これらの幾何学的音響方法は、ルームシミュレーションにおける初期またはすべての反射を計算するために異なる手法を使用する。Ｇｅｒｚｏｎ［５］が既に定式化しているように、「幾何学的モデルにより部屋をモデル化する際の欠点の１つは、部屋の境界における分散効果が一般にうまくモデル化されず、これが一般に不快なカラレーションをもたらすことである」。これを改善するために、彼は２次オールパスフィルタを提案した。これは、反射ごとに１つの「オールパス」フィルタの複雑さをもたらす。
Ｍｏｏｒｅは、［６］において、指数関数的に減衰するホワイトノイズは、コンサートホールのインパルス応答に知覚的に非常に類似していると述べている。
【0004】
図１１は、初期反射にオールパスフィルタリングを適用する全体的なアーキテクチャを示す。具体的には、オールパスフィルタまたは分散フィルタＤＦ１００２が各初期反射ＥＲ１００４について使用され、各オールパスフィルタ１００２は、音源から空気および反射面を経由してリスナへ向かう途中でこの初期反射１００４に発生する（時間的）分散効果をモデル化する。異なる分散強度での材料上の反射は、異なる分散量を有するオールパスフィルタ１００２を適用することによってモデル化することができる。このようにして、各初期反射１００４の分散効果の個々のモデル化が達成され、オールパスフィルタ処理の複雑さは、考慮される初期反射の数とともに線形に増大する。これは、システムにかなりの計算複雑性をもたらす可能性がある。
少数のｎ個の初期反射に必要ないくつかのｎ個の分散フィルタを示す図１１に示すバイノーラル再生のための分散フィルタリングの既知の使用は、直接音プロセッサ１００６および後期残響／反響プロセッサ１００８をさらに備える。バイノーラル化フィルタ１０１２は、スピーカ１０１６に信号を提供するためにコンバイナ１０１４１、１０１４２に入力を提供するように適合される。
したがって、初期反射フィルタリングを効率的に提供する必要がある。
少数のｎ個の初期反射に必要ないくつかのｎ個の分散フィルタを示す図１１に示すバイノーラル再生のための分散フィルタリングの既知の使用は、直接音プロセッサ１００６および後期残響／反響プロセッサ１００８をさらに備える。バイノーラル化フィルタ１０１２は、スピーカ１０１６に信号を提供するためにコンバイナ１０１４１、１０１４２に入力を提供するように適合される。
したがって、初期反射フィルタリングを効率的に提供する必要がある。
【発明の概要】
【発明が解決しようとする課題】
【0005】
そこで、本発明の目的は、音処理装置、ビットストリームを復号するためのデコーダ、オーディオ信号をビットストリームに符号化するためのエンコーダ、ビットストリーム、および対応する方法を提供し、初期反射フィルタリングを効率的に提供することにある。
【課題を解決するための手段】
【0006】
この目的は、独立請求項に規定される主題によって達成される。
本発明の発見は、例えば、同じ壁材料に当たるために、各初期反射について類似する分散特性が類似するという仮定に基づいて、（同一の）オールパスフィルタ、バイノーラル化段および加算／結合の順序は、すべて線形系であるために入れ替えることができるということである。実施形態は、例えば初期反射からの空間信号を提供し、それらの空間信号を分散フィルタ段に提供することによって、分散フィルタの数を、例えば初期反射における入力信号の数の代わりに空間信号の数に関連付けることができるという知見に関する。これにより、比較的少数の分散フィルタを使用することが可能であり、初期反射フィルタリングを効率的に提供することが可能になる。
本発明の発見は、例えば、同じ壁材料に当たるために、各初期反射について類似する分散特性が類似するという仮定に基づいて、（同一の）オールパスフィルタ、バイノーラル化段および加算／結合の順序は、すべて線形系であるために入れ替えることができるということである。実施形態は、例えば初期反射からの空間信号を提供し、それらの空間信号を分散フィルタ段に提供することによって、分散フィルタの数を、例えば初期反射における入力信号の数の代わりに空間信号の数に関連付けることができるという知見に関する。これにより、比較的少数の分散フィルタを使用することが可能であり、初期反射フィルタリングを効率的に提供することが可能になる。
【0007】
一実施形態によれば、音処理装置は、複数の入力信号を空間的に位置決めし、それらを少なくとも２つの空間信号へと結合するためのパンナーを備える。音処理装置は、空間信号を受信し、フィルタリングされた空間信号のセットを取得するために空間信号を分散フィルタリングするための分散フィルタ段を備える。音処理装置は、フィルタリングされた空間信号に基づいていくつかの入力信号を提供するためのインターフェースを備える。
一実施形態によれば、オーディオ信号を表す情報を含むビットストリームを復号するためのデコーダは、一実施形態による音処理装置を備える。これにより、ビットストリームからオーディオ信号を効率的に提供することができる。
一実施形態によれば、オーディオ信号を表す情報を含むビットストリームを復号するためのデコーダは、一実施形態による音処理装置を備える。これにより、ビットストリームからオーディオ信号を効率的に提供することができる。
【0008】
一実施形態によれば、オーディオ信号をビットストリームに符号化するためのエンコーダは、分散フィルタ処理を有効または無効にすることを可能にする情報と、初期反射音に対する分散フィルタ処理を有効または無効にする情報と、分散フィルタ処理または回折音を有効または無効にする情報と、分散フィルタ処理に使用される分散フィルタのインパルス応答の持続時間をシグナリングするためのパラメータを示す情報と、分散フィルタ利得をシグナリングするためのパラメータを示す情報と、分散フィルタの空間的な広がりをシグナリングするためのパラメータを示す情報とのうちの１つまたは複数を含むようにビットストリームを生成するように構成される。これにより、正確に復号されるビットストリームを効率的に提供することができる。
【0009】
一実施形態によれば、ビットストリームは、オーディオシーンの少なくとも１つの空間位置入力信号を示す情報と、ビットストリームからオーディオ信号を生成するための分散フィルタの使用および／または構成の指示を含む情報を含む１つまたは複数のデータフィールドとを含む。
一実施形態によれば、音処理のための方法は、複数の入力信号を空間的に位置決めし、それらを少なくとも２つの空間信号へと結合することと、フィルタリングされた空間信号のセットを取得するために空間信号を分散フィルタリングすることと、フィルタリングされた空間信号に基づいて、いくつかの出力信号を提供することとを含む。
一実施形態によれば、オーディオシーンを符号化するための方法は、オーディオシーンから、オーディオシーンの少なくとも１つの空間的に位置決めされた入力信号を示す情報を生成することを含む。方法は、例えばビットストリームに挿入されるべき、符号化されたオーディオシーンからオーディオ信号を生成するための分散フィルタの使用および／または構成の指示を含む情報を含む１つまたは複数のデータフィールドを提供することを含む。
さらなる実施形態は、そのような方法を表すためのコンピュータプログラムに関する。
本発明のさらなる有利な実施形態は、従属請求項に規定される。
本発明の有利な実施態様は、添付の図面を参照しながら本明細書で説明される。
一実施形態によれば、音処理のための方法は、複数の入力信号を空間的に位置決めし、それらを少なくとも２つの空間信号へと結合することと、フィルタリングされた空間信号のセットを取得するために空間信号を分散フィルタリングすることと、フィルタリングされた空間信号に基づいて、いくつかの出力信号を提供することとを含む。
一実施形態によれば、オーディオシーンを符号化するための方法は、オーディオシーンから、オーディオシーンの少なくとも１つの空間的に位置決めされた入力信号を示す情報を生成することを含む。方法は、例えばビットストリームに挿入されるべき、符号化されたオーディオシーンからオーディオ信号を生成するための分散フィルタの使用および／または構成の指示を含む情報を含む１つまたは複数のデータフィールドを提供することを含む。
さらなる実施形態は、そのような方法を表すためのコンピュータプログラムに関する。
本発明のさらなる有利な実施形態は、従属請求項に規定される。
本発明の有利な実施態様は、添付の図面を参照しながら本明細書で説明される。
【図面の簡単な説明】
【0010】
【図1】一実施形態による音処理装置の概略ブロック図である。
【図2】一実施形態による音処理装置の概略ブロック図を示し、音処理装置は、直接音プロセッサと、後期残響プロセッサとを備える。
【図3】一実施形態による信号フローの概略図である。
【図4】いくつかの実施形態で使用する頭部伝達関数を説明するための、人間の耳チャネル内のエコーチャンバ内の頭部コヒーレンス測定値を示す図である。
【図5】一実施形態による音処理装置の概略ブロック図を示し、音処理装置は、仮想スピーカプロセッサを有するパンナーを備える。
【図6】いくつかのスピーカに接続され得る一実施形態による音処理装置の概略ブロック図である。
【図7】一実施形態によるエンコーダの概略ブロック図である。
【図8】一実施形態によるデコーダの概略ブロック図である。
【図9】一実施形態による音処理のための方法の概略フローチャートである。
【図10】オーディオシーンを符号化するために使用され得る一実施形態による方法の概略フローチャートである。
【図11】初期反射にオールパスフィルタリングを適用する全体的なアーキテクチャを示す図である。
【発明を実施するための形態】
【0011】
同等もしくは等価な要素、または同等もしくは等価な機能を有する要素は、異なる図で発生する場合であっても、以下の説明では同等または等価な参照番号で示される。
以下の説明では、本発明の実施形態のより完全な説明を提供するために、複数の詳細が記載される。しかしながら、本発明の実施形態がこれらの具体的な詳細なしに実施され得ることは、当業者には明らかであろう。他の例では、本発明の実施形態を不明瞭にすることを避けるために、周知の構造およびデバイスが詳細ではなくブロック図形式で示されている。さらに、以下に説明する異なる実施形態の特徴は、特に明記しない限り、互いに組み合わせてもよい。
以下の説明では、本発明の実施形態のより完全な説明を提供するために、複数の詳細が記載される。しかしながら、本発明の実施形態がこれらの具体的な詳細なしに実施され得ることは、当業者には明らかであろう。他の例では、本発明の実施形態を不明瞭にすることを避けるために、周知の構造およびデバイスが詳細ではなくブロック図形式で示されている。さらに、以下に説明する異なる実施形態の特徴は、特に明記しない限り、互いに組み合わせてもよい。
【0012】
図１は、一実施形態による音処理装置１０の概略ブロック図を示す。音処理装置１０は、ｎ＞１である複数の入力信号１４１～１４ｎの空間的位置決めのためのパンナー１２を備える。入力信号は、例えば、オーディオシーンの初期反射および／または回折音源を含んでもよい。実施形態によれば、初期反射ＥＲの数は、靴箱形の部屋などの場合の例えば１次の少なくとも２つのＥＲ、少なくとも６つのＥＲの一定数または可変数であってもよいが、複雑な形状の部屋の高次ＥＲの場合は１００個程度またはより多数の任意の他の数のＥＲであってもよい。初期反射は、各直接音源ごとに個別であることができ、または直接音の数とは無関係の一般的なパターンであることができる。
パンナー１２は、入力信号を少なくとも２つの空間信号１６１および１６２へと結合するように構成される。例えば、空間信号１６１および１６２は、ヘッドフォンなどのステレオシステム向けの左／右信号に関連してもよい。より多数の空間信号は、より高次の空間シーンを表し得る。
音処理装置は、空間信号１６１および１６２またはそれらから導出された信号を受信し、フィルタリングされた空間信号２２１および２２２のセットを取得するために空間信号１６１および１６２を分散フィルタリングするための分散フィルタ段１８を備える。フィルタリングされた空間信号２２の数は、場合によるが必然的に空間信号１６の数に等しい。
パンナー１２は、入力信号を少なくとも２つの空間信号１６１および１６２へと結合するように構成される。例えば、空間信号１６１および１６２は、ヘッドフォンなどのステレオシステム向けの左／右信号に関連してもよい。より多数の空間信号は、より高次の空間シーンを表し得る。
音処理装置は、空間信号１６１および１６２またはそれらから導出された信号を受信し、フィルタリングされた空間信号２２１および２２２のセットを取得するために空間信号１６１および１６２を分散フィルタリングするための分散フィルタ段１８を備える。フィルタリングされた空間信号２２の数は、場合によるが必然的に空間信号１６の数に等しい。
【0013】
一実施形態によれば、分散フィルタ段１８は、分散フィルタリングを提供するために、図１１に示すフィルタ１００２などの少なくとも１つの分散フィルタを備える。分散フィルタは、オールパスフィルタを備えてもよく、またはオールパスフィルタとして実装されてもよい。代替的または追加的に、分散フィルタ段１８は、有限インパルス応答（ＦＩＲ）フィルタおよび／または無限インパルス応答（ＩＩＲ）フィルタである少なくとも１つの分散フィルタを備えてもよい。それらの構成の各々は、一実施形態による音処理装置において動作するように適宜適合されてよい。
入力信号１４は、例えば、ビットストリームから受信されてもよく、および／または、例えば音処理装置１０の一部を形成するレンダラまたは本明細書に記載の異なる音処理装置によって提供されてもよく、レンダラは、複数の入力信号を提供するように構成される。例えば、音処理装置１０は、直接音成分および反響音成分を提供するように構成されてもよい。図２および／または図５に示すように、このような直接音成分４２および／または反響音成分４６は、分散フィルタ段１８から排除されてもよい。しかしながら、例えば図６に示すように、これらの成分はまた、パンナーに供給されてもよく、少なくとも間接的に分散フィルタに供給されてもよい。
入力信号１４は、例えば、ビットストリームから受信されてもよく、および／または、例えば音処理装置１０の一部を形成するレンダラまたは本明細書に記載の異なる音処理装置によって提供されてもよく、レンダラは、複数の入力信号を提供するように構成される。例えば、音処理装置１０は、直接音成分および反響音成分を提供するように構成されてもよい。図２および／または図５に示すように、このような直接音成分４２および／または反響音成分４６は、分散フィルタ段１８から排除されてもよい。しかしながら、例えば図６に示すように、これらの成分はまた、パンナーに供給されてもよく、少なくとも間接的に分散フィルタに供給されてもよい。
【0014】
一実施形態によれば、分散フィルタ段１８の少なくとも１つの分散フィルタは、時変フィルタ特性を含んでもよく、例えば、ノイズ系列の低周波時間変調を使用して、より複雑で自然な／生き生きとした音分散特性を達成することができる。
音処理装置は、インターフェース、例えば、いくつかの少なくとも１つの出力信号２４を提供するように構成された有線、無線、電気、光学、または他のタイプのインターフェース２４を備え、少なくとも１つの出力信号２４は、フィルタリングされた空間信号２２１、２２２に基づく。例えば、出力信号２４は、異なる音再生システムに関連して、オーディオチャネル、例えばステレオシステムの左チャネルもしくは右チャネル、または異なるチャネルを含んでもよく、またはそれらと関連付けられてもよい。
一実施形態によれば、入力信号１４１～１４ｎは、オーディオシーンの少なくとも１つの初期反射信号および／または少なくとも１つの異なる音信号を含んでもよい。
音処理装置は、インターフェース、例えば、いくつかの少なくとも１つの出力信号２４を提供するように構成された有線、無線、電気、光学、または他のタイプのインターフェース２４を備え、少なくとも１つの出力信号２４は、フィルタリングされた空間信号２２１、２２２に基づく。例えば、出力信号２４は、異なる音再生システムに関連して、オーディオチャネル、例えばステレオシステムの左チャネルもしくは右チャネル、または異なるチャネルを含んでもよく、またはそれらと関連付けられてもよい。
一実施形態によれば、入力信号１４１～１４ｎは、オーディオシーンの少なくとも１つの初期反射信号および／または少なくとも１つの異なる音信号を含んでもよい。
【0015】
図２は、一実施形態による音処理装置の概略ブロック図を示す。音処理装置２０は、図１１に関連して説明したように、バイノーラル化フィルタ１０１２１に接続された直接音プロセッサ１００６を備えてもよい。直接音プロセッサは、直接音成分を処理するように構成されてもよい。音処理装置２０は、図１１に関連して説明したように、バイノーラル化フィルタ１０１２２に接続された後期残響プロセッサ１００８をさらに備えてもよい。後期残響プロセッサは、オーディオシーンの後期残響成分を処理するように構成されてもよい。
実施形態によれば、音処理装置１０で使用され得るパンナー１２１は、バイノーラル化段２６１および２６２を備えてもよい。バイノーラル化段２６１および２６２の各々は、例えば初期反射（ＥＲ）であるｎ個の入力信号の入力信号１４１～１４ｎのうちの１つを受信するように構成されてもよい。バイノーラル化段２６１および２６２は、図１１のバイノーラル化フィルタと同様に適合されてもよいが、それらは実施形態による入力信号に接続され、一方、図１１は、バイノーラル化フィルタがそれらの入力を分散フィルタから受信する構成を示す。
実施形態によれば、音処理装置１０で使用され得るパンナー１２１は、バイノーラル化段２６１および２６２を備えてもよい。バイノーラル化段２６１および２６２の各々は、例えば初期反射（ＥＲ）であるｎ個の入力信号の入力信号１４１～１４ｎのうちの１つを受信するように構成されてもよい。バイノーラル化段２６１および２６２は、図１１のバイノーラル化フィルタと同様に適合されてもよいが、それらは実施形態による入力信号に接続され、一方、図１１は、バイノーラル化フィルタがそれらの入力を分散フィルタから受信する構成を示す。
【0016】
バイノーラル化段２６１および２６２は、それぞれの第１のバイノーラル化チャネル２８１，１、２８ｎ，１をそれぞれ、および第２のバイノーラル化チャネル２８１，２、２８ｎ，２をそれぞれ取得するために、受信された入力信号１４１～１４ｎをバイノーラル化するように構成されてもよい。なお、バイノーラル化は、ステレオ方式用のオーディオ信号を提供する一例である。多数のチャネルまたはスピーカが使用される場合、バイノーラル化は、より多数のチャネル２８を提供するように制限なく拡張されてもよい。
パンナー１２１は、結合段３４１および３４２などの１つまたは複数の結合段を有するコンバイナ３２を備えてもよく、一方では例えばコンバイナ段３４１を使用することによってそれぞれの第１のバイノーラル化チャネル２８１，１および２８ｎ，１の結合を提供し、他方では例えばコンバイナ段３４２を使用することによってそれぞれの第２のバイノーラル化チャネル２８１，２および２８ｎ，２の結合を提供するように各々構成される。これは、空間信号１６１および１６２の少なくとも基礎を形成し得る。それにより、各空間信号１６１および１６２は、バイノーラル化段２６１および２６ｎによって提供される対応するまたは関連付けられたバイノーラル化チャネルのそれぞれの結合に基づいてもよい。
パンナー１２１は、結合段３４１および３４２などの１つまたは複数の結合段を有するコンバイナ３２を備えてもよく、一方では例えばコンバイナ段３４１を使用することによってそれぞれの第１のバイノーラル化チャネル２８１，１および２８ｎ，１の結合を提供し、他方では例えばコンバイナ段３４２を使用することによってそれぞれの第２のバイノーラル化チャネル２８１，２および２８ｎ，２の結合を提供するように各々構成される。これは、空間信号１６１および１６２の少なくとも基礎を形成し得る。それにより、各空間信号１６１および１６２は、バイノーラル化段２６１および２６ｎによって提供される対応するまたは関連付けられたバイノーラル化チャネルのそれぞれの結合に基づいてもよい。
【0017】
分散フィルタ段１８は、フィルタリングされた出力信号２２１および２２２を提供するように構成された分散フィルタ３８１および３８２を備えてもよい。
ｎ個の入力信号に対してｎ個のバイノーラル化段２６を使用するが、本発明を実施することによって、より少ない数の分散フィルタ３８、例えば、出力信号の数に対応する数の分散フィルタ段、フィルタ出力信号２４１、２４２の使用が可能である。図２に示す実施形態では、音処理装置２０は、分散フィルタ段１８のちょうど２つの分散フィルタ３８１および３８２のｎ個の入力信号すべてをフィルタリングするように構成されてもよい。一実施形態によれば、ちょうど２つの分散フィルタ３８１および３８２の数は、入力信号１４１～１４ｎの数とは独立であってもよく、および／または複数の入力信号１４１～１４ｎを提供する音源の数とは独立であってもよい。
ｎ個の入力信号に対してｎ個のバイノーラル化段２６を使用するが、本発明を実施することによって、より少ない数の分散フィルタ３８、例えば、出力信号の数に対応する数の分散フィルタ段、フィルタ出力信号２４１、２４２の使用が可能である。図２に示す実施形態では、音処理装置２０は、分散フィルタ段１８のちょうど２つの分散フィルタ３８１および３８２のｎ個の入力信号すべてをフィルタリングするように構成されてもよい。一実施形態によれば、ちょうど２つの分散フィルタ３８１および３８２の数は、入力信号１４１～１４ｎの数とは独立であってもよく、および／または複数の入力信号１４１～１４ｎを提供する音源の数とは独立であってもよい。
【0018】
直接音プロセッサ１００６および／または後期残響プロセッサ１００８が音処理装置２０の一部を形成する場合、フィルタリングされた空間信号２２１および２２２をバイノーラル化フィルタ１０１２１および１０１２２のそれぞれのチャネルと結合するために、コンバイナ１０１４１および１０１４２が使用されてもよい。
直接音プロセッサ１００６は、直接音チャネル４４１および４４２を提供するバイノーラル化フィルタ１０１２１の入力を形成する直接音信号４２を提供してもよい。例えば、左Ｌおよび右Ｒチャネルを有するステレオシステムなどのスピーカ設備１０１６による。後期残響プロセッサ１００８は、同じくスピーカ設備１０１６による後期残響チャネル４８１および４８２を導出するためにバイノーラル化フィルタ１０１２２に供給され得る後期残響信号４６を提供してもよい。
直接音プロセッサ１００６は、直接音チャネル４４１および４４２を提供するバイノーラル化フィルタ１０１２１の入力を形成する直接音信号４２を提供してもよい。例えば、左Ｌおよび右Ｒチャネルを有するステレオシステムなどのスピーカ設備１０１６による。後期残響プロセッサ１００８は、同じくスピーカ設備１０１６による後期残響チャネル４８１および４８２を導出するためにバイノーラル化フィルタ１０１２２に供給され得る後期残響信号４６を提供してもよい。
【0019】
本明細書に記載の実施形態の一態様は、個々の反射ではなく、耳信号和に適用される既知の分散フィルタを使用することである。実施形態はまた、ステレオ効果が扱われる方法に関する。この意図された目的を有する、信号処理チェーン内のこの位置における所与の相関を有するフィルタの設計（図４参照）は、既知の構造とは異なる。
換言すれば、図２は、２つのフィルタのみが必要なバイノーラル再生における初期反射処理のための分散フィルタリングの本発明の使用を示している。フィルタの適用に関して、好ましい実施形態の１つおよび初期反射信号に分散フィルタリングを適用する可能性。具体的には、各初期反射１４は、最初に、例えば適切な頭部伝達関数ＨＲＴＦを使用して、それらの入射の方向を反映してバイノーラル化され、次いで左右の耳のバイノーラルは、１対の分散フィルタを介して供給される。これは、分散フィルタリングによって追加される計算複雑度をｎ／２倍に低減する可能性があり、ここでｎは初期反射の数であり、すなわち、低減は考慮される初期反射の数とともに増大する。
換言すれば、図２は、２つのフィルタのみが必要なバイノーラル再生における初期反射処理のための分散フィルタリングの本発明の使用を示している。フィルタの適用に関して、好ましい実施形態の１つおよび初期反射信号に分散フィルタリングを適用する可能性。具体的には、各初期反射１４は、最初に、例えば適切な頭部伝達関数ＨＲＴＦを使用して、それらの入射の方向を反映してバイノーラル化され、次いで左右の耳のバイノーラルは、１対の分散フィルタを介して供給される。これは、分散フィルタリングによって追加される計算複雑度をｎ／２倍に低減する可能性があり、ここでｎは初期反射の数であり、すなわち、低減は考慮される初期反射の数とともに増大する。
【0020】
図３は、信号フロー３０の概略図を示し、さらに、本明細書に記載の実施形態の重要な、またはさらには本質的な部分を形成し得る分散フィルタの生成を視覚化しており、その部分は、いくつかの知覚基準を満たすように設計される。分散フィルタの生成は、実施形態によれば、オーディオ処理装置の開始時またはセットアップ時に有用であり得るが、例えばフィルタの更新としての動作中にも有用であり得る。
レンダラ５４は、チャネル１４１、１４２；４４１、４４２；４８１および４８２の生成を提供してもよい。レンダラ５４は、本明細書に記載の音処理装置の一部、一実施形態による符号化ビットストリームを提供するエンコーダの一部、および／または一実施形態による符号化ビットストリームを復号するデコーダの一部を形成してもよい。
レンダラ５４は、チャネル１４１、１４２；４４１、４４２；４８１および４８２の生成を提供してもよい。レンダラ５４は、本明細書に記載の音処理装置の一部、一実施形態による符号化ビットストリームを提供するエンコーダの一部、および／または一実施形態による符号化ビットストリームを復号するデコーダの一部を形成してもよい。
【0021】
分散フィルタ生成ユニット５６、すなわち、分散フィルタ段１８の分散フィルタ３８のうちの１つまたは複数の特性および／または設定および／またはパラメータを決定するエンティティは、例えば、１つまたは複数の制御パラメータ５８に基づいて、分散フィルタ処理５２を制御するように適合されてもよい。分散フィルタジェネレータ５６は、本明細書に記載のエンコーダ、デコーダ、および／または音処理装置、例えば音処理装置１０および／または２０の一部であってもよい。すなわち、本明細書に記載の音処理装置は、分散フィルタ段の少なくとも１つの分散フィルタを生成および／または更新するように構成された分散フィルタジェネレータ５６を備えてもよい。
【0022】
図３では、分散フィルタ処理５２を用いた、分散フィルタ生成を含むバイノーラル再生のための初期反射信号の分散フィルタリングを示している。図３に示すように、例えば入力信号１４１および１４２を形成する、バイノーラル化された初期反射ＥＲ成分に、分散フィルタ処理５２を適用すれば十分であり得る。これは、例えば、音処理装置１０および／または２０内の分散フィルタ段１８を使用することによって実施されてもよい。
【0023】
分散フィルタ処理５２をバイノーラル化ＥＲ成分にのみ適用すれば十分であり得、これは、いくつかの実施形態によれば、分散フィルタ処理５２を直接音チャネル４４１、４４２および後期残響チャネル４８１および４８２に適用しないように解釈され得る。このようにして、直接経路内の過渡音は不鮮明にならず、聴取者の知覚に関して「クリーン」なままであり得る。さらに、音源または初期反射の数とは独立に、（バイノーラル化に基づく）２個のフィルタリング動作のみが必要とされる。スピーカ設備に対してより多くの数の空間信号が生成される場合、２つの分散フィルタの数は、対応して増加し得るが、ｎ個の入力信号の各々に対してＤＦを提供することと比較した場合、依然として比較的低いままである。
しかしながら、本明細書に記載された実施形態のいくつかは、本発明の分散フィルタによる初期反射音成分の扱いに関連して記載されているが、それに関連して記載されたすべての利点は、回折音ＤＳ成分にも適用することができる。したがって、初期反射処理を示す初期反射に関する実施形態および例示的な図、例えば図２は、回折音の処理に加えて、または代替として適用可能であると理解されるべきである。
しかしながら、本明細書に記載された実施形態のいくつかは、本発明の分散フィルタによる初期反射音成分の扱いに関連して記載されているが、それに関連して記載されたすべての利点は、回折音ＤＳ成分にも適用することができる。したがって、初期反射処理を示す初期反射に関する実施形態および例示的な図、例えば図２は、回折音の処理に加えて、または代替として適用可能であると理解されるべきである。
【0024】
好ましい実施形態では、初期反射のための音響分散フィルタの設計は、例えば、レンダラの初期化段階中に１回生成することができる、Ｌチャネルのために１つ、およびＲチャネルのために１つの、２つの窓化されたホワイトノイズ系列に基づくＦＩＲフィルタ構造である。これは、フィルタを再生成すること、またはフィルタを後で更新することを除外するものではない。これらのＬおよびＲノイズ系列は、少なくとも平均して平坦な周波数応答／スペクトルを有してもよく、初期反射信号の時間的なスミアリング、すなわち分散を提供してもよい。それらは、以下の入力パラメータまたは制御パラメータ５８のうちの１つまたは複数に基づいて設計されてもよい。
・分散フィルタによって提供される時間的な広がりの量を決定する長さ、
・例えば、チャネル間相互相関の程度を変更するための高レベル制御による空間的な広がり、および／または
・利得値
例えば、ＬおよびＲチャネルノイズ系列は、
・ＬチャネルおよびＲチャネルのための同一の窓化されたホワイトノイズ系列（時間的スミアリング）、または
・知覚基準に従って明確に定義／制御された（高い）相関を有する２つのホワイトノイズ系列（時空間スミアリング）
のいずれかであってもよい。
・分散フィルタによって提供される時間的な広がりの量を決定する長さ、
・例えば、チャネル間相互相関の程度を変更するための高レベル制御による空間的な広がり、および／または
・利得値
例えば、ＬおよびＲチャネルノイズ系列は、
・ＬチャネルおよびＲチャネルのための同一の窓化されたホワイトノイズ系列（時間的スミアリング）、または
・知覚基準に従って明確に定義／制御された（高い）相関を有する２つのホワイトノイズ系列（時空間スミアリング）
のいずれかであってもよい。
【0025】
分散フィルタジェネレータに関して、一実施形態によれば、それは、第１の空間信号、例えば左信号または右信号のための第１の分散フィルタとして分散フィルタを生成するように構成されてもよい。音処理装置は、少なくとも許容範囲内で、かつ互いに対して異なる相関度を有する、同じエネルギーの記憶されたノイズ信号のセットを記憶したメモリを備えてもよい。音処理装置は、記憶されたノイズ信号から、ノイズ系列の基礎として選択するように構成されてもよい。すなわち、実施形態によれば、分散フィルタ段の分散フィルタは、窓化されたノイズ系列に基づく。例えば、窓化ノイズ系列は、ホワイトノイズ系列に基づくか、またはそれに対応する。したがって、分散フィルタ段の異なる分散フィルタは、同一の窓化されたノイズ系列、または知覚基準に従って所定の相関を有する異なるノイズ系列に基づいてもよい。
【0026】
一実施形態によれば、音処理装置は、
・ノイズ信号が同一のまたは弱く脱相関した系列であるという特性と、
・系列の長さを示す、ビットストリーム内のビットストリームパラメータとして受信されるパラメータなどのパラメータと、
・脱相関または空間的な広がりの強さを示すパラメータ、例えばビットストリーム内のビットストリームパラメータとして受信されるパラメータと、
・小さい前面開口を有する音源の両耳間相互相関（ＩＡＣＣ）に関連する、例えばビットストリーム内のビットストリームパラメータとして受信される、パラメータと
のうちの少なくとも１つに基づいてノイズ信号を取得するように構成されてもよい。
例えば、分散フィルタジェネレータは、例えばＩＡＣＣに基づいて取得される周波数依存フィルタ脱相関を有する少なくとも２つの分散フィルタを生成するように構成されてもよい。好ましくは、少なくとも許容範囲内で、異なるノイズ系列は等しいエネルギーレベルを備える。
・ノイズ信号が同一のまたは弱く脱相関した系列であるという特性と、
・系列の長さを示す、ビットストリーム内のビットストリームパラメータとして受信されるパラメータなどのパラメータと、
・脱相関または空間的な広がりの強さを示すパラメータ、例えばビットストリーム内のビットストリームパラメータとして受信されるパラメータと、
・小さい前面開口を有する音源の両耳間相互相関（ＩＡＣＣ）に関連する、例えばビットストリーム内のビットストリームパラメータとして受信される、パラメータと
のうちの少なくとも１つに基づいてノイズ信号を取得するように構成されてもよい。
例えば、分散フィルタジェネレータは、例えばＩＡＣＣに基づいて取得される周波数依存フィルタ脱相関を有する少なくとも２つの分散フィルタを生成するように構成されてもよい。好ましくは、少なくとも許容範囲内で、異なるノイズ系列は等しいエネルギーレベルを備える。
【0027】
入力パラメータからのパラメータ長は、例えば、少なくとも１０ｍｓから高々２０ｍｓの範囲内のＦＩＲフィルタ長を規定してもよい。あるいは、窓関数の勾配も、分散フィルタ長を制御するために使用することができる。
初期反射に所望の追加の周波数応答を適用するために、非ホワイトノイズ系列も使用され得ることに留意されたい。これは、関連する追加の計算コストなしに取得され得る。
空間分散効果は、２つのフィルタ間の慎重に規定されたわずかな脱相関によって達成され得る。完全に無相関のフィルタは、完全に無相関の耳信号をもたらす可能性がある。これは、不自然な効果であるため、望ましくない可能性がある効果であり、完全に拡散した音場であっても、実際のバイノーラル信号、例えばダミーヘッドから記録されたバイノーラル信号の両耳間相関は、頭部の直径よりも大きい波長のために低周波数で高い相関を有し、例えば図４を参照されたく、完全な脱相関は音の定位を禁止し、知覚アーチファクトを導入する可能性がある。
初期反射に所望の追加の周波数応答を適用するために、非ホワイトノイズ系列も使用され得ることに留意されたい。これは、関連する追加の計算コストなしに取得され得る。
空間分散効果は、２つのフィルタ間の慎重に規定されたわずかな脱相関によって達成され得る。完全に無相関のフィルタは、完全に無相関の耳信号をもたらす可能性がある。これは、不自然な効果であるため、望ましくない可能性がある効果であり、完全に拡散した音場であっても、実際のバイノーラル信号、例えばダミーヘッドから記録されたバイノーラル信号の両耳間相関は、頭部の直径よりも大きい波長のために低周波数で高い相関を有し、例えば図４を参照されたく、完全な脱相関は音の定位を禁止し、知覚アーチファクトを導入する可能性がある。
【0028】
図４は、測定された実部を示すための曲線６２ｒと、測定された虚部およびそれらの近似されたコヒーレンス６２ｃを表すための曲線６２ｉとを示す、人間の耳チャネル内のエコーチャンバ内の頭部コヒーレンス測定値を示し、［７］を参照されたい。横軸は周波数をヘルツ単位で示し、縦軸はコヒーレンスを表す。
一実施形態によれば、分散フィルタ段は、１対の空間信号１６１および１６２をフィルタリングするための少なくとも１対の分散フィルタを備えてもよく、異なる分散フィルタは、例えば、両耳間相互相関（ＩＡＣＣ）に基づいて取得され得る周波数依存フィルタ脱相関を含む。周波数依存フィルタ脱相関の程度は、ＩＡＣＣを使用して、例えば分散フィルタジェネレータ５６によってモデル化されてもよく、本発明の好ましい実施形態では、例えば完全なパラメータ５８の少なくとも一部を形成する空間的広がりパラメータを介して設定されることができる。すなわち、分散フィルタジェネレータは、例えばＩＡＣＣに基づいて得られる、周波数依存フィルタ相関を有する第１の分散フィルタおよび第２の分散フィルタを生成するように構成されてもよい。例えば、２つの（ＬおよびＲ）ノイズ系列間の周波数依存相互相関は、リスナに対する特定の開口角内に分布する２つ以上の前面音源によって作成される周波数依存ＩＡＣＣ目標値、例えば、±４°方位角で２つの音源によってリスナの耳で引き起こされる（脱）相関に基づいて設定できる。０の値の空間的広がりは、完全に相関する系列と見なされ得る２つの等しいノイズ系列を生成し得る。空間的広がりの値を増加させると、２つのノイズ系列間の相互相関が徐々に減少する。全体的な概念を変更することなく、弱く脱相関化したホワイトノイズ系列を生成するための他の手法を適用することができる。例えば、バイノーラル化された初期反射の和のコヒーレンスを使用して、所望のコヒーレンスが達成されるように分散フィルタのコヒーレンスを調整してもよい。
一実施形態によれば、分散フィルタ段は、１対の空間信号１６１および１６２をフィルタリングするための少なくとも１対の分散フィルタを備えてもよく、異なる分散フィルタは、例えば、両耳間相互相関（ＩＡＣＣ）に基づいて取得され得る周波数依存フィルタ脱相関を含む。周波数依存フィルタ脱相関の程度は、ＩＡＣＣを使用して、例えば分散フィルタジェネレータ５６によってモデル化されてもよく、本発明の好ましい実施形態では、例えば完全なパラメータ５８の少なくとも一部を形成する空間的広がりパラメータを介して設定されることができる。すなわち、分散フィルタジェネレータは、例えばＩＡＣＣに基づいて得られる、周波数依存フィルタ相関を有する第１の分散フィルタおよび第２の分散フィルタを生成するように構成されてもよい。例えば、２つの（ＬおよびＲ）ノイズ系列間の周波数依存相互相関は、リスナに対する特定の開口角内に分布する２つ以上の前面音源によって作成される周波数依存ＩＡＣＣ目標値、例えば、±４°方位角で２つの音源によってリスナの耳で引き起こされる（脱）相関に基づいて設定できる。０の値の空間的広がりは、完全に相関する系列と見なされ得る２つの等しいノイズ系列を生成し得る。空間的広がりの値を増加させると、２つのノイズ系列間の相互相関が徐々に減少する。全体的な概念を変更することなく、弱く脱相関化したホワイトノイズ系列を生成するための他の手法を適用することができる。例えば、バイノーラル化された初期反射の和のコヒーレンスを使用して、所望のコヒーレンスが達成されるように分散フィルタのコヒーレンスを調整してもよい。
【0029】
（２つの空間チャネルを有する例では）２つのホワイトノイズ系列は、少なくとも許容範囲内で等しいエネルギーを有してもよく、調整可能な減衰時間を有する窓関数によって重み付けされてもよい。窓関数は、減衰特性、例えば指数関数的に減衰する特性を示してもよい。減衰時間は、分散効果処理に提供される制御パラメータ、すなわち図３の制御パラメータ５８のうちの少なくとも１つを形成してもよい。
減衰窓関数をノイズ系列に適用することにより、離散的な初期反射鏡像に信号を一時的にぼかす、コンパクトであるが密集したＦＩＲフィルタ係数セットを作成してもよい。
２つの重み付きノイズ系列は、エネルギー保存的であるように正規化されてもよい。このようにして、信号の適性に望ましくない影響を与えることなく、時間的分散の量を制御することができる。代替的または追加的に、追加の全体的なフィルタ利得は、制御パラメータ５８として提供される利得パラメータを使用して設定することができる。一実施形態によれば、音処理装置は、エネルギー保存的であってもよく、および／またはフィルタ利得を考慮して調整可能であってもよい。
減衰窓関数をノイズ系列に適用することにより、離散的な初期反射鏡像に信号を一時的にぼかす、コンパクトであるが密集したＦＩＲフィルタ係数セットを作成してもよい。
２つの重み付きノイズ系列は、エネルギー保存的であるように正規化されてもよい。このようにして、信号の適性に望ましくない影響を与えることなく、時間的分散の量を制御することができる。代替的または追加的に、追加の全体的なフィルタ利得は、制御パラメータ５８として提供される利得パラメータを使用して設定することができる。一実施形態によれば、音処理装置は、エネルギー保存的であってもよく、および／またはフィルタ利得を考慮して調整可能であってもよい。
【0030】
本明細書に記載される実施形態、例えば本発明の方法の利点は、仮想音響シーンのすべての初期反射を処理するために、例えば２つのフィルタリング操作のみを有することにより労力をほとんど必要とせず、必要に応じて、時空間分散を達成するために追加のランタイム計算が必要ないことである。例えば、本明細書に記載の音処理装置は、分散フィルタ段による分散フィルタ処理をバイノーラル化された入力信号のみに適用するように構成されてもよい。
なお、ここで説明する実施形態は、上記に限定されるものではない。上記から、本発明による実施形態は、以下のうちの少なくとも１つを考慮して逸脱または拡張してもよい。
なお、ここで説明する実施形態は、上記に限定されるものではない。上記から、本発明による実施形態は、以下のうちの少なくとも１つを考慮して逸脱または拡張してもよい。
【0031】
代替的なフィルタ設計の使用
ＦＩＲベースの実施態様を参照したが、本発明の概念は、例えば分散フィルタを実施するために、異なるフィルタタイプを使用して実施することもできる。例えば、ＦＩＲフィルタは、低複雑度のＩＩＲフィルタ設計に変換することができる。
ＦＩＲベースの実施態様を参照したが、本発明の概念は、例えば分散フィルタを実施するために、異なるフィルタタイプを使用して実施することもできる。例えば、ＦＩＲフィルタは、低複雑度のＩＩＲフィルタ設計に変換することができる。
【0032】
時変フィルタの使用
代替的または追加的に、例えば２つのノイズ系列の低周波時間変調によるフィルタの時変バージョンを使用して、より複雑で自然な／生き生きとした音分散特性を達成することができる。
代替的または追加的に、例えば２つのノイズ系列の低周波時間変調によるフィルタの時変バージョンを使用して、より複雑で自然な／生き生きとした音分散特性を達成することができる。
【0033】
仮想スピーカ再生への拡張
バイノーラルオーディオ再生では、対応する頭部伝達関数ＨＲＴＦを使用してバイノーラル化される「仮想スピーカ」間で音源（初期反射を含む）をパンニングすることによって音源を再生することが非常に一般的である。仮想スピーカの使用後のバイノーラル化の場合、図５に関連して説明される本発明の好ましい実施形態において必要な分散フィルタは依然として２つしかない。すなわち、そこに記載されている音処理装置のバイノーラル化段は、頭部伝達関数（ＨＲＴＦ）に従って構成されてもよい。
バイノーラルオーディオ再生では、対応する頭部伝達関数ＨＲＴＦを使用してバイノーラル化される「仮想スピーカ」間で音源（初期反射を含む）をパンニングすることによって音源を再生することが非常に一般的である。仮想スピーカの使用後のバイノーラル化の場合、図５に関連して説明される本発明の好ましい実施形態において必要な分散フィルタは依然として２つしかない。すなわち、そこに記載されている音処理装置のバイノーラル化段は、頭部伝達関数（ＨＲＴＦ）に従って構成されてもよい。
【0034】
回折音の処理への拡張
仮想音レンダリング、特にリスナが仮想シーン内で自由に動くことができる６自由度（６ＤｏＦ）レンダリングでは、回折音成分のレンダリングが重要である。回折音は、音が聴取者に到達する前に１つまたはいくつかの角の周りを伝播するときに現れる。回折角の周りの音の屈曲のために、音は通常、その高周波数部分で減衰され、間接的で場合によっては長い伝播経路のために、直接音成分よりも反響が大きい。また、この効果は、初期反射に適用されるのと類似した、またより同じ方法で回折音成分の合計寄与に本発明の分散フィルタを適用することによって、良好な品質および高効率でモデル化することができる。これは図５にも示されており、仮想スピーカ再生に加えて、または仮想スピーカ再生の代替として実装されてもよい。
仮想音レンダリング、特にリスナが仮想シーン内で自由に動くことができる６自由度（６ＤｏＦ）レンダリングでは、回折音成分のレンダリングが重要である。回折音は、音が聴取者に到達する前に１つまたはいくつかの角の周りを伝播するときに現れる。回折角の周りの音の屈曲のために、音は通常、その高周波数部分で減衰され、間接的で場合によっては長い伝播経路のために、直接音成分よりも反響が大きい。また、この効果は、初期反射に適用されるのと類似した、またより同じ方法で回折音成分の合計寄与に本発明の分散フィルタを適用することによって、良好な品質および高効率でモデル化することができる。これは図５にも示されており、仮想スピーカ再生に加えて、または仮想スピーカ再生の代替として実装されてもよい。
【0035】
図５は、一実施形態による音処理装置の概略ブロック図を示す。音処理装置５０は、例えば音処理装置１０および／または２０で使用され得るパンナー１２２を備える。パンナー１２２は、図２に関連して説明したように動作し得る、すなわち、頭部伝達関数（ＨＲＴＦ）に従って構成され得る、入力信号を受信および処理して、中間空間信号６６１～６６ｎを取得するように構成された仮想スピーカプロセッサ６４を備える。
各バイノーラル化段２６１～２６ｎは、中間空間信号６６１～６６ｎのうちの１つを受信してもよく、それぞれのバイノーラル化チャネル２８１，１～２８ｎ，２を取得するために、受信された中間空間信号６６をバイノーラル化してもよい。コンバイナ１２２は、コンバイナ段３４１および３４２を有するコンバイナ３２を備えてもよく、コンバイナ３２は、バイノーラル化段の第１のバイノーラル化チャネルの第１の結合、例えばＬを提供するように構成され、空間信号１６１は、コンバイナ段３４１によって提供される結合に基づき、空間信号１６２は、コンバイナ段３４２によって提供される結合に基づく。これに限定されないが、音処理装置５０は、ちょうど２つのオーディオチャネルまたは出力信号２４１および２４２を提供するように構成されてもよい。
各バイノーラル化段２６１～２６ｎは、中間空間信号６６１～６６ｎのうちの１つを受信してもよく、それぞれのバイノーラル化チャネル２８１，１～２８ｎ，２を取得するために、受信された中間空間信号６６をバイノーラル化してもよい。コンバイナ１２２は、コンバイナ段３４１および３４２を有するコンバイナ３２を備えてもよく、コンバイナ３２は、バイノーラル化段の第１のバイノーラル化チャネルの第１の結合、例えばＬを提供するように構成され、空間信号１６１は、コンバイナ段３４１によって提供される結合に基づき、空間信号１６２は、コンバイナ段３４２によって提供される結合に基づく。これに限定されないが、音処理装置５０は、ちょうど２つのオーディオチャネルまたは出力信号２４１および２４２を提供するように構成されてもよい。
【0036】
仮想スピーカプロセッサ６４は、初期反射ＥＲ、回折源ＤＳ、またはそれらの結合を含み得る入力信号を受信するように構成されてもよい。例えば、ｎ個の１つまたは複数のより初期の反射１４１，１～１４１，ｎが仮想スピーカプロセッサに供給されてもよい。代替的または追加的に、いくつかの少なくとも１つの回折源１４２，１～１４２，ｉが仮想スピーカプロセッサ６４に供給されてもよい。ｎおよびｊの数は、互いに独立または無関係であってもよく、最終的に２である経時的に可変または一定の値を各々含んでもよい。
回折源１４２，ｉ、ｉ＝１，．．．，ｊ、ｊ≧１、を仮想スピーカプロセッサ６４の入力として示しているが、音処理装置２０を参照すると、そのような入力信号はまた、バイノーラル化段２６に直接供給されてもよい。１人のリスナの使用を説明する１つの単一のヘッドフォンを表示することによって図５に示されるように、ｎ＝２のちょうど２つのバイノーラライザ２６１および２６ｎが十分であり得るか、または必要であり、例えば、左右のヘッドフォン信号に対して１つである。
回折源１４２，ｉ、ｉ＝１，．．．，ｊ、ｊ≧１、を仮想スピーカプロセッサ６４の入力として示しているが、音処理装置２０を参照すると、そのような入力信号はまた、バイノーラル化段２６に直接供給されてもよい。１人のリスナの使用を説明する１つの単一のヘッドフォンを表示することによって図５に示されるように、ｎ＝２のちょうど２つのバイノーラライザ２６１および２６ｎが十分であり得るか、または必要であり、例えば、左右のヘッドフォン信号に対して１つである。
【0037】
音処理装置５０に実装された概念によれば、バイノーラル再生のための仮想スピーカ処理とともに分散フィルタリングを使用することが可能になる。このような概念では、それぞれ２つの分散フィルタのみが必要であり、十分である。可能性はあるが、必ずしもより好ましくはない一実施形態によれば、各仮想スピーカ信号に含まれる初期反射音成分ＥＲに１つの分散フィルタが適用されてもよい。
【0038】
従来のスピーカ再生への拡張
バイノーラルヘッドフォンに基づく再生ではなく従来のスピーカ再生のために本発明の概念を実施するために、各スピーカ信号に１つの分散フィルタが適用されてもよい。すなわち、より多数のオーディオチャネルに基づいて、２つよりも多い対応する数の分散フィルタが使用されてもよい。
バイノーラルヘッドフォンに基づく再生ではなく従来のスピーカ再生のために本発明の概念を実施するために、各スピーカ信号に１つの分散フィルタが適用されてもよい。すなわち、より多数のオーディオチャネルに基づいて、２つよりも多い対応する数の分散フィルタが使用されてもよい。
【0039】
図６は、いくつかのスピーカ６８１～６８Ｍに接続され得る一実施形態による音処理装置６０の概略ブロック図を示す。分散フィルタ３８の数ｍは、スピーカ６８の数ｏに等しくてもよい。しかしながら、回折源の数ｊおよびＥＲの数ｎは必ずしも等しくなく、通常はスピーカの数よりも明らかに大きい。
音処理装置２０および／または５０によれば、音処理装置は、分散フィルタ段１８から直接音成分４２および／または反響音成分４６を排除するように構成されてもよいが、音処理装置６０のパンナー１２３は、前記音成分または音チャネル４２および／または４６を受信するように構成されてもよい。したがって、空間信号１６１～１６ｍは、直接音プロセッサ１００６および／または後期残響プロセッサ１００８に基づく情報も含んでもよい。
音処理装置２０および／または５０によれば、音処理装置は、分散フィルタ段１８から直接音成分４２および／または反響音成分４６を排除するように構成されてもよいが、音処理装置６０のパンナー１２３は、前記音成分または音チャネル４２および／または４６を受信するように構成されてもよい。したがって、空間信号１６１～１６ｍは、直接音プロセッサ１００６および／または後期残響プロセッサ１００８に基づく情報も含んでもよい。
【0040】
音処理装置１６は、音処理装置１０、２０および／または５０と同様に、直接音プロセッサ１００６および／または後期残響プロセッサ１００８を備えてもよい。
音処理装置６０に実装される実施形態によれば、パンナー１２３は、少なくとも１つの初期反射信号および／または少なくとも１つの回折音信号を含む入力信号１４１，１～１４２，ｎを受信するように構成されてもよい。パンナー１２３は、入力信号１４に関連付けられた直接音成分４２および反響音成分４６を受信するように構成されてもよい。空間信号１６は、スピーカ６８１～６８ｍを備えるスピーカ設備のスピーカに各々関連付けられてもよい。
パンナー１２、１２１、１２２および／または１２３は、オーディオチャネルのうちの１つに各々関連するそれぞれの成分を取得するために、直接音成分４２を受信してバイノーラル化するための直接音バイノーラル化段を備えてもよい。音処理装置は、例えば出力信号として、第１のオーディオ信号および第２のオーディオ信号を取得するために、同じオーディオチャネルに関連する信号を結合するためのコンバイナを備えてもよい。例えば、コンバイナ段１０１４１および１０１４２が、そのような結合のために使用されてもよい。
音処理装置６０に実装される実施形態によれば、パンナー１２３は、少なくとも１つの初期反射信号および／または少なくとも１つの回折音信号を含む入力信号１４１，１～１４２，ｎを受信するように構成されてもよい。パンナー１２３は、入力信号１４に関連付けられた直接音成分４２および反響音成分４６を受信するように構成されてもよい。空間信号１６は、スピーカ６８１～６８ｍを備えるスピーカ設備のスピーカに各々関連付けられてもよい。
パンナー１２、１２１、１２２および／または１２３は、オーディオチャネルのうちの１つに各々関連するそれぞれの成分を取得するために、直接音成分４２を受信してバイノーラル化するための直接音バイノーラル化段を備えてもよい。音処理装置は、例えば出力信号として、第１のオーディオ信号および第２のオーディオ信号を取得するために、同じオーディオチャネルに関連する信号を結合するためのコンバイナを備えてもよい。例えば、コンバイナ段１０１４１および１０１４２が、そのような結合のために使用されてもよい。
【0041】
代替的にまたは追加的に、音処理装置の一部である後期残響プロセッサ１００８は、オーディオチャネルのうちの１つに各々関連するそれぞれの成分を取得するために、後期残響成分４６を受信してバイノーラル化するための残響バイノーラル化段を備えるようにパンナーを実装するための基礎を形成してもよい。音処理装置は、例えば出力信号として、第１のオーディオ信号および第２のオーディオ信号を取得するために同じオーディオチャネルに関連する信号を結合するためのコンバイナ、例えばコンバイナ段１０１４１および／または１０１４２を備えてもよい。
換言すれば、図６は、実際のスピーカ再生による分散フィルタリングに関連する実施形態の使用を示す。
換言すれば、図６は、実際のスピーカ再生による分散フィルタリングに関連する実施形態の使用を示す。
【0042】
オールパスフィルタ、バイノーラル化段および総和の順序は、すべて線形システムであるために交換することができるという発見に基づいて、実施形態は、時間および任意選択的に空間の両方において、鏡像モデルによって生成された離散的な初期反射をぼかす／滲ませ、わずかな計算しか必要としないフィルタ設計を提案する。空間および／または時間成分は、個別にパラメータ表示することができる。
ビットストリームを使用して、それぞれのオーディオシーンに関する情報を提供してもよい。そのようなビットストリームは、エンコーダによって生成されてもよく、デコーダによって使用、処理、および／または復号されてもよい。代替的または追加的に、本明細書に記載の音処理装置は、ビットストリームの一部として入力信号またはその基礎を受信し、ビットストリームの１つまたは複数のデータフィールドに基づいて分散フィルタ段１８を使用および／または構成するように構成されてもよく、１つまたは複数のデータフィールドは、分散フィルタの使用および／または構成の指示を含む。
ビットストリームを使用して、それぞれのオーディオシーンに関する情報を提供してもよい。そのようなビットストリームは、エンコーダによって生成されてもよく、デコーダによって使用、処理、および／または復号されてもよい。代替的または追加的に、本明細書に記載の音処理装置は、ビットストリームの一部として入力信号またはその基礎を受信し、ビットストリームの１つまたは複数のデータフィールドに基づいて分散フィルタ段１８を使用および／または構成するように構成されてもよく、１つまたは複数のデータフィールドは、分散フィルタの使用および／または構成の指示を含む。
【0043】
図７は、オーディオ信号７２をビットストリーム７４に符号化するように構成された、一実施形態によるエンコーダ７０の概略ブロック図を示す。エンコーダ７０は、
・分散フィルタ処理を有効または無効にすることを可能にする情報、例えばブール値フラグと、
・初期反射音に対する分散フィルタ処理を有効または無効にする情報、例えばブール値フラグと、
・回折音に対する分散フィルタ処理を有効または無効にする情報、例えばブール値フラグと、
・分散フィルタ処理に使用される分散フィルタの持続時間をシグナリングするためのパラメータを、例えばｍｓ単位で、例として０ｍｓと１００ｍｓとの間で示す情報と、
・分散フィルタ利得をシグナリングするためのパラメータを示す情報と、
・分散フィルタの空間的な広がりをシグナリングするためのパラメータを、例えば０度と±１８０度との間で示す情報と
のうちの１つまたは複数を含むように、例えばビットストリームジェネレータ７６を使用して、ビットストリーム７４を生成するように構成される。
・分散フィルタ処理を有効または無効にすることを可能にする情報、例えばブール値フラグと、
・初期反射音に対する分散フィルタ処理を有効または無効にする情報、例えばブール値フラグと、
・回折音に対する分散フィルタ処理を有効または無効にする情報、例えばブール値フラグと、
・分散フィルタ処理に使用される分散フィルタの持続時間をシグナリングするためのパラメータを、例えばｍｓ単位で、例として０ｍｓと１００ｍｓとの間で示す情報と、
・分散フィルタ利得をシグナリングするためのパラメータを示す情報と、
・分散フィルタの空間的な広がりをシグナリングするためのパラメータを、例えば０度と±１８０度との間で示す情報と
のうちの１つまたは複数を含むように、例えばビットストリームジェネレータ７６を使用して、ビットストリーム７４を生成するように構成される。
【0044】
したがって、他の実施形態は、ビットストリームであって、オーディオシーンの少なくとも１つの空間位置入力信号を示す情報と、そのビットストリームからオーディオ信号を生成するための分散フィルタの使用および／または構成の指示を含む情報を含む１つまたは複数のデータフィールドとを含むビットストリームである。そのような情報は、既知のシステムでは必要ではないが、記載された実施形態による分散フィルタの有利な使用を構成してもよい。例えば、そのようなビットストリームはビットストリーム７０であってもよい。そのような実施形態では、１つまたは複数のデータフィールド内の情報は、上記、例えば、
・分散フィルタ処理を有効または無効にすることを可能にする情報、例えばブール値フラグと、
・初期反射音に対する分散フィルタ処理を有効または無効にする情報、例えばブール値フラグと、
・回折音に対する分散フィルタ処理を有効または無効にする情報、例えばブール値フラグと、
・分散フィルタ処理に使用される分散フィルタの持続時間をシグナリングするためのパラメータを、例えばｍｓ単位で、例として０ｍｓと１００ｍｓとの間で、または０ｍｓと１０００ｍｓとの間で示す情報と、
・分散フィルタ利得をシグナリングするためのパラメータを示す情報と、
・分散フィルタの空間的な広がりをシグナリングするためのパラメータを、例えば０度と±１８０度との間で示す情報と
のうちの少なくとも１つを示してもよい。
・分散フィルタ処理を有効または無効にすることを可能にする情報、例えばブール値フラグと、
・初期反射音に対する分散フィルタ処理を有効または無効にする情報、例えばブール値フラグと、
・回折音に対する分散フィルタ処理を有効または無効にする情報、例えばブール値フラグと、
・分散フィルタ処理に使用される分散フィルタの持続時間をシグナリングするためのパラメータを、例えばｍｓ単位で、例として０ｍｓと１００ｍｓとの間で、または０ｍｓと１０００ｍｓとの間で示す情報と、
・分散フィルタ利得をシグナリングするためのパラメータを示す情報と、
・分散フィルタの空間的な広がりをシグナリングするためのパラメータを、例えば０度と±１８０度との間で示す情報と
のうちの少なくとも１つを示してもよい。
【0045】
図８は、ビットストリーム７８を復号するように構成された、一実施形態によるデコーダ８０の概略ブロック図を示す。デコーダ８０は、本明細書に記載の音処理装置、例えば音処理装置１０、２０、５０および／または６０を備えてもよい。ビットストリーム７８は、ビットストリーム７４に従ってもよく、および／またはビットストリーム７８からオーディオ信号を生成するための分散フィルタの使用および／または構成の指示を含んでもよい。
【0046】
ビットストリームシンタックスに関して、仮想聴覚シーンのオーディオ成分をビットストリームに符号化するエンコーダを含むアプリケーションシナリオでは、ビットストリームは、聴覚シーンのデコーダ／レンダラに記憶および／または送信される可能性があり、上記で識別された情報の少なくとも一部が単一のビットまたはフラグを介してシグナリングされることを考慮しながら、ビットストリームデータは、本発明の好ましい実施形態では以下のうちの１つまたは複数を含んでもよい。
・ＥｎａｂｌｅＤｉｓｐｅｒｓｉｏｎＦｉｌｔｅｒフラグ（オン／オフ）
○分散フィルタ処理を有効または無効にすることを可能にするブール値フラグ
・ＥｎａｂｌｅＤｉｓｐｅｒｓｉｏｎＦｉｌｔｅｒＦｏｒＥＲフラグ（オン／オフ）
○初期反射音に対する分散フィルタ処理を有効または無効にするブール値フラグ
・ＥｎａｂｌｅＤｉｓｐｅｒｓｉｏｎＦｉｌｔｅｒＦｏｒＤｉｆｆｒａｃｔｉｏｎフラグ（オン／オフ）
○回折音に対する分散フィルタ処理を有効または無効にするブール値フラグ
・ＤｉｓｐｅｒｓｉｏｎＦｉｌｔｅｒＬｅｎｇｔｈ Ｉｎｔ［０，１０００］
○分散フィルタの持続時間をシグナリングするためのパラメータ、例えば、ｍｓ単位で、典型的には０～１００ｍｓまたは１０００ｍｓ
・ＤｉｓｐｅｒｓｉｏｎＦｉｌｔｅｒＧａｉｎ
○分散フィルタ利得をシグナリングするためのパラメータ
・ＤｉｓｐｅｒｓｉｏｎＦｉｌｔｅｒＯｐｅｎｉｎｇＡｎｇｌｅ
○例えば、０度と±１８０度との間の、分散フィルタの空間的広がりをシグナリングするためのパラメータ
・ＥｎａｂｌｅＤｉｓｐｅｒｓｉｏｎＦｉｌｔｅｒフラグ（オン／オフ）
○分散フィルタ処理を有効または無効にすることを可能にするブール値フラグ
・ＥｎａｂｌｅＤｉｓｐｅｒｓｉｏｎＦｉｌｔｅｒＦｏｒＥＲフラグ（オン／オフ）
○初期反射音に対する分散フィルタ処理を有効または無効にするブール値フラグ
・ＥｎａｂｌｅＤｉｓｐｅｒｓｉｏｎＦｉｌｔｅｒＦｏｒＤｉｆｆｒａｃｔｉｏｎフラグ（オン／オフ）
○回折音に対する分散フィルタ処理を有効または無効にするブール値フラグ
・ＤｉｓｐｅｒｓｉｏｎＦｉｌｔｅｒＬｅｎｇｔｈ Ｉｎｔ［０，１０００］
○分散フィルタの持続時間をシグナリングするためのパラメータ、例えば、ｍｓ単位で、典型的には０～１００ｍｓまたは１０００ｍｓ
・ＤｉｓｐｅｒｓｉｏｎＦｉｌｔｅｒＧａｉｎ
○分散フィルタ利得をシグナリングするためのパラメータ
・ＤｉｓｐｅｒｓｉｏｎＦｉｌｔｅｒＯｐｅｎｉｎｇＡｎｇｌｅ
○例えば、０度と±１８０度との間の、分散フィルタの空間的広がりをシグナリングするためのパラメータ
【0047】
実施形態の少なくともいくつかの本発明のさらなる態様は、それぞれ信号処理態様およびビットストリーム態様に関する。
信号処理態様
・（バイノーラル）分散効果を生み出す２チャネルフィルタ
○好ましい実施形態：ＦＩＲフィルタ
○フィルタは、（個々の反射ではなく）仮想音響シーンのバイノーラル化され合計された初期反射寄与のＬおよびＲチャネル信号を処理する
・あるいは、仮想または実際のスピーカ再生を使用する場合、各（仮想または実際の）スピーカ信号における初期反射寄与のために１つのフィルタが使用される
・分散効果は、時間的、および任意選択的に、空間的領域内の信号を変更する
・時間的および空間的強さは、制御パラメータを介して制御することができる
・フィルタはエネルギー保存的であるが、その全体的な利得を変更することができる
・等しいエネルギーおよび様々な相関度を有する（好ましくは、ホワイト）ノイズ信号の記憶されたセットに基づいて生成されるフィルタ
○それらは同一または弱く脱相関した系列である
○系列の長さは、例えばビットストリームパラメータによって、制御することができる
○脱相関は、例えばビットストリームパラメータによって、制御することができる
○小さい前面開口を有する音源のＩＡＣＣに基づく。開口は、例えばビットストリームパラメータによって、制御することができる
・上記の特性を有するフィルタ系列を生成する分散フィルタジェネレータ
・回折音成分に適用される上記のフィルタのすべて
ビットストリーム態様
ビットストリームの一部であるフラグに少なくとも部分的に関連する上記の詳細に加えて、ビットストリームはまた、例えばより多くのビットを使用して、より一般的なおよび／またはより正確な情報を含んでもよい。すなわち、以下を使用して分散フィルタの使用および／または構成を示す指示を有するビットストリームに関する実施形態である。
・分散フィルタ処理を有効または無効にすることを可能にするブール値フラグなどの情報
・初期反射音に対する分散フィルタ処理を有効または無効にするブール値フラグなどの情報
・回折音に対する分散フィルタ処理を有効または無効にするブール値フラグなどの情報
・分散フィルタの持続時間をシグナリングするためのパラメータ、例えば、ｍｓ単位で、典型的には０～１００ｍｓまたは１０００ｍｓ、などの情報
・分散フィルタ利得をシグナリングするためのパラメータなどの情報
・例えば、０度と±１８０度との間の、分散フィルタの空間的広がりをシグナリングするためのパラメータなどの情報
ビットストリームは、任意選択的に、揮発性または不揮発性メモリなどのデジタル記憶媒体に記憶されてもよい。
信号処理態様
・（バイノーラル）分散効果を生み出す２チャネルフィルタ
○好ましい実施形態：ＦＩＲフィルタ
○フィルタは、（個々の反射ではなく）仮想音響シーンのバイノーラル化され合計された初期反射寄与のＬおよびＲチャネル信号を処理する
・あるいは、仮想または実際のスピーカ再生を使用する場合、各（仮想または実際の）スピーカ信号における初期反射寄与のために１つのフィルタが使用される
・分散効果は、時間的、および任意選択的に、空間的領域内の信号を変更する
・時間的および空間的強さは、制御パラメータを介して制御することができる
・フィルタはエネルギー保存的であるが、その全体的な利得を変更することができる
・等しいエネルギーおよび様々な相関度を有する（好ましくは、ホワイト）ノイズ信号の記憶されたセットに基づいて生成されるフィルタ
○それらは同一または弱く脱相関した系列である
○系列の長さは、例えばビットストリームパラメータによって、制御することができる
○脱相関は、例えばビットストリームパラメータによって、制御することができる
○小さい前面開口を有する音源のＩＡＣＣに基づく。開口は、例えばビットストリームパラメータによって、制御することができる
・上記の特性を有するフィルタ系列を生成する分散フィルタジェネレータ
・回折音成分に適用される上記のフィルタのすべて
ビットストリーム態様
ビットストリームの一部であるフラグに少なくとも部分的に関連する上記の詳細に加えて、ビットストリームはまた、例えばより多くのビットを使用して、より一般的なおよび／またはより正確な情報を含んでもよい。すなわち、以下を使用して分散フィルタの使用および／または構成を示す指示を有するビットストリームに関する実施形態である。
・分散フィルタ処理を有効または無効にすることを可能にするブール値フラグなどの情報
・初期反射音に対する分散フィルタ処理を有効または無効にするブール値フラグなどの情報
・回折音に対する分散フィルタ処理を有効または無効にするブール値フラグなどの情報
・分散フィルタの持続時間をシグナリングするためのパラメータ、例えば、ｍｓ単位で、典型的には０～１００ｍｓまたは１０００ｍｓ、などの情報
・分散フィルタ利得をシグナリングするためのパラメータなどの情報
・例えば、０度と±１８０度との間の、分散フィルタの空間的広がりをシグナリングするためのパラメータなどの情報
ビットストリームは、任意選択的に、揮発性または不揮発性メモリなどのデジタル記憶媒体に記憶されてもよい。
【0048】
本発明のいくつかの態様は、以下のように定式化されてもよい。
１．複数の入力信号を空間的に位置決めし、それらを少なくとも２つの空間信号へと結合するためのパンナー、例えば、仮想スピーカ処理とバイノーラル化との結合としての図５に関連し、パンニングのバージョンとしての図６のパンニングおよび／または図２のバイノーラル化と、
空間信号を受信し、フィルタリングされた空間信号のセットを取得するために空間信号を分散フィルタリングするための、例えば１つまたは複数の分散フィルタを有する分散フィルタ段と、
例えば、フィルタリングされた信号のさらなる処理のために、フィルタリングされた空間信号に基づいていくつかの出力信号を提供するためのインターフェース、例えば、図２または図５のＤＦの後のＬ／Ｒ、または図６のパンニングの出力と
を備える音処理装置。
２．入力信号は、初期反射信号および／または回折音信号を含む、態様１に記載の音処理装置。
１．複数の入力信号を空間的に位置決めし、それらを少なくとも２つの空間信号へと結合するためのパンナー、例えば、仮想スピーカ処理とバイノーラル化との結合としての図５に関連し、パンニングのバージョンとしての図６のパンニングおよび／または図２のバイノーラル化と、
空間信号を受信し、フィルタリングされた空間信号のセットを取得するために空間信号を分散フィルタリングするための、例えば１つまたは複数の分散フィルタを有する分散フィルタ段と、
例えば、フィルタリングされた信号のさらなる処理のために、フィルタリングされた空間信号に基づいていくつかの出力信号を提供するためのインターフェース、例えば、図２または図５のＤＦの後のＬ／Ｒ、または図６のパンニングの出力と
を備える音処理装置。
２．入力信号は、初期反射信号および／または回折音信号を含む、態様１に記載の音処理装置。
【0049】
セクション ＤＦの数とスピーカの数との関連付け
３．分散フィルタ段に含まれるいくつかの分散フィルタは、いくつかの出力信号に対応する、態様１または２に記載の音処理装置。
３．分散フィルタ段に含まれるいくつかの分散フィルタは、いくつかの出力信号に対応する、態様１または２に記載の音処理装置。
【0050】
セクション ＤＦフィルタ
４．分散フィルタ段は、オールパスフィルタである少なくとも１つの分散フィルタを備える、先行する態様のいずれか１つに記載の音処理装置。
５．分散フィルタ段は、有限インパルス応答（ＦＩＲ）フィルタおよび／または無限インパルス応答（ＩＩＲ）フィルタである少なくとも１つの分散フィルタを備える、先行する態様のいずれか１つに記載の音処理装置。
６．分散フィルタ段の少なくとも１つの分散フィルタは、時変フィルタ特性を備える、先行する態様のいずれか１つに記載の音処理装置。
７．複数の入力信号を提供するためのレンダラを備える、先行する態様のいずれか１つに記載の音処理装置。
８．音処理装置は、直接音成分および反響音成分を提供するように構成される、態様７に記載の音処理装置。
９．分散フィルタ段は、空間信号のセットをフィルタリングするように構成され、音処理装置は、分散フィルタ段から直接音成分および反響音成分を排除するように構成される、態様８に記載の音処理装置。
１０．分散フィルタ段の少なくとも１つの分散フィルタを、例えば初期化段階中に、生成するように構成された分散フィルタジェネレータを備える、先行する態様のいずれか１つに記載の音処理装置。
１１．分散フィルタジェネレータは、
・分散フィルタによって提供される、例えば、窓の減衰時間に関連する、時間的な広がりの量を決定する長さ、
・例えば高レベル制御によって、チャネル間相互相関の程度を変化させるための空間的な広がり、および／または
・利得、
に基づいて少なくとも１つの分散フィルタを生成するように構成される、態様１０に記載の音処理装置。
１２．分散フィルタジェネレータは、第１の空間信号に対する第１の分散フィルタとして分散フィルタを生成するように構成され、音処理装置は、許容範囲内で同じエネルギーの、互いに異なる相関の程度を有する、記憶されたノイズ信号のセットを記憶したメモリを備え、
音処理装置は、ノイズ系列の基礎として記憶されたノイズ信号から選択するように構成される、態様１０または１１に記載の音処理装置。
１３．
・ノイズ信号が同一のまたは弱く脱相関した系列であるという特性と、
・系列の長さを示す、例えばビットストリーム内のビットストリームパラメータとして受信される、パラメータと、
・脱相関または空間的な広がりの強さを示す、例えばビットストリーム内のビットストリームパラメータとして受信される、パラメータと、
・小さい前面開口を有する音源の両耳間相互相関（ＩＡＣＣ）に関連する、例えばビットストリーム内のビットストリームパラメータとして受信される、パラメータと
のうちの少なくとも１つに基づいてノイズ信号を取得するように構成される、態様１２に記載の音処理装置。
１４．分散フィルタジェネレータは、例えば両耳間相互相関（ＩＡＣＣ）に基づいて取得される、周波数依存フィルタ脱相関を有する第１の分散フィルタおよび第２の分散フィルタを生成するように構成される、態様１２または１３に記載の音処理装置。
１５．第１のノイズ系列および第２のノイズ系列は、等しいエネルギーレベルを備える、態様１２～１４のいずれか１つに記載の音処理装置。
１６．分散フィルタ段の分散フィルタは、窓化ノイズ系列に基づく、先行する態様のいずれか１つに記載の音処理装置。
１７．窓化ノイズ系列は、ホワイトノイズ系列に基づくか、またはそれに対応する、態様１６に記載の音処理装置。
１８．分散フィルタ段の分散フィルタは、第１の空間信号に対する第１の分散フィルタであり、第２の分散フィルタは、異なる第２の空間信号をフィルタリングするためのものであり、
第１の分散フィルタおよび第２の分散フィルタは、同一の窓化ノイズ系列に基づくか、または
第１の分散フィルタおよび第２の分散フィルタは、知覚基準に従う所定の相関を有する異なるノイズ系列に基づく、先行のいずれか１つに記載の音処理装置。
１９．エネルギー保存的であり、フィルタ利得を考慮して調整可能である、先行する態様のいずれか１つに記載の音処理装置。
２０．バイノーラル化された入力信号にのみ分散フィルタ段を用いて分散フィルタ処理を適用するように構成される、先行する態様のいずれか１つに記載の音処理装置。
２１．分散フィルタ段は、第１の空間信号をフィルタリングするための第１の分散フィルタと、第２の空間信号をフィルタリングするための第２の分散フィルタとを少なくとも備え、第１の分散フィルタおよび第２の分散フィルタは、例えば両耳間相互相関（ＩＡＣＣ）に基づいて取得される、周波数依存フィルタ脱相関を備える、先行する態様のいずれか１つに記載の音処理装置。
４．分散フィルタ段は、オールパスフィルタである少なくとも１つの分散フィルタを備える、先行する態様のいずれか１つに記載の音処理装置。
５．分散フィルタ段は、有限インパルス応答（ＦＩＲ）フィルタおよび／または無限インパルス応答（ＩＩＲ）フィルタである少なくとも１つの分散フィルタを備える、先行する態様のいずれか１つに記載の音処理装置。
６．分散フィルタ段の少なくとも１つの分散フィルタは、時変フィルタ特性を備える、先行する態様のいずれか１つに記載の音処理装置。
７．複数の入力信号を提供するためのレンダラを備える、先行する態様のいずれか１つに記載の音処理装置。
８．音処理装置は、直接音成分および反響音成分を提供するように構成される、態様７に記載の音処理装置。
９．分散フィルタ段は、空間信号のセットをフィルタリングするように構成され、音処理装置は、分散フィルタ段から直接音成分および反響音成分を排除するように構成される、態様８に記載の音処理装置。
１０．分散フィルタ段の少なくとも１つの分散フィルタを、例えば初期化段階中に、生成するように構成された分散フィルタジェネレータを備える、先行する態様のいずれか１つに記載の音処理装置。
１１．分散フィルタジェネレータは、
・分散フィルタによって提供される、例えば、窓の減衰時間に関連する、時間的な広がりの量を決定する長さ、
・例えば高レベル制御によって、チャネル間相互相関の程度を変化させるための空間的な広がり、および／または
・利得、
に基づいて少なくとも１つの分散フィルタを生成するように構成される、態様１０に記載の音処理装置。
１２．分散フィルタジェネレータは、第１の空間信号に対する第１の分散フィルタとして分散フィルタを生成するように構成され、音処理装置は、許容範囲内で同じエネルギーの、互いに異なる相関の程度を有する、記憶されたノイズ信号のセットを記憶したメモリを備え、
音処理装置は、ノイズ系列の基礎として記憶されたノイズ信号から選択するように構成される、態様１０または１１に記載の音処理装置。
１３．
・ノイズ信号が同一のまたは弱く脱相関した系列であるという特性と、
・系列の長さを示す、例えばビットストリーム内のビットストリームパラメータとして受信される、パラメータと、
・脱相関または空間的な広がりの強さを示す、例えばビットストリーム内のビットストリームパラメータとして受信される、パラメータと、
・小さい前面開口を有する音源の両耳間相互相関（ＩＡＣＣ）に関連する、例えばビットストリーム内のビットストリームパラメータとして受信される、パラメータと
のうちの少なくとも１つに基づいてノイズ信号を取得するように構成される、態様１２に記載の音処理装置。
１４．分散フィルタジェネレータは、例えば両耳間相互相関（ＩＡＣＣ）に基づいて取得される、周波数依存フィルタ脱相関を有する第１の分散フィルタおよび第２の分散フィルタを生成するように構成される、態様１２または１３に記載の音処理装置。
１５．第１のノイズ系列および第２のノイズ系列は、等しいエネルギーレベルを備える、態様１２～１４のいずれか１つに記載の音処理装置。
１６．分散フィルタ段の分散フィルタは、窓化ノイズ系列に基づく、先行する態様のいずれか１つに記載の音処理装置。
１７．窓化ノイズ系列は、ホワイトノイズ系列に基づくか、またはそれに対応する、態様１６に記載の音処理装置。
１８．分散フィルタ段の分散フィルタは、第１の空間信号に対する第１の分散フィルタであり、第２の分散フィルタは、異なる第２の空間信号をフィルタリングするためのものであり、
第１の分散フィルタおよび第２の分散フィルタは、同一の窓化ノイズ系列に基づくか、または
第１の分散フィルタおよび第２の分散フィルタは、知覚基準に従う所定の相関を有する異なるノイズ系列に基づく、先行のいずれか１つに記載の音処理装置。
１９．エネルギー保存的であり、フィルタ利得を考慮して調整可能である、先行する態様のいずれか１つに記載の音処理装置。
２０．バイノーラル化された入力信号にのみ分散フィルタ段を用いて分散フィルタ処理を適用するように構成される、先行する態様のいずれか１つに記載の音処理装置。
２１．分散フィルタ段は、第１の空間信号をフィルタリングするための第１の分散フィルタと、第２の空間信号をフィルタリングするための第２の分散フィルタとを少なくとも備え、第１の分散フィルタおよび第２の分散フィルタは、例えば両耳間相互相関（ＩＡＣＣ）に基づいて取得される、周波数依存フィルタ脱相関を備える、先行する態様のいずれか１つに記載の音処理装置。
【0051】
セクション バイノーラル化
２２．パンナーは、
複数のバイノーラル化段であって、各バイノーラル化段は、入力信号のうちの１つを受信するため、ならびに第１のバイノーラル化チャネルおよび第２のバイノーラル化チャネルを取得するために受信された入力信号をバイノーラル化するためのものである、複数のバイノーラル化段と、
バイノーラル化段の第１のバイノーラル化チャネルの第１の結合を提供し、第１の空間信号が第１の結合に基づき、バイノーラル化段の第２のバイノーラル化チャネルの第２の結合を提供し、第２の空間信号が第２の結合に基づくためのコンバイナと
を備える、先行する態様のいずれか１つに記載の音処理装置。
２３．パンナーは、中間空間信号を取得するために入力信号を受信し処理するための仮想スピーカプロセッサと、
複数のバイノーラル化段であって、各バイノーラル化段は、中間空間信号のうちの１つを受信するため、ならびに第１のバイノーラル化チャネルおよび第２のバイノーラル化チャネルを取得するために受信された中間空間信号をバイノーラル化するためのものである、複数のバイノーラル化段と、
バイノーラル化段の第１のバイノーラル化チャネルの第１の結合を提供し、第１の空間信号が第１の結合に基づき、バイノーラル化段の第２のバイノーラル化チャネルの第２の結合を提供し、第２の空間信号が第２の結合に基づくためのコンバイナと
を備える、態様１～２１のいずれか１つに記載の音処理装置。
２４．バイノーラル化段は、頭部伝達関数（ＨＲＴＦ）に従って構成される、態様２２または２３に記載の音処理装置。
２５．出力信号のためのちょうど２つのオーディオチャネルを提供するように構成される、態様２２～２４のいずれか１つに記載の音処理装置。
２６．パンナーは、
少なくとも１つの初期反射信号および／または少なくとも１つの回折音信号を含む入力信号を受信し、
入力信号に関連付けられた直接音成分および反響音成分を受信する
ように構成され、空間信号は、スピーカ設備のスピーカに各々関連付けられる、態様１～２１のいずれか１つに記載の音処理装置。
２７．出力信号は、例えば左／右、Ｌ／Ｒなどのオーディオチャネルに各々関連付けられ、音処理装置は、複数の入力信号に関連付けられた直接音成分を処理するための直接音プロセッサを備え、
パンナーは、オーディオチャネルのうちの１つに各々関連する成分を取得するために、直接音成分を受信しバイノーラル化するための直接音バイノーラル化段をさらに備え、
音処理装置は、第１のオーディオ信号および第２のオーディオ信号を取得するために、同じオーディオチャネルに関連する信号を結合するためのコンバイナを備える、先行する態様のいずれか１つに記載の音処理装置。
２８．出力信号は、オーディオチャネル、例えばＬ／Ｒ、に各々関連付けられ、音処理装置は、複数の入力信号に関連付けられた後期反響成分を処理するための反響プロセッサを備え、
パンナーは、オーディオチャネルのうちの１つに各々関連する成分を取得するために、後期反響成分を受信しバイノーラル化するための反響バイノーラル化段をさらに備え、
音処理装置は、第１のオーディオ信号および第２のオーディオ信号を取得するために、同じオーディオチャネルに関連する信号を結合するためのコンバイナを備える、先行する態様のいずれか１つに記載の音処理装置。
２９．分散フィルタ段のちょうど２つの分散フィルタの使用によってすべての入力信号をフィルタリングするように構成される、先行する態様のいずれか１つに記載の音処理装置。
３０．ちょうど２つの分散フィルタの数は、入力信号の数とは独立であり、および／または複数の入力信号を提供する音源の数とは独立である、態様２９に記載の音処理装置。
３１．音処理装置は、ビットストリームの一部として入力信号またはその基礎を受信し、ビットストリームの１つまたは複数のデータフィールドに基づいて分散フィルタ段を使用および／または構成するように構成され、１つまたは複数のデータフィールドは、分散フィルタの使用および／または構成の指示を含む、先行する態様のいずれか１つに記載の音処理装置。
３２．オーディオ信号を表す情報を含むビットストリームを復号するためのデコーダであって、
先行する態様のいずれか１つに記載の音処理装置を備える、デコーダ。
３３．オーディオ信号をビットストリームに符号化するためのエンコーダであって、
・分散フィルタ処理を有効または無効にすることを可能にする情報、例えばブール値フラグと、
・初期反射音に対する分散フィルタ処理を有効または無効にする情報、例えばブール値フラグと、
・回折音に対する分散フィルタ処理を有効または無効にする情報、例えばブール値フラグと、
・分散フィルタ処理に使用される分散フィルタの持続時間をシグナリングするためのパラメータを、例えばｍｓ単位で、例として０ｍｓと１００ｍｓとの間で、または０ｍｓと１０００ｍｓとの間で示す情報と、
・分散フィルタ利得をシグナリングするためのパラメータを示す情報と、
・分散フィルタの空間的な広がりをシグナリングするためのパラメータを、例えば０度と±１８０度との間で示す情報と
のうちの１つまたは複数を含むようにビットストリームを生成するように構成される、エンコーダ。
３４．ビットストリームであって、
オーディオシーンの少なくとも１つの空間的に位置決めされた入力信号を示す情報と、
ビットストリームからオーディオ信号を生成するための分散フィルタの使用および／または構成の指示を含む情報を含む１つまたは複数のデータフィールドと
を含む、ビットストリーム。
３５．１つまたは複数のデータフィールド内の情報は、
・分散フィルタ処理を有効または無効にすることを可能にする情報、例えばブール値フラグと、
・初期反射音に対する分散フィルタ処理を有効または無効にする情報、例えばブール値フラグと、
・回折音に対する分散フィルタ処理を有効または無効にする情報、例えばブール値フラグと、
・分散フィルタ処理に使用される分散フィルタの持続時間をシグナリングするためのパラメータを、例えばｍｓ単位で、例として０ｍｓと１００ｍｓとの間で、または０ｍｓと１０００ｍｓとの間で示す情報と、
・分散フィルタ利得をシグナリングするためのパラメータを示す情報と、
・分散フィルタの空間的な広がりをシグナリングするためのパラメータを、例えば０度と±１８０度との間で示す情報と
のうちの少なくとも１つを示す、態様３４に記載のビットストリーム。
３６．音処理のための方法であって、
複数の入力信号を空間的に位置決めし、それらを少なくとも２つの空間信号へと結合することと、
フィルタリングされた空間信号のセットを取得するために空間信号を分散フィルタリングすることと、
フィルタリングされた空間信号に基づいて、いくつかの出力信号を提供することと
を含む、方法。
３７．オーディオシーンを符号化するための方法であって、
オーディオシーンから、オーディオシーンの少なくとも１つの空間的に位置決めされた入力信号を示す情報を生成することと、
符号化されたオーディオシーンからからオーディオ信号を生成するための分散フィルタの使用および／または構成の指示を含む情報を含む１つまたは複数のデータフィールドを提供することと
を含む、方法。
３８．コンピュータまたは信号プロセッサ上で実行されるときに態様３６または３７に記載の方法を実施するためのコンピュータプログラム。
２２．パンナーは、
複数のバイノーラル化段であって、各バイノーラル化段は、入力信号のうちの１つを受信するため、ならびに第１のバイノーラル化チャネルおよび第２のバイノーラル化チャネルを取得するために受信された入力信号をバイノーラル化するためのものである、複数のバイノーラル化段と、
バイノーラル化段の第１のバイノーラル化チャネルの第１の結合を提供し、第１の空間信号が第１の結合に基づき、バイノーラル化段の第２のバイノーラル化チャネルの第２の結合を提供し、第２の空間信号が第２の結合に基づくためのコンバイナと
を備える、先行する態様のいずれか１つに記載の音処理装置。
２３．パンナーは、中間空間信号を取得するために入力信号を受信し処理するための仮想スピーカプロセッサと、
複数のバイノーラル化段であって、各バイノーラル化段は、中間空間信号のうちの１つを受信するため、ならびに第１のバイノーラル化チャネルおよび第２のバイノーラル化チャネルを取得するために受信された中間空間信号をバイノーラル化するためのものである、複数のバイノーラル化段と、
バイノーラル化段の第１のバイノーラル化チャネルの第１の結合を提供し、第１の空間信号が第１の結合に基づき、バイノーラル化段の第２のバイノーラル化チャネルの第２の結合を提供し、第２の空間信号が第２の結合に基づくためのコンバイナと
を備える、態様１～２１のいずれか１つに記載の音処理装置。
２４．バイノーラル化段は、頭部伝達関数（ＨＲＴＦ）に従って構成される、態様２２または２３に記載の音処理装置。
２５．出力信号のためのちょうど２つのオーディオチャネルを提供するように構成される、態様２２～２４のいずれか１つに記載の音処理装置。
２６．パンナーは、
少なくとも１つの初期反射信号および／または少なくとも１つの回折音信号を含む入力信号を受信し、
入力信号に関連付けられた直接音成分および反響音成分を受信する
ように構成され、空間信号は、スピーカ設備のスピーカに各々関連付けられる、態様１～２１のいずれか１つに記載の音処理装置。
２７．出力信号は、例えば左／右、Ｌ／Ｒなどのオーディオチャネルに各々関連付けられ、音処理装置は、複数の入力信号に関連付けられた直接音成分を処理するための直接音プロセッサを備え、
パンナーは、オーディオチャネルのうちの１つに各々関連する成分を取得するために、直接音成分を受信しバイノーラル化するための直接音バイノーラル化段をさらに備え、
音処理装置は、第１のオーディオ信号および第２のオーディオ信号を取得するために、同じオーディオチャネルに関連する信号を結合するためのコンバイナを備える、先行する態様のいずれか１つに記載の音処理装置。
２８．出力信号は、オーディオチャネル、例えばＬ／Ｒ、に各々関連付けられ、音処理装置は、複数の入力信号に関連付けられた後期反響成分を処理するための反響プロセッサを備え、
パンナーは、オーディオチャネルのうちの１つに各々関連する成分を取得するために、後期反響成分を受信しバイノーラル化するための反響バイノーラル化段をさらに備え、
音処理装置は、第１のオーディオ信号および第２のオーディオ信号を取得するために、同じオーディオチャネルに関連する信号を結合するためのコンバイナを備える、先行する態様のいずれか１つに記載の音処理装置。
２９．分散フィルタ段のちょうど２つの分散フィルタの使用によってすべての入力信号をフィルタリングするように構成される、先行する態様のいずれか１つに記載の音処理装置。
３０．ちょうど２つの分散フィルタの数は、入力信号の数とは独立であり、および／または複数の入力信号を提供する音源の数とは独立である、態様２９に記載の音処理装置。
３１．音処理装置は、ビットストリームの一部として入力信号またはその基礎を受信し、ビットストリームの１つまたは複数のデータフィールドに基づいて分散フィルタ段を使用および／または構成するように構成され、１つまたは複数のデータフィールドは、分散フィルタの使用および／または構成の指示を含む、先行する態様のいずれか１つに記載の音処理装置。
３２．オーディオ信号を表す情報を含むビットストリームを復号するためのデコーダであって、
先行する態様のいずれか１つに記載の音処理装置を備える、デコーダ。
３３．オーディオ信号をビットストリームに符号化するためのエンコーダであって、
・分散フィルタ処理を有効または無効にすることを可能にする情報、例えばブール値フラグと、
・初期反射音に対する分散フィルタ処理を有効または無効にする情報、例えばブール値フラグと、
・回折音に対する分散フィルタ処理を有効または無効にする情報、例えばブール値フラグと、
・分散フィルタ処理に使用される分散フィルタの持続時間をシグナリングするためのパラメータを、例えばｍｓ単位で、例として０ｍｓと１００ｍｓとの間で、または０ｍｓと１０００ｍｓとの間で示す情報と、
・分散フィルタ利得をシグナリングするためのパラメータを示す情報と、
・分散フィルタの空間的な広がりをシグナリングするためのパラメータを、例えば０度と±１８０度との間で示す情報と
のうちの１つまたは複数を含むようにビットストリームを生成するように構成される、エンコーダ。
３４．ビットストリームであって、
オーディオシーンの少なくとも１つの空間的に位置決めされた入力信号を示す情報と、
ビットストリームからオーディオ信号を生成するための分散フィルタの使用および／または構成の指示を含む情報を含む１つまたは複数のデータフィールドと
を含む、ビットストリーム。
３５．１つまたは複数のデータフィールド内の情報は、
・分散フィルタ処理を有効または無効にすることを可能にする情報、例えばブール値フラグと、
・初期反射音に対する分散フィルタ処理を有効または無効にする情報、例えばブール値フラグと、
・回折音に対する分散フィルタ処理を有効または無効にする情報、例えばブール値フラグと、
・分散フィルタ処理に使用される分散フィルタの持続時間をシグナリングするためのパラメータを、例えばｍｓ単位で、例として０ｍｓと１００ｍｓとの間で、または０ｍｓと１０００ｍｓとの間で示す情報と、
・分散フィルタ利得をシグナリングするためのパラメータを示す情報と、
・分散フィルタの空間的な広がりをシグナリングするためのパラメータを、例えば０度と±１８０度との間で示す情報と
のうちの少なくとも１つを示す、態様３４に記載のビットストリーム。
３６．音処理のための方法であって、
複数の入力信号を空間的に位置決めし、それらを少なくとも２つの空間信号へと結合することと、
フィルタリングされた空間信号のセットを取得するために空間信号を分散フィルタリングすることと、
フィルタリングされた空間信号に基づいて、いくつかの出力信号を提供することと
を含む、方法。
３７．オーディオシーンを符号化するための方法であって、
オーディオシーンから、オーディオシーンの少なくとも１つの空間的に位置決めされた入力信号を示す情報を生成することと、
符号化されたオーディオシーンからからオーディオ信号を生成するための分散フィルタの使用および／または構成の指示を含む情報を含む１つまたは複数のデータフィールドを提供することと
を含む、方法。
３８．コンピュータまたは信号プロセッサ上で実行されるときに態様３６または３７に記載の方法を実施するためのコンピュータプログラム。
【0052】
図９は、一実施形態による方法９００の概略フローチャートを示す。ステップ９１０は、複数の入力信号の空間的位置決めと、それらを少なくとも２つの空間信号へと結合することとを含む。ステップ９２０は、フィルタリングされた空間信号のセットを取得するために空間信号を分散フィルタリングすることを含む。ステップ９３０は、フィルタリングされた空間信号に基づいていくつかの出力信号を提供することを含む。方法９００は、例えば、本明細書に記載の音処理装置のうちの１つを使用する音処理のために使用されてもよい。
【0053】
図１０は、例えばエンコーダ７０を使用して、例えばオーディオシーンを符号化するために使用され得る一実施形態による方法１０００の概略フローチャートを示す。ステップ１０１０は、オーディオシーンから、オーディオシーンの少なくとも１つの空間的に位置決めされた入力信号を示す情報を生成することを含む。ステップ１０２０は、符号化されたオーディオシーンからオーディオ信号を生成するための分散フィルタの使用および／または構成の指示を含む情報を含む１つまたは複数のデータフィールドを提供することを含む。
本発明に関連する実施形態の少なくともいくつかは、音響室シミュレーションおよび／またはレンダリングにおける初期反射の知覚される信憑性および快さを効率的に改善することを目的とする。この概念は、バイノーラル再生シナリオに関連して詳細に実装、試験、および説明されているが、他の形態のオーディオ再生に拡張することができる。
本明細書に記載の実施形態は、とりわけ、リアルタイム聴覚仮想環境および／またはリアルタイム仮想現実および拡張現実アプリケーションにおいて修正されてもよい。
本発明に関連する実施形態の少なくともいくつかは、音響室シミュレーションおよび／またはレンダリングにおける初期反射の知覚される信憑性および快さを効率的に改善することを目的とする。この概念は、バイノーラル再生シナリオに関連して詳細に実装、試験、および説明されているが、他の形態のオーディオ再生に拡張することができる。
本明細書に記載の実施形態は、とりわけ、リアルタイム聴覚仮想環境および／またはリアルタイム仮想現実および拡張現実アプリケーションにおいて修正されてもよい。
【0054】
いくつかの態様を装置の文脈で説明したが、これらの態様は対応する方法の説明も表すことは明らかであり、ブロックまたはデバイスは方法ステップまたは方法ステップの特徴に対応する。同様に、方法ステップの文脈で説明される態様はまた、対応する装置の対応するブロックまたは項目または特徴の説明を表す。
本発明の符号化されたオーディオ信号は、デジタル記憶媒体に記憶することができ、または無線伝送媒体などの伝送媒体またはインターネットなどの有線伝送媒体上で伝送することができる。
特定の実装要件に応じて、本発明の実施形態は、ハードウェアまたはソフトウェアで実装することができる。実装は、それぞれの方法が実行されるようにプログラム可能なコンピュータシステムと協働する（または協働することができる）、電子的に読み取り可能な制御信号が記憶されたデジタル記憶媒体、例えばフロッピーディスク、ＤＶＤ、ＣＤ、ＲＯＭ、ＰＲＯＭ、ＥＰＲＯＭ、ＥＥＰＲＯＭまたはフラッシュメモリを使用して実行することができる。
本発明によるいくつかの実施形態は、本明細書に記載の方法のうちの１つが実行されるように、ビットストリームを有する、および／またはプログラム可能なコンピュータシステムと協働することができる電子的に読み取り可能な制御信号を有するデータキャリアを含む。
本発明の符号化されたオーディオ信号は、デジタル記憶媒体に記憶することができ、または無線伝送媒体などの伝送媒体またはインターネットなどの有線伝送媒体上で伝送することができる。
特定の実装要件に応じて、本発明の実施形態は、ハードウェアまたはソフトウェアで実装することができる。実装は、それぞれの方法が実行されるようにプログラム可能なコンピュータシステムと協働する（または協働することができる）、電子的に読み取り可能な制御信号が記憶されたデジタル記憶媒体、例えばフロッピーディスク、ＤＶＤ、ＣＤ、ＲＯＭ、ＰＲＯＭ、ＥＰＲＯＭ、ＥＥＰＲＯＭまたはフラッシュメモリを使用して実行することができる。
本発明によるいくつかの実施形態は、本明細書に記載の方法のうちの１つが実行されるように、ビットストリームを有する、および／またはプログラム可能なコンピュータシステムと協働することができる電子的に読み取り可能な制御信号を有するデータキャリアを含む。
【0055】
一般に、本発明の実施形態は、プログラムコードを有するコンピュータプログラム製品として実装することができ、プログラムコードは、コンピュータプログラム製品がコンピュータ上で実行されるときに方法のうちの１つを実行するように動作する。プログラムコードは、例えば、機械可読キャリアに記憶されてもよい。
他の実施形態は、機械可読キャリアに記憶された、本明細書に記載の方法の１つを実行するためのコンピュータプログラムを含む。
換言すれば、したがって、本発明の方法の一実施形態は、コンピュータプログラムがコンピュータ上で実行されるときに、本明細書に記載の方法のうちの１つを実行するためのプログラムコードを有するコンピュータプログラムである。
したがって、本発明の方法のさらなる実施形態は、本明細書に記載の方法の１つを実行するためのコンピュータプログラムを記録して含むデータキャリア（またはデジタル記憶媒体、またはコンピュータ可読媒体）である。
したがって、本発明の方法のさらなる実施形態は、本明細書に記載の方法のうちの１つを実行するためのコンピュータプログラムを表すデータストリームまたは信号系列である。データストリームまたは信号系列は、例えば、データ通信接続を介して、例えばインターネットを介して転送されるように構成されてもよい。
他の実施形態は、機械可読キャリアに記憶された、本明細書に記載の方法の１つを実行するためのコンピュータプログラムを含む。
換言すれば、したがって、本発明の方法の一実施形態は、コンピュータプログラムがコンピュータ上で実行されるときに、本明細書に記載の方法のうちの１つを実行するためのプログラムコードを有するコンピュータプログラムである。
したがって、本発明の方法のさらなる実施形態は、本明細書に記載の方法の１つを実行するためのコンピュータプログラムを記録して含むデータキャリア（またはデジタル記憶媒体、またはコンピュータ可読媒体）である。
したがって、本発明の方法のさらなる実施形態は、本明細書に記載の方法のうちの１つを実行するためのコンピュータプログラムを表すデータストリームまたは信号系列である。データストリームまたは信号系列は、例えば、データ通信接続を介して、例えばインターネットを介して転送されるように構成されてもよい。
【0056】
さらなる実施形態は、本明細書に記載の方法のうちの１つを実行するように構成または適合された処理手段、例えばコンピュータまたはプログラマブル論理デバイスを含む。
さらなる実施形態は、本明細書に記載の方法のうちの１つを実行するためのコンピュータプログラムがインストールされたコンピュータを含む。
いくつかの実施形態では、プログラマブル論理デバイス（例えば、フィールドプログラマブルゲートアレイ）を使用して、本明細書に記載の方法の機能の一部またはすべてを実行してもよい。いくつかの実施形態では、フィールドプログラマブルゲートアレイは、本明細書に記載の方法のうちの１つを実行するためにマイクロプロセッサと協働してもよい。一般に、方法は、任意のハードウェア装置によって実行されることが好ましい。
上述の実施形態は、本発明の原理の単なる例示である。本明細書に記載の構成および詳細の修正および変形は、当業者には明らかであることが理解される。したがって、本明細書の実施形態の説明および説明として提示された特定の詳細によってではなく、添付の特許請求の範囲によってのみ限定されることが意図される。
さらなる実施形態は、本明細書に記載の方法のうちの１つを実行するためのコンピュータプログラムがインストールされたコンピュータを含む。
いくつかの実施形態では、プログラマブル論理デバイス（例えば、フィールドプログラマブルゲートアレイ）を使用して、本明細書に記載の方法の機能の一部またはすべてを実行してもよい。いくつかの実施形態では、フィールドプログラマブルゲートアレイは、本明細書に記載の方法のうちの１つを実行するためにマイクロプロセッサと協働してもよい。一般に、方法は、任意のハードウェア装置によって実行されることが好ましい。
上述の実施形態は、本発明の原理の単なる例示である。本明細書に記載の構成および詳細の修正および変形は、当業者には明らかであることが理解される。したがって、本明細書の実施形態の説明および説明として提示された特定の詳細によってではなく、添付の特許請求の範囲によってのみ限定されることが意図される。
【0057】
文献
［１］Ａｌｌｅｎ，Ｊ．Ｂ．ａｎｄ Ｄ．Ａ．Ｂｅｒｋｌｅｙ，Ｉｍａｇｅ ｍｅｔｈｏｄ ｆｏｒ ｅｆｆｉｃｉｅｎｔｌｙ ｓｉｍｕｌａｔｉｎｇ ｓｍａｌｌ－ｒｏｏｍ ａｃｏｕｓｔｉｃｓ．Ｊ．Ａｃｏｕｓｔ．Ｓｏｃ．Ａｍ．，１９７９．６５（４）：ｐ．９４３－９５０．
［２］Ｓｔｅｐｈｅｎｓｏｎ，Ｕ．，Ｃｏｍｐａｒｉｓｏｎ ｏｆ ｔｈｅ ｍｉｒｒｏｒ ｉｍａｇｅ ｓｏｕｒｃｅ ｍｅｔｈｏｄ ａｎｄ ｔｈｅ ｓｏｕｎｄ ｐａｒｔｉｃｌｅ ｓｉｍｕｌａｔｉｏｎ ｍｅｔｈｏｄ．，Ａｐｐｌｉｅｄ Ａｃｏｕｓｔｉｃｓ，１９９０．２９（１）：ｐ．３５．．７２，ＤＯＩ：ｈｔｔｐｓ：／／ｄｏｉ．ｏｒｇ／１０．１０１６／０００３－６８２Ｘ（９０）９００７０－Ｂ．
［３］Ｋｕｌｏｗｓｋｉ，Ａ．，Ａｌｇｏｒｉｔｈｍｉｃ Ｒｅｐｒｅｓｅｎｔａｔｉｏｎ ｏｆ ｔｈｅ Ｒａｙ Ｔｒａｃｉｎｇ Ｔｅｃｈｎｉｑｕｅ．Ａｐｐｌｉｅｄ Ａｃｏｕｓｔｉｃｓ，１９８５．１８：ｐ．４４９－４６９．
［４］Ｆｕｎｋｏｕｓｅｒ，Ｔ．，Ａ Ｂｅａｍ Ｔｒａｃｉｎｇ Ａｐｐｒｏａｃｈ ｔｏ Ａｃｏｕｓｔｉｃ Ｍｏｄｅｌｉｎｇ ｆｏｒ Ｉｎｔｅｒａｃｔｉｖｅ Ｖｉｒｔｕａｌ Ｅｎｖｉｒｏｎｍｅｎｔｓ．１９９８．
［５］Ｇｅｒｚｏｎ，Ｍ．Ａ．Ｔｈｅ Ｄｅｓｉｇｎ ｏｆ Ｄｉｓｔａｎｃｅ Ｐａｎｐｏｔｓ，９２ｎｄ ＡＥＳ Ｃｏｎｖｅｎｔｉｏｎ．１９９２．ウィーン，オーストリア．
［６］Ｍｏｏｒｅｒ，Ｊ．Ａ．，Ａｂｏｕｔ Ｔｈｉｓ Ｒｅｖｅｒｂｅｒａｔｉｏｎ Ｂｕｓｉｎｅｓｓ，Ｃｏｍｐｕｔｅｒ Ｍｕｓｉｃ Ｊｏｕｒｎａｌ，１９７９．３（２）：ｐ．１３－２８．ｈｔｔｐｓ：／／ｗｗｗ．ｍｕｓｉｃ．ｍｃｇｉｌｌ．ｃａ／～ｇａｒｙ／ｃｏｕｒｓｅｓ／ｐａｐｅｒｓ／Ｍｏｏｒｅｒ－Ｒｅｖｅｒｂ－ＣＭＪ－１９７９．ｐｄｆから入手可能．
［７］Ｂｏｒｓ，Ｃ．，Ａｎ Ｉｍｐｒｏｖｅｄ Ｐａｒａｍｅｔｒｉｃ Ｍｏｄｅｌ ｆｏｒ ｔｈｅ Ｄｅｓｉｇｎ ｏｆ Ｖｉｒｔｕａｌ Ａｃｏｕｓｔｉｃｓ ａｎｄ ｉｔｓ Ａｐｐｌｉｃａｔｉｏｎｓ，Ｆａｋｕｌｔａｔ ｆｕｒ Ｅｌｅｋｔｒｏｔｅｃｈｎｉｋ，博士論文．２０１１：ルール大学ボーフム
［１］Ａｌｌｅｎ，Ｊ．Ｂ．ａｎｄ Ｄ．Ａ．Ｂｅｒｋｌｅｙ，Ｉｍａｇｅ ｍｅｔｈｏｄ ｆｏｒ ｅｆｆｉｃｉｅｎｔｌｙ ｓｉｍｕｌａｔｉｎｇ ｓｍａｌｌ－ｒｏｏｍ ａｃｏｕｓｔｉｃｓ．Ｊ．Ａｃｏｕｓｔ．Ｓｏｃ．Ａｍ．，１９７９．６５（４）：ｐ．９４３－９５０．
［２］Ｓｔｅｐｈｅｎｓｏｎ，Ｕ．，Ｃｏｍｐａｒｉｓｏｎ ｏｆ ｔｈｅ ｍｉｒｒｏｒ ｉｍａｇｅ ｓｏｕｒｃｅ ｍｅｔｈｏｄ ａｎｄ ｔｈｅ ｓｏｕｎｄ ｐａｒｔｉｃｌｅ ｓｉｍｕｌａｔｉｏｎ ｍｅｔｈｏｄ．，Ａｐｐｌｉｅｄ Ａｃｏｕｓｔｉｃｓ，１９９０．２９（１）：ｐ．３５．．７２，ＤＯＩ：ｈｔｔｐｓ：／／ｄｏｉ．ｏｒｇ／１０．１０１６／０００３－６８２Ｘ（９０）９００７０－Ｂ．
［３］Ｋｕｌｏｗｓｋｉ，Ａ．，Ａｌｇｏｒｉｔｈｍｉｃ Ｒｅｐｒｅｓｅｎｔａｔｉｏｎ ｏｆ ｔｈｅ Ｒａｙ Ｔｒａｃｉｎｇ Ｔｅｃｈｎｉｑｕｅ．Ａｐｐｌｉｅｄ Ａｃｏｕｓｔｉｃｓ，１９８５．１８：ｐ．４４９－４６９．
［４］Ｆｕｎｋｏｕｓｅｒ，Ｔ．，Ａ Ｂｅａｍ Ｔｒａｃｉｎｇ Ａｐｐｒｏａｃｈ ｔｏ Ａｃｏｕｓｔｉｃ Ｍｏｄｅｌｉｎｇ ｆｏｒ Ｉｎｔｅｒａｃｔｉｖｅ Ｖｉｒｔｕａｌ Ｅｎｖｉｒｏｎｍｅｎｔｓ．１９９８．
［５］Ｇｅｒｚｏｎ，Ｍ．Ａ．Ｔｈｅ Ｄｅｓｉｇｎ ｏｆ Ｄｉｓｔａｎｃｅ Ｐａｎｐｏｔｓ，９２ｎｄ ＡＥＳ Ｃｏｎｖｅｎｔｉｏｎ．１９９２．ウィーン，オーストリア．
［６］Ｍｏｏｒｅｒ，Ｊ．Ａ．，Ａｂｏｕｔ Ｔｈｉｓ Ｒｅｖｅｒｂｅｒａｔｉｏｎ Ｂｕｓｉｎｅｓｓ，Ｃｏｍｐｕｔｅｒ Ｍｕｓｉｃ Ｊｏｕｒｎａｌ，１９７９．３（２）：ｐ．１３－２８．ｈｔｔｐｓ：／／ｗｗｗ．ｍｕｓｉｃ．ｍｃｇｉｌｌ．ｃａ／～ｇａｒｙ／ｃｏｕｒｓｅｓ／ｐａｐｅｒｓ／Ｍｏｏｒｅｒ－Ｒｅｖｅｒｂ－ＣＭＪ－１９７９．ｐｄｆから入手可能．
［７］Ｂｏｒｓ，Ｃ．，Ａｎ Ｉｍｐｒｏｖｅｄ Ｐａｒａｍｅｔｒｉｃ Ｍｏｄｅｌ ｆｏｒ ｔｈｅ Ｄｅｓｉｇｎ ｏｆ Ｖｉｒｔｕａｌ Ａｃｏｕｓｔｉｃｓ ａｎｄ ｉｔｓ Ａｐｐｌｉｃａｔｉｏｎｓ，Ｆａｋｕｌｔａｔ ｆｕｒ Ｅｌｅｋｔｒｏｔｅｃｈｎｉｋ，博士論文．２０１１：ルール大学ボーフム
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【手続補正書】
【提出日】2024-07-04
【手続補正1】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項1】
複数の入力信号（１４）を空間的に位置決めし、前記入力信号（１４）を少なくとも２つの空間信号（１６）へと結合するためのパンナー（１２；１２１、１２２、１２３）と、前記空間信号（１６）を受信し、フィルタリングされた空間信号（２２）のセットを取得するために前記空間信号（１６）を分散フィルタリングするための分散フィルタ段（１８）と、
前記フィルタリングされた空間信号（２２）に基づいていくつかの出力信号（２４）を提供するためのインターフェース（２３）と
を備える音処理装置。
【請求項2】
前記入力信号（１４）は、オーディオシーンの初期反射信号および／または回折音信号を含む、請求項１に記載の音処理装置。
【請求項3】
前記分散フィルタ段（１８）に含まれるいくつかの分散フィルタ（３８）は、前記いくつかの出力信号（２４）に対応する、請求項１に記載の音処理装置。
【請求項4】
前記分散フィルタ段（１８）は、オールパスフィルタである少なくとも１つの分散フィルタを備える、請求項１に記載の音処理装置。
【請求項5】
前記分散フィルタ段（１８）は、有限インパルス応答（ＦＩＲ）フィルタまたは無限インパルス応答（ＩＩＲ）フィルタである少なくとも１つの分散フィルタを備える、請求項１に記載の音処理装置。
【請求項6】
前記分散フィルタ段（１８）の少なくとも１つの分散フィルタは、時変フィルタ特性を備える、請求項１に記載の音処理装置。
【請求項7】
前記複数の入力信号（１４）を提供するためのレンダラを備える、請求項１に記載の音処理装置。
【請求項8】
前記音処理装置は、直接音成分（４２）および反響音成分（４６）を提供するように構成される、請求項７に記載の音処理装置。
【請求項9】
前記分散フィルタ段（１８）は、前記空間信号（１６）のセットをフィルタリングするように構成され、前記音処理装置は、前記分散フィルタ段（１８）から前記直接音成分（４２）および前記反響音成分（４６）を排除するように構成される、請求項８に記載の音処理装置。
【請求項10】
前記分散フィルタ段（１８）の少なくとも１つの分散フィルタ（３８）を、例えば初期化段階中に、生成するように構成された分散フィルタジェネレータ（５６）を備える、請求項１に記載の音処理装置。
【請求項11】
前記分散フィルタジェネレータ（５６）は、前記分散フィルタによって提供される時間的な広がりの量を決定する長さ、
例えば高レベル制御によって、チャネル間相互相関の程度を変化させるための空間的な広がり、および／または
利得
に基づいて前記少なくとも１つの分散フィルタ（３８）を生成するように構成される、請求項１０に記載の音処理装置。
【請求項12】
前記分散フィルタジェネレータ（５６）は、第１の空間信号（１６１）に対する第１の分散フィルタ（３８１）として前記分散フィルタ（３８）を生成するように構成され、前記音処理装置は、許容範囲内で同じエネルギーの、互いに異なる相関の程度を有する、記憶されたノイズ信号のセットを記憶したメモリを備え、前記音処理装置は、ノイズ系列の基礎として前記記憶されたノイズ信号から選択するように構成される、請求項１０に記載の音処理装置。
【請求項13】
前記ノイズ信号が同一のまたは弱く脱相関した系列であるという特性と、前記系列の長さを示す、例えばビットストリーム内のビットストリームパラメータとして受信される、パラメータと、
脱相関または空間的な広がりの強さを示す、例えばビットストリーム内のビットストリームパラメータとして受信される、パラメータと、
小さい前面開口を有する音源の両耳間相互相関（ＩＡＣＣ）に関連する、例えばビットストリーム内のビットストリームパラメータとして受信される、パラメータと
のうちの少なくとも１つに基づいて前記ノイズ信号を取得するように構成される、請求項１２に記載の音処理装置。
【請求項14】
前記分散フィルタジェネレータ（５６）は、前記第１の分散フィルタ（３８１）と、例えば両耳間相互相関（ＩＡＣＣ）に基づいて取得される、周波数依存フィルタ脱相関を有する第２の分散フィルタ（３８２）とを生成するように構成される、請求項１２に記載の音処理装置。
【請求項15】
第１のノイズ系列および第２のノイズ系列は、等しいエネルギーレベルを備える、請求項１２に記載の音処理装置。
【請求項16】
前記分散フィルタ段（１８）の分散フィルタ（３８）は、窓化ノイズ系列に基づく、請求項１に記載の音処理装置。
【請求項17】
前記窓化ノイズ系列は、ホワイトノイズ系列に基づくか、または対応する、請求項１６に記載の音処理装置。
【請求項18】
前記分散フィルタ段（１８）の分散フィルタは、第１の空間信号（１６１）に対する第１の分散フィルタであり、第２の分散フィルタは、異なる第２の空間信号（１６２）をフィルタリングするためのものであり、第１の分散フィルタ（３８１）および第２の分散フィルタ（３８２）は、同一の窓化ノイズ系列に基づくか、または
前記第１の分散フィルタ（３８１）および前記第２の分散フィルタ（３８２）は、知覚基準に従う所定の相関を有する異なるノイズ系列に基づく、請求項１に記載の音処理装置。
【請求項19】
エネルギー保存的であり、フィルタ利得を考慮して調整可能である、請求項１に記載の音処理装置。
【請求項20】
バイノーラル化された入力信号（１４）にのみ前記分散フィルタ段（１８）を用いて分散フィルタ処理を適用するように構成される、請求項１に記載の音処理装置。
【請求項21】
前記分散フィルタ段（１８）は、第１の空間信号（１６１）をフィルタリングするための第１の分散フィルタ（３８１）と、第２の空間信号（１６２）をフィルタリングするための第２の分散フィルタ（３８２）とを少なくとも備え、前記第１の分散フィルタ（３８１）および前記第２の分散フィルタ（３８２）は、例えば両耳間相互相関（ＩＡＣＣ）に基づいて取得される、周波数依存フィルタ脱相関を備える、請求項１に記載の音処理装置。
【請求項22】
前記パンナーは、複数のバイノーラル化段（２６）であって、各バイノーラル化段（２６）は、前記入力信号（１４）のうちの１つを受信するため、ならびに第１のバイノーラル化チャネルおよび第２のバイノーラル化チャネルを取得するために前記受信された入力信号をバイノーラル化するためのものである、複数のバイノーラル化段（２６）と、
前記バイノーラル化段（２６）の前記第１のバイノーラル化チャネルの第１の結合を提供し、前記バイノーラル化段（２６）の前記第２のバイノーラル化チャネルの第２の結合を提供するコンバイナ（３２）と、を備え、
第１の空間信号（１６１）が前記第１の結合に基づき、
第２の空間信号（１６２）が前記第２の結合に基づく、
請求項１に記載の音処理装置。
【請求項23】
前記パンナー（１２２）は、中間空間信号（６６）を取得するために前記入力信号（１４）を受信し処理するための仮想スピーカプロセッサ（６４）と、複数のバイノーラル化段（２６）であって、各バイノーラル化段（２６）は、前記中間空間信号（６６）のうちの１つを受信するため、ならびに第１のバイノーラル化チャネルおよび第２のバイノーラル化チャネルを取得するために前記受信された中間空間信号（６６）をバイノーラル化するためのものである、複数のバイノーラル化段（２６）と、
前記バイノーラル化段（２６）の前記第１のバイノーラル化チャネルの第１の結合を提供し、前記バイノーラル化段（２６）の前記第２のバイノーラル化チャネルの第２の結合を提供するコンバイナ（３２）と
第１の空間信号（１６１）が前記第１の結合に基づき、
第２の空間信号（１６２）が前記第２の結合に基づく
請求項１に記載の音処理装置。
【請求項24】
前記バイノーラル化段（２６）は、頭部伝達関数（ＨＲＴＦ）に従って構成される、請求項２２に記載の音処理装置。
【請求項25】
前記出力信号（２４）のためのちょうど２つのオーディオチャネル（Ｌ、Ｒ）を提供するように構成される、請求項２２に記載の音処理装置。
【請求項26】
前記パンナー（１２３）は、少なくとも１つの初期反射信号および／または少なくとも１つの回折音信号を含む前記入力信号（１４）を受信し、
前記入力信号（１４）に関連付けられた直接音成分（４２）および反響音成分（４６）を受信する
ように構成され、前記空間信号（１６）は、スピーカ設備のスピーカ（６８）に各々関連付けられる、請求項１に記載の音処理装置。
【請求項27】
前記出力信号（２４）は、オーディオチャネル（Ｌ、Ｒ）、例えばＬ／Ｒ、に各々関連付けられ、前記音処理装置は、前記複数の入力信号（１４）に関連付けられた直接音成分（４２）を処理するための直接音プロセッサ（１００６）を備え、前記パンナーは、前記オーディオチャネル（Ｌ、Ｒ）のうちの１つに各々関連する成分を取得するために、前記直接音成分（４２）を受信しバイノーラル化するための直接音バイノーラル化段（２６）をさらに備え、
前記音処理装置は、第１のオーディオ信号および第２のオーディオ信号を取得するために、同じオーディオチャネル（Ｌ、Ｒ）に関連する信号を結合するためのコンバイナを備える、請求項１に記載の音処理装置。
【請求項28】
前記出力信号（２４）は、オーディオチャネル（Ｌ、Ｒ）、例えばＬ／Ｒ、に各々関連付けられ、前記音処理装置は、前記複数の入力信号（１４）に関連付けられた後期反響成分（４６）を処理するための反響プロセッサ（１００８）を備え、前記パンナーは、前記オーディオチャネル（Ｌ、Ｒ）のうちの１つに各々関連する成分を取得するために、前記後期反響成分を受信しバイノーラル化するための反響バイノーラル化段（２６）をさらに備え、
前記音処理装置は、第１のオーディオ信号および第２のオーディオ信号を取得するために、同じオーディオチャネルに関連する信号を結合するためのコンバイナを備える、請求項１に記載の音処理装置。
【請求項29】
すべての入力信号（１４）から取得した前記空間信号（１６）をフィルタリングするための前記分散フィルタ段（１８）のちょうど２つの分散フィルタ（３８１、３８２）の使用によってすべての入力信号（１４）をフィルタリングするように構成される、請求項１に記載の音処理装置。
【請求項30】
前記ちょうど２つの分散フィルタ（３８１、３８２）の数は、入力信号（１４）の数とは独立であり、および／または前記複数の入力信号（１４）を提供する音源の数とは独立である、請求項２９に記載の音処理装置。
【請求項31】
前記音処理装置は、ビットストリーム（７４；７８）の一部として前記入力信号（１４）またはその基礎を受信し、前記ビットストリームの１つまたは複数のデータフィールドに基づいて前記分散フィルタ段（１８）を使用および／または構成するように構成され、前記１つまたは複数のデータフィールドは、前記分散フィルタ段（１８）の使用および／または構成の指示を含む、請求項１に記載の音処理装置。
【請求項32】
オーディオ信号を表す情報を含むビットストリーム（７８）を復号するためのデコーダ（８０）であって、請求項１に記載の音処理装置（１０）を備える、デコーダ（８０）。
【請求項33】
オーディオ信号（７２）をビットストリーム（７４）に符号化するためのエンコーダ（７０）であって、分散フィルタ処理を有効または無効にすることを可能にする情報、例えばブール値フラグと、
初期反射音に対する前記分散フィルタ処理を有効または無効にする情報、例えばブール値フラグと、
回折音に対する前記分散フィルタ処理を有効または無効にする情報、例えばブール値フラグと、
前記分散フィルタ処理に使用される分散フィルタの持続時間をシグナリングするためのパラメータを、例えばｍｓ単位で、例として０ｍｓと１００ｍｓとの間で示す情報と、
分散フィルタ利得をシグナリングするためのパラメータを示す情報と、
前記分散フィルタの空間的な広がりをシグナリングするためのパラメータを、例えば０度と±１８０度との間で示す情報と
のうちの１つまたは複数を含むように前記ビットストリーム（７４）を生成するように構成される、エンコーダ（７０）。
【請求項34】
ビットストリーム（７４；７８）であって、オーディオシーンの少なくとも１つの空間的に位置決めされた入力信号を示す情報と、
前記ビットストリームからオーディオ信号を生成するための分散フィルタの使用および／または構成の指示を含む情報を含む１つまたは複数のデータフィールドと
を含む、ビットストリーム（７４；７８）。
【請求項35】
前記１つまたは複数のデータフィールド内の前記情報は、分散フィルタ処理を有効または無効にすることを可能にする情報、例えばブール値フラグと、
初期反射音に対する前記分散フィルタ処理を有効または無効にする情報、例えばブール値フラグと、
回折音に対する前記分散フィルタ処理を有効または無効にする情報、例えばブール値フラグと、
前記分散フィルタ処理に使用される分散フィルタの持続時間をシグナリングするためのパラメータを、例えばｍｓ単位で、例として０ｍｓと１００ｍｓとの間で示す情報と、
分散フィルタ利得をシグナリングするためのパラメータを示す情報と、
前記分散フィルタの空間的な広がりをシグナリングするためのパラメータを、例えば０度と±１８０度との間で示す情報と
のうちの少なくとも１つを示す、請求項３４に記載のビットストリーム。
【請求項36】
音処理のための方法（９００）であって、複数の入力信号を空間的に位置決めし、それらを少なくとも２つの空間信号へと結合すること（９１０）と、
フィルタリングされた空間信号のセットを取得するために前記空間信号を分散フィルタリングすること（９２０）と、
前記フィルタリングされた空間信号に基づいて、いくつかの出力信号を提供すること（９３０）と
を含む、方法（９００）。
【請求項37】
オーディオシーンを符号化するための方法（１０００）であって、前記オーディオシーンから、前記オーディオシーンの少なくとも１つの空間的に位置決めされた入力信号を示す情報を生成すること（１０１０）と、
前記符号化されたオーディオシーンからオーディオ信号を生成するための分散フィルタの使用および／または構成の指示を含む情報を含む１つまたは複数のデータフィールドを提供すること（１０２０）と
を含む、方法（１０００）。
【請求項38】
コンピュータまたは信号プロセッサ上で実行されるときに請求項３６または３７に記載の方法を実施するためのコンピュータプログラム。
【国際調査報告】