特許 6205493 室内インパルス応答に従ってオーディオ信号を処理するための方法、信号処理装置、オーディオ符号化器、オーディオ復号器、及びバイノーラルレンダラ

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6205493

(24)【登録日】2017年9月8日

(45)【発行日】2017年9月27日

(54)【発明の名称】室内インパルス応答に従ってオーディオ信号を処理するための方法、信号処理装置、オーディオ符号化器、オーディオ復号器、及びバイノーラルレンダラ

(51)【国際特許分類】

   G10K 15/00 20060101AFI20170914BHJP

   G10L 19/008 20130101ALI20170914BHJP

   H04S 1/00 20060101ALI20170914BHJP

   H04S 7/00 20060101ALI20170914BHJP

   H04R 3/00 20060101ALI20170914BHJP

【ＦＩ】

   G10K15/00 M

   G10L19/008

   H04S1/00 500

   H04S7/00 320

   H04R3/00 310

【請求項の数】20

【全頁数】38

(21)【出願番号】特願2016-528429(P2016-528429)

(86)(22)【出願日】2014年7月16日

(65)【公表番号】特表2016-532149(P2016-532149A)

(43)【公表日】2016年10月13日

(86)【国際出願番号】EP2014065227

(87)【国際公開番号】WO2015010983

(87)【国際公開日】20150129

【審査請求日】2016年3月8日

(31)【優先権主張番号】13177362.4

(32)【優先日】2013年7月22日

(33)【優先権主張国】EP

(31)【優先権主張番号】13189230.9

(32)【優先日】2013年10月18日

(33)【優先権主張国】EP

(73)【特許権者】

【識別番号】500341779

【氏名又は名称】フラウンホーファー−ゲゼルシャフト・ツール・フェルデルング・デル・アンゲヴァンテン・フォルシュング・アインゲトラーゲネル・フェライン

(74)【代理人】

【識別番号】100205981

【弁理士】

【氏名又は名称】野口 大輔

(74)【代理人】

【識別番号】100085464

【弁理士】

【氏名又は名称】野口 繁雄

(72)【発明者】

【氏名】ジモーネ・フュグ

(72)【発明者】

【氏名】ヤン・プログスティエス

【審査官】 大石 剛

(56)【参考文献】

【文献】 米国特許出願公開第２００８／０１７５３９６（ＵＳ，Ａ１）

【文献】 特開２００９−０５３３４９（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ１０Ｋ １５／００

Ｇ１０Ｌ １９／００８

Ｈ０４Ｒ ３／００

Ｈ０４Ｓ １／００

Ｈ０４Ｓ ７／００

(57)【特許請求の範囲】

【請求項1】

室内インパルス応答（３００、８０４）に従ってオーディオ信号（４００、８０２）を処理するための方法であって、該方法は、
前記室内インパルス応答（３００、８０４）の早期部分（３０１、３０２）及び後期残響（３０４）を用いて前記オーディオ信号（４００、８０２）を別個に処理すること（４０２、４０４、４０６、４２２、４２４、８１２、８１６ａ、８１６ｂ）と、
前記室内インパルス応答（３００、８０４）の前記早期部分（４１４、４２８、８１４）によって処理された前記オーディオ信号と残響付与済み信号（４１６、４３０、８２６ａ、８２６ｂ）とを組み合わせること（４１８、４３２、８２８）と、を含み、
相関の大きさが一度閾値に達すると、前記室内インパルス応答（３００、８０４）における前記早期部分（３０１、３０２）から前記後期残響（３０４）までの遷移が決定され、
前記相関の大きさは、前記室内インパルス応答（３００、８０４）に関して、初期状態を含む音響エネルギーの減衰の類似度、及び所定の周波数範囲にわたる前記初期状態に続く時点において始まる音響エネルギーの減衰の類似度を記述し、
前記閾値は前記室内インパルス応答（３００、８０４）の前記早期部分（３０１、３０２）における早期反射（３０２、６０２）のうちの選択された１つについての相関の大きさに応じて設定され、
前記早期反射のうちの前記選択された１つは最初の反射（６０２）である方法。

【請求項2】

前記遷移を決定することは、
前記室内インパルス応答（３００、８０４）に基づいて音響エネルギーの分布を決定すること（５００）と、
前記決定された分布の複数の部分について、前記決定された分布のそれぞれの部分における前記音響エネルギーと初期状態における前記音響エネルギーとの間の相関を示す複数の相関の大きさを決定すること（５０２）と、を含む請求項１に記載の方法。

【請求項3】

前記分布を決定することは前記音響エネルギーの時間周波数分布を決定することを含み、
前記分布の一部分は所定長の時間ブロックを含み、前記初期状態は前記時間周波数分布の前記複数の時間ブロックのうちの第１の時間ブロックによって規定される請求項２に記載の方法。

【請求項4】

前記分布を決定することは、前記室内インパルス応答（３００、８０４）からエネルギー減衰緩和（ＥＤＲ）を計算することを含む請求項２又は３に記載の方法。

【請求項5】

前記ＥＤＲは以下のように計算される請求項４に記載の方法。

ただし、
Ｅ(ｔ，ω)＝エネルギー減衰緩和、
ｈ(τ)＝室内インパルス応答（３００、８０４）、
ω＝２πｆ
である。

【請求項6】

前記室内インパルス応答（３００、８０４）は所定の有効長を有し、前記時間周波数分布を決定することは、前記室内インパルス応答の前記有効長に対応する長さを有するウィンドウを使用して前記室内インパルス応答（３００、８０４）のＦＦＴスペクトルを計算することを含む請求項３に記載の方法。

【請求項7】

前記初期状態における前記音響エネルギーは、前記室内インパルス応答（３００、８０４）の前記有効長全体を取り、前記ＦＦＴスペクトルを計算して絶対値の二乗を取ることによって求められ、
時間ブロックの前記音響エネルギーは、前記時間ブロックと関連付けられる時間だけ前記ウィンドウをシフトさせ、ウィンドウィングされたサンプルを前記有効長までゼロ詰めし、前記ＦＦＴを計算して絶対値の二乗を取ることによって求められる請求項６に記載の方法。

【請求項8】

前記相関の大きさは以下のように計算される請求項１から７のいずれか一項に記載の方法。

ここで、
ρ(ｔ)は相関の大きさ、
Ｅ(１，ω)は周波数ｆにおける全周波数範囲エネルギー減衰緩和、

は最初の全範囲エネルギー減衰緩和のすべての周波数にわたる平均値、
Ｅ(ｔ，ω)は時刻ｔから始まる周波数ｆにおけるエネルギー減衰緩和、

は時刻ｔから始まる全範囲エネルギー減衰緩和のすべての周波数にわたる平均値、
ω＝２πｆ
である。

【請求項9】

前記閾値は、一定値及び前記早期反射（３０２、６０２）のうちの選択された１つの前記相関の大きさに基づいて決定される請求項１から８のいずれか一項に記載の方法。

【請求項10】

前記一定値は１／ｅであり、前記閾値は以下のように定義される請求項９に記載の方法。
ρ(ｔ)＝ｃ・ρ(ｔ_F)
ここで、
ρ(ｔ_F)は前記早期反射（３０２、６０２）のうちの選択された１つの相関の大きさ、
ｔ_Fは前記室内インパルス応答（３００、８０４）の直接的な音成分である直接音（３００）の後の前記早期反射（３０２、６０２）のうちの選択された１つが衝突する時間インデックス、
ｃは１／ｅに基づく前記一定値であり、ｅはオイラー数である。

【請求項11】

コンピュータ上で実行されると、請求項１から１０のいずれか一項に記載の方法を実行する命令を記憶しているコンピュータ読取り可能な媒体を含む非有形コンピュータプログラム製品。

【請求項12】

オーディオ信号（４００、８０２）を受信するための入力と、
請求項１から１０のいずれか一項に記載の方法に従って、室内インパルス応答（３００、８０４）に従って前記オーディオ信号（４００、８０２）を処理するように構成されているプロセッサと、
前記オーディオ信号の処理済み早期部分（４１４、４２８、８１４）と、前記残響付与済み信号（４１６、４３０、８２６ａ、８２６ｂ）とを組み合わせて（４１８、４３２、８２８）、出力オーディオ信号にするための出力と、を備えている信号処理装置。

【請求項13】

前記室内インパルス応答（３００、８０４）の前記早期部分（３０１、３０２、６０２）に従って前記受信オーディオ信号（４００、８０２）を処理するための早期部分プロセッサ（４０２、４０４、４２２、８１２）と、
前記室内インパルス応答（３００、８０４）の前記後期残響（３０４）に従って前記オーディオ信号（４００、８０２）を処理するための後期残響プロセッサ（４０６、４２４、８１６ａ、８１６ｂ）と、を備えている請求項１２に記載の信号処理装置。

【請求項14】

オーディオ信号を符号化するためのオーディオ符号化器であって、
該オーディオ符号化器は、請求項１から１０のいずれか一項に記載の方法に従って、符号化されるべきオーディオ信号を室内インパルス応答（３００、８０４）に従って処理するように構成されているオーディオ符号化器。

【請求項15】

請求項１２又は１３に記載の信号処理装置を有する、請求項１４に記載のオーディオ符号化器。

【請求項16】

符号化済みオーディオ信号を復号するためのオーディオ復号器であって、
該オーディオ復号器は、請求項１から１０のいずれか一項に記載の方法に従って、復号されたオーディオ信号（４００、８０２）を、室内インパルス応答（３００、８０４）に従って処理するように構成されているオーディオ復号器。

【請求項17】

請求項１２又は１３に記載の信号処理装置を有する、請求項１６に記載のオーディオ復号器。

【請求項18】

前記復号されたオーディオ信号（４００、８０２）を受信し、前記室内インパルス応答（３００、８０４）に基づいて出力信号をレンダリングするように構成されているレンダラを含む請求項１６に記載のオーディオ復号器。

【請求項19】

前記レンダラはバイノーラルレンダラを含む請求項１８に記載のオーディオ復号器。

【請求項20】

請求項１２又は１３に記載の信号処理装置を含むバイノーラルレンダラ。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、オーディオ符号化／復号の分野に関し、特に、空間オーディオコード化及び空間オーディオオブジェクトコード化、例えば、３Ｄオーディオコーデックシステムの分野に関する。本発明の実施形態は、室内インパルス応答に従ってオーディオ信号を処理し、そのような室内インパルス応答において早期反射から後期残響までの遷移を決定するための手法に関する。

【背景技術】

【0002】

空間オーディオコード化ツールが当該技術分野において周知であり、例えば、ＭＰＥＧサラウンド規格において標準化されている。空間オーディオコード化は、複数の原入力、例えば５つ又は７つの入力チャネルから開始する。それらの原入力は、それらの再生設定における配置によって、例えば、左チャネル、中央チャネル、右チャネル、左サラウンドチャネル、右サラウンドチャネル及び低周波強調チャネルとして識別される。空間オーディ符号化器が、原チャネルから１つ又は複数のダウンミックスチャネルを導出することができ、加えて、チャネルコヒーレンス値のチャネル間レベル差、チャネル間位相差、チャネル間時間差などのような、空間手掛かりに関係するパラメータデータを導出することができる。１つ又は複数のダウンミックスチャネルは、最終的に、原入力チャネルの近似バージョンである出力チャネルを得るために、ダウンミックスチャネルを復号するための空間オーディオ復号器に対して空間手掛かりを示すパラメータサイド情報、及び、関連するパラメータデータとともに送信される。出力設定におけるチャネルの配置は固定することができ、例えば、５．１フォーマット、７．１フォーマットなどとすることができる。

【0003】

また、空間オーディオオブジェクトコード化ツールが当該技術分野において周知であり、例えば、ＭＰＥＧ ＳＡＯＣサラウンド規格（ＳＡＯＣ＝spatial audio object coding：空間オーディオオブジェクトコード化）において標準化されている。原チャネルから開始する空間オーディオコード化とは対照的に、空間オーディオオブジェクトコード化は、自動的に特定のレンダリング再生装備に専用になるのではないオーディオオブジェクトから開始する。むしろ、再生シーンにおけるオーディオオブジェクトの配置は柔軟であり、ユーザによって、例えば、空間オーディオオブジェクトコード化復号器に特定のレンダリング情報を入力することによって設定することができる。あるいは又はさらに、レンダリング情報は、付加的なサイド情報又はメタデータとして送信することができ、レンダリング情報は、（例えば、経時的に）再生装備におけるいずれの位置に特定のオーディオオブジェクトが配置されるべきかの情報を含むことができる。特定のデータ圧縮を得るためにＳＡＯＣ符号化器を使用して複数のオーディオオブジェクトが符号化される。ＳＡＯＣ符号化器は、特定のダウンミックス情報に従ってオブジェクトをダウンミックスすることによって、入力オブジェクトから１つ又は複数のトランスポートチャネルを計算する。さらに、ＳＡＯＣ符号化器は、オブジェクトレベル差（ＯＬＤ：object level difference）、オブジェクトコヒーレンス値のようなオブジェクト間手掛かりを表すパラメータサイド情報を計算する。ＳＡＣ（ＳＡＣ＝Spatial Audio Coding：空間オーディオコード化）におけるように、オブジェクト間パラメータデータは、個々の時間／周波数タイルについて計算される。オーディオ信号の特定のフレーム（例えば、１０２４又は２０４８サンプル）について、複数の帯域（例えば、２４、３２、又は６４帯域）が考慮され、それによって、各フレーム及び各周波数帯域についてパラメータデータが提供される。例えば、オーディオ片が２０個のフレームを有し、各フレームが３２個の周波数帯域に区分化されるとき、時間／周波数タイルの数は６４０である。

【0004】

３Ｄオーディオシステムにおいて、オーディオ信号が特定の部屋の中で聴かれているかのような、オーディオ信号の空間的印象を与えることが所望されることがある。そのような状況において、特定の部屋の室内インパルス応答が、例えばその測定に基づいて生じ、オーディオ信号を聴き手に提示するときにオーディオ信号を処理するのに使用される。そのような提示において後期残響から分離して直接音と早期反射を処理することが望ましいことがある。これは、早期反射がどこで終わり、後期残響がどこで始まるかを決定することを必要とする。

【先行技術文献】

【非特許文献】

【0005】

【非特許文献1】[1] T. Hidaka et al: "A new definition of boundary point between early reflections and late reverberation in room impulse responses". Forum Acusticum, 2005.

【非特許文献2】[2] Jot et al: "Analysis and synthesis of room reverberation based on a statistical time frequency model".

【非特許文献3】[3] J.S. Abel, P. Huang: "A Simple, Robust Measure of Reverberation Echo Density". AES Convention, San Francisco, 2006.

【非特許文献4】[4] R. Stewart, M. Sandler: "Statistical Measures of Early Reflections of Room Impulse Responses". DAFx, 2007.

【非特許文献5】[5] Reilly et al: "Using Auralisation for Creating Animated 3-D Sound Fields Across Multiple Speakers". AES Convention, New York, 1995.

【非特許文献6】[6] Usher, J.: "An improved method to determine the onset timings of reflections in an acoustic impulse response". Journal of the Acoustical Society of America, (2010, volume 127) band 4, p. 172-177.

【非特許文献7】[7] Masri, P.: "Computer Modelling of Sound for Transformation and Synthesis of Musical Signals". PhD thesis, University of Bristol, 1996.

【発明の概要】

【発明が解決しようとする課題】

【0006】

本発明の目的は、室内インパルス応答に従ってオーディオ信号を処理するための改善された手法を提供することである。

【課題を解決するための手段】

【0007】

この目的は、請求項１に記載の方法、請求項１６に記載の信号処理装置、請求項１８に記載のオーディオ符号化器、請求項２０に記載のオーディオ復号器、及び請求項２４に記載のバイノーラルレンダラによって達成される。

【0008】

本発明は、従来の手法においては、最初の反射が発生又は衝突さえしていないうちに、遷移の発生を判定するのに使用される相関がすでに閾値に達しているために、早期反射から後期残響までの遷移の決定が早過ぎる状況があるということにおいて問題があるという本発明者の所見に基づく。これらの所見に基づいて、また、最初の反射ははっきりと区別でき確実に後期拡散残響ではあり得ないため、遷移時間は最初の反射の到来時刻よりも大きくならなければならないことが分かっているために、本発明者らは、固定閾値を使用することを回避することが必要であることを見出しており、むしろ、本発明の手法によれば、閾値は早期反射のうちの１つの衝突時刻における相関に依存するように規定される。これによって、最初の反射が常に遷移時間の前に位置することが保証される。

【0009】

（１）本発明は室内インパルス応答に従ってオーディオ信号を処理するための方法を提供し、この方法は、室内インパルス応答の早期部分及び後期残響を用いてオーディオ信号を別個に処理することと、室内インパルス応答の早期部分によって処理されたオーディオ信号と残響付与済み信号とを組み合わせることとを含む。室内インパルス応答における早期部分から後期残響までの遷移が、閾値に達する相関の大きさによって決定され、その閾値は室内インパルス応答の早期部分における早期反射のうちの選択された１つについての相関の大きさに応じて設定される。

【0010】

本発明の手法は、ロバストな遷移点に基づいてオーディオ信号の処理を改善することを可能にするため、有利である。本発明の手法は、部屋、バイノーラル手法が使用されているか否か、及び、入射角とは無関係である。従来技術の手法と比較して、本発明の手法は、バイノーラルインパルス応答の方位角、及び、直接音の振幅と最初の衝突反射との間の関係に強く依存しないため、さらに有利である。

【0011】

（２）実施形態によれば、相関の大きさは、室内インパルス応答に関して、初期状態を含む音響エネルギーの減衰、及び、所定の周波数範囲にわたって、初期状態に続く任意の時点において始まる音響エネルギーの減衰の類似度を記述する。

【0012】

（３）実施形態によれば、遷移を決定することは、室内インパルス応答に基づいて音響エネルギーの分布を決定することと、決定された分布の複数の部分について、決定された分布のそれぞれの部分における音響エネルギーと初期状態における音響エネルギーとの間の相関を示す複数の相関の大きさを決定することとを含む。

【0013】

（４）実施形態によれば、分布を決定することは、音響エネルギーの時間周波数分布を決定することを含み、分布の一部分は所定長の時間ブロックを含み、初期状態は時間周波数分布の複数の時間ブロックのうちの第１の時間ブロックによって規定される。

【0014】

これは、異なる複数の時点における周波数分布を分析することを可能にし、それによって周波数分布の特性の経時的な表現をもたらすため、有利である。

【0015】

（５）実施形態によれば、分布を決定することは、室内インパルス応答からエネルギー減衰緩和（ＥＤＲ：energy decay relief）を計算することを含み、ＥＤＲは以下のように計算される。

ここで、
Ｅ(ｔ，ω)はエネルギー減衰緩和、
ｈ(τ)は室内インパルス応答、
ω＝２πｆである。

【0016】

（６）実施形態によれば、室内インパルス応答は所定の有効長を有し、時間周波数分布を決定することは、室内インパルス応答の有効長に対応する長さを有するウィンドウを使用して室内インパルス応答のＦＦＴスペクトルを計算することを含む。

【0017】

ＦＦＴ／ＤＦＴが明確に定義されており、スペクトル値を計算するための有効なアルゴリズムがあるため、これは有利である。ウィンドウ内の値が分かっている場合、複雑でない方法でＦＦＴ／ＤＦＴを計算することができる。

【0018】

（７）実施形態によれば、初期状態における音響エネルギーは、室内インパルス応答の有効長全体を取り、ＦＦＴスペクトルを計算して絶対値の二乗を取ることによって求められ、時間ブロックの音響エネルギーは、時間ブロックと関連付けられる時間だけウィンドウをシフトさせ、ウィンドウィングされたサンプルを有効長までゼロ詰めし、ＦＦＴを計算して絶対値の二乗を取ることによって求められる。

【0019】

ＥＤＲの狭い帯域の計算に追加のフィルタバンクなどが必要とされず、ウィンドウをシフトすることだけが必要とされるため、これは有利である。

【0020】

（８）実施形態によれば、相関の大きさは、初期状態を含む音響エネルギーの減衰、及び、初期状態に続く任意の時点において始まる音響エネルギーの減衰の類似度を記述する相関の大きさである。相関の大きさは以下のように計算することができる。

ここで、
ρ(ｔ)は相関の大きさ、
Ｅ(１，ω)は周波数ｆにおける全周波数範囲エネルギー減衰緩和、

は最初の全範囲エネルギー減衰緩和のすべての周波数にわたる平均値、
Ｅ(ｔ，ω)は時刻ｔから始まる周波数ｆにおけるエネルギー減衰緩和、

は時刻ｔから始まる全範囲エネルギー減衰緩和のすべての周波数にわたる平均値、
ω＝２πｆ
である。

【0021】

この式は、周知のピアソンの相関係数（ピアソンの積率相関：Pearson's Product-Moment correlation）を指すため、これは有利である。相関係数はＥＤＲから直接計算することができる。

【0022】

（９）実施形態によれば、閾値は、一定値と早期反射のうちの選択された１つの相関の大きさに基づいて決定される。閾値は以下のように定義することができる。
ρ(ｔ)＝ｃ・ρ(ｔ_F)
ここで、
ρ(ｔ_F)は早期反射のうちの選択された１つの相関の大きさ、
ｔ_Fは直接音の後の早期反射のうちの選択された１つが衝突する時間インデックス、
ｃは１／ｅに基づく一定値、、ｅはオイラー数である。

【0023】

閾値は一定ではなく、相関が閾値を下回って収まるのが早すぎないことを保証するために、選択された早期反射に依存するので有利である。

【0024】

（１０）実施形態によれば、早期反射のうちの選択された１つの時間は、例えば、移動尖度演算子（running kurtosis operator）、閾値検出又はアタック検出によって求められる。

【0025】

これは、インパルス応答の時間ドメインサンプルから反射の衝突の時間を直接かつ自動的に計算することができるため、有利である。

【0026】

（１１）実施形態によれば、早期反射のうちの選択された１つは、直接音に続く最初の反射である。

【0027】

（１２）本発明は、オーディオ信号を受信するための入力と、本発明の方法に従って、室内インパルス応答に従って受信オーディオ信号を処理するように構成又はプログラムされているプロセッサと、受信オーディオ信号の処理済み早期部分及び残響付与済み信号を組み合わせて出力オーディオ信号にするための出力とを備える信号処理装置を提供する。この信号処理装置は、室内インパルス応答の早期部分に従って受信オーディオ信号を処理するための早期部分プロセッサと、室内インパルス応答の後期残響に従って受信オーディオ信号を処理するための後期残響プロセッサとを備えることができる。

【0028】

（１３）本発明は、オーディオ信号を符号化するためのオーディオ符号化器を提供する。このオーディオ符号化器は、本発明の方法に従って、符号化されるべきオーディオ信号を室内インパルス応答に従って処理するように構成又はプログラムされている。このオーディオ符号化器は本発明の信号処理装置を含むことができる。

【0029】

（１４）本発明は、符号化済みオーディオ信号を復号するためのオーディオ復号器を提供する。このオーディオ復号器は、本発明の方法に従って、復号ずみオーディオ信号を室内インパルス応答に従って処理するように構成又はプログラムされている。このオーディオ復号器は本発明の信号処理装置を含むことができる。このオーディオ復号器は、復号ずみオーディオ信号を受信し、室内インパルス応答に基づいて出力信号をレンダリングするように構成又はプログラムされている、バイノーラルレンダラのようなレンダラを含むことができる。

【0030】

（１５）本発明は、本発明の信号処理装置を含むバイノーラルレンダラを提供する。

【図面の簡単な説明】

【0031】

【図1】３Ｄオーディオシステムの３Ｄオーディオ符号化器の概観図である。

【図2】３Ｄオーディオシステムの３Ｄオーディオ復号器の概観図である。

【図3】図２の３Ｄオーディオ復号器内で実装することができるフォーマット変換器を実装するための一例を示す図である。

【図4】図２の３Ｄオーディオ復号器内で実装することができるバイノーラルレンダラの一実施形態を示す図である。

【図5】室内インパルス応答ｈ(ｔ）の一例を示す図である。

【図6A】本発明の一実施形態による、室内インパルスの早期部分及び後期残響を有するオーディオ信号を別個に処理するための（例えば、図４のバイノーラルレンダラ内の）信号処理装置のブロック図である。

【図6B】本発明のさらなる実施形態による、室内インパルスの早期部分及び後期残響を有するオーディオ信号を別個に処理するための（例えば、図４のバイノーラルレンダラ内の）別の信号処理装置のブロック図である。

【図7】本発明の一実施形態による、室内インパルス応答の早期反射と後期残響との間の遷移時間を決定するための手法の流れ図である。

【図8】ＦＦＴベースの手法に従って決定されたインパルス応答について達成されるエネルギー減衰緩和（ＥＤＲ）を示す図である。

【図9】本発明の一実施形態による遷移時間決定を示す図である。

【図10】従来の手法を使用して決定されている、測定されているバイノーラル室内インパルス応答の左チャネル及び右チャネルの遷移時間を示す図である。

【図11】本発明の手法を使用して決定されている、測定されているバイノーラル室内インパルス応答の左チャネル及び右チャネルの遷移時間を示す図である。

【図12】本発明の一実施形態による、バイノーラルレンダラにおけるオーディオ信号のバイノーラル処理を概略的に示す図である。

【図13】本発明の一実施形態による、図１２のバイノーラルレンダラの周波数ドメイン残響付与装置における処理を概略的に示す図である。

【発明を実施するための形態】

【0032】

本発明の実施形態を添付の図面に関連して説明する。

【0033】

室内インパルス応答に従ってオーディオ信号を処理し、室内インパルス応答において、早期反射から後期残響までの遷移を決定するための本発明の手法の実施形態を説明する。以下の説明は、本発明の手法を実施することができる３Ｄオーディオコーデックシステムのシスタム概観によって開始する。

【0034】

図１及び図２は、実施形態による３Ｄオーディオシステムのアルゴリズムブロックを示す。より詳細には、図１は３Ｄオーディオ符号化器１００の概観を示す。オーディ符号化器１００は、任意に設けることのできるプリレンダラ／混合器回路１０２において入力信号、より詳細には、オーディオ符号化器１００に提供する複数の入力チャネルを受信する。それらの入力信号は、複数のチャネル信号１０４、複数のオブジェクト信号１０６及び対応するオブジェクトメタデータ１０８である。プリレンダラ／混合器１０２によって処理されたオブジェクト信号１０６（信号１１０参照）は、ＳＡＯＣ符号化器１１２（ＳＡＯＣ＝Spatial Audio Object Coding：空間オーディオオブジェクトコード化）に提供することができる。ＳＡＯＣ符号化器１１２は、ＵＳＡＣ符号化器１１６（ＵＳＡＣ＝Unified Speech and Audio Coding：統合音声音響符号化）に提供されるＳＡＯＣトランスポートチャネル１１４を生成する。加えて、信号ＳＡＯＣ−ＳＩ１１８（ＳＡＯＣ−ＳＩ＝SAOC side information：ＳＡＯＣサイド情報）も、ＵＳＡＣ符号化器１１６に提供される。ＵＳＡＣ符号化器１１６はさらに、プリレンダラ／混合器からオブジェクト信号１２０を直接受信するとともに、チャネル信号及びプリレンダリング済みオブジェクト信号１２２を受信する。オブジェクトメタデータ情報１０８は、圧縮オブジェクトメタデータ情報１２６をＵＳＡＣ符号化器に提供するＯＡＭ符号化器１２４（ＯＡＭ＝object metadata：オブジェクトメタデータ）に与えられる。ＵＳＡＣ符号化器１１６は、上述した入力信号に基づいて、１２８において示すような、圧縮出力信号ｍｐ４を生成する。

【0035】

図２は、３Ｄオーディオシステムの３Ｄオーディオ復号器２００の概観を示す。図１のオーディオ符号化器１００によって生成される符号化信号１２８（ｍｐ４）が、オーディ復号器２００、より詳細にはＵＳＡＣ復号器２０２において受信される。ＵＳＡＣ復号器２０２は、受信信号１２８を復号してチャネル信号２０４、プリレンダリング済みオブジェクト信号２０６、オブジェクト信号２０８、及びＳＡＯＣトランスポートチャネル信号２１０にする。さらに、圧縮オブジェクトメタデータ情報２１２及び信号ＳＡＯＣ−ＳＩ２１４が、ＵＳＡＣ復号器２０２によって出力される。オブジェクト信号２０８は、レンダリング済みオブジェクト信号２１８を出力するオブジェクトレンダラ２１６に提供される。ＳＡＯＣトランスポートチャネル信号２１０は、レンダリング済みオブジェクト信号２２２を出力するＳＡＯＣ復号器２２０に供給される。圧縮オブジェクトメタデータ情報２１２はＯＡＭ復号器２２４に供給され、ＯＡＭ復号器２２４はレンダリング済みオブジェクト信号２１８及びレンダリング済みオブジェクト信号２２２を生成するために、オブジェクトレンダラ２１６及びＳＡＯＣ復号器２２０にそれぞれの制御信号を出力する。この復号器は、図２に示すように、チャネル信号２２８を出力するために入力信号２０４、２０６、２１８及び２２２を受信する混合器２２６をさらに備える。チャネル信号は、２３０において示すように、スピーカ、例えば、３２チャネルスピーカに直接出力することができる。信号２２８はフォーマット変換回路２３２に提供することができ、フォーマット変換回路２３２はチャネル信号２２８が変換されるべき方法を示す再生レイアウト信号を制御入力として受信する。図２に示す実施形態において、フォーマット変換回路２３２での変換は、２３４で示されるように、信号が５．１スピーカシステムに提供できるように行われるべきであると仮定される。また、チャネル信号２２８は、２３８において示されるように、例えば、ヘッドホンのための２つの出力信号を生成するバイノーラルレンダラ２３６にも提供できる。

【0036】

本発明の実施形態において、図１及び図２に示す符号化／復号システムは、チャネル及びオブジェクト信号（信号１０４及び１０６参照）のコード化のためのＭＰＥＧ−Ｄ ＵＳＡＣコーデックに基づいている。大量のオブジェクトをコード化するための効率を増大させるために、ＭＰＥＧ ＳＡＯＣ技術を使用できる。３つのタイプのレンダラが、オブジェクトをチャネルにレンダリングするタスク、チャネルをヘッドホンにレンダリングするタスク、又は、チャネルを異なるスピーカ施設にレンダリングするタスク（図２、参照符号２３０、２３４及び２３８参照）を実施することができる。オブジェクト信号が明示的に送信されるか、又はＳＡＯＣを使用してパラメトリックに符号化されると、対応するオブジェクトメタデータ情報１０８が圧縮され（信号１２６参照）、３Ｄオーディオビットストリーム１２８に多重化される。

【0037】

図１及び図２に示す全体的な３Ｄオーディオシステムのアルゴリズムブロックを下記にさらに詳細に説明する。

【0038】

プリレンダラ／混合器１０２は、チャネル＋オブジェクト入力シーンを、符号化前にチャネルシーンに変換するために任意に設けることができる。機能的には、これは後述するオブジェクトレンダラ／混合器と同一である。符号化器入力における決定論的（deterministic）信号エントロピーを保証するためにオブジェクトのプリレンダリングが望ましいことがある。符号化器入力は、基本的に、同時にアクティブなオブジェクト信号の数とは無関係である。オブジェクトをプリレンダリングすることによって、オブジェクトメタデータを送信する必要がなくなる。個別のオブジェクト信号が、符号化器が使用するように構成されているチャネルレイアウトにレンダリングされる。各チャネルについてのオブジェクトの重みが、関連するオブジェクトメタデータ（ＯＡＭ）から得られる。

【0039】

ＵＳＡＣ符号化器１１６は、スピーカチャネル信号、個別のオブジェクト信号、オブジェクトダウンミックス信号及びプリレンダリング済み信号のためのコアコーデックである。ＵＳＡＣ符号化器１１６は、ＭＰＥＧ−Ｄ ＵＳＡＣ技術に基づいている。ＵＳＡＣ符号化器１１６は、入力チャネル及びオブジェクト割り当ての幾何学的情報及び意味情報に基づいて、チャネル及びオブジェクトのマッピング情報を作成することによって、上記信号のコード化を処理する。このマッピング情報は、入力チャネル及びオブジェクトがチャネル対要素（ＣＰＥｓ：channel pair elements）、単一チャネル要素（ＳＣＥｓ：single channel elements）、低周波数効果（ＬＦＥｓ：low frequency effects）及び４チャネル要素（ＱＣＥｓ：quad channel elements）のようなＵＳＡＣチャネル要素にどのようにマッピングされるかを記述し、ＣＰＥｓ、ＳＣＥｓ及びＬＦＥｓ、並びに対応する情報は復号器に送信される。ＳＡＯＣデータ１１４、１１８又はオブジェクトメタデータ１２６のようなすべての追加のペイロードが、符号化器のレート制御において考慮される。オブジェクトのコード化は、レンダラに対するレート／歪み要件及び双方向性要件に応じて、様々な方法で可能である。実施形態によれば、以下のオブジェクトコード化変形形態が可能である。

【0040】

・プリレンダリング済みオブジェクト：オブジェクト信号は符号化前に２２．２チャネル信号にプリレンダリング及び混合される。後続のコード化チェーンは、２２．２チャネル信号を考慮する。

【0041】

・個別オブジェクト波形：オブジェクトは単音波形として符号化器に供給される。符号化器は、チャネル信号に加えてオブジェクトを送信するために、単一チャネル要素（ＳＣＥs）を使用する。復号済みオブジェクトは受信機側においてレンダリング及び混合される。圧縮オブジェクトメタデータ情報が、受信機／レンダラに送信される。

【0042】

・パラメトリックオブジェクト波形：オブジェクト特性及びそれらの互いに対する関係は、ＳＡＯＣパラメータによって記述される。オブジェクト信号のダウンミックスはＵＳＡＣを用いてコード化される。パラメトリック情報が並行して送信される。ダウンミックスチャネルの数は、オブジェクトの数及び全体的なデータレートに応じて選択される。圧縮オブジェクトメタデータ情報がＳＡＯＣレンダラに送信される。

【0043】

オブジェクト信号のためのＳＡＯＣ符号化器１１２及びＳＡＯＣ復号器２２０は、ＭＰＥＧ ＳＡＯＣ技術に基づくことができる。このシステムは、より少数の送信チャネル、及び、ＯＬＤｓ、ＩＯＣｓ（Inter Object Coherence：オブジェクト間コヒーレンス）、ＤＭＧｓ（DownMix Gains：ダウンミックス利得）のような追加のパラメータデータに基づいて、複数のオーディオオブジェクトを再生成、修正及びレンダリングすることが可能である。追加のパラメータデータは、すべてのオブジェクトを個々に送信するのに必要とされるよりも大幅に低いデータレートを示し、コード化を非常に効率的にする。ＳＡＯＣ符号化器１１２は、入力として、単音波形としてのオブジェクト／チャネル信号を取り込み、パラメトリック情報（３Ｄオーディオビットストリーム１２８内にパケット化される）及びＳＡＯＣトランスポートチャネル（単一チャネル要素を使用して符号化され、送信される）を出力する。ＳＡＯＣ復号器２２０は、復号済みＳＡＯＣトランスポートチャネル２１０及びパラメトリック情報２１４からオブジェクト／チャネル信号を再構築し、再生レイアウト、解凍されたオブジェクトメタデータ情報、及び、任意ではあるがユーザ対話情報に基づいて出力オーディオシーンを生成する。

【0044】

オブジェクトメタデータコーデック（ＯＡＭ符号化器１２４及びＯＡＭ復号器２２４参照）は、各オブジェクトについて、３Ｄ空間におけるオブジェクトの幾何学的位置及び体積を指定する関連するメタデータが、時間及び空間におけるオブジェクト特性の量子化によって効率的にコード化されるように、設けられる。圧縮オブジェクトメタデータｃＯＡＭ１２６が、サイド情報として受信機２００に送信される。

【0045】

オブジェクトレンダラ２１６は、所定の再生フォーマットに従ってオブジェクト波形を生成するために、圧縮オブジェクトメタデータを利用する。各オブジェクトは、そのメタデータに従って特定の出力チャネルにレンダリングされる。このブロックの出力は、部分的結果の合計からもたらされる。チャネルベースの内容及び個別／パラメータオブジェクトの両方が復号される場合、チャネルベースの波形及びレンダリング済みオブジェクト波形が混合器２２６によって混合され、その後、結果としての波形２２８が出力され、又はそれらがバイノーラルレンダラ２３６もしくはスピーカレンダラモジュール２３２のような後処理モジュールに供給される。

【0046】

バイノーラルレンダラモジュール２３６は、各入力チャネルが仮想音源によって表わされるようにマルチチャネルオーディオ材料のバイノーラルダウンミックスを生成する。この処理は、ＱＭＦ（Quadrature Mirror Filterbank：直交ミラーフィルタバンク）ドメインにおいてフレームごとに行われ、バイノーラル化は測定バイノーラル室内インパルス応答に基づく。

【0047】

スピーカレンダラ２３２は、送信されたチャネル構成２２８と所望の再生フォーマットとの間で変換する。スピーカレンダラ２３２は「フォーマット変換器（format converter）」と呼ばれることもある。フォーマット変換器はより少数の出力チャネルへの変換を実施する、すなわち、ダウンミックスを作成する。

【0048】

図３はフォーマット変換器２３２を実装するための一例を示す。スピーカレンダラとも称されるフォーマット変換器２３２は、送信機チャネル構成と所望の再生フォーマットとの間で変換する。フォーマット変換器２３２はより少数の出力チャネルへの変換を実施する、すなわち、ダウンミックス（ＤＭＸ）プロセス２４０を実施する。ダウンミキサ２４０は、好ましくはＱＭＦドメインにおいて動作するものであり、混合器出力信号２２８を受信しスピーカ信号２３４を出力する。コントローラとも称されるコンフィギュレータ２４２を設けることができ、コンフィギュレータ２４２は、制御入力として、混合器出力レイアウト、すなわちそれのために混合器出力信号２２８によって表されるデータが決定されるレイアウト、を示す信号２４６、及び所望の再生レイアウトを示す信号２４８を受信する。この情報に基づいて、コントローラ２４２は、好ましくは自動的に、入力フォーマットと出力フォーマットとの所定の組み合わせのために最適化されたダウンミックス行列を生成し、これらの行列をダウンミキサ２４０に適用する。フォーマット変換器２３２は、標準的なスピーカ構成、及びスピーカ位置が非標準的なランダム構成を可能にする。

【0049】

図４は、図２のバイノーラルレンダラ２３６の一実施形態を示す。バイノーラルレンダラモジュールは、マルチチャネルオーディオ信号のバイノーラルダウンミックスを提供することができる。バイノーラル化は、測定されたバイノーラル室内インパルス応答に基づくことができる。室内インパルス応答は、実際の部屋の音響特性の「指紋」と考えることができる。室内インパルス応答は測定され、かつ記憶され、この「指紋」によって任意の音響信号を提供することができ、それによって聴き手において、室内インパルス応答と関連付けられた部屋の音響特性のシミュレーションが可能になる。バイノーラルレンダラ２３６は、頭部伝達関数（head related transfer functions）又はバイノーラル室内インパルス応答（ＢＲＩＲ：binaural room impulse responses）を使用して出力チャネルを２つのバイノーラルチャネルにレンダリングするようにプログラム又は構成することができる。例えば、モバイルデバイスについて、そのようなモバイルデバイスに取り付けられているヘッドホン又はスピーカに対するバイノーラルレンダリングが所望される。そのようなモバイルデバイスにおいて、制約に起因して、復号器及びレンダリングの複雑度を制限することが必要なことがある。そのような処理状況における非相関を省くことに加えて、最初に、ダウンミキサ２５０を使用して、中間ダウンミックス信号２５２、すなわちより少数の出力チャネル、へのダウンミックスを実施することが好ましい場合がある。これにより、実際のバイノーラル変換器２５４に対する入力チャネルがより少数になる。例えば、２２．２チャネル材料がダウンミキサ２５０によって５．１中間ダウンミックスにダウンミックスされてもよく、又は、あるいは中間ダウンミックスは、ある種の「ショートカット」モードにおいて図２のＳＡＯＣ復号器２２０によって直接計算されてもよい。このとき、バイノーラルレンダリングは、２２．２入力チャネルが直接レンダリングされるべきであるのであれば、４４個のＨＲＴＦ又はＢＲＩＲ関数を適用するのとは対照的に、異なる位置にある５つの個々のチャネルをレンダリングするための１０個のＨＲＴＦｓ（Head Related Transfer Functions：頭部伝達関数）又はＢＲＩＲ関数を適用しなければならないだけである。バイノーラルレンダリングに必要な畳み込みの動作は多大な処理能力を必要とし、それゆえ、許容可能なオーディオ品質を依然として得ながらこの処理能力を低減することが、モバイルデバイスにとって特に有用である。バイノーラルレンダラ２３６はマルチチャネルオーディオ材料２２８のバイノーラルダウンミックス２３８を生成するので、各入力チャネル（ＬＦＥチャネルは除外）が仮想音源によって表現される。この処理は、ＱＭＦドメインにおいてフレームごとに行うことができる。バイノーラル化は測定されたバイノーラル室内インパルス応答に基づき、直接音及び早期反射は、ＱＭＦドメインに加えて高速畳み込みを使用する疑似ＦＦＴドメインにおける畳み込み手法を介してオーディオ材料に印加することができ、一方、後期残響は別個に処理することができる。

【0050】

図５は、室内インパルス応答ｈ(ｔ）３００の一例を示す。室内インパルス応答は、３つの成分、すなわち、直接音３０１、早期反射３０２及び後期残響３０４を含む。したがって、室内インパルス応答は、インパルスが再生されるときの閉鎖された残響音響空間の反射挙動を描写する。早期反射３０２は密度が増大していく個別の反射であり、インパルス応答の、個々の反射をもはや区別することができない部分が、後期残響３０４と呼ばれる。直接音３０１は室内インパルス応答において容易に識別することができ、早期反射から分離することができるが、早期反射３０２から後期残響３０４への遷移はそれほど明白ではない。

【0051】

以下において、本発明の手法の実施形態をさらに詳細に説明する。本発明の実施形態によれば、オーディオ信号は、室内インパルス応答の早期部分及び後期残響を用いて別個に処理される。室内インパルス応答の早期部分によって処理されたオーディオ信号と残響付与済み信号とが組み合わされて、出力オーディオ信号として出力される。別個に処理するために、早期部分から後期残響への室内インパルス応答の遷移を知る必要がある。遷移は閾値に達する相関の大きさによって決定され、閾値は室内インパルス応答の早期部分における早期反射のうちの選択された１つについての相関の大きさに応じて設定される。相関の大きさは、室内インパルス応答に関して、初期状態を含む音響エネルギーの減衰、及び、所定の周波数範囲にわたる初期状態に続く任意の時点において始まる音響エネルギーの減衰の類似度を記述することができる。

【0052】

実施形態によれば、オーディオ信号を別個に処理することは、第１のプロセスの間に室内インパルス応答の早期反射部分３０１、３０２を用いてオーディオ信号を処理することと、第１のプロセスとは異なり分離している第２のプロセスの間に室内インパルス応答の拡散残響３０４を用いてオーディオ信号を処理することとを含む。第１のプロセスから第２のプロセスへの変化は、遷移時間において発生する。さらなる実施形態によれば、第２のプロセスにおいて、拡散（後期）残響３０４は合成残響に置き換えることができる。その場合、与えられる室内インパルス応答は、早期反射部分３０１、３０２（図５参照）のみを含むことがあり、後期拡散残響３０４は含まれない。

【0053】

図６（Ａ）は、本発明の一実施形態による、室内インパルス応答の早期部分及び後期残響を有するオーディオ信号を別個に処理するための第１の例示的な信号処理装置のブロック図を示す。室内インパルス応答の異なる複数の部分によるオーディオ信号の処理は、上述したバイノーラルレンダラ２３６において実行することができる。オーディオ入力信号４００は非残響オーディオ材料、例えば、マルチチャネルオーディオ入力信号とすることができ、それには室内インパルス応答、例えば、人工骨頭又はインナーイヤマイクロホンを使用して測定された室内インパルス応答が畳み込まれる。この畳み込みは、元の非残響オーディオ材料が室内インパルス応答と関連付けられる部屋で聴かれているような、そのオーディオ材料の空間印象を得ることを可能にする。例えば、上述したバイノーラルレンダラ２３６において、室内インパルス応答の直接音３０１及び早期反射３０２を用いてオーディオ信号を処理し、別個に、後期残響３０４を用いてオーディオ信号を処理することが所望されることがある。オーディオ入力信号４００を処理するために、直接音処理のためのブロック４０２、早期反射処理のためのブロック４０４、及び後期残響処理のためのブロック４０６が設けられている。それぞれのブロック４０２、４０６の出力信号４０８と４１０は、早期処理済み信号４１４を生成するために第１の加算器４１２によって組み合わされる。オーディオ信号が室内インパルス応答と関連付けられる部屋で聴かれているような印象を聴き手に与えるオーディオ出力信号４２０を生成するために、早期処理済み信号４１４とプロセッサ４０６によって与えられた残響付与済み信号４１６が第２の加算器４１８によって組み合わされる。

【0054】

直接音及び早期反射とは別個に後期残響処理３０２を処理することは、計算複雑度が低減することにより有利である。より具体的にいうと、インパルス応答全体の畳み込みを使用することは、非常に計算コストがかかる。それゆえ、より複雑度の低い残響アルゴリズムが、後期残響をシミュレートするためにオーディオ信号を処理するのに典型的に使用される。直接音とインパルス応答の早期反射部分は、例えば、畳み込みによってより正確に計算される。さらなる利点は、残響制御が可能であることである。これは、後期残響の修正を、例えば、ユーザ入力、測定される室内パラメータ又はオーディオ信号の内容に応じて行うことを可能にする。上記の利点を達成するために、早期反射３０２が終わり後期残響３０４が始まる遷移（例えば、時点）が分かる必要がある。後期残響処理の始まりが早すぎるとき、人間が聴いて失われた明確な早期反射を検知することができるため、オーディオ信号の品質がより低くなり得る。他方、遷移時間が遅すぎる場合、早期反射処理は一般的に後期残響処理よりもコストがかかるため、計算効率性が利用されなくなる。遷移、例えば時間ドメインサンプルにおける遷移は、入力パラメータとしてバイノーラルレンダラに供給することができ、入力パラメータはその後、受信された遷移に応じて、オーディオ信号を別個に処理するためのプロセッサ４０２，４０４，４０６を制御することになる。

【0055】

図６（Ｂ）は、本発明の別の実施形態による、早期部分を有するオーディオ信号と室内インパルスの後期残響を別個に処理するための別の例示的な信号処理装置のブロック図を示す。入力信号４００、例えばマルチチャネルオーディオ入力信号、が受信され、早期部分を処理するための第１のプロセッサ４２２に印加される。すなわち、第１のプロセッサ４２２は、図５に示す直接音３０１及び室内インパルス応答３００の早期反射３０２に従ってオーディオ信号を処理するためのものである。マルチチャネルオーディオ入力信号４００は、室内インパルス応答の後期残響３０４に従ってオーディオ信号を処理するための第２のプロセッサ４２４にも印加される。バイノーラルレンダラにおいて、上述したように、主に、計算複雑度を低減するために、直接音及び早期反射を後期残響とは別個に処理することが所望されることがある。直接音及び早期反射の処理は、例えば、第１のプロセッサ４２２によって実行される畳み込み手法によってオーディオ信号に印加することができ、一方、後期残響は第２のプロセッサ４２４によって与えられる合成残響に置き換えることができる。したがって、全体的なバイノーラル出力信号４２０は、プロセッサ４２２によって与えられる畳み込み結果４２８と、プロセッサ４２４によって与えられる合成残響付与済み信号４３０との組み合わせである。実施形態によれば、信号４２８と４３０は、全体的なバイノーラル出力信号４２０を出力する加算器４３２によって組み合わされる。

【0056】

言及したように、第１のプロセッサ４２２は、オーディオ入力信号４００と直接音及び室内インパルス応答の早期反射との畳み込みを引き起こすことができ、直接音及び室内インパルス応答の早期反射は複数の記録されているバイノーラル室内インパルス応答を保持する外部データベース４３４から第１のプロセッサ４２２に与えることができる。第２のプロセッサ又は残響付与装置４２４は残響ＲＴ６０及び残響エネルギーのような残響パラメータに基づいて動作することができ、残響パラメータは記憶されているバイノーラル室内インパルス応答から分析４３６によって得ることができる。留意することは、分析４３６はレンダラの必須の部分ではなく、むしろ、この分析は、データベース４３４に記憶されているそれぞれの応答からそれぞれの残響パラメータを導出することができることを示すためのものであり、この分析は外部で行われてもよいということである。残響付与装置パラメータは、例えば、オクターブ又は３分の１オクターブフィルタバンク分析においてエネルギー及びＲＴ６０残響時間を計算することによって求めてもよく、又は複数のインパルス応答分析の結果の平均値であってもよい。

【0057】

加えて、両方のプロセッサ４２２及び４２４は、データベース４３４から直接又は分析４３６を介して早期部分から後期残響への室内インパルス応答の遷移に関する情報も入力パラメータとして受信する。遷移は、下記にさらに詳細に説明するように決定することができる。

【0058】

実施形態によれば、遷移分析は、早期反射と後期残響とを分離するのに使用することができる。この分析は、入力パラメータとしてバイノーラルレンダラに供給することができる（例えば、残響付与装置を構成するのに使用されるＲＴ６０値及びエネルギー値とともに専用ファイル／インターフェースから読み出すことができる）。この分析は、１セットのバイノーラル室内インパルス応答（複数の方位角及び仰角のＢＲＩＲ対のセット）に基づくことができる。この分析は、すべてのインパルス応答について別個に実行される前処理段階であってもよく、このとき、すべての遷移値の中央値が１つのＢＲＩＲセットの全体的な遷移値として選ばれる。この全体的な遷移値はその後、バイノーラル出力信号の計算において後期残響から早期反射を分離するのに使用することができる。

【0059】

遷移を決定するためのいくつかの手法が既知であるが、これらの手法は、これより説明するように不利である。従来技術文献［１］には、早期反射から後期残響までの遷移時間を決定するためにエネルギー減衰緩和（ＥＤＲ）及び相関の大きさを使用する方法が記載されている。しかしながら、従来技術文献［１］に記載されている手法は不利である。

【0060】

１．この手法は、バイノーラルインパルス応答の方位角、及び直接音の振幅と最初の衝突反射の振幅との間の関係に強く依存する。

【0061】

２．遷移時間は任意の周波数帯域において計算される。いずれの周波数帯域が、全体的なインパルス応答に使用されるための正しい遷移時間を与えるかに関しては、一般的に知られていない。

【0062】

３．この手法の基本的な相関ステップに関する情報はない。

【0063】

別の既知の手法は、空間内のエコーの分散によって、例えば、秒あたりの反射の平均数によって早期反射を記述し、この数が所定の閾値を超えるときに後期残響の始まりを決定することである（従来技術文献［２］参照）。この手法は、すでに分かっている室内特性、すなわち室容積に依拠するが、室容積は未知であるが多い。室容積は、測定されたインパルス応答から容易に抽出することはできない。それゆえ、この方法は、測定されたインパルス応答からの遷移の計算には適用可能でない。また、後期残響と呼ばれるには、反射がどの程度密でなければならないかについては一般的に知られていない。

【0064】

従来技術文献［３］に記載されている別の可能性は、インパルス応答ウィンドウのある時点における実際の分布を、その時間ドメインにおけるガウス分布と比較することである。後期残響は正規分布を有すると仮定される。正規分布では、約３分の１（正確には１／ｅ）のサンプルが平均の１標準偏差外にあり、３分の２のサンプルが平均の１標準偏差内にある。明確な早期反射は１標準偏差内により多くのサンプルを有し、外側により少ないサンプルを有する。１標準偏差外にあるサンプル対１標準偏差内にあるサンプルの比を使用して遷移時間を定義することができる。しかしながら、この手法の欠点は、比は閾値周辺で変動することがあるため、この大きさによって遷移を定義することが困難であることである。この大きさはまた、比が計算されるスライディングウィンドウのサイズ及びタイプに強く依存する。

【0065】

上述した手法に加えて、尖度（確率的信号のより高次のキュムラント（cumulant））も、遷移時間を決定するのに使用できる。尖度は、従来技術文献［４］に概説されているように、インパルス応答の後期部分に近づくと急速に低減する。しかしながら、遷移に対する閾値の定義（急速な低減又は最初にゼロに達する時間のいずれかの使用）は明瞭でない。

【0066】

［２］に記載されているような、測定されたインパルス応答の分析に依拠せず、室容積に依拠するまた別の手法がある。この手法は、遷移時間が容積のみに依存すると仮定するが、境界の拡散特性を考慮に入れない。それゆえ、結果は遷移時間の近似にすぎないものであり得、遷移時間が精密に決定されないときの上述した欠点を回避するのに必要とされるほど正確ではない。さらに、室容積はわからないことが多く、測定されたインパルス応答から容易に抽出することはできない。

【0067】

他の既知の手法は、環境を完全に無視し、遷移時間を単純に８０ｍｓであると定義する。例えば、従来技術文献［５］参照。しかしながら、この数値は室内特性又は測定されるインパルス応答から完全にかけ離れており、それゆえ、後期残響をインパルス応答の残りの部分から分離する目的のためには不正確に過ぎる。

【0068】

本発明は、実施形態によれば、オーディオ信号処理の改善に加えて、室内インパルス応答における早期反射と後期残響との間の遷移時間を決定するための手法の改善をももたらし、遷移時間のより正確な決定をもたらす。実施形態は、後述するように、ＦＦＴ分析を使用して、測定されたインパルス応答から遷移時間を計算するための単純で効果的な可能性をもたらす。

【0069】

図７は、本発明の一実施形態による、室内インパルス応答の早期反射と後期残響との間の遷移時間を求めるための手法の流れ図を示す。早期反射から後期残響までの遷移時間を決定するために、第１のステップ５００において、音響エネルギーの時間周波数分布が決定される。例えば、実施形態によれば、ステップ５００においてエネルギー減衰緩和（Ｅ（ｔ，ｆ），ＥＤＲ）を計算することができる。ＥＤＲは、測定された（例えば、バイノーラル）室内インパルス応答から直接計算することができ、一般的に使用されるエネルギー減衰曲線の周波数ドメイン展開（シュレーダー積分ＥＤＣ（ｄ））として解釈することができる。エネルギー減衰曲線は時刻ｔ後のインパルス応答の残りのエネルギーを示す。広帯域インパルス応答を使用する代わりに、時間周波数表現からＥＤＲが導出され、多くの異なる時間周波数表現をこの目的のために使用することができる。ステップ５００において音響エネルギーの時間周波数分布が決定されると、ステップ５０２において、時間周波数分布の時間ブロックにおける音響エネルギーと、初期状態における全体的な音響エネルギーとの間の相関の大きさが決定される。ステップ５０４において、相関の大きさが規定の閾値に達する（例えば、規定の閾値の下に下がる）か否かについて決定が行われる。相関の大きさが閾値に達しない場合、方法はステップ５０６に進み、現在の時間ブロックに続く次の時間ブロック及び分布が選択され、次の時間ブロックについてステップ５０２と５０４が繰り返される。したがって、ステップ５０２から５０６によれば、相関の大きさは、ステップ５００において決定されるＥＤＲの各時間ブロックと初期状態における全体的なエネルギーとの間の相関値を計算するのに使用される。相関の大きさが規定の閾値に達する（例えば、規定の閾値より下に下がる）とき、遷移時間に達する。言い換えれば、ステップ５０４において、現在の時間ブロックについて相関の大きさが閾値よりも低いと決定されると、方法はステップ５０８に進み、現在の時間ブロックの時間が遷移時間として出力される。

【0070】

以下において、本発明の手法の一実施形態をさらに詳細に説明する。最初に、測定されたバイノーラルインパルス応答を、遷移時間の計算のための入力として取り込むことができる。その後、Ｐａｇｅ又はＬｅｖｉｎ分布が、エネルギー減衰緩和（ＥＤＲ）の計算に利用される。Ｐａｇｅ分布は過去のランニングスペクトルの導関数を指し、時間反転信号のＰａｇｅ分布がＬｅｖｉｎ分布と呼ばれる（従来技術文献［２］も参照されたい）。この分布は、瞬時パワースペクトルを記述し、インパルス応答ｈ（ｔ）のＥＤＲ（例えば、図５参照）は以下のように計算される。

ここで、
Ｅ(ｔ，ω）はエネルギー減衰緩和、
ｈ(τ)は室内インパルス応答、
ω＝２πｆ
である。

【0071】

上記の式による計算は直接音３０１（図５参照）において開始し、時間が増大するにつれて、エネルギー減衰緩和が含む明確な反射は少なくなり、確率的な残響が多くなる。説明されている実施形態によれば、エネルギー減衰緩和は、計算を容易にするために１ｍｓの長さを有する時間ブロックについて計算される。上述した機能によって、音響エネルギーの時間周波数分布は、図７のステップ５００に関連して説明したように決定される。

【0072】

これに続いて、図７のステップ５０２から５０６に関連して説明したように、ピアソンの積率相関（・・・・・・・'・・・・・・・・・・・・・・・・・・・・・・・・・・・・）（相関係数としても知られている）に基づく相関の大きさρ(ｔ）が決定される。より詳細には、実施形態に従って、各時間ブロックの音響エネルギーの、初期状態における全体的なエネルギーとの相関が、以下のように決定される。

ここで、
Ｅ(１，ω)は周波数ｆにおける全周波数範囲エネルギー減衰緩和、

は最初の全範囲エネルギー減衰緩和のすべての周波数にわたる平均値、
Ｅ(ｔ，ω)は時刻ｔから始まる周波数ｆにおけるエネルギー減衰緩和、

は時刻ｔから始まる全範囲エネルギー減衰緩和のすべての周波数にわたる平均値、
ω＝２πｆ
である。

【0073】

上記相関は、初期状態を含む減衰と、任意の時刻ｔにおいて始まる減衰との類似度を記述する。この相関は、計算のためにＥＤＲの全周波数範囲を使用して広帯域ＥＤＲから計算され、それによって、完全な初期エネルギー状況が時刻ｔにおける状況と比較される。

【0074】

本発明はすべての周波数にわたる相関の計算には限定されない。むしろ、相関はまた、所定の周波数範囲にわたって計算されてもよい。周波数範囲は処理されるべきオーディオ信号から決定することができる。例えば、特定のオーディオ信号について、周波数範囲は、所定の範囲、例えば可聴周波数の範囲に限定することができる。実施形態によれば、周波数範囲は２０Ｈｚ〜２０ｋＨｚとすることができる。留意すべきは、他の範囲も、例えば実証的研究によって選択できるということである。

【0075】

一実施形態によれば、ＥＤＲの有効ＦＦＴベースの実施形態を使用することができる。測定されるインパルス応答の有効長を有するウィンドウが適用され、測定されるインパルス応答は２¹³の有効長を有すると仮定され、これは８１９２周波数ビンに等しい。計算中、このウィンドウは、単一時間ブロックの個別の長さだけシフトされ、ウィンドウの終わりはゼロ詰めされる。実施形態によれば、１ｍｓの時間ブロック長が使用され、ＥＤＲの単純かつ効率的な計算のために、以下の手法が適用される。

【0076】

（１）測定されたインパルス応答の全有効長がＦＦＴスペクトルを計算するために利用され、絶対値が二乗されて、Ｅ(１，ω）がもたらされる。

【0077】

（２）インパルス応答の終わりに達するまで、インパルス応答の終わりに向かって１ｍｓの個別の時間ブロック長だけウィンドウが動かされ、ウィンドウィングされたサンプルが有効長までゼロ詰めされ（すなわち、有効長を超えるサンプルがゼロにされ）、その後、Ｅ(ｔ，ω）をもたらすＦＦＴスペクトルが計算される。

【0078】

上記の手法は有利である。というのは、ＥＤＲの狭い帯域の計算に追加のフィルタバンクなどが必要とされず、ウィンドウをシフトすることだけが必要とされるからである。図８は、上述したＦＦＴベースの手法に従ってインパルス応答について達成されるエネルギー減衰緩和の一例を示す。

【0079】

ステップ５０４及び５０８に関連して図７において説明したように、上述した方法で決定された相関が、その後、所定の閾値と比較される。閾値が小さくなるほど、遷移時間はインパルス応答の終わりに向かってより動く。例えば、バイノーラルインパルス応答について、閾値が１／ｅ≒０.３６７９になるように選択される場合（従来技術文献「２」も参照されたい）、相関は最初の反射が発生又は衝突するよりも前にすでに閾値の下に下がっているため、遷移はいくつかの方位角では早すぎる。しかしながら、最初の反射は明瞭に区別することができ、確実に、後期拡散残響ではあり得ないため、遷移時間は最初の反射の到来時刻よりも遅くなければならないことが分かることから、実施形態によれば、閾値は固定閾値としては定義されない。むしろ、本発明の手法によれば、閾値は、最初の反射の衝突時刻における相関に依存するように定義される。この定義によって、最初の反射が常に遷移時間の前に位置することが保証される。実施形態によれば、ステップ５０８に示すように、以下が当てはまるときに遷移時間に達すると考えられる。
ρ(ｔ)＝ｃ・ρ(ｔ_F)
ここで、
ρ(ｔ_F)は早期反射のうちの選択された１つの相関の大きさ、
ｔ_Fは直接音の後の早期反射のうちの選択された１つが衝突する時間インデックス、
ｃは１／ｅに基づく一定値であり、ｅはオイラー数である。

【0080】

実施形態によれば、一定値は１／ｅであってもよいが、本発明はこの値には限定されない。実施形態によれば、一定値は１／ｅによって近似することができ、例えば１／ｅを所定の少数位に対して四捨五入又は切り捨てすることによって近似することができる（下記参照）。

【0081】

説明されている実施形態において、ｔ_Fは直接音の後の最初の反射が衝突する時間ブロックインデックスである。

【0082】

図９は、本発明の手法による遷移時間決定を示し、最初の反射の衝突点における相関とび固定値又は一定値１／ｅを乗算することによって、インパルス応答に依存する閾値が計算される。サンプル数に対する室内インパルス応答６００の振幅が示されており、最初の反射６０２も示されている。波形６０４は、式（２）を適用することによって得られる相関値を示す。６０６において最初の反射における相関値が示されており、示されている例では０．５８の値を有する。また、従来使用されている１／ｅの固定閾値が６０８において示されている。最初の反射の相関値６０６と元の固定値１／ｅが乗算器６１０に適用され、乗算器６１０は、最初の反射における相関値に依存し、記載されている実施形態では６１２において示すように０．２１の値を有する新たな閾値を生成する。したがって、従来の手法と比較すると、遷移点６１４に続くすべてのサンプルがここでは後期残響３０４と考えられ、それよりも前のすべてのサンプルは早期反射３０２と考えられるように、遷移点６１４はさらに右に向けて動かされている。その結果もたらされる決定時間６１４はよりロバストであることが見てとれる。例えば、バイノーラル室内インパルス応答において、これは、計算される遷移時間が、方位角にわたってはるかにより安定していることを意味する。これは、図１０と図１１の比較から見てとれる。図１０は、上述したＥＤＣ実施態様を使用するが、１／ｅの固定位置を用いて測定されたバイノーラル室内インパルス応答の左チャネル７００と右チャネル７０２について、従来技術文献［１］に記載されている手法を適用するときの遷移時間を示す。耳及び方位角に対する依存性、並びに、最初の反射が衝突する前に相関ρ(ｔ)が閾値より下に下がるという事実によって１０ｍｓ未満まで下がる遷移時間の深い下落が明瞭に見える。図１１は、本発明の手法に従って計算されたときの、左チャネル７００及び右チャネル７０２の遷移時間を示す。図１０に関連して説明した従来の手法と比較すると、結果としてもたらされる遷移時間の、耳及び方位角への依存性ははるかに低いことが見てとれる。

【0083】

実施形態によれば、相関が初めて閾値以下になり、その後再び閾値を超えて増大しないときに、遷移時間に達したと考えられる。計算されている相関関数においてこのサンプルと関連付けられる時間値は、インパルス応答の後期残響が始まると考えられる時間である。本発明の手法によれば、第１の反射の衝突時間は、従来技術文献［６］において説明されているような移動尖度演算子によって決定することができる。あるいは、最初の反射は、他の方法によって、例えば閾値検出によって、又は例えば従来技術文献［７］に記載されているようなアタック検出によって検出してもよい。

【0084】

実施形態によれば、ｅ^-1＝０.３６７９は、例えば、従来技術文献［１］にも示されているような確率プロセスにおいて低い相関を示すための値として使用される。実施形態によれば、この値は、ｅ^-1は０.３６７９として近似されるように、有効数字４桁の十進数によって使用される。他の実施形態によれば、有効桁数がより多い又はより少ない十進数も使用することができ、検出される遷移時間はｅ^-1の正確な数からずれるに従って相応に変化することが観察されている。例えば、０.３６８の値を使用するとき、この結果としての遷移時間の変化は１ｍｓを下回る最小限のものである。

【0085】

さらなる実施形態によれば、インパルス応答は帯域制限することができ、この場合、ＥＤＲは制限された周波数範囲にわたって計算することができ、相関もＥＤＲの制限された周波数範囲にわたって計算することができる。代替的な周波数変換又はフィルタバンク、例えばＦＦＴドメインにおいて完全に動作する手法も使用することができ、それによって、例えばＦＦＴベースのフィルタリング／畳み込みを使用するときに、さらなる変換が節約される。

【0086】

留意することは、実施形態の上記説明において、相関値の値が最初の反射について参照されているということである。しかしながら、他の実施形態は、別の早期反射について計算された相関値を使用してもよい。

【0087】

上述したように、本発明の手法は、実施形態によれば、オーディオ信号のバイノーラル処理のためのバイノーラルプロセッサにおいて使用することができる。以下において、オーディオ信号のバイノーラル処理の一実施形態を説明する。バイノーラル処理は、復号済み信号をバイノーラルダウンミックス信号に変換する復号器プロセスとして実行することができ、バイノーラルダウンミックス信号はヘッドホンを介して聴かれるときにサラウンド音体験をもたらす。

【0088】

図１２は、本発明の一実施形態によるオーディオ信号のバイノーラル処理のためのバイノーラルレンダラ８００の概略図を示す。図１２はまた、バイノーラルレンダラにおけるＱＭＦドメイン処理の概説も提供する。入力８０２において、バイノーラルレンダラ８００は、処理されるべきオーディオ信号、例えばＮ個のチャネルと６４個のＱＭＦ帯域を含む入力信号を受信する。加えて、バイノーラルレンダラ８００は、オーディオ信号の処理を制御するための複数の入力パラメータを受信する。入力パラメータは、２×Ｎ個のチャネル及び６４個のＱＭＦ帯域のためのバイノーラル室内インパルス応答（ＢＲＩＲ）８０４、オーディオ入力信号のＢＲＩＲ８０４の早期反射部分との畳み込みに使用される最大帯域の指標Ｋ_max８０６、並びに、上述した残響付与装置パラメータ８０８及び８１０（ＲＴ６０及び残響エネルギー）を含む。バイノーラルレンダラ８００は、受信ＢＲＩＲ８０４の早期部分を用いて入力オーディオ信号８０２を処理するための高速畳み込みプロセッサ８１２を備えている。プロセッサ８１２は、出力において、２つのチャネル及びＫ_maxＱＭＦ帯域を含む早期処理済み信号８１４を生成する。バイノーラルレンダラ８００は、高速畳み込みプロセッサ８１２を有する早期処理分岐に加えて、各々がＲＴ６０情報８０８及び残響エネルギー情報８１０を入力パラメータとして受信する２つの残響付与装置８１６ａ及び８１６ｂを含む残響分岐をも含む。残響分岐はステレオダウンミックスプロセッサ８１８と相関分析プロセッサ８２０をさらに含み、両方とも同じく入力オーディオ信号８０２を受信する。加えて、ステレオダウンミックスプロセッサ８１８によって与えられるダウンミックス済み信号８２２の利得を制御するための２つの利得段８２１ａと８２１ｂが、ステレオダウンミックスプロセッサ８１８とそれぞれの残響付与装置８１６ａ及び８１６ｂとの間に設けられている。ステレオダウンミックスプロセッサ８１８は、入力信号８０２に基づいて、２つの帯域と６４個のＱＭＦ帯域を有するダウンミックス済み信号８２２を与える。利得段８２１ａと８２１ｂの利得は、相関分析プロセッサ８２０によって与えられるそれぞれの制御信号８２４ａと８２４ｂによって制御される。利得制御されたダウンミックス済み信号はそれぞれの残響付与装置８１６ａと８１６ｂに入力され、残響付与装置８１６ａと８１６ｂはそれぞれの残響付与済み信号８２６ａ、８２６ｂを生成する。早期処理済み信号８１４と残響付与済み信号８２６ａ、８２６ｂは混合器８２８によって受信され、混合器８２８は受信信号を組み合わせて、２つのチャネルと６４個のＱＭＦ帯域を有する出力オーディオ信号８３０にする。加えて、本発明によれば、高速畳み込みプロセッサ８１２並びに残響付与装置８１６ａ及び８１６ｂは、室内インパルス応答８０４における上述したように決定される早期部分から後期残響への遷移を示す追加の入力パラメータ８３２を受信する。

【0089】

バイノーラルレンダラモジュール８００（例えば、図２又は図４のバイノーラルレンダラ２３６）は、入力８０２として復号済みデータストリームを有する。その信号は、ISO/IEC 14496-3:2009, subclause 8.6.4.2に述べられている修正を加えたISO/IEC 14496-3:2009, subclause 4.B.18.2に概説されているＱＭＦ分析フィルタバンクによって処理される。レンダラモジュール８００はＱＭＦドメイン入力データを処理することもでき、その場合は分析フィルタバンクは省略できる。バイノーラル室内インパルス応答（ＢＲＩＲｓ）８０４は、複素ＱＭＦドメインフィルタとして表される。時間ドメインバイノーラル室内インパルス応答から複素ＱＭＦフィルタ表現への変換は、ISO/IEC FDIS 23003-1:2006, Annex Bに概説されている。ＢＲＩＲｓ８０４は複素ＱＭＦドメインにおいては特定数の時間スロットに制限されるので、それらは早期反射部分３０１、３０２（図５参照）のみを含み、後期拡散残響３０４は含まれない。早期反射から後期残響への遷移点８３２は、上述したように、例えばバイノーラル処理の前処理ステップにおけるＢＲＩＲｓ８０４の分析によって決定される。ＱＭＦドメインオーディオ信号８０２とＱＭＦドメインＢＲＩＲ８０４はその後、バイノーラル処理を実施するために帯域ごとの高速畳み込み８１２によって処理される。ＱＭＦドメイン残響付与装置８１６ａ、８１６ｂが使用されて、２チャネルＱＭＦドメイン後期残響８２６ａ、８２６ｂが生成される。残響付与モジュール８１６ａ、８１６ｂは、周波数依存残響時間８０８とエネルギー値８１０のセットを使用して残響の特性を適合させる。残響の波形はオーディオ入力信号８０２のステレオダウンミックス８１８に基づいており、マルチチャネルオーディオ信号８０２の相関分析８２０に応じて振幅が適応的にスケーリングされる８２１ａ、８２１ｂ。２チャネルＱＭＦドメイン畳み込み結果８１４と２チャネルＱＭＦドメイン残響８１６ａ、８１６ｂがその後組み合わされて８２８、最終的に、２つのＱＭＦ合成フィルタバンクが、ISO/IEC 14496-3:2009, subclause 4.6.18.4.2に概説されているように、バイノーラル時間ドメイン出力信号８３０を計算する。レンダラはＱＭＦドメイン出力データを計算することもでき、このときは合成フィルタバンクは省かれる。

【0090】

定義
バイノーラルレンダラモジュール８００に供給されるオーディオ信号８０２を、以下において入力信号と称する。バイノーラル処理の結果であるオーディオ信号８３０を出力信号と称する。バイノーラルレンダラモジュール８００の入力信号８０２は、コア復号器のオーディオ出力信号（例えば、図２の信号２２８参照）である。以下の様々な定義が使用される。

【0091】

【0092】

処理
ここで、入力信号の処理を説明する。バイノーラルレンダラモジュールは、入力オーディオ信号の長さＬ＝２０４８の時間ドメインサンプルの連続した重なり合わないフレームに対して動作し、長さＬの処理済み入力フレームあたりＬ個のサンプルのうちの１つのフレームを出力する。

【0093】

（１）初期化及び前処理
コア復号器（例えば、図２の復号器２００参照）によって発せられたオーディオサンプルの処理の前に、バイノーラル処理ブロックの初期化が行われる。初期化はいくつかの処理ステップから構成される。

【0094】

（ａ）分析値の読み出し
残響付与装置モジュール８１６ａ、８１６ｂが、残響時間８０８及びエネルギー８１０の周波数依存セットを入力パラメータとして取り込む。これらの値は、バイノーラル処理モジュール８００の初期化においてインターフェースから読み出される。加えて、時間ドメインサンプルにおける早期反射から後期残響付与への遷移時間８３２が読み出される。これらの値は、サンプルあたり３２ビット、浮動小数点値、リトルエンディアン順序で書き込まれるバイナリファイルに記憶することができる。処理に必要とされる読み値を下記の表に記述する。

【0095】

【0096】

（ｂ）ＢＲＩＲｓの読み出し及び前処理
バイノーラル室内インパルス応答８０４が、左耳ＢＲＩＲｓ及び右耳ＢＲＩＲｓを個々に記憶している２つの専用ファイルから読み出される。ＢＲＩＲｓの時間ドメインサンプルが、サンプルあたり２４ビット及び３２チャネルの分解能で整数ウェーブファイルに記憶される。ファイル内でのＢＲＩＲｓの順序付けは、以下の表に記述する通りである。

【0097】

【0098】

スピーカ位置の１つにおいて測定されたＢＲＩＲがない場合、ウェーブファイル内の対応するチャネルがゼロ値を含む。ＬＦＥチャネルはバイノーラル処理には使用されない。

【0099】

前処理ステップとして、バイノーラル室内インパルス応答（ＢＲＩＲｓ）の所定のセットが時間ドメインフィルタから複素値ＱＭＦドメインフィルタへ変換される。複素値ＱＭＦドメインにおける所定の時間ドメインフィルタの実施は、ISO/IEC FDIS 23003-1:2006, Annex Bにしたがって実行される。フィルタ変換のためのプロトタイプフィルタ係数は、ISO/IEC FDIS 23003-1:2006, Annex B, Table B.1に従って使用される。時間ドメイン表現

が処理されて、複素値ＱＭＦドメインフィルタ

が得られる。

【0100】

（２）オーディオ信号処理
バイノーラルレンダラ８００のオーディオ処理ブロックがＮ_in QUOTE個の入力チャネルの時間ドメインオーディオサンプル８０２をコア復号器から得て、Ｎ_out＝２個のチャネルから構成されるバイノーラル出力信号８３０を生成する。

【0101】

処理は、入力として以下を取り込む。
・コア復号器からの復号済みオーディオデータ８０２、
・ＢＲＩＲセット８０４の早期反射部分の複素ＱＭＦドメイン表現、及び
・後期残響８２６ａ、８２６ｂを生成するためにＱＭＦドメイン残響付与装置８１６ａ、８１６ｂによって使用される周波数依存パラメータセット８０８、８１０、８３２。

【0102】

（ａ）オーディオ信号のＱＭＦ分析
第１の処理ステップとして、バイノーラルレンダラモジュールは、Ｎ_inチャネル時間ドメイン入力信号（コア復号器から入来する）

のＬ＝２０４８個の時間ドメインサンプルを、Ｌ_n＝３２次元ＱＭＦ時間スロット（スロットインデックスｎ）及びＫ＝６４周波数帯域（帯域インデックスｋ）のＮ_inチャネルＱＭＦドメイン信号表現８０２に変換する。

【0103】

ISO/IEC 14496-3:2009, subclause 8.6.4.2に述べられている修正を加えたISO/IEC 14496-3:2009, subclause 4.B.18.2に概説されているＱＭＦ分析が、ＱＭＦドメイン信号

のフレームを得るために、時間ドメイン信号

のフレームに対して実施される。

【0104】

（ｂ）ＱＭＦドメインオーディオ信号及びＱＭＦドメインＢＲＩＲｓの高速畳み込み
次に、ＱＭＦドメインオーディオ信号８０２及びＱＭＦドメインＢＲＩＲｓ８０４を処理するために、帯域ごとの高速畳み込み８１２が実行される。入力信号８０２の各チャネル及び各ＢＲＩＲ８０４について、各ＱＭＦ周波数帯域ｋに対してＦＦＴ分析が実行され得る。

【0105】

ＱＭＦドメインにおける複素値に起因して、１つのＦＦＴ分析がＱＭＦドメイン信号表現の実数部に対して実行され、１つのＦＦＴ分析がＱＭＦドメイン信号表現の虚数部に対して実行される。その結果がその後、組み合わされて、最終的な帯域ごとの複素値疑似ＦＦＴドメイン信号

と帯域ごとの複素値ＢＲＩＲｓ
左耳用の

右耳用の

が形成される。

【0106】

ＦＦＴ変換の長さは、複素値ＱＭＦドメインＢＲＩＲフィルタＬ_trans,n及びＱＭＦドメイン時間スロットにおけるフレーム長Ｌ_nに従って、
Ｌ_FET＝Ｌ_n＋Ｌ_trans,n−１
のように決定される。

【0107】

複素値疑似ＦＦＴドメイン信号はその後、複素値疑似ＦＦＴドメインＢＲＩＲフィルタと乗算されて高速畳み込み結果が形成される。入力信号のいずれのチャネルがＢＲＩＲデータセット内のいずれのＢＲＩＲ対に対応するかを信号伝達するために、ベクトルｍ_convが使用される。

【0108】

この乗算はすべてのＱＭＦ周波数帯域ｋ（ただし、１≦ｋ＜Ｋ_max）について帯域ごとに行われる。最大帯域Ｋ_maxは、１８ｋＨｚ又はコア復号器からのオーディオ信号内に存在する最大信号周波数のいずれかの周波数を表すＱＭＦ帯域によって決定される。
ｆ_max＝ｍｉｎ（ｆ_max,decoder，１８ｋＨｚ）

【0109】

各ＢＲＩＲ対との各オーディオ入力チャネルの乗算結果が各ＱＭＦ周波数帯域ｋ（ただし、１≦ｋ＜Ｋ_max）において合計され、結果として、中間２チャネルＫ_max 帯域疑似ＦＦＴドメイン信号がもたらされる。

は、ＱＭＦドメイン周波数帯域ｋにおける疑似ＦＦＴ畳み込み結果

である。

【0110】

次に、畳み込み結果をＱＭＦドメインに変換し戻すために、帯域ごとのＦＦＴ合成が実行され、Ｌ_FFT個の時間スロット

を有する中間２チャネルＫ_max帯域ＱＭＦドメイン信号をもたらす。

【0111】

Ｌ＝３２個の時間スロットを有する各ＱＭＦドメイン入力信号フレームについて、Ｌ３２個の時間スロットを有する畳み込み結果信号フレームが返される。残りのＬ_FFT−３２個の時間スロットは記憶され、後続のフレーム（複数可）において重畳加算処理が実行される。

【0112】

（ｃ）後期残響の生成
第２の中間信号８２６ａ、８２６ｂとして、

と呼ばれる残響信号が、周波数ドメイン残響付与装置モジュール８１６ａ、８１６ｂによって生成される。周波数ドメイン残響付与装置８１６ａ、８１６ｂは、入力として以下を取り込む。
・入力信号の１つのフレームのＱＭＦドメインステレオダウンミックス８２２、
・周波数依存残響時間８０８及びエネルギー値８１０を含むパラメータセット。

【0113】

周波数ドメイン残響付与装置８１６ａ、８１６ｂは、２チャネルＱＭＦドメイン後期残響尾部を戻す。

【0114】

周波数依存パラメータセットの最大使用帯域数は、最大周波数に応じて計算される。

【0115】

最初に、入力信号

の１つのフレームのＱＭＦドメインステレオダウンミックス８１８が実行されて、入力信号チャネルの加重和によって残響付与装置の入力が形成される。重み付け利得は、ダウンミックス行列Ｍ_DMXに含まれている。それらは実数値かつ非負であり、ダウンミックス行列はＮ_out×Ｎ_in次元である。それは、入力信号が２つの出力チャネルのうちの一方にマッピングされる非ゼロ値を含む。

【0116】

左半球上のスピーカ位置を表すチャネルは左出力チャネルにマッピングされ、右半球上に位置するスピーカを表すチャネルは右出力チャネルにマッピングされる。これらのチャネルの信号は、係数１によって重み付けされる。正中面にあるスピーカを表すチャネルは、バイノーラル信号の両方の出力チャネルにマッピングされる。これらのチャネルの入力信号は、以下の係数によって重み付けされる。

【0117】

加えて、エネルギー均等化ステップがダウンミックスにおいて実施される。このステップは、１つのダウンミックスチャネルの帯域ごとのエネルギーを、このダウンミックスチャネルに含まれている入力信号チャネルの帯域ごとのエネルギーの合計に等しくなるように適合させる。このエネルギー均等化は、帯域ごとに以下の実数値係数を乗算することによって行われる。

【0118】

係数ｃ_eq,kは［０.５，２］の間に制限される。ゼロによる除算を回避するために数値定数εが導入されている。ダウンミックスはまた周波数ｆ_maxに帯域制限される。すなわち、それより高いすべての周波数帯域における値がゼロに設定される。

【0119】

図１３は、本発明の一実施形態による、バイノーラルレンダラ８００の周波数ドメイン残響付与装置８１６ａ、８１６ｂにおける処理を概略的に表す。

【0120】

周波数ドメイン残響付与装置において、ステレオ入力のモノラルダウンミックスが入力混合器９００を使用して計算される。これは、第２の入力チャネルに９０°の位相シフトを非コヒーレントに適用して行われる。

【0121】

このモノラル信号はその後、各周波数帯域ｋ内のフィードバック減衰ループ９０２に供給され、これは、減衰インパルス系列を生成する。これに並列ＦＩＲ相関分離器が続き、相関分離器はインパルスの間の間隔に減衰するように信号エネルギーを分散させ、出力チャネル間に非コヒーレンス性をもたらす。エネルギー減衰をもたらすために減衰フィルタタップ密度が適用される。フィルタタップ位相動作は、疎で乗算器のない相関分離器を実装するために４つの選択肢に制限される。

【0122】

残響の計算の後に、チャネル間コヒーレンス（ＩＣＣ）補正９０４が、すべてのＱＭＦ周波数帯域について残響付与装置モジュールに含まれる。ＩＣＣ補正ステップにおいて、周波数依存直接利得ｇ_direct及びクロスミックス利得ｇ_crossがＩＣＣを適合させるのに使用される。

【0123】

複数の異なる周波数帯域のエネルギーの量及び残響時間は入力パラメータセットに含まれている。それらの値は、Ｋ＝６４個のＱＭＦ周波数帯域に中間マッピングされる複数のの周波数点において与えられる。

【0124】

最終的な中間信号

を計算するために、周波数ドメイン残響付与装置の２つのインスタンスが使用される。信号

は残響付与装置の第１のインスタンスの第１の出力チャネルであり、

は残響付与装置の第２のインスタンスの第２の出力チャネルである。それらは、２つのチャネル、６４個の帯域及び３２個の時間スロットの次元を有する最終的な残響信号フレームに組み合わされる。

【0125】

ステレオダウンミックス８２２は、残響付与装置出力の正しいスケーリングを保証するために、入力信号フレームの相関の大きさ８２０に従って両方で時間スケーリングされる８２１ａ、８２１ｂ。スケーリング係数は、０と１との間の相関係数ｃ_corrに線形依存して

の間隔内の値として定義される。ここで、

かつ

である。
式中、

はチャネルＡの１つの時間スロットｎにわたる標準偏差を意味し、演算子

は複素共役を示し、

は実際の信号フレーム内のＱＭＦドメイン信号

のゼロ平均バージョンである。

【0126】

ｃ_corrは２回計算される。すなわち、実際の信号フレームＦにおいてアクティブであり、かつステレオダウンミックスの左チャネルに含まれるすべてのチャネルＡ，Ｂについて１回、及び、実際の信号フレームＦにおいてアクティブであり、かつステレオダウンミックスの右チャネルに含まれるすべてのチャネルＡ，Ｂについて１回である。

【0127】

Ｎ_DMX,actは、１つのダウンミックスチャネルＡにダウンミックスされた入力チャネルの数（ダウンミックス行列Ｍ_DMXの第Ａ行内の行列要素で、ゼロでないものの数）であり、かつその入力チャネルは現在のフレームにおいてアクティブなものである。

【0128】

スケーリング係数はこのとき、以下のようになる。

【0129】

スケーリング係数は、一次ローパスフィルタによってオーディオ信号フレームにわたって平滑化され、平滑化スケーリング係数

がもたらされる。

【0130】

スケーリング係数は、同じ手段を用いる時間ドメイン相関分析によって第１のオーディオ入力データフレームにおいて初期化される。

【0131】

第１の残響付与装置インスタンスの入力はスケーリング係数

を用いてスケーリングされ、第２の残響付与装置インスタンスの入力はスケーリング係数

を用いてスケーリングされる。

【0132】

（ｄ）畳み込み結果及び後期残響の組み合わせ
次に、１つのＱＭＦドメインオーディオ入力フレームについて、畳み込み結果８１４

と残響付与装置出力８２６ａ、８２６ｂ

が、それらの２つの信号を帯域ごとに加算する混合プロセス８２８によって組み合わされる。畳み込みは最大でＫ_maxまでの帯域でしか行われないため、Ｋ_maxよりも高い上方帯域は

においてゼロであることに留意されたい。

【0133】

後期残響出力は、混合プロセスにおいて、ｄ＝((Ｌ_trans−２０・６４＋１)／６４＋０.５)＋１個の時間スロットの量だけ遅延される。

【0134】

遅延ｄは、妥当な時間スロットにおける後期残響の挿入を保証するために、ＢＲＩＲｓにおける早期反射から後期残響への遷移時間、及び２０個のＱＭＦ時間スロットの残響付与装置の初期遅延、並びにＢＲＩＲｓのＱＭＦ分析のための０.５ＱＭＦ時間スロットの分析遅延を考慮に入れる。１つの時間スロットｎにおける組み合わせ信号

は

によって計算される。

【0135】

（ｅ）バイノーラルＱＭＦドメイン信号のＱＭＦ合成
ＱＭＦドメイン出力信号

の３２個の時間スロットの１つの２チャネルフレームが、ISO/IEC 14496-3:2009, subclause 4.6.18.4.2.によるＱＭＦ合成によって、長さＬを有する２チャネル時間ドメイン信号フレームに変換され、最終的な時間ドメイン出力信号８３０、

がもたらされる。

【0136】

いくつかの態様が装置に関して説明されているが、これらの態様はまた、対応する方法の説明をも表すことは明らかであり、ブロック又はデバイスが、方法ステップ又は方法ステップの特徴に対応する。同様に、方法ステップに関して説明されている態様も、対応する装置の対応するブロック又は項目又は特徴の説明を表す。方法ステップのいくつか又はすべては、例えば、マイクロプロセッサ、プログラム可能コンピュータ又は電子回路のようなハードウェア装置によって（又はそれを使用して）実行することができる。いくつかの実施形態において、最も重要な方法のうちの何らかの１つ又は複数は、そのような装置によって実行することができる。

【0137】

特定の実施要件に応じて、本発明の実施形態は、ハードウェア又はソフトウェアにおいて実装することができる。実施態様は、それぞれの方法が実施されるようにプログラム可能コンピュータシステムと協働する（又は協働することが可能である）電子的に読取可能な制御信号が記憶されているデジタル記憶媒体、例えば、フロッピーディスク、ＤＶＤ、Ｂｌｕ−Ｒａｙ、ＣＤ、ＲＯＭ、ＰＲＯＭ、ＥＰＲＯＭ、ＥＥＰＲＯＭ、又はフラッシュメモリのような非遷移型記憶媒体を使用して実施することができる。それゆえ、デジタル記憶媒体は、コンピュータ読取り可能であることができる。

【0138】

本発明によるいくつかの実施形態は、本明細書に記載されている方法のうちの１つが実施されるように、プログラム可能なコンピュータシステムと協働することが可能である、電子的に読取可能な制御信号が記憶されているデータ担体を含む。

【0139】

一般的に、本発明の実施形態は、プログラムコードを有するコンピュータプログラム製品として実装することができ、そのプログラムコードは、このコンピュータプログラム製品がコンピュータ上で作動すると、本発明の方法のうちの１つを実施するように動作可能である。そのプログラムコードは、例えば、機械読的に取可り能な担体上に記憶することができる。

【0140】

他の実施形態は、機械的に読取り可能な担体上に記憶されている、本明細書に記載されている方法のうちの１つを実施するためのコンピュータプログラムを含む。

【0141】

言い換えれば、本発明の方法の一実施形態は、それゆえ、コンピュータプログラムであって、このコンピュータプログラムがコンピュータ上で作動すると、本明細書に記載されている方法のうちの１つを実施するためのプログラムコードを有するコンピュータプログラムである。

【0142】

本発明の方法のさらなる実施形態は、それゆえ、本明細書に記載されている方法のうちの１つを実施するためのコンピュータプログラムを記録しているデータ担体（又はデジタル記憶媒体、又はコンピュータ読取り可能な媒体）である。そのデータ担体、デジタル記憶媒体又は記録している媒体は、典型的には有形及び／又は非遷移型である。

【0143】

本発明の方法のさらなる実施形態は、それゆえ、本明細書に記載されている方法のうちの１つを実施するためのコンピュータプログラムを表すデータストリーム又は信号系列である。そのデータストリーム又は信号系列は、例えば、データ通信接続、例えば、インターネットを介して転送されるように構成することができる。

【0144】

さらなる実施形態は、本明細書に記載されている方法のうちの１つを実施するように構成又はプログラムされている処理手段、例えば、コンピュータ又はプログラム可能な論理デバイスを含む。

【0145】

さらなる実施形態は、本明細書に記載されている方法のうちの１つを実施するためのコンピュータプログラムがインストールされているコンピュータを含む。

【0146】

本発明によるさらなる実施形態は、本明細書に記載されている方法のうちの１つを実施するためのコンピュータプログラムを受信機に（例えば、電子的又は光学的に）転送するように構成されている装置又はシステムを含む。その受信機は、例えば、コンピュータ、モバイルデバイス、メモリデバイスなどとすることができる。その装置又はシステムは、例えば、コンピュータプログラムを受信機に転送するためのファイルサーバを含むことができる。

【0147】

いくつかの実施形態において、プログラム可能な論理デバイス（例えば、フィールドプログラマブルゲートアレイ）を、本明細書に記載されている方法の機能のいくつか又はすべてを実施するために使用することができる。いくつかの実施形態において、フィールドプログラマブルゲートアレイは、本明細書に記載されている方法のうちの１つを実施するために、マイクロプロセッサと協働することができる。一般的に、本発明の方法は好ましくは、任意のハードウェア装置によって実施される。

【0148】

上述した実施形態は本発明の原理の例示にすぎない。当然ながら、本明細書に記載されている構成及び詳細の修正形態及び変形形態は、当業者には明らかとなろう。それゆえ、意図するところは、本明細書における実施形態の記述及び説明によって提示されている特定の詳細ではなく、添付の特許請求項の範囲によってのみ限定されるということである。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6A】

【図6B】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】