特許 5965487 直接−拡散分解方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】5965487

(24)【登録日】2016年7月8日

(45)【発行日】2016年8月3日

(54)【発明の名称】直接−拡散分解方法

(51)【国際特許分類】

   H04S 5/02 20060101AFI20160721BHJP

   G10L 21/0308 20130101ALI20160721BHJP

【ＦＩ】

   H04S5/02 Z

   G10L21/0308 A

【請求項の数】20

【全頁数】28

(21)【出願番号】特願2014-530780(P2014-530780)

(86)(22)【出願日】2012年9月13日

(65)【公表番号】特表2014-527381(P2014-527381A)

(43)【公表日】2014年10月9日

(86)【国際出願番号】US2012055103

(87)【国際公開番号】WO2013040172

(87)【国際公開日】20130321

【審査請求日】2015年8月20日

(31)【優先権主張番号】61/534,235

(32)【優先日】2011年9月13日

(33)【優先権主張国】US

(31)【優先権主張番号】61/676,791

(32)【優先日】2012年7月27日

(33)【優先権主張国】US

(73)【特許権者】

【識別番号】503206684

【氏名又は名称】ディーティーエス・インコーポレイテッド

【氏名又は名称原語表記】ＤＴＳ，Ｉｎｃ．

(74)【代理人】

【識別番号】100092093

【弁理士】

【氏名又は名称】辻居 幸一

(74)【代理人】

【識別番号】100082005

【弁理士】

【氏名又は名称】熊倉 禎男

(74)【代理人】

【識別番号】100067013

【弁理士】

【氏名又は名称】大塚 文昭

(74)【代理人】

【識別番号】100086771

【弁理士】

【氏名又は名称】西島 孝喜

(74)【代理人】

【識別番号】100109070

【弁理士】

【氏名又は名称】須田 洋之

(74)【代理人】

【識別番号】100109335

【弁理士】

【氏名又は名称】上杉 浩

(74)【代理人】

【識別番号】100120525

【弁理士】

【氏名又は名称】近藤 直樹

(74)【代理人】

【識別番号】100158551

【弁理士】

【氏名又は名称】山崎 貴明

(72)【発明者】

【氏名】トンプソン ジェフ

(72)【発明者】

【氏名】スミス ブランドン

(72)【発明者】

【氏名】ワーナー アーロン

(72)【発明者】

【氏名】フェイゾ ゾラン

(72)【発明者】

【氏名】ジョット ジャン−マルク

【審査官】 千本 潤介

(56)【参考文献】

【文献】 特表２０１０−５４１３５０（ＪＰ，Ａ）

【文献】 国際公開第２０１０／１１３４３４（ＷＯ，Ａ１）

【文献】 米国特許出願公開第２００７／０２６９０６３（ＵＳ，Ａ１）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｈ０４Ｓ ５／０２

Ｇ１０Ｌ ２１／０３０８

(57)【特許請求の範囲】

【請求項1】

複数のチャンネルを有する入力信号の直接−拡散分解のための方法（１００、２００、４００）であって、
複数の信号から信号の各ペア間の相関係数を推定するステップ（１１０、２２０、４２０）と、
前記推定した相関係数と前記複数のチャンネルの各々の直接エネルギー率とを関連付ける線形システムの式を構築するステップ（１３０、２４０、４４０）と、
前記線形システムを解いて前記直接エネルギー率を推定するステップ（１４０、２４０、４４０）と、
前記直接エネルギー率に部分的に基づいて直接成分出力信号及び拡散成分出力信号を生成するステップ（２８０、４８０）と、
を含む、方法。

【請求項2】

前記チャンネルの各々を複数の周波数帯域に分離するステップ（２１０、４１０）と、
前記複数の周波数帯域各々について独立して、前記推定ステップ、前記構築ステップ、前記解くステップ、及び前記生成ステップを実行するステップと、
を更に含む、請求項１に記載の装置。

【請求項3】

前記線形システムの各式は、次式の形式を有し、

ここで、

が前記複数のチャンネルのうちのチャンネルｉ及びｊ間の前記相関係数、

及び

がチャンネルｉ及びｊの前記直接エネルギー率である、請求項１に記載の方法。

【請求項4】

前記信号の各ペア間の相関係数を推定するステップが、再帰的数式を用いて実行される、請求項１に記載の方法。

【請求項5】

所定値を下回る相関係数推定値をゼロに設定し、
前記所定値を上回るか又は等しい前記相関係数推定値の範囲を［０，１］の範囲まで線形的に拡張する、
ことによって再帰的な前記相関係数推定値を補正するステップ（１２０、２２０、４２０）を更に含む、請求項４に記載の方法。

【請求項6】

前記直接成分出力信号及び拡散成分出力信号を生成するステップが更に、
前記複数のチャンネルの各々の直接エネルギー率に基づいて直接及び拡散マスクを生成するステップ（１５０、２５０、４５０）と、
前記入力信号と前記直接及び拡散マスクを乗算して前記直接成分出力信号及び拡散成分出力信号を供給するステップと、
を含む、請求項１に記載の方法。

【請求項7】

前記直接成分出力信号及び拡散成分出力信号を生成するステップが更に、
前記複数のチャンネルの直接エネルギー率に部分的に基づいて直接ベースの大きさ（３７４）及び位相角（３７６）を推定するステップと、
それぞれの直接エネルギー率に部分的に基づいて前記複数のチャンネルの各々についての直接成分エネルギー（３７２）及び位相シフト（３７６）を推定するステップと、
前記各々の直接成分エネルギー及び位相シフトと前記直接ベースの大きさ及び位相角とから前記複数のチャンネルの各々についての直接成分出力信号（３７８）を生成するステップと、
を含む、請求項１に記載の方法。

【請求項8】

それぞれの入力信号チャンネルからそれぞれの前記推定した直接成分を差し引くことにより、前記複数のチャンネルの各々についての拡散成分出力信号（３８０）を推定するステップを更に含む、請求項７に記載の方法。

【請求項9】

前記線形システムを解くステップが更に、線形最小二乗法及び加重最小二乗法のうちの一方を用いて過剰決定システムの式を解くステップを含む、請求項１に記載の方法。

【請求項10】

複数の入力信号チャンネルを有する入力信号の直接−拡散分解のための方法（２００、４００）であって、
前記複数の入力信号チャンネルの各々を複数の周波数帯域に分離するステップ（２１０、４１０）と、
前記複数の周波数帯域の各々について、前記複数の入力信号チャンネルから信号の各ペア間の相関係数を推定するステップ（２２０、４２０）と、
前記推定した相関係数と前記複数の周波数帯域の各々についての直接エネルギー率とを関連付ける線形システムの式を構築するステップ（２４０、４４０）と、
前記線形システムを解いて、前記複数の周波数帯域の各々について前記複数の入力信号チャンネルの各々に対する前記直接エネルギー率を推定するステップ（２４０、４４０）と、
前記直接エネルギー率に部分的に基づいて前記複数の周波数帯域の各々について直接成分出力信号及び拡散成分出力信号を生成するステップと、
を含む、方法。

【請求項11】

前記複数の周波数帯域の各々について前記線形システムの各式は、次式の形式を有し、

ここで、

が前記複数のチャンネルのうちのチャンネルｉ及びｊ間の前記相関係数、

及び

がチャンネルｉ及びｊの前記直接エネルギー率である、請求項１０に記載の方法。

【請求項12】

前記信号の各ペア間の相関係数を推定するステップが、再帰的数式を用いて実行される、請求項１１に記載の方法。

【請求項13】

所定値を下回る相関係数推定値をゼロに設定し、
前記所定値を上回るか又は等しい前記相関係数推定値の範囲を［０，１］の範囲まで線形的に拡張する、
ことによって再帰的な前記相関係数推定値を補正するステップ（２２０、４２０）を更に含む、請求項１２に記載の方法。

【請求項14】

前記直接成分出力信号及び拡散成分出力信号を生成するステップが更に、
前記複数のチャンネルの各々の直接エネルギー率に基づいて前記複数の周波数帯域の各々について直接及び拡散マスクを生成するステップ（２５０、４５０）と、
前記複数の周波数帯域の各々について、前記入力信号と前記直接及び拡散マスクを乗算して前記直接成分出力信号及び拡散成分出力信号を供給するステップと、
を含む、請求項１０に記載の方法。

【請求項15】

前記直接及び拡散マスクを時間及び／又は周波数にわたって円滑化するステップを更に含む、請求項１４に記載の方法。

【請求項16】

前記直接及び拡散マスクを円滑化するステップが更に、
前記複数の入力信号チャンネル及び前記複数の周波数帯域についての前記相関関係推定値の分散の推定値に部分的に基づいて前記直接及び拡散マスクを円滑化するステップを含む、請求項１５に記載の方法。

【請求項17】

前記複数の周波数帯域のうちの１つにおいて前記複数の入力信号チャンネルから信号のペア間の相関係数を推定するステップが更に、
前記信号ペア間の差違（４２５）が所定閾値を上回る場合、前記信号のペア間の相関係数を過大推定するステップを含む、請求項１０に記載の方法。

【請求項18】

前記複数の周波数帯域のうちの１つにおいて前記複数の入力信号チャンネルから信号のペア間の相関係数を推定するステップが更に、
前記信号のペアの１つが過渡状態（４１５）を含む場合、前記信号のペア間の相関係数を過大推定するステップを含む、請求項１０に記載の方法。

【請求項19】

前記線形システムを解くステップが更に、線形最小二乗法及び加重最小二乗法のうちの一方を用いて過剰決定システムの式を解くステップを含む、請求項１０に記載の方法。

【請求項20】

複数のチャンネルを有する入力信号の直接−拡散分解のための装置（５００）であって、
プロセッサ（５１０）と、
前記プロセッサに結合されたメモリ（５２０）と、
前記プロセッサに結合された記憶デバイス（５３０）と、
を備え、
前記プロセッサによって実行されたときに、
複数の信号から信号の各ペア間の相関係数を推定するステップ（１１０、２２０、３２０）と、
前記推定した相関係数と前記複数のチャンネルの各々の直接エネルギー率とを関連付ける線形システムの式を構築するステップ（１３０、２４０、４４０）と、
前記線形システムを解いて前記直接エネルギー率を推定するステップ（１４０、２４０、４４０）と、
前記直接エネルギー率に部分的に基づいて直接成分出力信号及び拡散成分出力信号を生成するステップ（２８０、４８０）と、
を含む動作をコンピュータデバイスに実行させる命令を前記記憶デバイスが記憶する、装置（５００）。

【発明の詳細な説明】

【技術分野】

【0001】

[0002] 本開示は、オーディオ信号の処理に関し、詳細には、オーディオ信号を直接及び拡散成分に分解する方法に関する。

【背景技術】

【0002】

[0004] オーディオ信号は通常、様々な空間特性を有する音響成分のミックスからなる。簡単な実施例において、ステージ上のソロミュージシャンが発生する音響は、複数のマイクロフォンによって取り込むことができる。各マイクロフォンは、ミュージシャンからマイクロフォンに直接的に伝わる直接音響成分だけでなく、ミュージシャンが発生する音響の残響音、聴衆ノイズ、及び拡張又は拡散音源から生じる他の背景音を含む他の音響成分を取り込む。各マイクロフォンが発生する信号は、直接成分と拡散成分とを含むと考えることができる。

【0003】

[0005] 多くのオーディオ信号処理用途において、信号を別個の空間成分に分離し、各成分を独立して分析及び処理できるようにすることは有益である。詳細には、任意のオーディオ信号を直接及び拡散成分に分離することは、共通の課題である。例えば、空間フォーマット変換アルゴリズムは、直接成分が高度に局所化可能なまま、拡散成分が所望の包囲感覚を維持するように、直接及び拡散成分を独立して処理することができる。また、バイノーラルレンダリング法は、独立した処理を直接及び拡散成分に適用し、ここでは直接成分は仮想点音源としてレンダリングされ、拡散成分は拡散音響場としてレンダリングされる。本発明において、信号の直接及び拡散成分への分離は、直接−拡散分解と呼ぶことにする。

【0004】

[0006] 本出願で使用される用語は、関連文献で利用される用語とは僅かに異なる場合がある。関連の論文では、直接及び拡散成分は、一般に、主成分及び周囲成分、又は非拡散成分及び拡散成分と呼ばれる。本発明は、直接及び拡散成分の別個の空間特性を強調するために用語「直接」及び「拡散」を使用しており、すなわち、直接成分は一般に、高指向性の音響事象からなり、拡散成分は一般に、空間的に分布した音響事象からなる。加えて、本出願において、用語「相関」及び「相関係数」とは、タイムラグがゼロで評価した２つの信号間の正規化相互相関評価基準を意味する。

【図面の簡単な説明】

【0005】

【図1】[0007] 直接−拡散分解のためのプロセスのフローチャートである。

【図2】[0008] 直接−拡散分解のための別のプロセスのフローチャートである。

【図3】[0009] 直接−拡散分解のための別のプロセスのフローチャートである。

【図4】[0010] 直接−拡散分解のための別のプロセスのフローチャートである。

【図5】[0011] コンピュータデバイスのブロック図である。

【発明を実施するための形態】

【0006】

[0012]本明細書全体を通じて、図に示される要素には３桁の参照符号が割り当てられており、最上位の桁が、要素が示された図面番号であり、下位の２桁が要素に固有のものである。図と連動して説明されない要素は、同じ参照符号を有する既に説明された用途と同じ特性及び機能を有すると考えられる。

【0007】

（方法の説明）

【0008】

[0014] 図１は、複数のチャンネルを含む、入力信号

の直接−拡散分解のプロセス１００のフローチャートである。入力信号

は、以下の信号モデルで表される複素Ｎチャンネルオーディオ信号とすることができる。

ここで、

は直接ベース、

は拡散ベース、

は直接エネルギー、

は拡散エネルギー、

は直接成分位相シフト、

はチャンネル・インデックス、

は時間インデックスである。本出願の以下の部分において、用語「直接成分」は、

を指し、用語「拡散成分」は、

を指す。各チャンネルにおいて、直接及び拡散ベースは、複素ゼロ平均固定確率変数であり、直接及び拡散エネルギーは正の実数定数であり、直接成分位相シフトは一定値であるものとする。また、直接及び拡散ベースの期待エネルギーは、一般性を喪失することなく全てのチャンネルについて単一であり、すなわち、

（ここで、

は期待値を表す）であるものとする。直接及び拡散ベースの期待エネルギーは単一であるとされたが、スカラー

及び

は、各チャンネルにおいて任意の直接及び拡散エネルギーを考慮する。直接及び拡散成分は、信号持続時間全体で固定であるものとされるが、実際の実施構成では信号は時間局在化セグメントに分割され、ここで各セグメント内の成分は固定であるものとする。

【0009】

[0015] 直接及び拡散成分の空間特性に関して、幾つかの仮定条件を設定することができる。具体的には、直接成分は、入力信号のチャンネル間で相関化され、拡散成分は、チャンネル間で及び直接成分との両方で非相関化されるものとする。直接成分がチャンネル間で相関化される仮定条件は、式（１）において、チャンネル依存のエネルギー

及び位相シフト

とは異なり、チャンネル間で同一である単一の直接ベース

によって表される。拡散成分が非相関化される仮定条件は、式（１）において、各チャンネルに対して固有の拡散ベース

によって表される。直接及び拡散成分が非相関化される仮定条件に基づくと、ミックス信号

の期待エネルギーは、次式となる。

この信号モデルは、チャンネル位置には依存せず、すなわち、特定のチャンネル位置に基づく仮定は存在しない点に留意されたい。

【0010】

[0016] チャンネルｉとｊの間の相関係数は、次式で定義される。

ここで

は複素共役を表し、

及び

はそれぞれチャンネルｉ及びｊの標準偏差である。一般に、相関係数は複素数値である。相関係数の大きさは、ゼロと１の間に限定されるという特性を有し、ここで、１に近づく傾向のある大きさは、チャンネルｉ及びｊが相関していることを示している。一方で、0に近づく傾向のある大きさは、チャンネルｉ及びｊが非相関化であることを示している。相関係数の位相は、チャンネルｉ及びｊ間の位相差を示している。

【0011】

[0017] 式（１）の直接及び拡散信号モデルを式（４）の相関係数にあてはめることによって、次式が求められる。

ここで、

である。

【0012】

[0018] 上述のように、直接成分は、チャンネル間で相関化されるものと仮定され、拡散成分は、チャンネル間で及び直接成分と両方で非相関化されるものと仮定される。これらの空間仮定条件は、チャンネルｉ及びｊ間の相関係数を用いて以下のように数式表現することができる。

【0013】

[0019] 直接−拡散信号モデルについての相関係数の大きさは、式（２）の直接及び拡散エネルギーの仮定条件及び式（７）の空間仮定条件を式（５）にあてはめることによって導かれ、次式が得られる。

直接−拡散信号モデルについての相関係数の大きさは、チャンネルｉ及びｊの直接及び拡散エネルギーレベルにのみ依存することは明らかである。

【0014】

[0020] 同様に、直接−拡散信号モデルについての相関係数の位相は、直接−拡散空間仮定条件をあてはめることによって導かれ、次式が得られる。

直接−拡散信号モデルについての相関係数の位相は、チャンネルｉ及びｊの直接成分の位相シフトにのみ依存することは明らかである。

【0015】

[0021] チャンネルのペア間の相関係数は、１１０において推定することができる。チャンネルｉ及びｊ間の相関係数の推定の一般式は、次式で得られる。

ここで、Ｔは総和の長さを表す。この式は、総和が信号長全体にわたって実施される場合の定常信号を対象としている。しかしながら、対象となる実際の信号は非定常であることが一般的であり、従って、連続した時間局在化相関係数の推定値は、適切に短い総和長Ｔを用いることが好ましいとすることができる。この手法は、時間的に変化する直接及び拡散成分を追跡するには十分とすることができるが、真の平均計算（すなわち、全体の時間間隔Ｔにわたる総和）を必要とし、結果として高い計算及びメモリ要件となる。

【0016】

[0022] １１０にて用いることができるより効率的な手法は、次式のように指数移動平均を用いて真の平均を近似するものである。

ここで、

λは、相関係数推定値の有効平均長を制御する、範囲

の忘却係数である。この再帰的数式は、時間的に変化する直接及び拡散成分の追跡に対する柔軟な制御を維持しながら、式（１０）の方法と比べて必要とされる計算及びメモリリソースが少ないという利点を有する。相関係数推定値の時定数τは、次式のように忘却係数λの関数である。

ここで

は、信号

のサンプリングレートである（時間周波数実施構成において、

は有効サブ帯域サンプリングレートである）。

【0017】

[0023] 相関係数推定値の大きさは、小さな忘却係数λを用いた再帰的数式で計算したときにはかなり過大に推定される場合がある。この１に偏ったバイアスは、信号履歴と比べて現在時間サンプルの比較的高い重み付けに起因しており、相関係数推定値の大きさは、総和長

又は忘却係数

においては１に等しい点に留意されたい。推定した相関係数は、任意選択的に１２０において、以下のように忘却係数λの関数として過大推定の経験的分析に基づいて補正することができる。

ここで

は、相関係数推定値の補正済みの大きさである。この補正法は、平均相関関数の範囲が、

から約

で表されるという経験的観測に基づいている。従って、この補正法は、

から

の範囲で相関係数を線形的に拡張することができ、ここで、当初は

を下回っている係数は、

演算子によりゼロに設定される。

【0018】

[0024] １３０において、線形システムは、全ての固有のチャンネルペアについてのペアの相関係数並びにマルチチャンネル信号の全てのチャンネルについての直接エネルギー率（ＤＥＦ）から構築することができる。ｉ番目のチャンネルのＤＥＦφ_ｉは、全エネルギーに対する直接エネルギーの比

として定義される。チャンネルｉ及びｊのペアについての相関係数は、次式のように、これらのチャンネルのＤＥＦと直接相関性があることは式（８）及び式（１５）から明らかである。

対数をとると、次式が得られる。

【0019】

[0025] 任意の数のチャンネルＮのマルチチャンネル信号において、固有のチャンネルペアの数

が存在する（

に対して成立する）。線形システムは、Ｍ個のペア相関係数とＮ個のチャンネル当たりのＤＥＦから次式のように構築することができる。

又は、行列方程式として次式のように表すことができる。

ここで、

は、全ての固有チャンネルペアｉ及びｊについての対数大きさのペア相関係数からなる長さＭのベクトルであり、

は、チャンネルペアインデックスに対応する行／列インデックスの非ゼロ要素からなる、サイズ

の疎行列であり、

は、各チャンネルｉについてのチャンネル当たりの対数ＤＥＦからなる長さＮのベクトルである。

【0020】

[0026] 一例として、１３０において、５チャンネル信号の線形システムは、次式のように構築することができる。

ここでは、１０個のペア相関係数の各々についての１０個の固有の式が存在する。

【0021】

[0027] 典型的な状況において、任意のＮチャンネルオーディオ信号の真のチャンネル当たりのＤＥＦは未知である。しかしながら、ペアの相関係数の推定値は、１１０及び１２０において計算し、次いで、これを利用して、１４０において式（１８）の線形システムを解くことによって、チャンネル当たりのＤＥＦを推定することができる

【0022】

[0028]

をチャンネルペアｉ及びｊについてのサンプル相関係数、すなわち、式（４）の形式期待値の推定値とする。全ての固有チャンネルペアｉ及びｊについてサンプル相関係数が推定されると、式（１８）の線形システムが得られ、１４０において式（１８）を解いて、各チャンネルｉについてのＤＥＦ

を推定することができる。

【0023】

[0029]

のマルチチャンネル信号において、チャンネル当たりのＤＥＦ推定値よりも多くのペア相関係数推定値が存在し、過剰決定システムをもたらす。１４０において最小二乗法を使用し、過剰決定線形システムに対する解を近似することができる。例えば、線形最小二乗法は、各式についての誤差二乗和を最小にする。線形最小二乗法は、次式のように適用することができる。

ここで、

は、各チャンネルｉについてのチャンネル当たりの対数ＤＥＦ推定値からなる長さＮのベクトルであり、

は、全ての固有のチャンネルペアｉ及びｊについての対数大きさのペア相関係数推定値からなる長さＭのベクトルであり、

は行列転置、

は行列反転である。線形最小二乗法の利点は、計算の複雑さが比較的低く、ここで全ての必要とされる行列反転は一度だけ計算される。線形最小二乗法の潜在的欠点は、誤差分布に対する明示的な制御が存在しないことである。例えば、拡散成分の誤差増大を犠牲にして、直接成分の誤差を最小限にすることが望ましいとすることができる。誤差分布に対する制御が求められる場合、各式において加重二乗和誤差が最小にされる加重最小二乗法を適用することができる。加重最小二乗法は、次式で適用することができる。

ここでＷは、対角に沿って各式の重み付けからなるサイズ

の対角行列である。望ましい挙動に基づいて、特定の特性を有する式についての近似誤差を低減するよう重み付けを選ぶことができる（例えば、強い直接成分、強い拡散成分、比較的高いエネルギー成分、その他）。加重最小二乗法の欠点は、計算の複雑さが著しく高く、各線形システムの近似には行列反転が必要とされる。

【0024】

[0030]

のマルチチャンネル信号において、ペア相関係数推定値とチャンネル当たりのＤＥＦ推定値とが同数で存在し、臨界システムをもたらす。しかしながら、ペアの相関係数推定値は通常は大きな分散を示すので、線形システムが一貫していることは保証されない。過剰決定の場合と同様に、１４０において、線形最小二乗法又は加重最小二乗法を利用して、臨界システムが一貫していない場合でも近似解を計算することができる。

【0025】

[0031]

の２チャンネルステレオ信号において、ペア相関係数推定値よりも多くのチャンネル当たりのＤＥＦ推定値が存在し、劣決定システムをもたらす。この場合、チャンネル当たりにＤＥＦ推定値又は等拡散エネルギーなど、解を計算するために更なる信号仮定条件が必要とされる。

【0026】

[0032]
１４０において、線形システムを解くことによって、各チャンネルについてのＤＥＦを推定した後、１５０において、チャンネル当たりのＤＥＦ推定値を用いて直接及び拡散マスクを生成することができる。用語「マスク」は、一般に、信号成分の所望の増幅又は減衰を達成するために信号に対して加える乗法的修正を指す。マスクは、時間周波数分析合成フレームワークにおいて適用されることが多く、ここでマスクは、一般に「時間周波数マスク」と呼ばれる。実数値の乗法マスクをマルチチャンネル信号に適用することにより、直接及び拡散分解を実施することができる。

【0027】

[0033] マルチチャンネル入力信号

に基づいて、

及び

は、それぞれ、直接成分出力信号と拡散成分出力信号と定義される。式（３）及び式（１５）から、ＤＥＦから導出された実数値マスクは、

として適用することができ、分解された直接及び拡散成分の期待エネルギーは、真の直接及び拡散エネルギー

にほぼ等しい。

【0028】

[0034] この場合、

はマルチチャンネル出力信号であり、

の各チャンネルは、マルチチャンネル入力信号

の対応するチャンネルの直接成分と同じ期待エネルギーを有する。同様に、

はマルチチャンネル出力信号であり、

の各チャンネルは、マルチチャンネル入力信号

の対応するチャンネルの拡散成分と同じ期待エネルギーを有する。

【0029】

[0035] 分解された直接及び拡散出力信号の期待エネルギーは、入力信号の真の直接及び拡散エネルギーに近いが、分解成分の合計は、必ずしも観測される信号に等しいとは限らず、すなわち、

において、

である。観測信号を分解するのに実数値マスクが使用されるので、結果として得られる直接及び拡散成分出力信号が完全に相関化され、直接及び拡散成分が非相関化される上記の仮定条件が破棄される。

【0030】

[0036] 出力信号

及び

が観察された入力信号

に等しいことが望ましい場合には、単純な正規化をマスクに適用することができる。

この正規化は、分解された直接成分及び拡散成分の出力信号のエネルギーレベルに影響を及ぼし、式（２４）はもはや成立しない点に留意されたい。

【0031】

[0037] 直接成分及び拡散成分の出力信号

及び

はそれぞれ、１５０からの直接及び拡散マスクとマルチチャンネル入力信号

の遅延コピーとを乗算することにより生成することができる。１６０において、マルチチャンネル入力信号は、処理１１０〜１５０を完了して直接及び拡散マスクを生成するのに必要な処理時間に等しい時間期間だけ遅延させることができる。直接及び拡散出力信号は、ここでは、上述の空間フォーマット変換又はバイノーラルレンダリングのような用途で用いることができる。

【0032】

[0038] プロセス１００は、説明を簡単にするために一連の連続した処理として図示されているが、複数チャンネル及び複数の時間サンプルに対して異なる処理を同時に実施しするように並行プロセス及び／又はパイプラインで実施してもよい。

【0033】

[0039] 図１のプロセス１００と同様のマルチチャンネル直接−拡散分解プロセスは、時間周波数分析フレームワークで実施することができる。特に、式（１）〜式（３）において確立された信号モデル、及び式（４）〜（２５）において要約される分析は、任意の時間周波数表現の各周波数帯域について成立すると考えられる。

【0034】

[0040] 時間周波数フレームワークは、複数の要因によって誘起される。最初に、時間周波数手法は、直接成分の周波数が実質的に重なり合わない条件で、複数の直接成分を含む信号の独立した分析及び分解を可能にする。第２に、時間局在化分析を伴う時間周波数手法は、時間的に変化する直接及び拡散エネルギーを有する非定常信号の堅牢な分解を可能にする。第３に、時間周波数手法は、人間の聴覚系が時間及び周波数の関数として空間音響情報を引き出し、ここではバイノーラル音響情報の周波数分解能が等価方形帯域幅（ＥＲＢ）スケールにほぼ従うことを示唆する音響心理学研究と一致している。これらの要因に基づいて、時間周波数フレームワーク内で直接−拡散分解を実施することは当然のことである。

【0035】

[0041] 図２は、時間周波数フレームワークにおけるマルチチャンネル信号

の直接／拡散分解のプロセス２００のフローチャートである。２１０において、マルチチャンネル信号

は、複数の周波数帯域に分離又は分割することができる。

という表記は、複素時間周波数信号を表すのに用いられ、ここでｍは時間フレームインデックスを表し、ｋは周波数インデックスを表す。例えば、マルチチャンネル信号

は、短時間フーリエ変換（ＳＴＦＴ）を用いて周波数帯域に分離することができる。別の実施例として、２つの複素変調４分割鏡映対称フィルタバンク（ＱＭＦ）のカスケードからなるハイブリッドフィルタバンクを用いて、マルチチャンネル信号を複数の周波数帯域に分離することができる。ハイブリッドＱＭＦの利点は、高周波において周波数分解能の低減が一般に許容可能であることに起因して、ＳＴＦＴと比べてメモリ要件が少ないことである。

【0036】

[0042] ２２０において、各周波数帯域におけるチャンネルの各ペアについて相関係数推定を行うことができる。各相関係数推定は、プロセス１００の処理１１０に関して説明したように行うことができる。任意選択的に、各相関係数推定は、プロセス１００の処理１２０に関して説明したように補正することができる。

【0037】

[0043] ２３０において、２２０から得た相関係数推定値は、知覚帯域にグループ化することができる。例えば、２２０から得た相関係数推定値は、バーク帯域にグループ化することができ、又は等矩形帯域幅スケールに従ってグループ化することができ、或いは、何らかの他の方法で帯域にグループ化することができる。２２０から得た相関係数推定値は、隣接する帯域間の知覚差違がほぼ同じであるようにグループ化することができる。相関係数推定値は、例えば、同じ知覚帯域内の周波数帯域について相関係数推定値を平均することによってグループ化することができる。

【0038】

[0044] ２４０において、線形システムは、プロセス１００の処理１３０及び１４０に関して説明したように生成して、各知覚帯域について解くことができる。２５０において、直接及び拡散マスクは、プロセス１００の処理１５０に関して説明したように、各知覚帯域について生成することができる。

【0039】

[0045] ２６０において、２５０から得た直接及び拡散マスクは非グループ化することができ、すなわち、２３０において周波数帯域をグループ化するのに用いた処理を２６０において反転させ、各周波数帯域に対して直接及び拡散マスクを提供することができる。例えば、２３０において３つの周波数帯域を単一の知覚帯域に結合した場合、２６０において、当該知覚帯域のマスクは、３つの周波数帯域の各々に適用されることになる。

【0040】

[0046] 直接成分及び拡散成分出力信号

及び

はそれぞれ、マルチ帯域マルチチャンネル入力信号

の遅延コピーを２６０から得られた非グループ化直接及び拡散マスクと乗算することにより決定することができる。２７０において、マルチ帯域マルチチャンネル入力信号は、処理２２０〜２６０を完了して直接及び拡散マスクを生成するのに必要な処理時間に等しい時間期間分、遅延させることができる。直接成分及び拡散成分出力信号

及び

はそれぞれ、合成フィルタバンク２８０により時間領域信号

及び

に変換することができる。

【0041】

[0047] プロセス２００は、説明を簡単にするために一連の連続した処理として図示されているが、複数チャンネル及び複数の時間サンプルに対して異なる処理を同時に実施しするように並行プロセス及び／又はパイプラインで実施してもよい。

【0042】

[0048] プロセス１００及びプロセス２００は、実数値のマスクを用いて、全て直接又は拡散成分からなる信号に良好に機能する。しかしながら、実数値のマスクは、ミックスした成分の位相を保持する理由から、直接及び拡散成分のミックスを含む信号の分解にはあまり効果的ではない。換言すると、分解された直接成分の出力信号は、入力信号の拡散成分からの位相情報を含むことになり、逆もまた同様である。

【0043】

[0049] 図３は、マルチチャンネル信号のＤＥＦに基づく直接成分及び拡散成分の出力信号を推定するプロセス３００のフローチャートである。プロセス３００は、例えば、プロセス１００の処理１１０〜１４０又はプロセス２００の処理２１０〜２４０を用いて、ＤＥＦが計算された後で始まる。プロセス２００を用いた場合、プロセス３００は、各知覚帯域について独立して実施することができる。プロセス３００は、直接成分の大きさ及び位相の両方を完全に推定するために、ベースとなる直接成分がチャンネル間で同一であるという仮定条件を利用する。

【0044】

[0050] 分解された直接成分出力信号

を、真の直接成分

の推定値とする。

ここで

は真の直接ベースの推定値、

は真の直接エネルギーの推定値、

は真の直接成分位相シフトの推定値である。プロセス３００において、分解した直接成分出力信号及び分解した拡散成分出力信号は、元の加法信号モデルに従うと仮定する。すなわち、

となる。本方法において、これは、極形式で複素値直接ベース推定値

を表現するのに有用であり、次式が得られる。

ここで

は真の大きさの推定値であり、

は直接ベースの真の位相の推定値である。直接成分出力信号

は、成分

及び

を独立して推定することにより推定することができる。

【0045】

[0051] ３７２において、直接エネルギー推定値

は次式のように決定することができる。

ここで

は式（６）で表されたチャンネルｉの全エネルギーの推定値である。式（３）及び（１５）から、推定した直接エネルギーの期待値は真の直接エネルギーにほぼ等しいことが明らかであり、すなわち、次式となる。

【0046】

[0052] ３７４において、直接ベースの大きさ

を推定することができる。直接及び拡散ベースは確率変数である。直接及び拡散成分の期待エネルギーは、実質的に

及び

によって決定され、各時間サンプルｎについての瞬間エネルギーは確率論的なものである。直接ベースの確率的性質は、直接成分はチャンネル間で相関化されるという仮定条件により、全チャンネルにおいて同一であるものとする。直接ベースの瞬間的大きさ

を推定するために、観測信号の瞬間大きさの加重平均

は、全チャンネルｉ間で計算される。直接エネルギーのより高い比を有するチャンネルにより大きな重み付けを加えることにより、直接ベースの瞬間的大きさは、次式のように、拡散成分からの最小の影響で確実に推定することができる。

による上記の正規化によって、式（２）で確立された適切な期待エネルギーが確保され、すなわち、

となる。

【0047】

[0053] ３７６において、
位相角

及び

を推定することができる。所与のチャンネルｉについてのチャンネル当たりの位相シフト

は、サンプル相関係数

の位相から計算することができ、これは、式（９）に従ってチャンネルｉ及びｊの直接成分の位相シフト間の差違を近似する。絶対位相シフト

を推定するために、ここではゼロラジアンとして選ばれた既知の絶対位相シフトで基準チャンネルを固定する必要がある。インデックスｌが最大ＤＥＦ推定値

を有するチャンネルを表すとすると、全チャンネルｉについてのチャンネル当たりの位相シフト

は、次式で計算することができる。

チャンネルｌに対するチャンネル当たりの位相シフト推定値

の計算は、直接エネルギーの高い比を有するチャンネルについて推定位相差がより正確になるという仮定条件によってなされる。

【0048】

[0054] チャンネル当たりの位相シフト

の推定値が決定されると、瞬間位相

の推定値を計算することができる。大きさと同様に、直接及び拡散ベースの瞬間位相は、各時間サンプルｎについて確率論的である。直接ベースの瞬間位相

を推定するために、観測信号の瞬間位相

の加重平均は、次式のように、全チャンネルｉ間で計算することができる。

式（２９）と同様に、重み付けは、直接エネルギーのより高い比を有するチャンネルを重くするようにＤＥＦ推定値

として選ばれる。チャンネル間で平均したときに直接ベースの瞬間位相が一致するように、各チャンネルｉからチャンネル当たりの位相シフト

を除去する必要がある。

【0049】

[0055] ３７８において、分解した直接成分出力信号

は、式（２７）、並びに３７２による

の推定値、３７４による

の推定値、及び３７６による

及び

の推定値を用いて、各チャンネルｉについて生成することができる。次いで、分解した拡散成分出力信号は、３８０において、次式の加法信号モデルを加えることにより生成することができる。

【0050】

[0056] 図４は、時間周波数フレームワークにおけるマルチチャンネル信号

の直接−拡散分解のためのプロセス４００のフローチャートである。プロセス４００は、プロセス２００と同様である。処理４１０、４２０、４３０、４４０、４５０、４６０、４７０、及び４８０は、プロセス２００における対応する処理と同じ機能を有する。図４に関してこれらの処理の説明は繰り返さない。

【0051】

[0057] プロセス２００は、相関係数の式がレベル依存である理由から、直接成分として離散的成分を識別することが困難であることが分かっている。この問題を改善するために、所与のチャンネルペアについての相関係数推定値は、ペアが比較的低いエネルギーを有するチャンネルを含む場合には、高バイアスにすることができる。４２５において、各チャンネルペアについて、相対及び／又は絶対チャンネルエネルギーの差違を決定することができる。各チャンネルペアについて４２０にて行った相関係数推定は、ペア間の相対又は絶対エネルギー差違が所定閾値を超えた場合には高バイアスに又は過大に推定することができる。或いは、例えば、プロセス４００の処理４１０、４２０、４３０、及び４４０を用いることにより計算されたＤＥＦは、チャンネルの推定エネルギーに基づいてチャンネルについて高バイアスに又は過大に推定することができる。

【0052】

[0058] プロセス２００はまた、相関係数推定値が比較的長い時間ウィンドウにわたって計算されるので、過渡信号成分を直接成分として識別することが困難であることが分かっている。この問題を改善するために、所与のチャンネルペアについての相関係数推定値はまた、ペアが識別された過渡状態を有するチャンネルを含む場合には、高バイアスにすることができる。４１５において、各チャンネルの各周波数帯域において過渡状態を検出することができる。チャンネルペアについて４２０にて行った相関係数推定は、ペアの少なくとも１つのチャンネルが過渡状態を含むと判定された場合には高バイアスに又は過大に推定することができる。或いは、例えば、プロセス４００の処理４１０、４２０、４３０、及び４４０を用いることにより計算されたＤＥＦは、過渡状態を含むと判定されたチャンネルについて高バイアスに又は過大に推定することができる。

【0053】

[0059] 完全な拡散信号成分の相関係数推定は、直接信号の相関係数推定値よりも実質的に高い分散を有することができる。４３５において、知覚帯域の相関係数推定値の分散を決定することができる。所与の知覚帯域における所与のチャンネルペアの相関係数推定値の分散が所定分散閾値を上回った場合には、チャンネルペアは、完全な分散信号を含むと決定することができる。

【0054】

[0060] ４５５において、直接及び拡散マスクは、処理アーチファクトを低減するために時間及び／又は周波数にわたって円滑化することができる。例えば、指数的に重み付けされた移動平均フィルタを適用し、時間にわたって直接及び拡散マスク値を円滑にすることができる。円滑化は、時間内で動的又は可変とすることができる。例えば、円滑化の程度は、４３５にて決定されるように、相関係数推定値の分散に依存することができる。比較的低い直接エネルギー成分を有するチャンネルのマスク値はまた、周波数にわたって円滑化することができる。例えば、マスク値の幾何平均は、局所周波数領域（すなわち、複数の隣接する周波数帯域）にわたって計算することができ、平均値は、直接信号成分が僅かか又は存在しないチャンネルのマスク値として用いることができる。

【0055】

[0061] （装置の説明）

【0056】

[0062] 図５は、マルチチャンネル入力信号

の直接−拡散分解用の装置５００のブロック図である。装置５００は、本明細書で記載される機能及び特徴を提供するソフトウェア及び／又はハードウェアを含むことができる。装置５００は、プロセッサ５１０、メモリ５２０、及び記憶デバイス５３０を含むことができる。

【0057】

[0063] プロセッサ５１０は、マルチチャンネル入力信号

を受け入れて、ｋ周波数帯域における直接成分及び拡散成分出力信号

及び

それぞれを出力するよう構成することができる。直接成分及び拡散成分出力信号は、有線又は別の伝播媒体を介してプロセッサ５１０の外部のエンティティに伝わる信号として出力することができる。直接成分及び拡散成分出力信号は、プロセッサ５１０上で作動する別のプロセスへのデータストリームとして出力することができる。直接成分及び拡散成分出力信号は、他の何らかの方法で出力することができる。

【0058】

[0064] プロセッサ５１０は、マイクロプロセッサ、デジタル信号プロセッサ、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、特定用途向け集積回路（ＡＳＩＣ）、プログラム可能ロジックデバイス（ＰＬＤ）、及びプログラム可能ロジックアレイ（ＰＬＡ）など、アナログ回路、デジタル回路、ファームウェア、及び１つ又はそれ以上の処理デバイスのうちの１つ又はそれ以上を含むことができる。プロセッサのハードウェアは、本明細書で記載される機能及び特徴を提供する種々の専用ユニット、回路、及びインタフェースを含むことができる。プロセッサ５１０は、複数の演算を並行に実施できるマルチプロセッサコア又は処理チャンネルを含むことができる。

【0059】

[0065] プロセッサ５１０は、メモリ５２０に結合することができる。メモリ５１０は、例えば、静的又は動的ランダムアクセスメモリとすることができる。プロセッサ５１０は、入力信号データ、中間結果、及び出力データを含むデータをメモリ５２０内に記憶することができる。

【0060】

[0066] プロセッサ５１０は、記憶デバイス５３０に結合することができる。記憶デバイス５３０は、プロセッサ５１０が実行したときに、装置５００に対して本明細書で記載される方法を実施させるようにする命令を記憶することができる。記憶デバイスは、不揮発性記憶媒体との間で読み込み及び／又は書き込み可能にするデバイスである。記憶デバイスは、ハードディスクドライブ、ＤＶＤドライブ、フラッシュメモリデバイス、及びその他を含む。記憶デバイス５３０は、記憶媒体を含むことができる。これらの記憶媒体には、例えば、ハードディスクなどの磁気媒体、コンパクトディスク（ＣＤ−ＲＯＭ及びＣＤ−ＲＷ）及びデジタル多用途ディスク（ＤＶＤ及びＤＶＤ±ＲＷ）などの光学媒体、フラッシュメモリデバイス、他の記憶媒体が挙げられる。用語「記憶媒体」は、データを記憶するための物理デバイスを意味し、信号及び波形を伝播するような一時的媒体を含まない。

【0061】

[0067] プロセッサ５１０、メモリ５２０、及び記憶デバイス５３０の全ての部分は、説明を簡単にするために図５において別個の機能要素として示されたが、フィールドプログラマブルアレイ又はデジタル信号プロセッサ回路などの単一の物理デバイス内にパッケージングすることができる。

【0062】

[0068] （まとめ）

【0063】

[0069] 本明細書全体を通じて、図示した実施形態及び実施例は、開示され又は請求項に記載された装置及び手順に対する限定ではなく例示とみなすべきである。本明細書で提示される実施例の多くは、方法動作及びシステム要素の特定の組合せを含むが、これら動作及び要素は、同じ目的を達成するために他の方法で組み合わせることができる点を理解されたい。フローチャートに関しては、追加のステップ又はより少ないステップをとることができ、本明細書に記載の方法を実現するために、図示のステップを組み合わせるか、又は更に改善することができる。１つの実施形態のみ関連して考察された動作、要素、及び特徴は、他の実施形態において類似の役割から除外されることを意図するものではない。

【0064】

[0070] 本明細書で使用される「複数」とは、２つ又はそれ以上を意味する。本明細書で使用される要素の「セット」とは、このような要素のうちの１つ又はそれ以上を含むことができる。本発明の明細書又は請求項において使用される用語「備える」、「含む」、「保持する」、「有する」、「含有する」、「伴う」及び同様の用語は、オープン（非制限）であると理解すべきであり、すなわち、限定ではなく含むことを意味している。それぞれ「からなる」及び「本質的にからなる」という移行句は、請求項に関してはクローズ又はセミクローズの移行句である。請求項の要素を修飾するために「第１の」、「第２の」、「第３の」、その他などの序数用語を請求項において使用することは、それ自体で、ある請求項の要素が、何らかの優先度、先行性、又は方法の動作が実施される別の又は一時的な順序よりも優先する１つの請求項の要素の順序を意味するものではなく、特定の名称を有する１つの請求項の要素と、同じ名称を有する（序数用語を用いない）別の要素と区別して、これらの請求項の用語を識別する単に標識として使用される。本明細書で使用される「及び／又は」は、記載の要素が代替形態であるが、この代替形態はまた記載の要素の何らかの組合せを含むことを意味する。

【符号の説明】

【0065】

１１０：チャンネルのペア間の相関係数を推定する
１２０：推定した相関係数を補正する
１３０：線形システムを構築する
１４０：線形システムを解く
１５０：直接及び拡散マスクを生成する
１６０：先行遅延する

【図1】

【図2】

【図3】

【図4】

【図5】