特許 7605839 バイノーラル信号のステレオオーディオ信号への変換

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-12-16

(45)【発行日】2024-12-24

(54)【発明の名称】バイノーラル信号のステレオオーディオ信号への変換

(51)【国際特許分類】

   H04S 1/00 20060101AFI20241217BHJP

   H04S 7/00 20060101ALI20241217BHJP

   G10L 19/008 20130101ALI20241217BHJP

【ＦＩ】

H04S1/00

H04S7/00 300

G10L19/008

【請求項の数】 17

(21)【出願番号】P 2022530224

(86)(22)【出願日】2020-11-13

(65)【公表番号】

(43)【公表日】2023-01-26

(86)【国際出願番号】 FI2020050751

(87)【国際公開番号】W WO2021105550

(87)【国際公開日】2021-06-03

【審査請求日】2022-07-22

(31)【優先権主張番号】1917133.9

(32)【優先日】2019-11-25

(33)【優先権主張国・地域又は機関】GB

【前置審査】

(73)【特許権者】

【識別番号】515076873

【氏名又は名称】ノキア テクノロジーズ オサケユイチア

(74)【代理人】

【識別番号】100099759

【弁理士】

【氏名又は名称】青木 篤

(74)【代理人】

【識別番号】100123582

【弁理士】

【氏名又は名称】三橋 真二

(74)【代理人】

【識別番号】100092624

【弁理士】

【氏名又は名称】鶴田 準一

(74)【代理人】

【識別番号】100117019

【弁理士】

【氏名又は名称】渡辺 陽一

(74)【代理人】

【識別番号】100108903

【弁理士】

【氏名又は名称】中村 和広

(74)【代理人】

【識別番号】100114018

【弁理士】

【氏名又は名称】南山 知広

(72)【発明者】

【氏名】ミッコ－ビッレ ライティネン

(72)【発明者】

【氏名】ユハ ビルカモ

【審査官】佐久 聖子

(56)【参考文献】

【文献】特開２００９－２５３５２６（ＪＰ，Ａ）

【文献】特開平０７－３３６８００（ＪＰ，Ａ）

【文献】特開平０４－１３７９００（ＪＰ，Ａ）

【文献】国際公開第２０１９／１９３２４８（ＷＯ，Ａ１）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｈ０４Ｓ １／００－７／００

Ｇ１０Ｌ １９／００８

(57)【特許請求の範囲】

【請求項1】

バイノーラル信号をステレオオーディオ信号に変換する方法であって、該方法は、
バイノーラルオーディオ信号を取得するステップと、
該バイノーラルオーディオ信号の少なくとも１つの周波数帯域の分析に基づいて、該バイノーラルオーディオ信号の該少なくとも１つの周波数帯域の少なくとも１つの方向パラメータを取得するステップと、
前記バイノーラルオーディオ信号の前記少なくとも１つの周波数帯域について、前記バイノーラルオーディオ信号のチャネル間において測定され正規化された相関に基づいて、少なくとも１つの直接対総エネルギー比率値を取得するステップと、
前記少なくとも１つの周波数帯域に対して、前記少なくとも１つの方向パラメータおよび前記少なくとも１つの直接対総エネルギー比率値に基づいて、前記バイノーラルオーディオ信号の前記少なくとも１つの周波数帯域のチャネル間差を修正することによって、ラウドスピーカー再生のための少なくとも２つのオーディオ信号を生成するために前記バイノーラルオーディオ信号を処理するステップと、
ラウドスピーカー再生のために少なくとも２ つのオーディオ信号を出力するステップと、
を含む、方法。

【請求項2】

前記バイノーラルオーディオ信号の前記少なくとも１つの周波数帯域の前記チャネル間差は、
前記バイノーラルオーディオ信号のチャネルに対する少なくとも１つのエネルギー／振幅差、
前記バイノーラルオーディオ信号のチャネルに対する少なくとも１つの位相差、および、
前記バイノーラルオーディオ信号のチャネルに対する少なくとも１つの時間差
のうちの少なくとも１つを含む、
請求項１に記載の方法。

【請求項3】

ラウドスピーカー再生のための少なくとも２つのオーディオ信号を生成するために前記バイノーラルオーディオ信号を処理するステップは、
前記少なくとも１つの周波数帯域に対する前記少なくとも１つの方向パラメータにさらに基づいて、前記処理された少なくとも１つの周波数帯域にスペクトル調節をさらに適用するように構成される、
請求項１に記載の方法。

【請求項4】

前記少なくとも１つの周波数帯域に関する前記少なくとも１つの方向パラメータに基づいて、前記少なくとも１つの周波数帯域のチャネル間差を修正することによって、ラウドスピーカー再生のための少なくとも２つのオーディオ信号を生成するために前記バイノーラルオーディオ信号を処理するステップは、
前記バイノーラルオーディオ信号の前記少なくとも１つの周波数帯域に対する共分散マトリクスの少なくとも一部の推定値を生成し、
前記バイノーラルオーディオ信号の前記少なくとも１つの周波数帯域に対するエネルギー推定値を生成し、
前記少なくとも１つの周波数帯域に対して前記少なくとも１つの方向パラメータに基づいて、前記バイノーラルオーディオ信号の前記少なくとも１つの周波数帯域に関するターゲット共分散マトリクスの少なくとも一部を生成し、
前記バイノーラルオーディオ信号の前記少なくとも１つの周波数帯域をミックスするための混合マトリクスを生成し、
前記混合マトリクスに基づいて、前記バイノーラルオーディオ信号の前記少なくとも１つの周波数帯域のチャネルの組み合わせから、左チャネルオーディオ信号と右チャネルオーディオ信号を生成するように構成される、
請求項１に記載の方法。

【請求項5】

ラウドスピーカー再生のための前記少なくとも２つのオーディオ信号は、前記左チャネルオーディオ信号および前記右チャネルオーディオ信号を含む、請求項４に記載の方法。

【請求項6】

前記少なくとも１つの周波数帯域に関する前記少なくとも１つの方向パラメータに基づいて、前記少なくとも１つの周波数帯域のチャネル間差を修正することによって、ラウドスピーカー再生のための少なくとも２つのオーディオ信号を生成するために前記バイノーラルオーディオ信号を処理するステップは、
さらに、少なくとも１つの周波数帯域に対して、前記バイノーラルオーディオ信号に基づいて非相関オーディオ信号を生成し、
前記非相関オーディオ信号に対するさらなる混合マトリクスを生成し、
前記さらなる混合マトリクスに基づいて、前記非相関オーディオ信号の前記少なくとも１つの周波数帯域のチャネルの組み合わせから、さらなる左チャネルオーディオ信号およびさらなる右チャネルオーディオ信号を生成し、
結合された左チャネルを生成するために、前記左チャネルオーディオ信号と前記さらなる左チャネルオーディオ信号を組み合わせ、
組み合わされた右チャネルを生成するために前記右チャネルオーディオ信号と、前記さらなる右チャネルオーディオ信号とを組み合わせるように構成され、
ここで、
ラウドスピーカー再生のための前記少なくとも２つのオーディオ信号は、
前記組み合わされた左チャネルオーディオ信号と、
前記組み合わされた右チャネルオーディオ信号と
を含む、
請求項４に記載の方法。

【請求項7】

前記少なくとも１つの周波数帯域に対する前記少なくとも１つの方向パラメータにさらに基づいて、前記処理された少なくとも１つの周波数帯域にスペクトル調節を適用するステップは、
前記少なくとも１つの周波数帯域に対する前記方向パラメータに基づいて、バイノーラル応答および／または長期応答推定を決定し、
前記処理された少なくとも１つの周波数帯域から前記決定されたバイノーラル応答および／または長期応答推定を補償する
ように構成される、請求項３に記載の方法。

【請求項8】

前記バイノーラル応答および／または長期応答は、
少なくとも１つのエネルギー／振幅、前記バイノーラルオーディオ信号のチャネルに対する少なくとも１つの相関、
前記バイノーラルオーディオ信号のチャネルに対する少なくとも１つの位相差、
前記バイノーラルオーディオ信号のチャネルに対する少なくとも１つの時間差
のうちの少なくとも１つを含む、
請求項７に記載の方法。

【請求項9】

前記バイノーラル応答および／または長期応答は、前記バイノーラルオーディオ信号のスペクトルを含み、
前記決定されたバイノーラル応答および／または長期応答推定を前記処理された少なくとも１つの周波数帯域から除去するステップは、
推定された方向パラメータと、前記少なくとも１つの方向パラメータに対応する平均頭部伝達関数とに基づいて、フィルタおよび／または利得を、前記処理された少なくとも１つの周波数帯域に適用するフィルタおよび／または利得を取得し、
前記フィルタおよび／または利得を、前記処理された少なくとも１つの周波数帯域に適用する、
請求項７に記載の方法。

【請求項10】

前記少なくとも１つの周波数帯域の前記方向パラメータに基づいてバイノーラル応答および／または長期応答推定を決定するステップは、前記バイノーラル信号の平均スペクトルと所定の頭部伝達関数（ＨＲＴＦ）データセットとを比較することによって長期等化フィルタを生成するように構成され、
前記決定されたバイノーラル応答および／または長期応答推定を前記処理された少なくとも１つの周波数帯域から除去するステップは、前記処理された少なくとも１つの周波数帯域に前記長期等化フィルタを適用するように構成される、
請求項７に記載の方法。

【請求項11】

前記バイノーラルオーディオ信号に基づいて、前記バイノーラルオーディオ信号の少なくとも１つの周波数帯域に対する少なくとも１つの方向パラメータを取得するステップは、
前記少なくとも１つの周波数帯域に対する前記少なくとも１つの方向パラメータを決定するために、前記バイノーラルオーディオ信号の前記少なくとも１つの周波数帯域を分析するように構成されている、
請求項１に記載の方法。

【請求項12】

前記少なくとも１つの周波数帯域に対する前記少なくとも１つの方向パラメータを決定するために、前記バイノーラルオーディオ信号の前記少なくとも１つの周波数帯域を分析するステップは、
さらに、前記少なくとも１つの周波数帯域について、前記バイノーラルオーディオ信号のチャネル間の相関を最大にする遅延を推定し、
前記推定された遅延に基づいて方向パラメータを作成するように構成される、ように構成される、
請求項１１に記載の方法。

【請求項13】

前記少なくとも１つの周波数帯域に関する前記少なくとも１つの方向パラメータに基づいて、前記バイノーラルオーディオ信号の前記少なくとも１つの周波数帯域に関するターゲット共分散マトリクスの少なくとも一部を生成するステップは、
前記少なくとも１つの周波数帯域に関する前記直接対総エネルギー比率値にさらに基づいて、前記バイノーラルオーディオ信号の前記少なくとも１つの周波数帯域に関する前記ターゲット共分散マトリクスの前記少なくとも一部を生成するようにさらに構成される、
請求項１に記載の方法。

【請求項14】

前記少なくとも１つの周波数に対する前記少なくとも１つの方向パラメータに基づいて、バイノーラル応答および／または長期応答推定を決定するように構成するステップは、
前記少なくとも１つの周波数帯域に対する前記直接対総エネルギー比率値に基づいて、前記バイノーラル応答および／または長期応答推定を決定するように構成される、
請求項１に記載の方法。

【請求項15】

バイノーラルオーディオ信号を取得するステップは、
ダミーヘッドで前記バイノーラルオーディオ信号をキャプチャする、
ユーザの外耳道の入口で前記バイノーラルオーディオ信号を捕捉する、
頭部伝達関数から前記バイノーラルオーディオ信号をレンダリングする、および、
バイノーラルルームインパルス応答を使用して前記バイノーラルオーディオ信号をレンダリングする、
のうちの１つを実行するように構成される、
請求項１に記載の方法。

【請求項16】

ラウドスピーカー再生のために前記少なくとも２つのオーディオ信号を出力するステップは、
前記ラウドスピーカー再生のための前記少なくとも２つのオーディオ信号をステレオラウドスピーカーに出力するように構成される、
請求項１に記載の方法。

【請求項17】

請求項１ないし１６のいずれか１項に記載の方法をインプリメントするための装置。

【発明の詳細な説明】

【技術分野】

【0001】

本出願はバイノーラル信号をステレオオーディオ信号に変換するための装置および方法に関する。しかし、空間オーディオ信号環境内での変換のみを目的とするものではない。

【背景技術】

【0002】

音方向の人間の知覚は、バイノーラル間時間差（ＩＴＤ）、バイノーラル間レベル差（ＩＬＤ）、およびスペクトルキューを含むバイノーラルキューに基づく。ラウドスピーカー再生のためのステレオ信号は典型的には振幅パンニング（例えば、「ベクトル基準振幅パンニングを用いた仮想音源位置決め」、Ville Pulkki、Audio Engineering Society、Journal of Audio Engineering Society、１９９７、に論じられているＶＢＡＰ）を用いて生成され、これは振幅パンニングされた音がステレオラウドスピーカーで再生され、人間の聴取者によって聞かれる。

【0003】

それに対応して、音の広がりおよび包絡線の人間の知覚は、バイノーラル間コヒーレンス（ＩＣ）に関連するバイノーラルの手がかりに基づく。ステレオ信号は典型的には、ステレオ信号がステレオラウドスピーカによって再生されるときに、幅または広さ（等）の知覚を生成するＩＣキューが人間の耳で生成される方法（例えば、リバーブ器（残響付与器）を使用する）で生成される。

【0004】

一方、バイノーラル信号は、ヘッドホンによって再生されることを意味する。したがって、バイノーラルキュー（ＩＴＤ、ＩＬＤ、ＩＣ、およびスペクトルキューを含む）は、オーディオ信号自体に固有である必要がある。これは、例えば、実際の人間または人工頭部の外耳道の入口にマイクロフォンを用いて空間音を記録することによって達成することができる。バイノーラル音は例えば、適切な頭部伝達関数（ＨＲＴＦ）およびリバーブ器（残響付与器）をマルチチャンネルスピーカ混合に適用することによって、合成的に生成することもできる。このようなバイノーラル記録、または一般にバイノーラルオーディオが（おそらくヘッドホン補正後に）ヘッドホンで再生されるとき、空間音の現実的な知覚が達成される。

【0005】

没入型（immersive）オーディオコーデックが実装されている。このようなコーデックの一例は、３ＧＰＰ（登録商標）４Ｇ／５Ｇネットワークのような通信ネットワーク上での使用に適するように設計されている没入型音声およびオーディオサービス（ＩＶＡＳ）コーデックである。

【0006】

３ＧＰＰ４Ｇ／５Ｇネットワークは例えば、バーチャルリアリティ（ＶＲ）のための没入型音声およびオーディオのような没入型サービスにおける使用を含む。

【0007】

入力信号は、いくつかのサポートされたフォーマットのうちの１つで（およびフォーマットのいくつかの許容された組み合わせで）ＩＶＡＳエンコーダに提示され得る。

【0008】

ＩＶＡＳはバイノーラル信号を入力として使用し、従来のステレオオーディオ出力を有することが提案されている。

【0009】

ステレオオーディオ信号がラウドスピーカの再生により適しているので、バイノーラル信号を従来のステレオオーディオ信号に効率的に変換する装置および方法が必要とされている。

【発明の概要】

【0010】

第１の態様によれば、バイノーラルオーディオ信号を取得し、前記バイノーラルオーディオ信号に基づいて、前記バイノーラルオーディオ信号の少なくとも１つの周波数帯域の少なくとも１つの方向パラメータを取得し、前記少なくとも１つの周波数帯域の前記少なくとも１つの方向パラメータに基づいて前記バイノーラルオーディオ信号の前記少なくとも１つの周波数帯域のチャネル間差分を修正することによって、ラウドスピーカ再生のための少なくとも２つのオーディオ信号を生成するために、前記バイノーラルオーディオ信号を処理し、ラウドスピーカ再生のための前記少なくとも２つのオーディオ信号を出力する装置とように構成された手段を備える装置が提供される。

【0011】

バイノーラルオーディオ信号の少なくとも１つの周波数帯域のチャネル間差は、バイノーラルオーディオ信号のチャネルに関する少なくとも１つのエネルギー／振幅差、バイノーラルオーディオ信号のチャネルに関する少なくとも１つの位相差、およびバイノーラルオーディオ信号のチャネルに関する少なくとも１つの時間差のうちの少なくとも１つを含むことができる。

【0012】

ラウドスピーカ再生のために少なくとも２つのオーディオ信号を生成するようにバイノーラルオーディオ信号を処理するように構成された手段は、少なくとも１つの周波数帯域についての少なくとも１つの方向パラメータにさらに基づいて、処理された少なくとも１つの周波数帯域にスペクトル調節をさらに適用するように構成されてもよい。

【0013】

少なくとも１つの周波数帯域のための少なくとも１つの方向パラメータのチャネル間差を修正することによって、ラウドスピーカ再生のための少なくとも２つのオーディオ信号を生成するようにバイノーラルオーディオ信号を処理するように構成された手段は、バイノーラルオーディオ信号の少なくとも１つの周波数帯域のための共分散マトリクスの少なくとも一部の推定値を生成し、バイノーラルオーディオ信号の少なくとも１つの周波数帯域のためのエネルギー推定を生成し、バイノーラルオーディオ信号の少なくとも１つの周波数帯域のための少なくとも１つの方向パラメータに基づいてバイノーラルオーディオ信号の少なくとも１つの周波数帯域のためのターゲット共分散マトリクスの少なくとも一部を生成し、バイノーラルオーディオ信号の少なくとも１つの周波数帯域をミックスするための混合マトリクスを生成し、混合マトリクスに基づいてバイノーラルオーディオ信号の少なくとも１つの周波数帯域のチャネルの組合せから左チャネルオーディオ信号および右チャネルオーディオ信号を生成するように構成され得る。

【0014】

ラウドスピーカー再生のための少なくとも２つのオーディオ信号は、左チャネルオーディオ信号および右チャネルオーディオ信号を含み得る。

【0015】

少なくとも１つの周波数帯域の少なくとも１つの方向パラメータに基づいて少なくとも１つの周波数帯域のチャネル間差を修正することによってラウドスピーカ再生のための少なくとも２つのオーディオ信号を生成するようにバイノーラルオーディオ信号を処理するように構成された手段は、少なくとも１つの周波数帯域について、バイノーラルオーディオ信号に基づいて非相関オーディオ信号を生成し、非相関オーディオ信号のためのさらなるミキシングマトリクスを生成し、さらなる左チャネルオーディオ信号およびさらなる右チャネルオーディオ信号を、さらなるミキシングマトリクスに基づいて非相関オーディオ信号の少なくとも１つの周波数帯域のチャネルの組合せから生成し、左チャネルオーディオ信号およびさらなる左チャネルオーディオ信号を組合せて組合せ左チャネルオーディオ信号を生成し、右チャネルオーディオ信号およびさらなる右チャネルオーディオ信号を組合せて組合せ右チャネルオーディオ信号を生成するようにさらに構成されてもよく、ラウドスピーカ再生のための少なくとも２つのオーディオ信号は、組合せ左チャネルオーディオ信号および組合せ右チャネルオーディオ信号を含む。

【0016】

少なくとも１つの周波数帯域のための少なくとも１つの方向パラメータにさらに基づいて、処理された少なくとも１つの周波数帯域にスペクトル調節をさらに適用するように構成された手段は、少なくとも１つの周波数のための方向パラメータに基づいて、バイノーラル応答および／または長期応答推定を決定し、処理された少なくとも１つの周波数帯域から、決定されたバイノーラル応答および／または長期応答推定を補償するように構成され得る。

【0017】

バイノーラル応答および／または長期応答は、少なくとも１つのエネルギー／振幅、バイノーラルオーディオ信号のチャネルのための少なくとも１つの相関、バイノーラルオーディオ信号のチャネルに対する少なくとも１つの位相差、バイノーラルオーディオ信号のチャネルに対する少なくとも１つの時間差、のうちの少なくとも１つを含み得る。

【0018】

バイノーラル応答および／または長期応答はバイノーラルオーディオ信号のスペクトルを含むことができ、処理された少なくとも１つの周波数帯域から決定されたバイノーラル応答および／または長期応答推定を除去するように構成された手段は、推定された方向パラメータと、少なくとも１つの方向パラメータに対応する平均化された頭部伝達関数とに基づいてフィルタおよび／または利得を取得し、フィルタおよび／または利得を処理された少なくとも１つの周波数帯域に適用するように構成され得る。

【0019】

少なくとも１つの周波数帯域の方向パラメータに基づいてバイノーラル応答および／または長期応答推定を決定するように構成された手段は、バイノーラル信号の平均スペクトルと所定のＨＲＴＦデータセットとを比較することによって長期等化フィルタを生成するように構成されてもよく、処理された少なくとも１つの周波数帯域から決定されたバイノーラル応答および／または長期応答推定を除去するように構成された手段は、処理された少なくとも１つの周波数帯域に長期等化フィルタを適用するように構成されてもよい。

【0020】

バイノーラルオーディオ信号に基づいて、バイノーラルオーディオ信号の少なくとも１つの周波数帯域に対する少なくとも１つの方向パラメータを取得するように構成された手段は、バイノーラルオーディオ信号の少なくとも１つの周波数帯域を分析して、少なくとも１つの周波数帯域に対する少なくとも１つの方向パラメータを決定するように構成され得る。

【0021】

バイノーラルオーディオ信号の少なくとも１つの周波数帯域を分析して、少なくとも１つの周波数帯域の少なくとも１つの方向パラメータを決定するように構成された手段は、少なくとも１つの周波数帯域について、バイノーラルオーディオ信号のチャネル間の相関を最大にする遅延を推定し、推定された遅延に基づいて方向パラメータを作成するようにさらに構成され得る。

【0022】

この手段は、バイノーラルオーディオ信号のチャネル間の測定され正規化された相関に基づいて、バイノーラルオーディオ信号の少なくとも１つの周波数帯域について、直接対総エネルギー比率を取得するようにさらに構成されてもよい。

【0023】

前記少なくとも１つの周波数帯域に対する前記少なくとも１つの方向パラメータに基づいて、前記バイノーラル聴覚信号の前記少なくとも１つの周波数帯域に対する目標共分散マトリクスの少なくとも一部を生成するように構成された手段は、前記少なくとも１つの周波数帯域に対する前記直接対全エネルギー比値にさらに基づいて、前記バイノーラル聴覚信号の前記少なくとも１つの周波数帯域に対する目標共分散マトリクスの前記少なくとも一部を生成するようにさらに構成されてもよい。

【0024】

少なくとも１つの周波数についての少なくとも１つの方向パラメータに基づいてバイノーラル応答および／または長期応答推定を決定するように構成された手段は、少なくとも１つの周波数帯域についての直接対総エネルギー比率に基づいてバイノーラル応答および／または長期応答推定を決定するように構成され得る。

【0025】

バイノーラルオーディオ信号を取得するように構成された手段は、ダミーヘッドでバイノーラルオーディオ信号をキャプチャすることと、ユーザの外耳道の入口でバイノーラルオーディオ信号をキャプチャすることと、頭部伝達関数からバイノーラルオーディオ信号をレンダリングすることと、バイノーラルルームインパルス応答を使用してバイノーラルオーディオ信号をレンダリングすることとのうちの１つを実行するように構成され得る。

【0026】

スピーカ再生のために少なくとも２つのオーディオ信号を出力するように構成された手段は、スピーカ再生のための少なくとも２つのオーディオ信号をステレオスピーカに出力するように構成されてもよい。

【0027】

第２の態様によれば、バイノーラルオーディオ信号を取得するステップと、バイノーラルオーディオ信号に基づいて、バイノーラルオーディオ信号の少なくとも１つの周波数帯域の少なくとも１つの方向パラメータを取得するステップと、少なくとも１つの周波数帯域の少なくとも１つの方向パラメータに基づいて、バイノーラルオーディオ信号の少なくとも１つの周波数帯域のチャネル間差を修正することによって、スピーカ再生のための少なくとも２つのオーディオ信号を生成するために、バイノーラルオーディオ信号を処理するステップと、スピーカ再生のための少なくとも２つのオーディオ信号を出力するステップとを含む方法が提供される。

【0028】

バイノーラルオーディオ信号の少なくとも１つの周波数帯域のチャネル間差は、バイノーラルオーディオ信号のチャネルに関する少なくとも１つのエネルギー／振幅差、バイノーラルオーディオ信号のチャネルに関する少なくとも１つの位相差、およびバイノーラルオーディオ信号のチャネルに関する少なくとも１つの時間差のうちの少なくとも１つを含むことができる。

【0029】

ラウドスピーカー再生のために少なくとも２つのオーディオ信号を生成するためにバイノーラルオーディオ信号を処理することは、少なくとも１つの周波数帯域についての少なくとも１つの方向パラメータにさらに基づいて処理された少なくとも１つの周波数帯域に対するスペクトル調整をさらに適用することを含み得る。

【0030】

前記少なくとも１つの周波数帯に対する前記少なくとも１つの方向パラメータに基づいて、前記少なくとも１つの周波数帯のチャネル間差を修正することによって、ラウドスピーカー再生のための少なくとも２つのオーディオ信号を生成するために、前記バイノーラルオーディオ信号を処理することは、前記バイノーラルオーディオ信号の前記少なくとも１つの周波数帯に対する共分散マトリクスの少なくとも一部の推定値を生成することと、前記バイノーラルオーディオ信号の前記少なくとも１つの周波数帯に対する目標共分散マトリクスの少なくとも一部を生成することと、前記少なくとも１つの周波数帯に対する前記少なくとも１つの方向パラメータに基づいて、前記バイノーラルオーディオ信号の前記少なくとも１つの周波数帯に対する目標共分散マトリクスの少なくとも一部を生成することと、前記バイノーラルオーディオ信号の前記少なくとも１つの周波数帯をミックスするための混合マトリクスを生成することと、前記ミキシングマトリクスに基づいて、前記バイノーラルオーディオ信号の前記少なくとも１つの周波数帯のチャネルの組み合わせから、左チャネルオーディオ信号および右チャネルオーディオ信号を生成することとを含むことができる。

【0031】

ラウドスピーカー再生のための少なくとも２つのオーディオ信号は、左チャネルオーディオ信号および右チャネルオーディオ信号を含み得る。

【0032】

少なくとも１つの周波数帯域についての少なくとも１つの方向パラメータに基づいて少なくとも１つの周波数帯域のチャネル間差を修正することによってラウドスピーカー再生のための少なくとも２つのオーディオ信号を生成するために前記バイノーラルオーディオ信号を処理することは、少なくとも１つの周波数帯域に対して、前記バイノーラルオーディオ信号に基づいて非相関オーディオ信号を生成することと、前記非相関オーディオ信号についてのさらなる混合マトリクスを生成することと、さらなる混合マトリクスに基づいて、前記非相関オーディオ信号の少なくとも１つの周波数帯域のチャネルの組み合わせから、さらなる左チャネルオーディオ信号およびさらなる右チャネルオーディオ信号を生成することと、組み合わされた左チャネルを生成するために、前記左チャネルオーディオ信号およびさらなる右チャネルオーディオ信号を組み合わせることと、組み合わされた右チャネルを生成するために、前記右チャネルオーディオ信号およびさらなる右チャネルオーディオ信号を組み合わせることと、をさらに含み、前記ラウドスピーカー再生のための少なくとも２つのオーディオ信号は、前記組み合わされた左チャネルオーディオ信号および前記組み合わされた右チャネルオーディオ信号を含む。

【0033】

少なくとも１つの周波数帯域のための少なくとも１つの方向パラメータにさらに基づいて、処理された少なくとも１つの周波数帯域にスペクトル調整を適用することは、少なくとも１つの周波数のための方向パラメータに基づいて、バイノーラル応答および／または長期応答推定を決定することと、処理された少なくとも１つの周波数帯域から、決定されたバイノーラル応答および／または長期応答推定を補償することとを含むことができる。

【0034】

バイノーラル応答および／または長期応答は、少なくとも１つのエネルギー／振幅、バイノーラルオーディオ信号のチャネルのための少なくとも１つの相関、バイノーラルオーディオ信号のチャネルのための少なくとも１つの位相差、バイノーラルオーディオ信号のチャネルのための少なくとも１つの時間差のうちの少なくとも１つを備えることができる。

【0035】

バイノーラル応答および／または長期応答はバイノーラルオーディオ信号のスペクトルを含むことができ、処理された少なくとも１つの周波数帯域から判定されたバイノーラル応答および／または長期応答推定を除去することは、推定された方向パラメータと、少なくとも１つの方向パラメータに対応する平均化された頭部伝達関数とに基づいてフィルタおよび／または利得を取得することと、フィルタおよび／または利得を処理された少なくとも１つの周波数帯域に適用することとを含むことができる。

【0036】

少なくとも１つの周波数帯域の方向パラメータに基づいてバイノーラル応答および／または長期応答推定を決定することは、バイノーラル信号の平均スペクトルと所定のＨＲＴＦデータセットとを比較することによって長期等化フィルタを生成することを備えることができ、決定されたバイノーラル応答および／または長期応答推定を処理された少なくとも１つの周波数帯域から除去することは、長期等化フィルタを処理された少なくとも１つの周波数帯域に適用することを備えることができる。

【0037】

前記バイノーラルオーディオ信号に基づいて、前記バイノーラルオーディオ信号の少なくとも１つの周波数帯域に関する少なくとも１つの方向パラメータを取得することは、前記バイノーラルオーディオ信号の前記少なくとも１つの周波数帯域を分析して、前記少なくとも１つの周波数帯域に関する前記少なくとも１つの方向パラメータを決定することを含むことができる。

【0038】

バイノーラルオーディオ信号の少なくとも１つの周波数帯域を分析して、少なくとも１つの周波数帯域について少なくとも１つの方向パラメータを決定することは、バイノーラルオーディオ信号のチャネル間の相関を最大にする遅延を少なくとも１つの周波数帯域について推定することと、推定された遅延に基づいて方向パラメータを作成することとを含み得る。

【0039】

この方法は、バイノーラルオーディオ信号の少なくとも１つの周波数帯域に対して、バイノーラルオーディオ信号のチャネル間の測定され正規化された相関に基づいて、直接対総エネルギー比値を得ることを更に含むことができる。

【0040】

少なくとも１つの周波数帯域に対する少なくとも１つの方向パラメータに基づいて、バイノーラルオーディオ信号の少なくとも１つの周波数帯域に対する目標共分散マトリクスの少なくとも一部を生成することは、更に、少なくとも１つの周波数帯域に対する直接対全エネルギー比値に基づいて、バイノーラルオーディオ信号の少なくとも１つの周波数帯域に対する目標共分散マトリクスの少なくとも一部を生成することを含むことができる。

【0041】

少なくとも１つの周波数についての少なくとも１つの方向パラメータに基づいてバイノーラル応答および／または長期応答推定を決定することは、少なくとも１つの周波数帯域についての直接対総エネルギー比値に基づいてバイノーラル応答および／または長期応答推定を決定することを含み得る。

【0042】

バイノーラルオーディオ信号を取得することは、ダミーヘッドでバイノーラルオーディオ信号をキャプチャすることと、ユーザの外耳道の入口でバイノーラルオーディオ信号をキャプチャすることと、頭部伝達関数からバイノーラルオーディオ信号をレンダリングすることと、バイノーラルルームインパルス応答を使用してバイノーラルオーディオ信号をレンダリングすることとのうちの１つを実行することを含むことができる。

【0043】

ラウドスピーカー再生のために少なくとも２つのオーディオ信号を出力することは、ラウドスピーカー再生のために少なくとも２つのオーディオ信号をステレオラウドスピーカーに出力することを含むことができる。

【0044】

第３の態様によれば、少なくとも１つのプロセッサと、コンピュータプログラムコードを含む少なくとも１つのメモリとを備える装置が提供され、少なくとも１つのメモリおよびコンピュータプログラムコードは少なくとも１つのプロセッサによって、装置に、バイノーラルオーディオ信号を取得させ、バイノーラルオーディオ信号に基づいて、バイノーラルオーディオ信号の少なくとも１つの周波数帯域の少なくとも１つの方向パラメータを取得させ、少なくとも１つの周波数帯域の少なくとも１つの方向パラメータに基づいて、バイノーラルオーディオ信号の少なくとも１つの周波数帯域のチャネル間差を修正することによって、スピーカ再生のための少なくとも２つのオーディオ信号を生成するようにバイノーラルオーディオ信号を処理させ、スピーカ再生のために少なくとも２つのオーディオ信号を出力させる。

【0045】

バイノーラルオーディオ信号の少なくとも１つの周波数帯域のチャネル間差は、バイノーラルオーディオ信号のチャネルに関する少なくとも１つのエネルギー／振幅差、バイノーラルオーディオ信号のチャネルに関する少なくとも１つの位相差、および、バイノーラルオーディオ信号のチャネルに関する少なくとも１つの時間差のうちの少なくとも１つを含むことができる。

【0046】

ラウドスピーカ再生のために少なくとも２つのオーディオ信号を生成するためにバイノーラルオーディオ信号を処理した装置は、少なくとも１つの周波数帯域についての少なくとも１つの方向パラメータにさらに基づいて、処理された少なくとも１つの周波数帯域にスペクトル調整をさらに加えるようにされてもよい。

【0047】

前記少なくとも１つの周波数帯域に対する前記少なくとも１つの方向パラメータに基づいて、前記少なくとも１つの周波数帯域のチャネル間差を修正することによって、前記ラウドスピーカ再生のための少なくとも２つのオーディオ信号を生成するように、前記バイノーラルオーディオ信号を処理する装置は、前記少なくとも１つの周波数帯域に対する共分散マトリクスの少なくとも一部の推定値を生成し、前記バイノーラルオーディオ信号の前記少なくとも１つの周波数帯域に対するエネルギー推定値を生成し、前記少なくとも１つの周波数帯域に対する前記少なくとも１つの方向パラメータに基づいて、前記バイノーラルオーディオ信号の前記少なくとも１つの周波数帯域に対する目標共分散マトリクスの少なくとも一部を生成し、前記バイノーラルオーディオ信号の前記少なくとも１つの周波数帯域をミックスするための混合マトリクスを生成し、前記混合マトリクスに基づいて、前記バイノーラルオーディオ信号の前記少なくとも１つの周波数帯域のチャネルの組み合わせから、左チャネルオーディオ信号および右チャネルオーディオ信号を生成し得る。

【0048】

ラウドスピーカー再生のための少なくとも２つのオーディオ信号は、左チャネルオーディオ信号および右チャネルオーディオ信号を含み得る。

【0049】

前記少なくとも１つの周波数帯域についての前記少なくとも１つの方向パラメータに基づいて、前記少なくとも１つの周波数帯域のチャネル間差を修正することによって、ラウドスピーカー再生のための少なくとも２つのオーディオ信号を生成するために、バイノーラルオーディオ信号を処理する装置は、前記バイノーラルオーディオ信号に基づいて、ラウドスピーカー再生のための非相関オーディオ信号を生成し、前記非相関オーディオ信号についてのさらなる混合マトリクスを生成し、前記さらなる混合マトリクスに基づいて、前記非相関オーディオ信号の前記少なくとも１つの周波数帯域のチャネルの組み合わせから、さらなる左チャネルオーディオ信号およびさらなる右チャネルオーディオ信号を生成し、組み合わせた左チャネルを生成するために、左チャネルオーディオ信号と、さらに左チャネルオーディオ信号とを組み合わせ、組み合わせた右チャネルを生成するために、右チャネルオーディオ信号と、さらに右チャネルオーディオ信号とを組み合わせことが、さらにできる。ラウドスピーカー再生のための少なくとも２つのオーディオ信号は、組み合わせた左チャネルオーディオ信号と、組み合わせた右チャネルオーディオ信号とを含む。

【0050】

少なくとも１つの周波数帯域のための少なくとも１つの方向パラメータにさらに基づいて、処理された少なくとも１つの周波数帯域にスペクトル調整をさらに適用させる装置は、少なくとも１つの周波数のための方向パラメータに基づいて、バイノーラル応答および／または長期応答推定を決定することと、処理された少なくとも１つの周波数帯域から、決定されたバイノーラル応答および／または長期応答推定を補償することと、を行わせることができる。

【0051】

バイノーラル応答および／または長期応答は、少なくとも１つのエネルギー／振幅、バイノーラルオーディオ信号のチャネルのための少なくとも１つの相関、バイノーラルオーディオ信号のチャネルのための少なくとも１つの位相差、バイノーラルオーディオ信号のチャネルのための少なくとも１つの時間差のうちの少なくとも１つを備えることができる。

【0052】

バイノーラル応答および／または長期応答は、バイノーラルオーディオ信号のスペクトルを含むことができ、処理された少なくとも１つの周波数帯域から決定されたバイノーラル応答および／または長期応答推定を除去するようにする装置は、推定された方向パラメータと、少なくとも１つの方向パラメータに対応する平均化された頭部伝達関数とに基づいてフィルタおよび／または利得を取得し、フィルタおよび／または利得を処理された少なくとも１つの周波数帯域に適用することができる。

【0053】

少なくとも１つの周波数帯域の方向パラメータに基づいてバイノーラル応答および／または長期応答推定を決定するようにされた装置は、バイノーラル信号の平均スペクトルと所定のＨＲＴＦデータセットとを比較することによって長期等化フィルタを生成するようにされてもよく、処理された少なくとも１つの周波数帯域から決定されたバイノーラル応答および／または長期応答推定を除去するようにされた装置は、処理された少なくとも１つの周波数帯域に長期等化フィルタを適用するようにされてもよい。

【0054】

バイノーラルオーディオ信号に基づいて、バイノーラルオーディオ信号の少なくとも１つの周波数帯域に関する少なくとも１つの方向パラメータを得る装置は、バイノーラルオーディオ信号の少なくとも１つの周波数帯域を分析して、少なくとも１つの周波数帯域に関する少なくとも１つの方向パラメータを決定してもよい。

【0055】

バイノーラルオーディオ信号の少なくとも１つの周波数帯域を分析して、少なくとも１つの周波数帯域について少なくとも１つの方向パラメータを決定する装置は、少なくとも１つの周波数帯域について、バイノーラルオーディオ信号のチャネル間の相関を最大にする遅延を推定し、推定された遅延に基づいて方向パラメータを作成することがさらにできる。

【0056】

この装置は、バイノーラルオーディオ信号の少なくとも１つの周波数帯域に対して、バイノーラルオーディオ信号のチャネル間の測定され正規化された相関に基づいて、直接対総エネルギー比値を得るようにされてもよい。

【0057】

少なくとも１つの周波数帯域に対する少なくとも１つの方向パラメータに基づいて、バイノーラルオーディオ信号の少なくとも１つの周波数帯域に対する目標共分散マトリクスの少なくとも一部を生成するようにした装置は、さらに、少なくとも１つの周波数帯域に対する直接対全エネルギー比値に基づいて、バイノーラルオーディオ信号の少なくとも１つの周波数帯域に対する目標共分散マトリクスの少なくとも一部をさらに生成するように構成することができる。

【0058】

少なくとも１つの周波数についての少なくとも１つの方向パラメータに基づいてバイノーラル応答および／または長期応答推定を決定するようにされた装置は、少なくとも１つの周波数帯域についての直接対総エネルギー比値に基づいてバイノーラル応答および／または長期応答推定を決定するようにされ得る。

【0059】

バイノーラルオーディオ信号を取得させる装置は、ダミーヘッドでバイノーラルオーディオ信号を捕捉すること、ユーザの外耳道の入口でバイノーラルオーディオ信号を捕捉すること、頭部伝達関数からバイノーラルオーディオ信号をレンダリングすること、およびバイノーラルルームインパルス応答を使用してバイノーラルオーディオ信号をレンダリングすることのうちの１つを実行させることができる。

【0060】

ラウドスピーカー再生のために少なくとも２つのオーディオ信号を出力する装置は、ラウドスピーカー再生のために少なくとも２つのオーディオ信号をステレオラウドスピーカーに出力させることができる。

【0061】

第４の態様によれば、バイノーラルオーディオ信号を得るように構成された回路を取得するステップと、前記バイノーラルオーディオ信号に基づいて、前記バイノーラルオーディオ信号の少なくとも１つの周波数帯域の少なくとも１つの方向パラメータを取得するステップと、前記少なくとも１つの周波数帯域についての前記少なくとも１つの方向パラメータに基づいて、前記バイノーラルオーディオ信号の少なくとも１つの周波数帯域のチャネル間差を修正することによって、前記ラウドスピーカ再生のための少なくとも２つのオーディオ信号を生成するために前記バイノーラルオーディオ信号を処理するように構成された回路を処理するステップと、前記少なくとも１つの周波数帯域についての前記少なくとも１つの方向パラメータに基づいて、前記少なくとも２つのオーディオ信号を出力するように構成された出力回路と、を含む装置が提供される。

【0062】

第５の態様によれば、バイノーラルオーディオ信号を取得することと、バイノーラルオーディオ信号に基づいて、バイノーラルオーディオ信号の少なくとも１つの周波数帯域の少なくとも１つの方向パラメータを取得することと、少なくとも１つの周波数帯域の少なくとも１つの方向パラメータに基づいて、バイノーラルオーディオ信号の少なくとも１つの周波数帯域のチャネル間差を修正することによって、スピーカ再生のための少なくとも２つのオーディオ信号を生成するために、バイノーラルオーディオ信号を処理することと、スピーカ再生のための少なくとも２つのオーディオ信号を出力することと、を少なくとも実行するように装置にさせるための命令［またはプログラム命令を備えるコンピュータ可読媒体］を備えるコンピュータプログラムが提供される。

【0063】

第６の態様によれば、バイノーラルオーディオ信号を取得することと、バイノーラルオーディオ信号に基づいて、バイノーラルオーディオ信号の少なくとも１つの周波数帯域の少なくとも１つの方向パラメータを取得することと、少なくとも１つの周波数帯域の少なくとも１つの方向パラメータに基づいて、バイノーラルオーディオ信号の少なくとも１つの周波数帯域のチャネル間差を修正することによって、ラウドスピーカ再生のための少なくとも２つのオーディオ信号を生成するために、バイノーラルオーディオ信号を処理することと、ラウドスピーカ再生のための少なくとも２つのオーディオ信号を出力することと、を少なくとも実行させるためのプログラム命令を備える非一時的コンピュータ可読媒体が提供される。

【0064】

第７の態様によれば、バイノーラルオーディオ信号を取得するための手段と、バイノーラルオーディオ信号に基づいて、バイノーラルオーディオ信号の少なくとも１つの周波数帯域の少なくとも１つの方向パラメータを取得するための手段と、少なくとも１つの周波数帯域の少なくとも１つの方向パラメータに基づいてバイノーラルオーディオ信号の少なくとも１つの周波数帯域のチャネル間差分を修正することによって、スピーカ再生のための少なくとも２つのオーディオ信号を生成するために、バイノーラルオーディオ信号を処理するための手段と、スピーカ再生のための少なくとも２つのオーディオ信号を出力するための手段とを備える装置が提供される。

【0065】

第８の態様によれば、バイノーラルオーディオ信号を取得することと、バイノーラルオーディオ信号に基づいて、バイノーラルオーディオ信号の少なくとも１つの周波数帯域の少なくとも１つの方向パラメータを取得することと、少なくとも１つの周波数帯域の少なくとも１つの方向パラメータに基づいて、バイノーラルオーディオ信号の少なくとも１つの周波数帯域のチャネル間差を修正することによって、ラウドスピーカ再生のための少なくとも２つのオーディオ信号を生成するために、バイノーラルオーディオ信号を処理することと、ラウドスピーカ再生のための少なくとも２つのオーディオ信号を出力することと、を少なくとも実行させるためのプログラム命令を備えるコンピュータ可読媒体が提供される。

【0066】

上述の方法の動作を実行するための手段を備える装置。

【0067】

上述の方法の動作を実行するように構成された装置。

【0068】

コンピュータに上述の方法を実行させるためのプログラム命令を含むコンピュータプログラム。

【0069】

媒体に記憶されたコンピュータプログラム製品は、装置に本明細書に記載された方法を実行させることができる。

【0070】

電子デバイスは、本明細書で説明されるような装置を備えることができる。

【0071】

チップセットは、本明細書に記載されるような装置を備えてもよい。

【0072】

本出願の実施形態は、最新技術に関連する課題に対処することを目的とする。

【図面の簡単な説明】

【0073】

本出願をより良く理解するために、添付の図面を例として参照する。

【図1】図１は、いくつかの実施形態を実施するのに適した装置のシステムを概略的に示す。

【図2】図２は、いくつかの実施形態に従う例示的な装置の動作のフロー図を示す。

【図3】図３は、いくつかの実施形態による、図１に示されるようなチャネル間差分変更子を概略的に示す。

【図4】図４は、いくつかの実施形態による、図３に示される例示的なチャネル間差分修正器の動作の流れ図を示す。

【図5】図５は、いくつかの実施形態による、図１に示されるようなスペクトル白色化器を概略的に示す。

【図6】図６は、いくつかの実施形態に従う、図５に示されるような例示的なスペクトル白色化器の動作のフロー図を示す。

【図7】図７は、前の図に示された装置を実施するのに適した例示的なデバイスを示す。

【発明を実施するための形態】

【0074】

以下では、バイノーラル信号を従来のステレオオーディオ信号に転化するための適当な装置および可能な機構について更に詳細に説明する。

【0075】

以下の実施形態でさらに詳細に論じられる概念は、バイノーラルオーディオ信号から適切なステレオオーディオ信号を生成することである。以下の説明では、少なくとも２つのオーディオ信号が生成される（これは左右チャネルオーディオ信号を含むことができ、または左右チャネルの前部、中部、後部、上部または下部バージョンを含むことができる）。生成されたステレオオーディオ信号は、（ステレオ）ラウドスピーカーで再現できる。その結果、生成されたステレオオーディオ信号のステレオスピーカ再生によって生成される聴取者の耳におけるバイノーラルキュー（ＩＴＤ、ＩＬＤ、ＩＣ、スペクトルキュー）は、バイノーラル信号がヘッドホン上で再生されるときのバイノーラルキューと同様であり、空間オーディオは、意図された方法で知覚される。換言すれば、本発明は、出力手段に依存する聴取者の耳における知覚の差を防止することを目的とする。その差には、音の方向の差、音の幅の差、音の広がりの差、音のスペクトルの差などがある。

【0076】

スペクトル差に関しては、バイノーラル信号が典型的には人間の耳、頭部、胴体などからの反射によって引き起こされる特徴的なスペクトルを含む。本明細書で論じられるような実施形態はバイノーラル信号に基づいてステレオオーディオ信号を生成することを目的とし、ここで、この特徴的なスペクトルは（ステレオ）ラウドスピーカで再生され、人間の聴取者によって聴かれるときに、信号において追加のバイノーラル応答が存在しないように補償される。その結果、人間の聴取者は「二重バイノーラルスペクトル」を受信せず、音色の知覚は元の音色に類似している。

【0077】

方向差に関してはバイノーラル信号がより低い周波数において、潜在的な位相差を有する実質的にデュアルモノ信号に近く、従って、ステレオラウドスピーカ上のそのような信号の再生はより低い周波数において、音をラウドスピーカー対の中央に振幅パンニングするのと同様の効果を生み出す。本明細書で論じられるような実施形態は、ステレオラウドスピーカ構成で再生されたときに、ヘッドホンを介して再生されたときにバイノーラルオーディオ信号と比較されたときに、幅および音源定位の適切な知覚を維持するステレオオーディオ信号を生成することを試みる。

【0078】

本明細書で論じられるような実施形態はバイノーラルオーディオ信号から好適なステレオオーディオ信号を生成するように構成され、従って、再生手段としてステレオラウドスピーカを使用する場合には、バイノーラル信号を使用する必要がなくなり、したがって、任意の空間的および音色知覚誤差を防止または低減するように構成される。その結果、本明細書で論じられるような実施形態は、音源が間違った方向から知覚されず、音色はステレオラウドスピーカを使用して直接再生されるバイノーラルオーディオ信号によって色づけされないため、知覚されるオーディオ品質が改善されている。

【0079】

本明細書中の実施形態において議論されているような概念は、ラウドスピーカーを用いてバイノーラル信号を再生することに関する装置および方法として要約することができ、ここで、バイノーラル信号をステレオおよび多チャネルラウドスピーカー再生に適した「非バイノーラル」ステレオ信号に変換する装置および／または方法が提供される。更に、本明細書の実施形態に記載されているように、変換はバイノーラル信号からの周波数帯における到来方向（またはより一般的には方向パラメータ）を分析し、分析された方向に基づいてバイノーラル信号を修正し、チャネル間差およびスペクトルが「非バイノーラル」ステレオ信号の期待される特徴に一致するようにすることによって実行される。

【0080】

バイノーラル信号は、ダミーヘッドで捕捉された信号、現実の人間の外耳道の入口で捕捉された信号、頭部伝達関数を使用してレンダリングされた信号、またはバイノーラルルームインパルス応答を使用してレンダリングされた信号など、任意の種類のバイノーラル信号とすることができる。さらに、バイノーラル信号は（例えば、測定されたヘッドホン伝達関数を使用して導出された）任意のタイプのヘッドホン補償を含んでも含まなくてもよい。

【0081】

バイノーラル信号はヘッドフォンで聴くことを目的としており、その際に、（自然ＩＴＤ、ＩＬＤ、およびスペクトルを介して）空間的な音の自然知覚を生み出す。その結果、音源を正しい方向から正しい音色で知覚することができる。対照的に、「バイノーラルでない」ステレオ信号はラウドスピーカーの聴取を目的としている（すなわち、それらは「従来の」ステレオ信号である）。ヘッドホンで聴かれた場合、再生はＩＴＤ、ＩＬＤ、またはバイノーラルスペクトルに関してバイノーラル音に似ていないが、代わりに、「非バイノーラル」ステレオ信号がラウドスピーカによって再生され、聴取者の耳に伝播されるときに、これらの特徴が形成される。

【0082】

到来方向は（バイノーラル）信号間の相関を最大にする遅延を周波数帯域で推定し、その遅延値に基づいて方向値を作成することによって分析され得る。バイノーラルの左右信号間の測定した正規化相関に基づいて、周波数帯で直接対全エネルギー比値を推定した。

【0083】

チャネル間差はいくつかの実施形態において、ラウドスピーカー再生のための少なくとも目標エネルギー／振幅（および潜在的に相関、位相／時間差）に基づいて方向および比メタデータに基づいて決定し、入力バイノーラル信号の少なくともエネルギー／振幅（および潜在的に相関、位相／時間差）を補正して、対応する目標特性に一致させることによって修正されてもよい。

【0084】

いくつかの実施形態におけるスペクトルは、まず、その方向に対応する推定到来方向および平均化されたＨＲＴＦ（複数のＨＲＴＦセットの）に基づくフィルタ（または周波数帯域における利得）を得ることによって修正されてもよい。更に、バイノーラル信号の平均スペクトルと所定のＨＲＴＦデータセット（同じく変化するヘッドフォン補償を有する）とを比較することによって、長期等化フィルタを適用することができる。

【0085】

いくつかの実施形態では、結果として生じる「非バイノーラル」信号がそれらの中のバイノーラル特徴（元のバイノーラル信号に固有の）を実質的に除去または低減する。このように、バイノーラル特徴は、ラウドスピーカから聴取者の耳への音響伝搬によって付加される。従って、本発明を用いてバイノーラル信号のラウドスピーカ再生のために良好なオーディオ品質（正確で自然な方向知覚および非ラウド音色）を達成することができる。

【0086】

図１を参照すると、いくつかの実施形態を実施するのに適した装置のブロック図が示されている。後述するように、この装置は、携帯電話またはコンピュータ内に実装することができる。さらに、それは例えば、スタンドアロンの装置またはプログラムとして実装されることができ、あるいはそれは例えば、ＩＶＡＳコーデックのようなオーディオコーデックの一部であることができる。

【0087】

ブロック図は、バイノーラルオーディオ信号１００を示す。この例におけるバイノーラルオーディオ信号１００は、時間領域信号である。しかし、バイノーラルオーディオ信号１００が時間－周波数領域信号である実施形態では、時間－周波数トランスフォーマの使用をスキップまたはバイパスすることができる。

【0088】

ある実施形態では、装置が時間周波数変換器１０１を備える。時間周波数変換器１０１は、それらを時間－周波数領域に変換する（時間領域）バイノーラルオーディオ信号１００を受信するように構成される。適切な変換は例えば、短時間フーリエ変換（ＳＴＦＴ）および錯体変調直交ミラーフィルタ（ＱＭＦ）バンクを含む。結果として得られる時間周波数バイノーラルオーディオ信号１０２はＳ_ｍ（ｂ，ｎ）として示すことができ、ここで、ｍはチャネルインデックスであり、ｂは周波数ビンインデックスであり、ｎは時間インデックスである。

【0089】

時間周波数バイノーラルオーディオ信号１０２は、方向分析器１０５およびチャネル間差分修正器１０３に転送されてもよい。

【0090】

いくつかの実施形態では、装置または変換器が方向分析器１０５を備える。方向分析器１０５は、時間周波数領域バイノーラルオーディオ信号１０２を受信し、時間周波数領域における到来方向θ（ｋ，ｎ）および直接対総エネルギー比ｒ（ｋ，ｎ）を分析するように構成され、ここで、ｋは周波数帯域インデックスである。

【0091】

方向解析は、周波数帯域で実行される。時間周波数変換はある周波数分解能を有し、例えば、１０２４点ＳＴＦＴは、ＤＣ周波数からナイキスト周波数への５１３個の周波数ビンをもたらす。これらのビンは周波数帯にまとめられている。例えば、バーク周波数分解能に近似した２４の周波数帯である。

【0092】

この分析は、これらの周波数帯域内で行うことができる。各周波数帯域ｋは、最低ビンｂ_ｌｏｗ（ｋ）および最も高いビンｂ_ｈｉｇｈ（ｋ）を有する。

【0093】

分析器は例えば、各帯域ｋについて２つのチャネル間の相関を最大にする遅延τ_ｋを見つけるように構成することができる。これは、一方のチャネルで信号の時間シフトされたバージョンを作成し、これらを他方のチャネル信号と相関させることによって達成することができる。Ｓ_ｍ（ｂ，ｎ）のｔ個の時間領域試料の時間シフトは、

【数1】

として得ることができる。ここで、ＮはＳＴＦＴ演算の長さである。帯域ｋ（および時間指数ｎ）に対する最適遅延τ_ｋは、

【数2】

から得られるここで、ｃ（ｋ，ｎ）は最適遅延τ_ｋ（上記の式を最大にする引数τ）との相関であり、Ｒｅは結果の実数部を示し、＊は複素共役を示す。遅延Ｄｍａｘの探索範囲は、推定されたバイノーラルへの到来音の最大遅延差に基づいて選択される。

【0094】

遅延τ_ｋは、

【数3】

によって角度値に変換することができる。この方向パラメータは、－９０および９０度の間の方位角値である。この方向情報１０６は立体ラウドスピーカー出力にレンダリングするのに十分である。これは昇降または後部ラウドスピーカーがないからである（言い換えれば、出力オーディオ信号は「水平」面上にあり、仰角値は必要ない）。次いで、方向情報１０６または信号をチャネル間修正器１０３およびスペクトル白色化器１０７に出力することができる。

【0095】

さらに、いくつかの実施形態では、方向分析器１０５が少なくとも１つの対応するエネルギー比ｒ（ｋ、ｎ）を決定するようにさらに構成される。エネルギー比ｒ（ｋ，ｎ）は例えば、相関値ｃ（ｋ，ｎ）を用いて、例えば、

【数4】

のように正規化した後に推定することができる
次に、相関値を帯域ｃ_ｄｉｆｆ（ｋ）の中心周波数のバイノーラル拡散技術分野相関と比較して、比

【数5】

を得る。

【0096】

推定された直接対総エネルギー比は、チャネル間差分修正器１０３およびスペクトル白色化器１０７にも転送することができる。

【0097】

いくつかの実施形態では、コンバータがチャネル間差分修正器１０３を備える。チャネル間差分修正器１０３は、時間－周波数バイノーラルオーディオ信号１０２および方向情報１０６およびエネルギー比情報１０８を受信するように構成される。チャネル間差分修正器１０３は、分析された方向およびエネルギー比に基づいて、処理された出力が方向θ（ｋ，ｎ）におけるオーディオのスピーカ再生に適切であり、直接対総エネルギー比ｒ（ｋ，ｎ）を有するチャネル間レベル差（および潜在的に位相および／または時間差および／またはコヒーレンス）を有するように、周波数帯域における時間周波数バイノーラルオーディオ信号の少なくとも耳間レベル差（および潜在的に位相および／または時間差および／またはコヒーレンス）を修正するように構成される。

【0098】

得られた時間周波数中間オーディオ信号１０４は、チャネル間差修正器から出力され、スペクトル白色化器１０７に渡される。

【0099】

変換器は、いくつかの実施形態ではスペクトル白色化器１０７を含む。スペクトル白色化器は、時間周波数中間オーディオ信号１０４を受信するように構成される。時間－周波数中間オーディオ信号１０４は、ラウドスピーカ再生のための適切な方向性キュー（例えば、レベル差）を有するが、それらは依然として含まれるバイノーラルスペクトルの要素を有し、それはスペクトル白色化器１０７を使用して除去され得る。したがって、スペクトル白色化器１０７はさらに、方向情報１０６および直接対全エネルギー比情報１０８を受信するように構成される。スペクトル白色化器１０７はバイノーラルスペクトルを反転周波数補償するように構成され、結果として生じる時間周波数ステレオオーディオ信号１１０は逆時間周波数変換器１１１に出力される。

【0100】

いくつかの実施形態では、コンバータが逆時間－周波数変換器１１１を含む。逆時間－周波数変換器１１１は、受信した時間－周波数ステレオオーディオ信号１１０に適用した時間周波数変換、例えばＳＴＦＴに対応する逆ＳＴＦＴに対応する逆変換を適用し、次いでステレオラウドスピーカで再生することができる適当な（パルス符号変調された）ＰＣＭステレオオーディオ信号１１２を出力するように構成される。

【0101】

図２に関して、図１に示すような変換器の動作を示すフロー図が示されている。

【0102】

したがって、例えば、第１の動作はステップ２０１によって図２に示されるように、バイノーラルオーディオ信号を受信する動作である。

【0103】

次いで、ステップ２０３によって図２に示されるように、バイノーラルオーディオ信号は、時間－周波数変換されて、時間－周波数バイノーラルオーディオ信号を生成する。

【0104】

次いで、時間－周波数バイノーラルオーディオ信号を分析して、ステップ２０４によって、図２に示されるような方向およびエネルギー比を決定することができる。

【0105】

次いで、時間－周波数バイノーラルオーディオ信号はステップ２０５によって図２に示されるような時間－周波数中間オーディオ信号を生成するために、決定された方向およびエネルギー比に基づいて、チャネル間で修正されてもよい。

【0106】

次いで、時間－周波数中間オーディオ信号は、ステップ２０７によって図２に示されるように、時間－周波数処理された（ステレオ）オーディオ信号を生成するために、決定された方向およびエネルギー比に基づいて、スペクトル的に白色化されてもよい。

【0107】

次に、時間－周波数処理された（ステレオ）オーディオ信号を逆時間－周波数変換して、ステップ２０９によって図２に示すようなステレオオーディオ信号を生成する。

【0108】

次いで、図２に示すように、ステップ２１１でステレオオーディオ信号を段階的に出力することができる

【0109】

図３を参照すると、チャネル間差分修正器１０３がさらに詳細に示されている。いくつかの実施形態では、チャネル間差分修正器１０３が共分散マトリクス推定器３０１を備える。共分散マトリクス推定器３０１は、時間周波数バイノーラルオーディオ信号１０２を受信し、

【数6】

のような適切な推定共分散マトリクス（推定共分散ｍｔｘ）３００を生成するように構成される。ここで、Ｈは複素共役を示し、

【数7】

である。

【0110】

共分散マトリクス推定量３０１は、Ｃ_ｉｎ（ｋ， ｎ）３００内の推定共分散マトリクスＣ_ｉｎｎ（ｋ， ｎ）を混合マトリクス作成器３０７に出力するように構成される。

【0111】

共分散マトリクス推定器３０１はまた、全体的なエネルギー推定値Ｅ（ｋ、ｎ）をＣ_ｉｎ（ｋ、ｎ）の対角要素の和として作成するように構成されてもよい。全体のエネルギー推定値３０２は、ターゲット共分散マトリクス作成器３０５に提供される。

【0112】

本明細書で説明する例では、入力共分散マトリクス作成およびターゲット共分散マトリクス作成がチャネル間特性（エネルギー差、位相差、相関）のセットをカプセル化し、これらのすべてを処理することができる。しかしながら、いくつかの実施形態では、エネルギーのみが調整または修正されるべき信号の少なくとも一部（例えば、いくつかの周波数）があってもよい。このような場合、完全な共分散マトリクスを推定する必要はない。しかしながら、簡単にするために、ここでは完全な共分散マトリクスが推定され、潜在的に不要なデータ（構成に応じて）はその後の段階では使用されない。いくつかの実施形態における実用的な実装は、後の段階で必要とされるデータまたは情報のみを推定するように構成される。

【0113】

いくつかの実施形態では、チャネル間差分修正器１０３がターゲット共分散マトリクス作成器３０５を備える。ターゲット共分散マトリクス作成器３０５は方向θ（ｋ，ｎ）１０６および直接対総エネルギー比ｒ（ｋ，ｎ）１０８パラメータと同様に、エネルギー推定値３０２を受け取るように構成される。一部の実施形態における目標共分散マトリクス作成器３０５は、出力ラウドスピーカー信号のための目標共分散マトリクスを生成する。これは、いくつかの実施形態では以下の動作によって実施することができる。

【0114】

第１に、マトリクスはパンニングゲイン

【数8】

を生成する。ここで、ｇ_Ｌ（θ（ｋ，ｎ））およびｇ_Ｒ（θ）（ｋ，ｎ））は、±３０°でのラウドスピーカーのベクトルベース振幅パンニング（ＶＢＡＰ）からの利得

【数9】

および、

【数10】

である。次に、ターゲット共分散マトリクスを次のように作成する。

【数11】

ここで、左部分ｇ（ｋ，ｎ）ｇ^Ｔ（ｋ，ｎ）ｒ（ｋ，ｎ）は正面パン音に関連する共分散マトリクスを説明し、右部分

【数12】

は、周囲（または無指向性）音に関連する共分散マトリクスを説明する。上記の式に示されるように、これらは、次に、一緒に加算され、目標共分散マトリクスＣ_{ｔａｒｇｅｔ}（ｋ，ｎ）を得るために、全体的なエネルギー推定値Ｅ（ｋ，ｎ）で重み付けされる。

【0115】

次に、目標共分散マトリクスＣ_{ｔａｒｇｅｔ}（ｋ，ｎ）３０６を混合マトリクス作成器３０７に供給することができる。

【0116】

いくつかの実施形態では、チャネル間差分修正器１０３が混合マトリクス作成器３０７を備える。混合マトリクス作成器３０７は、目標共分散マトリクス３０６および推定共分散マトリクス３００を受け取り、混合器３０９に渡すことができる混合マトリクス３０８を生成するように構成される。

【0117】

一部の実施形態においては、混合マトリクス作成器３０７が、ＵＳ２０１４０２３３７６２Ａ１および「空間オーディオの時間周波処理のための最適化共分散領域フレームワーク（Optimized covariance domain framework for time-frequency processing of spatial audio）」、Ｖｉｌｋａｍｏ、Ｊｕｈａ、Tom Backstrom、and Achim Kuntz、Journal of Audio Engineering Society ６１、ｎｏ．６（２０１３）：４０３－４１１に記載された方法に従い、混合マトリクスを生成するように構成されいる。

【0118】

引用した文献の方法は、オーディオ品質を良好に保持しながら、信号の共分散マトリクスを操作するための最小二乗最適化信号混合技術を含む。従って、この方法は入力信号の共分散マトリクス測度と目標共分散マトリクスを利用し、このような処理を行うための混合マトリクスを提供する。本方法はまた、入力に独立した信号エネルギーが充分に存在しない場合に、十分な量音を最適に利用する手段を提供する。

【0119】

したがって、いくつかの実施形態では、混合マトリクス作成器３０７が（目標共分散マトリクスの合成を満たしながら）出力チャネルが入力チャネルにどのように類似すべきかを決定するプロトタイプマトリクスを生成するように構成される。現在の文脈ではプロトタイプマトリクスは、

【数13】

である。Ｑ，Ｃ_{ｔａｒｇｅｔ}（ｋ，ｎ）およびＣ_ｉｎ（ｋ，ｎ）が、現在知られている場合、引用文献に説明する方法は、非相関音のための２つの混合マトリクスＭ（ｋ，ｎ）と、非相関音のためのＭ_ｒ（ｋ，ｎ）とを提供する。これらの混合マトリクス３０８は、ミキサー３０９に供給される。

【0120】

いくつかの実施形態では、混合マトリクス作成器３０７が信号のエネルギーを補償するように構成され、チャネル間の位相または相関に影響を及ぼさない。例えば、高周波数では、これは最もロバストなオプションであり、高周波数では位相／相関情報はまた、低周波数におけるよりもより小さい知覚的関連性を有する。この場合、作成された混合マトリクスは、

【数14】

のようになる。ここで、括弧｛｝は、共分散マトリクスからの単一のマトリクスエントリの選択を示す。その他の処理は前述の通りである。

【0121】

いくつかの実施形態では、チャネル間差分修正器１０３がチャネルデコリレータ３０３を備える。チャネルデコリレータ３０３は、時間周波数バイノーラルオーディオ信号１０２を受信し、両方のチャネルｓ（ｂ，ｎ）にデコリレートを適用して、バイノーラル入力信号の２つのインコヒーレントバージョン（互いに対して、および入力に対して）を生成するように構成される。その結果、非相関信号ｓ_ｄ（ｂ，ｎ）が得られる。非相関化手順は、時間不変の位相スクランブリング手順であり得る。任意のデコリレータを適用することができ、デコリレータの選択は、適用される時間周波数変換に依存することができる。
次に、非相関信号３０４はミキサー３０９に供給される。

【0122】

いくつかの実施形態では、チャネル間差分修正器１０３がミキサー３０９を備える。ミキサー３０９は、時間－周波数非相関オーディオ信号３０４、時間－周波数バイノーラルオーディオ信号１０２およびミキシングマトリクス３０８を受信し、各周波数帯域ｋに対して、

【数15】

のように時間－周波数ラウドスピーカ信号１０４（スペクトル白色化なし）を生成するように構成される。

【0123】

混合マトリクスは各帯域ｋに対するものであり、同じ混合マトリクスを、その帯域内の各ビンｂに対して適用することができる。混合マトリクス（または、代わりに、混合マトリクスを作成する前の共分散マトリクス）は潜在的な処理アーチファクトを低減するために、時間にわたって平滑化されることができる。次に、ミキサー３０９は、時間－周波数中間（ラウドスピーカ）信号（スペクトル白色化なし）１０４を出力するように構成される。

【0124】

チャネル間差異修正器１０３の動作は図４に示されるように、フロー図に示される。

【0125】

時間周波数バイノーラルオーディオ信号の受信は、図４のステップ４０１に示されている。

【0126】

時間周波数バイノーラルオーディオ信号を受信した後、両方のチャネルは図４に示すように、ステップ４０３で非相関化される。

【0127】

時間－周波数バイノーラルオーディオ信号から加えて、ステップ４０５により、図４に示されるように、共分散マトリクスおよび（全体的である）エネルギー推定値が推定される。

【0128】

方向およびエネルギー比などのパラメトリックパラメータの受信は、ステップ４０４によって図４に示される。

【0129】

方向やエネルギー比のようなパラメトリックなパラメータの受け取りと共分散マトリクスの推定に続いて、目標共分散マトリクスは図４に示すようにステップ４０７によって作成される。

【0130】

目標共分散マトリクスを作成すると、混合マトリクスは、ステップ４０９によって図４に示すように作成される。

【0131】

次いで、時間－周波数バイノーラルオーディオ信号および時間－周波数非相関オーディオ信号が、作成されたミキシングマトリクスに基づいて混合され、ステップ４１１によって図４に示されるような時間－周波数中間（ラウドスピーカ）オーディオ信号を生成する。

【0132】

次に、図４に示すように、ステップ４１３によって時間－周波数中間（ラウドスピーカ）オーディオ信号が出力される。

【0133】

図５を参照すると、いくつかの実施形態による例示的なスペクトル白色化器１０７のブロック図が示されている。

【0134】

スペクトル白色化器１０７は、時間周波数中間（ラウドスピーカ）信号（スペクトル白色化なし）ＬＳ（ｂ，ｎ）１０４、方向θ（ｋ，ｎ）１０６、および直接対総エネルギー比ｒ（ｋ，ｎ）１０８を受信するように構成される。

【0135】

いくつかの実施形態では、スペクトル白色化器１０７がバイノーラル応答推定器５０３を含む。いくつかの実施形態におけるバイノーラル応答推定器５０３は方向１０６およびエネルギー比１０８を受信するように構成され、バイノーラル応答推定器５０３は次いで、方向θ（ｋ，ｎ）およびエネルギー比ｒ（ｋ，ｎ）に対応する典型的なバイノーラル信号のエネルギー応答を推定することができる。このエネルギー応答は、チャネル間差がチャネル間差修正器１０３において既に修正されているので、バイノーラルに共通である。

【0136】

バイノーラル応答推定器５０３は例えば、第１に、方向θ（ｋ，ｎ）に基づいて直接音に対するエネルギー応答を推定するように構成することができる。これは、例えば、

【数16】

によって実施することができる。ここで、ｆ_ＨＲＴＦ（）は、周波数帯域ｋにおける方向θに対応するＨＲＴＦペアの平均エネルギースペクトルを求める関数である。これは、任意の適切な方法で実施することができる。例えば、いくつかのＦＩＲＴＦの設定が得られ、この例では、それぞれがデータ設定内で同じ方向の設定を有する。次に、ＨＲＴＦペアの平均エネルギー応答が各データセット内の各方向について、例えば、

【数17】

のように計算される。ここで、Ｈ_ｌｅｆｔは左耳のＨＲＴＦ、Ｈ_{ｒｉｇｈｔ}は右耳のＨＲＴＦ、ｉはデータセットのインデックス、
｜．｜は絶対値の計算を示す。帯域ｋでＨＲＴＦを決定すると、帯域ｋの中間周波数でのＨＲＴＦを作成できた。データセットは例えば、各方向に対するデータセットの平均をとることによって組み合わせることができ、Ｅ_ａｖｇ（ｋ，θ）が作成される。次いで、最終的にｆ_ＨＲＴＦ（）は例えば、方向θの値を得るために、Ｅ_ａｖｇ（ｋ，θ）の最も近いデータ点間を補間することによって実施されてもよい（データセットＥ_ａｖｇ（ｋ、θ）が正確に方向θにデータ点を有する場合、それは直接使用されてもよい）。

【0137】

次に、周囲音に対するエネルギー応答を推定した。見積もりはどのパラメータにも基づいていないため、データベースから取り出すことができる。周囲音響エネルギー応答の推定値は例えば、平均化されたＨＲＴＦエネルギーデータセット

【数18】

の全ての方向を平均化することによって形成することができる。ここで、θ（ｄ）は、データセット内のＤ ＨＲＴＦ方向である。

【0138】

次に、バイノーラルエネルギー応答の推定値は、

【数19】

によって形成することができる。これは、バイノーラル応答５０４としてバイノーラル応答リムーバ５０１に出力することができる。

【0139】

いくつかの実施形態では、スペクトル白色化器１０７がバイノーラル応答リムーバ５０１を含む。バイノーラル応答除去器５０１は、時間－周波数中間（ラウドスピーカー）信号（スペクトル白色化なし）ｓ’_ＬＳ（ｂ、ｎ）１０４およびバイノーラルエネルギー応答Ｅ_ｂｉｎ（ｋ、ｎ）５０４を入力として受信するように構成される。バイノーラル応答除去器５０１は、まず、

【数20】

によって等化器を作成するように構成される。これは時間的に平滑化されてもよい（またはＥ_ｂｉｎ（ｋ、ｎ）はｇ_ＥＱ（ｋ、ｎ）を作成する前に時間的に平滑化されてもよい）。次いで、一組の処理された中間信号を、

【数21】

により作成することができる。ここで、ｋは、ビンｂが存在する帯域インデックスである。結果として得られる処理済み中間信号ｓ（ｂ，ｎ）では平均ＨＲＴＦによるバイノーラルスペクトルが除去されている。典型的にはこれらの信号が既にスピーカ再生に適しているが、バイノーラル信号が元々どのように生成されたかに差がある可能性がある（例えば、異なる種類の人工頭部および異なるＨＲＴＦおよびＢＲＩＲデータベースがある）ので、
処理済み中間信号ｓ”_ＬＳ（ｂ，ｎ）５０２のスペクトルは依然として最適値から逸脱する可能性がある。

【0140】

したがって、いくつかの実施形態では、処理された中間信号ｓ”_ＬＳ（ｂ，ｎ）５０２が長期スペクトル推定器５０５および長期応答除去器５０７に転送され得る。

【0141】

いくつかの実施形態では、スペクトル白色化器１０７が、処理された中間信号ｓ”_ＬＳ（ｂ、ｎ）５０２を受信し、中間信号の用語スペクトルを推定し、それを期待される平均スペクトルと比較するように構成された用語スペクトル推定器５０５を含む。推定器はこれら２つの間の信頼できる偏差を見つけると、推定された長期応答Ｈ_ｌｔ（ｂ，ｎ）５０６を生成し、長期応答除去器５０７に送る。

【0142】

いくつかの実施形態では、スペクトル白色化器１０７が、推定された長期応答５０６に基づいて処理された中間信号ｓ”_ＬＳ（ｂ，ｎ）５０２を受信して処理し、適切な時間－周波数ステレオ（ラウドスピーカ）オーディオ信号１１０

【数22】

を出力するように構成された長期応答除去器５０７を含む。

【0143】

偏差が確実に検出されない場合、推定応答Ｈ_ｌｔ（ｂ、ｎ） はすべての周波数で１ に設定できる。更に、実施形態では、長期スペクトル推定器５０５および長期応答除去器５０７は任意であり、省略することができ、処理された中間オーディオ信号ｓ”_ＬＳ（ｂ，ｎ）５０２は時間－周波数ステレオオーディオ信号１１０として直接渡される。

【0144】

スペクトル白色化器１０７の出力は時間－周波数領域ステレオ信号ｓ_ＬＳ（ｂ，ｎ）として示され、次いで、図１の文脈で表されるように時間領域信号に変換され、その結果はラウドスピーカー再生に適している。

【0145】

バイノーラルチャネル間差は、スピーカ再生により適したチャネル間差に修正され、バイノーラルスペクトルが補償されている。

【0146】

図６に関して、スペクトル白色化器１０７の例の動作を示すフロー図が示されている。

【0147】

こうして、ステップ６０１によって図６に示すような時間周波数の中間オーディオ信号が受信される。

【0148】

更に、方向およびエネルギー比のようなパラメトリックパラメータがステップ６０２によって図６に示されている。

【0149】

バイノーラル応答は、ステップ６０４によって図６に示すように推定される。

【0150】

次いで、推定されたバイノーラル応答はステップ６０５によって、図６に示されるように、時間－周波数中間オーディオ信号から除去される。

【0151】

任意選択的に、次に、ステップ６０７によって、図６に示すように、長期応答が推定される。

【0152】

次に、ステップ６０９によって、図６に示すように、推定された長期応答が任意選択で除去される。

【0153】

上述の実施形態では、バイノーラル信号が完全に非バイノーラルステレオ信号に変換される。しかしながら、バイノーラル信号の一部のみが非バイノーラルステレオ信号に変換されることが望ましい場合がある。例えば、バイノーラルから非バイノーラルへの転化が生じると、クロストークキャンセリングスキームを用いて残りの（バイノーラル）音をラウドスピーカー上で再生しながら、ステレオラウドスピーカー間にマップされるそれらの方向のみを非バイノーラル音としてレンダリングすることが可能である。したがって、いくつかの実施形態では、方向の範囲に対するバイノーラルオーディオ信号の一部がステレオ信号に変換され、残りの信号は変換されずに通過する。また、この部分はバイノーラルオーディオ信号の全エネルギーの一部であってもよく、または、バイノーラルオーディオ信号のスペクトルの一部であってもよい（例えば、周波数帯の一部が変換され、一部の周波数帯は未処理で通過される）。

【0154】

図７に関して、上述したように、システムの装置部品のいずれかとして使用され得る例示的な電子装置。デバイスは、任意の適切な電子デバイスまたは装置であってもよい。例えば、いくつかの実施形態では、デバイス１７００がモバイルデバイス、ユーザ装置、タブレットコンピュータ、コンピュータ、オーディオ再生装置などである。

【0155】

いくつかの実施形態では、デバイス１７００が少なくとも１つのプロセッサまたは中央処理装置１７０７を備える。プロセッサ１７０７は、本明細書で説明されるような方法などの様々なプログラムコードを実行するように構成され得る。

【0156】

いくつかの実施形態では、装置１７００がメモリ１７１１を備える。いくつかの実施形態では、少なくとも１つのプロセッサ１７０７がメモリ１７１１に結合される。メモリ１７１１は、任意の適切な記憶手段とすることができる。ある実施形態では、メモリ１７１１がプロセッサ１７０７上に実装可能なプログラムコードを格納するためのプログラムコードセクションを含む。さらに、いくつかの実施形態では、メモリ１７１１がデータ、例えば、本明細書で説明される実施形態に従って処理された、または処理されるべきデータを格納するための格納されたデータセクションをさらに備えることができる。プログラム・コード・セクション内に記憶された実施されたプログラム・コードおよび記憶されたデータ・セクション内に記憶されたデータは、メモリ・プロセッサ結合を介して必要なときにいつでもプロセッサ１７０７によって検索することができる。

【0157】

いくつかの実施形態では、装置１７００がユーザインターフェース１７０５を備える。ユーザインターフェース１７０５は、いくつかの実施形態ではプロセッサ１７０７に結合することができる。いくつかの実施形態では、プロセッサ１７０７がユーザインターフェース１７０５の動作を制御し、ユーザインターフェース１７０５から入力を受信することができる。いくつかの実施形態では、ユーザインターフェース１７０５が、ユーザがコマンドを、デバイス１７００に、例えば、キーパッドを介して入力することを可能にすることができる。いくつかの実施形態では、ユーザインターフェース１７０５がユーザがデバイス１７００から情報を取得することを可能にすることができる。例えば、ユーザインターフェース１７０５は、デバイス１７００からユーザに情報を表示するように構成されたディスプレイを備えることができる。ユーザインターフェース１７０５は、いくつかの実施形態では、情報をデバイス１７００に入力することを可能にすることと、デバイス１７００のユーザに情報をさらに表示することとの両方が可能なタッチスクリーンまたはタッチインターフェースを備えることができる。いくつかの実施形態では、ユーザインターフェース１７０５が通信するためのユーザインターフェースであってもよい。

【0158】

いくつかの実施形態では、デバイス１７００が入力／出力ポート１７０９を備える。入出力ポート１７０９は、いくつかの実施形態ではトランシーバを備える。そのような実施形態におけるトランシーバはプロセッサ１７０７に結合され、例えば、無線通信ネットワークを介して、他の装置または電子デバイスとの通信を可能にするように構成され得る。トランシーバまたは任意の好適なトランシーバまたは送信機および／または受信機手段は、
いくつかの実施形態では有線または有線結合を介して他の電子デバイスまたは装置と通信するように構成することができる。

【0159】

トランシーバは、任意の適切な既知の通信プロトコルによって、さらなる装置と通信することができる。例えば、いくつかの実施形態では、トランシーバが、適切なユニバーサル移動通信システム（ＵＭＴＳ）プロトコル、例えばＩＥＥＥ８０２．Ｘのような無線ローカルエリアネットワーク（ＷＬＡＮ）プロトコル、ブルートゥース（登録商標）のような適切な短距離無線周波数通信プロトコル、または赤外線データ通信経路（ＩＲＤＡ）を使用することができる。

【0160】

トランシーバ入出力ポート１７０９は、信号を受信するように構成されてもよい。

【0161】

入力／出力ポート１７０９は、任意の適切なオーディオ出力、例えばステレオスピーカシステムに結合されてもよい。

【0162】

一般に、本発明の様々な実施形態は、ハードウェアまたは専用回路、ソフトウェア、ロジック、またはそれらの任意の組合せで実施することができる。例えば、いくつかの態様はハードウェアで実装されてもよく、他の態様はコントローラ、マイクロプロセッサ、または他の計算装置によって実行されてもよいファームウェアまたはソフトウェアで実装されてもよいが、本発明はそれに限定されない。本発明のさまざまな態様は、ブロック図、フローチャートとして、または他の何らかの絵的表現を使用して示され、説明されてもよいが、本明細書で説明されるこれらのブロック、装置、システム、技術、または方法は、非限定的な例として、ハードウェア、ソフトウェア、ファームウェア、専用回路または論理、汎用ハードウェアまたはコントローラまたは他の計算デバイス、あるいはそれらの何らかの組合せで実装され得ることをよく理解されたい。

【0163】

本発明の実施形態は、プロセッサエンティティ内などのモバイルデバイスのデータプロセッサによって実行可能なコンピュータソフトウェアによって、またはハードウェアによって、あるいはソフトウェアとハードウェアの組み合わせによって実現することができる。さらに、この点に関して、図のような論理フローの任意のブロックは、プログラムステップ、または相互接続された論理回路、ブロックおよび機能、またはプログラムステップと論理回路、ブロックおよび機能の組合せを表すことができることに留意されたい。このソフトウェアは、メモリチップなどの物理媒体、またはプロセッサ内に実装されたメモリブロック、ハードディスクまたはフロッピー（登録商標）ディスクなどの磁気媒体、およびたとえばＤＶＤやそのデータ変異体などの光学媒体に格納することができる。

【0164】

メモリはローカル技術環境に適した任意のタイプのものとすることができ、半導体ベースのメモリデバイス、磁気メモリデバイスおよびシステム、光メモリデバイスおよびシステム、固定メモリおよびリムーバブルメモリなど、任意の適切なデータ記憶技術を使用して実装することができる。データプロセッサはローカル技術環境に適した任意のタイプとすることができ、非限定的な例として、汎用コンピュータ、専用コンピュータ、マイクロプロセッサ、デジタル信号プロセッサ（ＤＳＰ）、特定用途向け集積回路（ＡＳＩＣ）、ゲートレベル回路、およびマルチコアプロセッサアーキテクチャに基づくプロセッサのうちの１つ以上を含むことができる。

【0165】

本発明の実施形態は、集積回路モジュールなどの様々な部品で実施することができる。集積回路の設計は高度に自動化された処理によるものであり、大規模である。論理レベルの設計を、エッチングされ、半導体基板上に形成される準備ができている整った半導体回路設計に変換するための、複雑で強力なソフトウェアツールが利用可能である。

【0166】

カリフォルニア州マウンテンビューにあるシノプシス社カリフォルニア州サンノゼにあるケイデンス・デザイン社から提供されているようなプログラムは、設計の十分に確立されたルール、および、予め記憶された設計モジュールのライブラリを用いて、導体を自動的にルーティングし、半導体チップ上の部品の位置を特定する。半導体回路の設計が完了すると、標準化された電子フォーマット（例えば、Ｏｐｕｓ、ＧＤＳＩＩなど）の結果として得られる設計は、製造のために半導体製造施設または「ファブ」に送信されてもよい。

【0167】

前述の説明は、本発明の例示的な実施形態の完全かつ有益な説明を、例示的かつ非限定的な例として提供した。しかしながら、添付の図面および付随の請求項を熟読する際に、前述の説明を考慮して、種々の修正および適応が、当業者に明白になるのであろう。しかしながら、本発明の教示の全てのそのような同様の修正は、添付の特許請求の範囲に定義される本発明の範囲内に依然として含まれる。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】