特許 5860864 バイノーラル信号のための信号生成

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】5860864

(24)【登録日】2015年12月25日

(45)【発行日】2016年2月16日

(54)【発明の名称】バイノーラル信号のための信号生成

(51)【国際特許分類】

   H04S 1/00 20060101AFI20160202BHJP

【ＦＩ】

   H04S1/00 L

【請求項の数】12

【全頁数】27

(21)【出願番号】特願2013-258613(P2013-258613)

(22)【出願日】2013年12月13日

(62)【分割の表示】特願2011-520384(P2011-520384)の分割

【原出願日】2009年7月30日

(65)【公開番号】特開2014-90464(P2014-90464A)

(43)【公開日】2014年5月15日

【審査請求日】2013年12月13日

(31)【優先権主張番号】61/085,286

(32)【優先日】2008年7月31日

(33)【優先権主張国】US

(73)【特許権者】

【識別番号】591037214

【氏名又は名称】フラウンホッファー−ゲゼルシャフト ツァ フェルダールング デァ アンゲヴァンテン フォアシュンク エー．ファオ

(74)【代理人】

【識別番号】100079577

【弁理士】

【氏名又は名称】岡田 全啓

(72)【発明者】

【氏名】ムント ハラルト

(72)【発明者】

【氏名】ノイゲバウア ベルンハルト

(72)【発明者】

【氏名】ヒルペアト ジョーハン

(72)【発明者】

【氏名】ズィルズル アンドレーアス

(72)【発明者】

【氏名】プログスティース ヤン

【審査官】 菊池 充

(56)【参考文献】

【文献】 国際公開第２００７／１０６５５３（ＷＯ，Ａ１）

【文献】 特表２００１−５１７０５０（ＪＰ，Ａ）

【文献】 国際公開第２００７／０３１９０６（ＷＯ，Ａ１）

【文献】 特開２００６−２１７２１０（ＪＰ，Ａ）

【文献】 特表２００９−５３０９１６（ＪＰ，Ａ）

【文献】 特表２００９−５０８３８５（ＪＰ，Ａ）

【文献】 特開平１０−３３６８００（ＪＰ，Ａ）

【文献】 特表２００８−５０７１８４（ＪＰ，Ａ）

【文献】 特開２００３−３３３６９８（ＪＰ，Ａ）

【文献】 特開２０００−０６９５９８（ＪＰ，Ａ）

【文献】 特開平０９−２４７７９９（ＪＰ，Ａ）

【文献】 米国特許出願公開第２００８／００３７７９５（ＵＳ，Ａ１）

【文献】 国際公開第２００７／０９６８０８（ＷＯ，Ａ１）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｈ０４Ｓ １／００− ７／００

Ｇ１０Ｌ １９／００−１９／１８

(57)【特許請求の範囲】

【請求項1】

複数のチャンネルを示しているマルチチャンネル信号に基づいており、仮想音源の位置をそれぞれのチャンネルに関連させているスピーカ構成による再生を目的としたバイノーラル信号を生成するための装置であって、
前記複数のチャンネルの各々について、１対の方向フィルタを含む、複数の方向フィルタ（１４）と、
類似性の低減をしていること以外には前記複数のチャンネルに対応する相互類似性を低減されたチャンネルの組（２０）を得るために、前記複数のチャンネルのうちの左と右のチャンネル、前記複数のチャンネルのうちのフロントとリアのチャンネル、および、前記複数のチャンネルのうちのセンターチャンネルと非センターチャンネルのうちの少なくとも１つを異なって処理し、それにより類似性を低減するために、前記複数のチャンネルのうちの少なくとも１つと前記方向フィルタの各対との間に接続された非相関装置を含む類似性低減装置（１２）と、
前記バイノーラル信号の第１のチャンネル（２２ａ）を得るために前記聴取者の前記第１の耳道への前記音響伝達をモデル化している前記方向フィルタの出力を混合するための第１のミキサー（１６ａ）と、
前記バイノーラル信号の第２のチャンネル（２２ｂ）を得るために前記聴取者の前記第２の耳道への前記音響伝達をモデル化している前記方向フィルタの出力を混合するための第２のミキサー（１６ｂ）と、
前記マルチチャンネル信号により示される前記複数のチャンネルのモノラルまたはステレオのダウンミックスを形成するためのダウンミックスジェネレータ（４２）と、
前記モノラルまたはステレオのダウンミックスに基づいて室内反射／残響をモデル化することによって、第１のチャンネル出力および第２のチャンネル出力を含む前記バイノーラル信号の室内反射／残響に関連した寄与を生成するためのルームプロセッサ（４４）と、
前記ルームプロセッサの前記第１のチャンネル出力を前記バイノーラル信号の前記第１のチャンネル（２２ａ）に加算するように構成された第１のアダー（１１６）と、
前記ルームプロセッサの前記第２のチャンネル出力を前記バイノーラル信号の前記第２のチャンネル（２２ａ）に加算するように構成された第２のアダー（１１８）と、を含み、
前記複数の方向フィルタ（１４）は、前記複数のチャンネルの各々について、前記方向フィルタの各対が、前記相互類似性を低減されたチャンネルの組（２０）の対応するチャンネルに関連した仮想音源の位置から、聴取者の各耳道への、前記相互類似性を低減されたチャンネルの組の前記対応するチャンネルの音響伝達をモデル化するために構成されるように、構成されること、を特徴とする、装置。

【請求項2】

前記類似性低減装置（１２）は、前記異なる処理を、
前記複数のチャンネルのうちの前記左と前記右のチャンネル、前記複数のチャンネルのうちの前記フロントと前記リアのチャンネル、および、前記複数のチャンネルのうちの前記センターチャンネルと非センターチャンネルのうちの前記少なくとも１つで、相対的な遅延を生じさせること、および／または、スペクトル的に変化させる意味で、異なって位相修正を実行すること、および／または、
前記複数のチャンネルのうちの前記左と前記右のチャンネル、前記複数のチャンネルのうちの前記フロントと前記リアのチャンネル、前記複数のチャンネルのうちの前記センターチャンネルと非センターチャンネルのうちの前記少なくとも１つで、スペクトル的に変化させる意味で、異なって振幅修正を実行すること、によって実行するように、構成されること、を特徴とする、請求項１に記載の装置。

【請求項3】

複数のチャンネルを示しているマルチチャンネル信号に基づいており、仮想音源の位置をそれぞれのチャンネルに関連させているスピーカ構成による再生を目的としたバイノーラル信号を生成するための装置であって、
前記複数のチャンネルの各々について、１対の方向フィルタを含む、複数の方向フィルタ（１４）と、
前記相対的な遅延および／または位相および／または振幅修正を実行していること以外には前記複数のチャンネルに対応する相互類似性を低減されたチャンネルの組（２０）を得るために、前記複数のチャンネルのうちの少なくとも２つのチャンネル間で、相対的な遅延を生じさせる、および／または、スペクトル的に変化させる意味で、異なって、位相および／または振幅修正を実行するために、前記複数のチャンネルのうちの少なくとも１つと前記方向フィルタの各対との間に接続された非相関装置を含む類似性低減装置（１２）と、
前記バイノーラル信号の第１のチャンネル（２２ａ）を得るために前記聴取者の前記第１の耳道への前記音響伝達をモデル化している前記方向フィルタの出力を混合するための第１のミキサー（１６ａ）と、
前記バイノーラル信号の第２のチャンネル（２２ｂ）を得るために前記聴取者の前記第２の耳道への前記音響伝達をモデル化している前記方向フィルタの出力を混合するための第２のミキサー（１６ｂ）と、
前記マルチチャンネル信号により示される前記複数のチャンネルのモノラルまたはステレオのダウンミックスを形成するためのダウンミックスジェネレータ（４２）と、
前記モノラルまたはステレオのダウンミックスに基づいて室内反射／残響をモデル化することによって、第１のチャンネル出力および第２のチャンネル出力を含む前記バイノーラル信号の室内反射／残響に関連した寄与を生成するためのルームプロセッサ（４４）と、
前記ルームプロセッサの前記第１のチャンネル出力を前記バイノーラル信号の前記第１のチャンネル（２２ａ）に加算するように構成された第１のアダー（１１６）と、
前記ルームプロセッサの前記第２のチャンネル出力を前記バイノーラル信号の前記第２のチャンネル（２２ａ）に加算するように構成された第２のアダー（１１８）と、を含み、
前記複数の方向フィルタ（１４）は、前記複数のチャンネルの各々について、前記方向フィルタの各対が、前記相互類似性を低減されたチャンネルの組（２０）の対応するチャンネルに関連した仮想音源の位置から、聴取者の各耳道への、前記相互類似性を低減されたチャンネルの組の前記対応するチャンネルの音響伝達をモデル化するために構成されるように、構成されること、を特徴とする、装置。

【請求項4】

各チャンネルに関連した仮想音源の位置から、聴取者の耳道への、複数のチャンネルの音響伝達をモデル化するための相互類似性を低減しているＨＲＴＦの組を形成するための装置であって、
前記仮想音源の位置の選択または変化に応答して元の複数のＨＲＴＦのそれぞれのためのフィルタタップを検索する、または、計算することによって、ＦＩＲフィルタとして実行される前記元の複数のＨＲＴＦを供給するためのＨＲＴＦプロバイダ（３２）と、
あらかじめ定められた１対のチャンネルの前記音響伝達をモデル化している前記ＨＲＴＦのインパルス応答を、互いに比較して遅延させるための、または、スペクトル的に変化させる意味で、その位相および／または振幅応答を異なって修正するための、ＨＲＴＦプロセッサ（３４）であり、前記１対のチャンネルが、前記複数のチャンネルのうちの左と右のチャンネル、前記複数のチャンネルのうちのフロントとリアのチャンネル、および、前記複数のチャンネルのうちのセンターチャンネルと非センターチャンネルのうちの１つである、ＨＲＴＦプロセッサ（３４）と、を含むこと、を特徴とする、装置。

【請求項5】

前記フィルタタップの位置を変えることによって、あらかじめ定められた１対のチャンネルの前記音響伝達をモデル化している前記ＨＲＴＦの前記インパルス応答を、互いに比較して遅延させるように構成された、前記ＨＲＴＦプロセッサ（３４）、を特徴とする、請求項４に記載の装置。

【請求項6】

前記ＨＲＴＦの第１のものの群遅延が、前記ＨＲＴＦの他のものと比較して、バーク帯域に関して、１サンプルの少なくとも８分の１の標準偏差を示すように、あらかじめ定められた１対のチャンネルの前記音響伝達をモデル化している前記ＨＲＴＦの前記インパルス応答を、互いに比較して遅延させる、または、スペクトル的に変化させる意味で、その位相および／または振幅応答を異なって修正するように構成された、前記ＨＲＴＦプロセッサ（３４）、を特徴とする、請求項４または請求項５に記載の装置。

【請求項7】

前記ＨＲＴＦプロバイダ（３２）は、前記仮想音源の位置およびＨＲＴＦパラメータに基づいた前記元の複数のＨＲＴＦを供給するように構成されること、を特徴とする、請求項４〜請求項６のいずれかに記載の装置。

【請求項8】

前記ＨＲＴＦプロセッサ（３４）は、前記あらかじめ定められた１対のチャンネルの前記インパルス応答を異なって全域通過フィルタにかけるように構成されること、を特徴とする、請求項４〜請求項７のいずれかに記載の装置。

【請求項9】

複数のチャンネルを示しているマルチチャンネル信号に基づいており、前記複数のチャンネルの各々について１対の方向フィルタを含む複数の方向フィルタ（１４）を用いて、仮想音源の位置をそれぞれのチャンネルに関連させているスピーカ構成による再生を目的としたバイノーラル信号を生成するための方法であって、
相関性の低減をしていること以外には前記複数のチャンネルに対応する相互類似性を低減されたチャンネルの組（２０）を得るために、前記複数のチャンネルのうちの左と右のチャンネル、前記複数のチャンネルのうちのフロントとリアのチャンネル、および、前記複数のチャンネルのうちのセンターチャンネルと非センターチャンネルのうちの少なくとも１つを、前記複数のチャンネルのうちの少なくとも１つと前記方向フィルタの各対との間に接続された非相関装置を用いて、異なって処理し、それにより相関性を低減するステップと、
前記複数のチャンネルの各々について、前記方向フィルタの各対が、前記相互類似性を低減されたチャンネルの組の対応するチャンネルに関連した仮想音源の位置から、聴取者の各耳道への、前記相互類似性を低減されたチャンネルの組の前記対応するチャンネルの音響伝達をモデル化するように、複数の方向フィルタ（１４）に、前記相互類似性を低減されたチャンネルの組（２０）をかけ、
前記バイノーラル信号の第１のチャンネル（２２ａ）を得るために前記聴取者の前記第１の耳道への前記音響伝達をモデル化している前記方向フィルタの出力を混合するステップと、
前記バイノーラル信号の第２のチャンネル（２２ｂ）を得るために前記聴取者の前記第２の耳道への前記音響伝達をモデル化している前記方向フィルタの出力を混合するステップと、
前記マルチチャンネル信号により示される前記複数のチャンネルのモノラルまたはステレオのダウンミックスを形成するステップと、
前記モノラルまたはステレオのダウンミックスに基づいて室内反射／残響をモデル化することによって、第１のチャンネル出力および第２のチャンネル出力を含む前記バイノーラル信号の室内反射／残響に関連した寄与を生成するステップと、
前記ルームプロセッサの前記第１のチャンネル出力を前記バイノーラル信号の前記第１のチャンネル（２２ａ）に加算するステップと、
前記ルームプロセッサの前記第２のチャンネル出力を前記バイノーラル信号の前記第２のチャンネル（２２ａ）に加算するステップと、を含むこと、を特徴とする、方法。

【請求項10】

複数のチャンネルを示しているマルチチャンネル信号に基づいており、前記複数のチャンネルの各々について１対の方向フィルタを含む複数の方向フィルタ（１４）を用いて、仮想音源の位置をそれぞれのチャンネルに関連させているスピーカ構成による再生を目的としたバイノーラル信号を生成するための方法であって、
前記相対遅延および／または位相および／または振幅修正を実行していること以外には前記複数のチャンネルに対応する相互類似性を低減されたチャンネルの組（２０）を得るために、前記複数のチャンネルのうちの少なくとも２つのチャンネル間で、スペクトル的に変化させる意味で、前記複数のチャンネルのうちの少なくとも１つと前記方向フィルタの各対との間に接続された非相関装置を用いて、異なって、位相および／または振幅修正を実行するステップと、
前記複数のチャンネルの各々について、前記方向フィルタの各対が、前記相互類似性を低減されたチャンネルの組（２０）の対応するチャンネルに関連した仮想音源の位置から、聴取者の各耳道への、前記相互類似性を低減されたチャンネルの組の前記対応するチャンネルの音響伝達をモデル化するように、複数の方向フィルタ（１４）に、前記類似性を低減されたチャンネルの組（２０）をかけ、
前記バイノーラル信号の第１のチャンネル（２２ａ）を得るために前記聴取者の前記第１の耳道への前記音響伝達をモデル化している前記方向フィルタの出力を混合するステップと、
前記バイノーラル信号の第２のチャンネル（２２ｂ）を得るために前記聴取者の前記第２の耳道への前記音響伝達をモデル化している前記方向フィルタの出力を混合するステップと、
前記マルチチャンネル信号により示される前記複数のチャンネルのモノラルまたはステレオのダウンミックスを形成するステップと、
前記モノラルまたはステレオのダウンミックスに基づいて室内反射／残響をモデル化することによって、第１のチャンネル出力および第２のチャンネル出力を含む前記バイノーラル信号の室内反射／残響に関連した寄与を生成するステップと、
前記ルームプロセッサの前記第１のチャンネル出力を前記バイノーラル信号の前記第１のチャンネル（２２ａ）に加算するステップと、
前記ルームプロセッサの前記第２のチャンネル出力を前記バイノーラル信号の前記第２のチャンネル（２２ａ）に加算するステップと、を含むこと、を特徴とする、方法。

【請求項11】

前記各チャンネルに関連した仮想音源の位置から、聴取者の耳道への、複数のチャンネルの音響伝達をモデル化するための相互類似性を低減している頭部伝達関数の組を形成するための方法であって、
前記仮想音源の位置の選択または変化に応答して元の複数のＨＲＴＦのそれぞれのためのフィルタタップを検索する、または、計算することによって、ＦＩＲフィルタとして実行される前記元の複数のＨＲＴＦを供給するステップと、
前記ＨＲＴＦの第１のものの群遅延が、前記ＨＲＴＦの他のものと比較して、バーク帯域に関して、１サンプルの少なくとも８分の１の標準偏差を示すように、スペクトル的に変化させる意味で、あらかじめ定められた１対のチャンネルの前記音響伝達をモデル化している前記ＨＲＴＦのインパルス応答の位相および／または振幅応答を異なって修正するステップであって、前記１対のチャンネルが、前記複数のチャンネルのうちの左と右のチャンネル、前記複数のチャンネルのうちのフロントとリアのチャンネル、および、前記複数のチャンネルのうちのセンターチャンネルと非センターチャンネルのうちの１つであるステップと、を含むこと、を特徴とする、方法。

【請求項12】

コンピュータ・プログラムがコンピュータ上で動作するときに、請求項９〜請求項１１のいずれかに記載の方法を実行するための命令を有する前記コンピュータ・プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、バイノーラル信号の室内反射および／または残響に関連した寄与の生成、バイノーラル信号自体の生成および相互類似性を低減している頭部伝達関数の組を形成することに関する。

【背景技術】

【0002】

人間の聴覚系は、知覚された音が来る方向を判別することが可能である。この目的のために、人間の聴覚系は、右の耳で受け取られた音と左の耳で受け取られた音の特定の違いを評価する。後者の情報は、例えば、次々に両耳間における音響信号の違いを参照しうる、いわゆる両耳による手がかり（ｉｎｔｅｒ−ａｕｒａｌ ｃｕｅｓ）を含む。両耳による手がかり（ｉｎｔｅｒ−ａｕｒａｌ ｃｕｅｓ）は、定位に最も重要な手段である。両耳間の圧力レベルの違い、すなわち、両耳間レベル差（ＩＬＤ：ｉｎｔｅｒ−ａｕｒａｌ ｌｅｖｅｌ ｄｉｆｆｅｒｅｎｃｅ）は、定位のために最も重要な一つの手がかりである。音が、ゼロでない方位角を有する水平面から到着するときに、それは各耳において異なるレベルを有する。陰になっていない耳と比較して、陰になっている耳は、自然に抑制された音像を有する。定位を取扱っている他の非常に重要な性質は、両耳間時間差（ＩＴＤ：ｉｎｔｅｒ−ａｕｒａｌ ｔｉｍｅ ｄｉｆｆｅｒｅｎｃｅ）である。陰になっている耳は、音源までより長い距離を有しており、このように、陰になっていない耳より後に、音波の前部を得る。ＩＴＤの意味は、陰になっていない耳と比較して、陰になっている耳に着くときに、それほど減衰しない低周波において重要視される。音の波長が両耳間の距離により近くなるので、ＩＴＤはより高い周波数ではあまり重要でない。それ故、換言すれば、定位は、音が音源から、それぞれ、左右の耳まで進行している聴取者の頭部、耳および肩に関する異なる相互作用に依存するという事実を利用する。

【0003】

人がヘッドホンを介してラウドスピーカ・セットアップによって再生されることを目的とするステレオ信号を聞くときに問題は起こる。聴取者は、音源が頭の中に置かれていると感じるように、その音を不自然で落ち着かなく心をかき乱すようなものとしてみなす傾向がある。この現象は、「頭内」定位（“ｉｎ−ｔｈｅ−ｈｅａｄ” ｌｏｃａｌｉｚａｔｉｏｎ）として文献においてしばしば参照される。長期の「頭内」（“ｉｎ−ｔｈｅ−ｈｅａｄ”）音は、聞き疲れにつながりうる。それは、音源を位置決めするときに人間の聴覚系が頼る情報、すなわち、両耳による手がかり（ｉｎｔｅｒ−ａｕｒａｌ ｃｕｅｓ）が見つからない、または、不明瞭であるために起こる。

【0004】

ステレオ信号またはヘッドホン再生のための２本以上のチャンネルを有するマルチチャンネル信号を再生するために、方向フィルタは、これらの相互作用をモデル化するために使用されうる。例えば、復号されたマルチチャンネル信号からのヘッドホン出力の生成は、１対の方向フィルタによって復号した後に、各信号をフィルタリングすることを含みうる。これらのフィルタは、一般的に一室の仮想音源から聴取者の耳道への音響伝達、いわゆる両耳室内伝達関数（ＢＲＴＦ：ｂｉｎａｕｒａｌ ｒｏｏｍ ｔｒａｎｓｆｅｒ ｆｕｎｃｔｉｏｎ）をモデル化する。ＢＲＴＦは、時間、レベル、そしてスペクトルの修正を実行し、室内反射および残響をモデル化する。方向フィルタは、時間または周波数領域において実行されうる。

【0005】

しかし、多くのフィルタが必要とされる、すなわち、Ｎが復号されたチャンネル数であるＮ×２のフィルタが必要であるので、これらの方向フィルタは４４．１ｋＨｚで２００００フィルタタップのようにかなり長く、そして、フィルタリングの方法は計算的に要求が多い。従って、方向フィルタは、時に最低限まで減らされる。いわゆる頭部伝達関数（ＨＲＴＦ）は、両耳による手がかりを含んでいる方向情報を含む。共通の処理ブロックは、室内反射および残響をモデル化するのに使用される。ルームプロセッシングモジュールは、時間または周波数領域における残響アルゴリズムであることが可能であり、マルチチャンネル入力信号のチャンネルの合計によってマルチチャンネル入力信号から得られる１または２のチャンネル入力信号に作用しうる。この種の構造は、例えば、国際公開第９９／１４９８３号において説明される。このように、ルームプロセッシングブロックは、室内反射および／または残響を実行する。特に距離および外在化に関して、室内反射および残響は音の位置を定めるのに重要である。外在化は、音が聴取者の頭部の外に知覚されることを意味する。上述した文書は、また、音源から各耳への直接の経路および識別可能な反射をモデル化するために、方向フィルタを、それぞれのチャンネルを異なって遅延したものに作用している一組のＦＩＲフィルタとして実行することも示唆する。さらに、１対のヘッドホンにおけるより良いリスニング体験を供給するためのいくつかの手段を説明する際、この文書は、また、リア左とリア右チャンネルの和や差に対して、センターチャンネルとフロント左チャンネルの混合およびセンターチャンネルとフロント右チャンネルの混合をそれぞれ遅延させることも示唆する。

【0006】

しかし、こうして得られたリスニング結果は、いまだにバイノーラル出力信号の低減された空間幅と外在化の欠如があった。更に、ヘッドホン再生のためマルチチャンネル信号を与えるための上述した手段にもかかわらず、映画の会話および音楽における声の部分がしばしば不自然に反響しスペクトル的に不均一に知覚されることが分かった。

【先行技術文献】

【特許文献】

【0007】

【特許文献1】国際公開第９９／１４９８３号

【発明の概要】

【発明が解決しようとする課題】

【0008】

このように、バイノーラル信号生成の方式を供給し、より安定して好感の持てるヘッドホン再生をもたらすことが本発明の目的である。

【課題を解決するための手段】

【0009】

この目的は、請求項１、３、および４のいずれかに記載の装置、そして、請求項９から１１までのいずれかに記載の方法によって達成される。

【0010】

本発明のアプリケーションの基礎をなしている第１の考えは、ヘッドホン再生のためのより安定して好感の持てるバイノーラル信号が、複数の入力チャンネルのうちの左と右のチャンネル、複数の入力チャンネルのうちのフロントとリアのチャンネル、複数の入力チャンネルのうちのセンターチャンネルと非センターチャンネル（ｎｏｎ−ｃｅｎｔｅｒ ｃｈａｎｎｅｌ）のうちの少なくとも１つを異なって処理し、それによりその間の類似性を低減し、それにより相互類似性を低減されたチャンネルの組を得ることによって得られうるというものである。この相互類似性を低減されたチャンネルの組は、それから、それぞれ左耳や右耳のための各ミキサーが後に続く複数の方向フィルタに送られる。マルチチャンネル入力信号のチャンネルの相互類似性を低減することによって、バイノーラル出力信号の空間幅は増加されうるし、そして、外在化は改善されうる。

【0011】

本発明のアプリケーションの基礎をなしている別の考えは、ヘッドホン再生のためのより安定して好感の持てるバイノーラル信号が、スペクトル的に変化させる意味で、位相および／または振幅の修正を複数チャンネルのうち少なくとも２つのチャンネル間で異なって実行し、それにより、左耳と右耳のための各ミキサーが後に続く複数の方向フィルタに次々にそれぞれ送られうる、相互類似性を低減されたチャンネルの組を得ることによって得られうるというものである。さらにまた、マルチチャンネル入力信号のチャンネルの相互類似性を低減することによって、バイノーラル出力信号の空間幅は増加されうるし、そして、外在化は改善されうる。

【0012】

上述した利点は、また、元の複数の頭部伝達関数のインパルス応答を互いに比較して遅らせることにより、または、スペクトル的に変化させる意味で、元の複数の頭部伝達関数の位相および／または振幅応答を互いに比較して異なって生じさせることにより、相互類似性を低減している頭部伝達関数の組を形成するときにも得られる。その形成は、例えば使用される仮想音源の位置の指標に応答するような方向フィルタとして頭部伝達関数を使用することにより、設計段階時はオフラインで、または、バイノーラル信号生成の間はオンラインでなされうる。

【0013】

本発明のアプリケーションの基礎をなしている他の考えは、バイノーラル信号の室内反射／残響に関連した寄与を生成するためのルームプロセッサにかけられるマルチチャンネル信号のチャンネルのモノラルまたはステレオのダウンミックスが、複数のチャンネルがマルチチャンネル信号のうちの少なくとも２つのチャンネルの間で異なるレベルでモノラル又はステレオのダウンミックスに寄与するように形成されるとき、映画や音楽のいくつかの部分が、結果としてより自然に知覚されたヘッドホン再生となるというものである。例えば、本発明者は、映画の会話および音楽の音声が一般的にマルチチャンネル信号のセンターチャンネルに主に混合されること、そして、センターチャンネル信号が、ルームプロセッシングモジュールに供給されるときに、結果としてしばしば不自然に反響しスペクトル的に不均一に知覚された出力になると気づいた。しかし、本発明者は、これらの欠陥は、センターチャンネルを例えば３〜１２ｄＢ、特に６ｄＢの現弱によるレベル低減を有するルームプロセッシングモジュールに送ることにより打開されうることを発見した。

【0014】

以下において、好ましい実施形態が図に関してより詳細に説明される。

【図面の簡単な説明】

【0015】

【図1】図１は、一実施形態によるバイノーラル信号を生成するための装置のブロック図を示す。

【図2】図２は、別の実施形態による相互類似性を低減している頭部伝達関数の組を形成するための装置のブロック図を示す。

【図3】図３は、別の実施形態によるバイノーラル信号の室内反射および／または残響に関連した寄与を生成するための装置を示す。

【図4】図４ａと図４ｂは、別の実施形態による図３のルームプロセッサのブロック図を示す。

【図5】図５は、一実施形態による図３のダウンミックスジェネレータのブロック図を示す。

【図6】図６は、一実施形態による空間オーディオ符号化を使用してマルチチャンネル信号の表現を図示している回路図を示す。

【図7】図７は、一実施形態によるバイノーラル出力信号ジェネレータを示す。

【図8】図８は、別の実施形態によるバイノーラル出力信号ジェネレータのブロック図を示す。

【図9】図９は、さらに別の実施形態によるバイノーラル出力信号ジェネレータのブロック図を示す。

【図10】図１０は、別の実施形態によるバイノーラル出力信号ジェネレータのブロック図を示す。

【図11】図１１は、別の実施形態によるバイノーラル出力信号ジェネレータのブロック図を示す。

【図12】図１２は、一実施形態による図１１のバイノーラル空間オーディオ復号器のブロック図を示す。

【図13】図１３は、一実施形態による図１１の修正された空間オーディオ復号器のブロック図を示す。

【発明を実施するための形態】

【0016】

図１は、例えば、複数のチャンネルを示しているマルチチャンネル信号に基づいてヘッドホン再生することを目的とし、そして、各チャンネルに関連した仮想音源の位置を有するスピーカ構成によって再生することを目的とするバイノーラル信号を生成するための装置を示す。概して、引用符号１０によって示されるその装置は、類似性低減装置１２、複数の方向フィルタ１４（１４ａ〜１４ｈ）、第１のミキサー１６ａおよび第２のミキサー１６ｂを含む。

【0017】

類似性低減装置１２は、複数のチャンネル１８ａ〜１８ｄを示しているマルチチャンネル信号１８を相互類似性を低減されたチャンネルの組２０（２０ａ〜２０ｄ）に変えるように構成される。マルチチャンネル信号１８によって示されるチャンネル１８ａ〜１８ｄの数は、２以上でありうる。説明の目的だけのために、４チャンネル１８ａ〜１８ｄは、図１に明示的に示された。複数のチャンネル１８は、例えば、センターチャンネル、フロント左チャンネル、フロント右チャンネル、リア左チャンネルおよびリア右チャンネルを含みうる。各チャンネル１８ａ〜１８ｄに関連した既に定めた仮想音源位置に配置されるスピーカを有するスピーカ・セットアップ（図１には示されていない）によってチャンネル１８ａ〜１８ｄが再生されるということを仮定し、または、意図して、チャンネル１８ａ〜１８ｄは、例えば個々の楽器、歌声、または他の個々の音源を示している複数の個々のオーディオ信号からサウンドデザイナーによって混合されている。

【0018】

図１の実施形態によれば、複数のチャンネル１８ａ〜１８ｄは、少なくとも、１対の左および右チャンネル、１対のフロントおよびリアチャンネル、または、１対のセンターおよび非センターチャンネル（ｎｏｎ−ｃｅｎｔｅｒ ｃｈａｎｎｅｌ）を含む。もちろん、２以上のちょうど言及された対は、複数のチャンネル１８（１８ａ〜１８ｄ）内に存在しうる。類似性低減装置１２は、相互類似性を低減されたチャンネル２０ａ〜２０ｄの組２０を得るために、異なって処理し、そしてそれにより複数のチャンネルの中のチャンネル間に類似性を低減するように構成される。第１の態様によれば、複数のチャンネル１８のうち左および右チャンネル、複数チャンネルの１８のうちフロントおよびリアチャンネル、複数のチャンネル１８のうちセンターおよび非センターチャンネルのうちの少なくとも１つで類似性は、相互類似性を低減されたチャンネル２０ａ〜２０ｄの組２０を得るために、類似性低減装置１２によって低減されうる。第２の態様によれば、類似性低減装置（１２）は、加えて、または、代わりに、スペクトル的に変化させる意味で、相互類似性を低減されたチャンネルの組２０を得るために、複数のチャンネルのうち少なくとも２つのチャンネルの間で異なって位相および／または振幅の修正を実行しうる。

【0019】

以下でより詳細に概説されるように、類似性低減装置１２は、例えば、各対が互いに比較して遅延させることによって、または、例えば複数の周波数帯域の各々において異なる量の遅延をチャンネルの各対に受けさせ、それにより相互類似性を低減されたチャンネルの組２０を得ることによって、異なる処理を成し遂げうる。もちろん、チャンネル間の相関を減少させる他の可能性がある。換言すれば、相関低減装置１２は、各チャンネルのスペクトルエネルギー分布が同じ状態のままである伝達関数、すなわち、関連するオーディオスペクトル範囲の１つの振幅と同じ伝達関数を有しうる。しかし、ここで類似性低減装置１２はサブバンドまたはその周波数成分の位相を異なって修正する。例えば、相関低減装置１２は、ある周波数帯域のための第１のチャンネルの信号が、少なくとも１つのサンプル分、そのチャンネルのうちの別の１つと比較して遅れるように、チャンネル１８の全ての、または１つまたはいくつかにおける位相修正を同上が引き起こすように、構成されうる。更に、相関低減装置１２は、第１のチャンネルの群遅延が複数の周波数帯域のためのチャンネルのうちの別の１つと比較して１サンプルの少なくとも８分の１の標準偏差を示すように、同上が位相修正を引き起こすように、構成されうる。考慮される周波数帯域は、バーク（Ｂａｒｋ）帯域またはそのサブセットまたは他の周波数帯域の再分割でありうる。

【0020】

相関を低減することは、人間の聴覚系の頭内（ｉｎ―ｔｈｅ―ｈｅａｄ）定位を防ぐ唯一の方法ではない。むしろ、相関は、その使用によって人間の聴覚系が両耳に到着する音の類似性と、こうして音の内側への向きを判断するいくつかのありうる手段のうちの１つである。したがって、類似性低減装置１２は、また、例えば、複数の周波数帯域の各々において異なる量のレベル低減をチャンネルの各対に受けさせ、それによりスペクトル的に形成された方法で相互類似性を低減されたチャンネルの組２０を得ることによって、異なる処理を成し遂げうる。スペクトル形成は、例えば、耳たぶによって陰になるため、例えばフロントチャンネルの音に対するリアチャンネルの音のために生じている相対的なスペクトルで形成された低減を大きく見せる。したがって、類似性低減装置１２は、リアチャンネルに他のチャンネルに対するスペクトル的に変化させているレベル低減を受けさせる。このスペクトル形成において、類似性低減装置１２は、位相応答を関連するオーディオスペクトル範囲にわたって一定にさせうる。しかし、ここで類似性低減装置１２は、サブバンドまたはその周波数成分の振幅を異なって修正する。

【0021】

マルチチャンネル信号１８が複数のチャンネル１８ａ〜１８ｄを示す方法は、原則として、いかなる特定の表現にも制限されない。例えば、マルチチャンネル信号１８は、空間オーディオ符号化を使用する、圧縮方法で複数のチャンネル１８ａ〜１８ｄを示すことができる。空間オーディオ符号化によって、複数のチャンネル１８ａ〜１８ｄは、それにより個々のチャンネル１８ａ〜１８ｄがダウンミックスチャンネルに混合されている混合比を明示しているダウンミックス情報を伴った、チャンネルが混合されたことによりいたったダウンミックス信号と、例えば個々のチャンネル１８ａ〜１８ｄ間のレベル／強度差、位相差、時間差および／または、相関／干渉性の計測によってマルチチャンネル信号の空間イメージを表している空間パラメータによって示されうる。相関低減装置１２の出力は、個々のチャンネル２０ａ〜２０ｄに分割される。後者のチャンネルは、例えば、時間信号として、または、例えばスペクトル的にサブバンドに分解されるようなスペクトログラムとして出力されうる。

【0022】

方向フィルタ１４ａ〜１４ｈは、各チャンネルと関連した仮想音源の位置から聴取者の各耳道までのチャンネル２０ａ〜２０ｄのそれぞれの音響伝達をモデル化するように構成される。図１において、方向フィルタ１４ａ〜１４ｄは、例えば、左の耳道への音響伝達をモデル化し、一方で、方向フィルタ１４ｅ〜１４ｈは、右の耳道への音響伝達をモデル化する。方向フィルタは、室内の仮想音源の位置から聴取者の耳道への音響伝達をモデル化しうるし、時間、レベルおよびスペクトルの修正を実行することによって、このモデリングを実行しうるし、そして、選択的に室内反射および残響を実行しうる。方向フィルタ１８ａ〜１８ｈは、時間または周波数領域において実行されうる。すなわち、方向フィルタは、ＦＩＲフィルタのような時間領域フィルタでありうるし、または、チャンネル２０ａ〜２０ｄの各スペクトル値を有する各伝達関数のサンプル値を掛けることにより周波数領域に作用しうる。特に、方向フィルタ１４ａ〜１４ｈは、例えば、人間の頭部、耳、肩での相互作用を含む、各仮想音源の位置から各耳道までの、各チャンネル信号２０ａ〜２０ｄの相互作用を表している各頭部伝達関数をモデル化するように選択されうる。第１のミキサー１６ａは、バイノーラル出力信号の左チャンネルに寄与する、または、バイノーラル出力信号の左チャンネルでさえあることを目的とした信号２２ａを得るために聴取者の左の耳道への音響伝達をモデル化する方向フィルタ１４ａ〜１４ｄの出力を混合するように構成される。その一方で、第２のミキサー１６ｂは、信号２２ｂを得るために聴取者の右の耳道への音響伝達をモデル化する方向フィルタ１４ｅ〜１４ｈの出力を混合するように構成され、そしてそれは、バイノーラル出力信号の右チャンネルに寄与する、あるいはバイノーラル出力信号の右チャンネルでさえあることを目的とされる。

【0023】

各実施形態に関して以下で詳しく述べるように、室内反射および／または残響を考慮するために、別の寄与は、信号２２ａおよび２２ｂに追加されうる。この手段によって、方向フィルタ１４ａ〜１４ｈの煩雑性は、低減されうる。

【0024】

図１の装置において、類似性低減装置１２は、それぞれ、ミキサー１６ａおよび１６ｂに入力される相互関係のある信号の総和のマイナスの副作用、それによりバイノーラル出力信号２２ａおよび２２ｂの低減された空間幅および外在化の欠如が結果として生じるものだが、その副作用を無効にする。類似性低減装置１２によって得られるその非相関性（ｄｅｃｏｒｒｅｌａｔｉｏｎ）は、これらのマイナスの副作用を低減する。

【0025】

次の実施形態に移る前に、図１は、換言すれば、例えば、復号マルチチャンネル信号からのヘッドホン出力の生成のための信号の流れを示す。各信号は、１対の方向フィルタによってフィルタにかけられる。例えば、チャンネル１８ａは、方向フィルタ１４ａ〜１４ｅの１対によってフィルタにかけられる。残念なことに、相関のようなかなり多くの類似性が、典型的なマルチチャンネル音生成のチャンネル１８ａ〜１８ｄの間に存在する。このことはバイノーラル出力信号にマイナスの影響を及ぼすだろう。すなわち、方向フィルタ１４ａ〜１４ｈによってマルチチャンネル信号を処理した後、方向フィルタ１４ａ〜１４ｈによって出力される中間信号は、ヘッドホン出力信号２０ａおよび２０ｂを形成するために、ミキサー１６ａおよび１６ｂで加算される。類似／相関している出力信号の総和は、結果として出力信号２０ａおよび２０ｂの極めて低減された空間幅をもたらし、そして外在化の欠如をもたらす。これは、特に左右の信号およびセンターチャンネルの類似／相関に関して問題を含む。したがって、類似性低減装置１２は、これらの信号間の類似性をできるだけ離れるように低減することである。

【0026】

複数のチャンネル１８（１８ａ〜１８ｄ）のチャンネル間での類似性を低減するために類似性低減装置１２によって実行されるほとんどの方法が、音響伝達の上述のモデリングを実行するためだけでなく、ちょうど述べた非相関性のような非類似性を得るために、方向フィルタを同時に変更することに関する類似性低減装置１２を取り除くことによっても達成できることは留意する必要がある。したがって、方向フィルタは、例えばＨＲＴＦでなく、修正された頭部伝達関数をモデル化するだろう。

【0027】

図２は、例えば、各チャンネルに関連した仮想音源の位置から聴取者の耳道への一組のチャンネルの音響伝達をモデル化するための相互類似性を低減している頭部伝達関数の組を形成するための装置を示す。概して３０により示される装置は、ＨＲＴＦプロセッサ３４だけでなく、ＨＲＴＦプロバイダ３２を含む。

【0028】

ＨＲＴＦプロバイダ３２は、元の複数のＨＲＴＦを供給するように構成される。ステップ３２は、ある音の位置から標準のダミーリスナの耳道までの頭部伝達関数を測定するために、標準のダミーヘッドを使用している測定を含みうる。同様に、ＨＲＴＦプロバイダ３２は、メモリから元のＨＲＴＦを単に検索する、または、読み込むように構成されうる。さらに他には、例えば、興味がある仮想音源の位置に応じて、ＨＲＴＦプロバイダ３２は、所定の公式に従ってＨＲＴＦを割り出すように構成されうる。したがって、ＨＲＴＦプロバイダ３２は、バイノーラル出力信号ジェネレータを設計するための設計環境において作動するように構成されうるし、または、例えば仮想音源の位置の選択または変更に応答するようにオンラインで元のＨＲＴＦを供給するために、この種のバイノーラル出力信号ジェネレータの信号自体の一部でありうる。例えば、装置３０は、それらのチャンネルに関連した異なる仮想音源の位置を有する異なるスピーカ構成を目的としているマルチチャンネル信号に適応できるバイノーラル出力信号ジェネレータの一部でもありうる。この場合、ＨＲＴＦプロバイダ３２は、現在意図された仮想音源の位置に適合される方法で元のＨＲＴＦを供給するように構成されうる。

【0029】

ＨＲＴＦプロセッサ３４は、次に、少なくとも１対のＨＲＴＦのインパルス応答に互いに比較して位置を変えさせるように、または、スペクトル的に変化させる意味で、互いに比較して異なってその位相および／または振幅応答を修正するように、構成される。ＨＲＴＦの１対は、左および右のチャンネル、フロントおよびリアチャンネル、センターおよび非センターチャンネルのうちの１つの音響伝達をモデル化しうる。実質的に、このことは、マルチチャンネル信号の１つまたはいくつかのチャンネルに適用される以下の技術の１つまたは組み合わせにより達成されうる。すなわち、各チャンネルのＨＲＴＦを遅らせ、各ＨＲＴＦの位相応答を修正し、および／または各ＨＲＴＦへの全域通過フィルタなどの非相関性フィルタを適用し、それにより、ＨＲＴＦの相互類似性を低減させた組を得る、および／または、スペクトル的に修正する意味で、各ＨＲＴＦの振幅応答を修正し、それにより少なくとも相互類似性を低減されたＨＲＴＦの組を得る。いずれにせよ、結果として生じる各チャンネル間の非相関性／非類似性は、外部に音源を定位する際に人間の聴覚系をサポートし、それにより頭内（ｉｎ―ｔｈｅ―ｈｅａｄ）定位が起こるのを防止しうる。例えば、ＨＲＴＦプロセッサ３４は、特定の周波数帯域のための第１のＨＲＴＦの群遅延が、少なくとも１つのサンプル分、そのＨＲＴＦの他の１つと比較して生じる、または第１のＨＲＴＦの特定の周波数帯域が遅れるように、チャンネルＨＲＴＦの全てまたは１つまたはいくつかの位相応答の修正を同上が生じさせるように構成できた。更に、ＨＲＴＦプロセッサ３４は、複数の周波数帯域のためのＨＲＴＦの他のものに対する第１のＨＲＴＦの群遅延が１サンプルの少なくとも８分の１の標準偏差を示すように、位相応答の修正を同上が生じさせるように、構成できた。考慮される周波数帯域は、バーク（Ｂａｒｋ）帯域またはそのサブセットまたは他の周波数帯域の再分割でありうる。

【0030】

ＨＲＴＦプロセッサ３４から結果として生じた相互類似性を低減しているＨＲＴＦの組は、図１の装置の方向フィルタ１４ａ〜１４ｈのＨＲＴＦを設定するために使用されうる。そこにおいて、類似性低減装置１２はある場合もあれば、ない場合もありうる。修正されたＨＲＴＦの非類似性という性質のため、バイノーラル出力信号の空間幅および改善された外在化に関する上述の利点は、類似性低減装置１２がないときでも、同じように得られる。

【0031】

すでに上述したように、図１の装置は、入力チャンネル１８ａ〜１８ｄの少なくともいくつかのダウンミックスに基づくバイノーラル出力信号の室内反射および／または残響に関連した寄与を得るように構成された更なる経路によって付随されうる。これは、方向フィルタ１４ａ〜１４ｈ上にもたらされた煩雑性を緩和する。この種のバイノーラル出力信号の室内反射および／または残響に関連した寄与を生成するための装置は、図３において示される。装置４０は、ルームプロセッサ４４がダウンミックスジェネレータ４２の後に続くことで互いに直列に接続されたダウンミックスジェネレータ４２とルームプロセッサ４４とを含む。装置４０は、マルチチャンネル信号１８が入力される図１の装置の入力と、ルームプロセッサ４４の左チャンネルの寄与４６ａが出力２２ａに追加され、ルームプロセッサ４４の右チャンネル出力４６ｂが出力２２ｂに追加されるバイノーラル出力信号の出力との間に接続されうる。ダウンミックスジェネレータ４２は、マルチチャンネル信号１８のチャンネルからモノラルまたはステレオのダウンミックス４８を形成し、そして、プロセッサ４４は、モノラルまたはステレオの信号４８に基づいて室内反射および／または残響をモデル化することによって、バイノーラル信号の室内反射および／または残響に関連した寄与の左チャンネル４６ａおよびの右チャンネル４６ｂを生成するように構成される。

【0032】

ルームプロセッサ４４の基礎をなしている考えは、例えば一室で生じる室内反射／残響が、マルチチャンネル信号１８のチャンネルの単純な加算のようなダウンミックスに基づいた、聴取者にとってトランスペアレントな方法でモデル化されうる。室内反射／残響は、音源から耳道までの直接経路または見通し線に沿って伝わる音よりも後に生じるので、ルームプロセッサのインパルス応答は、図１に示される方向フィルタのインパルス応答の末端を表し、そして置換する。方向フィルタのインパルス応答は、同様に、直接経路や聴取者の頭部、耳、肩で生じる反射や減弱をモデル化するのに限定されうる。このことにより、方向フィルタのインパルス応答を短くすることを可能にする。もちろん、方向フィルタによりモデル化されたものとルームプロセッサ４４によりモデル化されたものの間の境界は、その方向フィルタが、例えば、第１の室内反射／残響をモデル化もしうるように自由に変化しうる。

【0033】

図４ａおよび図４ｂは、ルームプロセッサの内部構造のための可能性のある実施例を示す。図４ａによれば、ルームプロセッサ４４は、モノラルのダウンミックス信号４８によって供給されて、そして２つの残響フィルタ５０ａおよび５０ｂを含む。その方向フィルタに類似して、残響フィルタ５０ａおよび５０ｂは、時間領域または周波数領域において作動するように実行されうる。両方の入力は、モノラルのダウンミックス信号４８を受ける。残響フィルタ５０ａの出力は、左チャンネル寄与出力４６ａを供給し、一方で、残響フィルタ５０ｂは右チャンネル寄与信号４６ｂを出力する。図４ｂは、ルームプロセッサ４４がステレオのダウンミックス信号４８を供給されている場合におけるルームプロセッサ４４の内部構造の例を示す。この場合、ルームプロセッサは、４つの残響フィルタ５０ａ〜５０ｄを含む。残響フィルタ５０ａおよび５０ｂの入力は、ステレオのダウンミックス４８の第１のチャンネル４８ａと接続され、一方で、残響フィルタ５０ｃおよび５０ｄの入力は、ステレオのダウンミックス４８のもう一方のチャンネル４８ｂと接続される。残響フィルタ５０ａおよび５０ｃの出力は、アダー（ａｄｄｅｒ）５２ａの入力と接続され、そして、それの出力は左チャンネル寄与４６ａを供給する。残響フィルタ５０ｂおよび５０ｄの出力は、別のアダー５２ｂの入力と接続され、そして、それの出力は右チャンネル寄与４６ｂを供給する。

【0034】

ダウンミックスジェネレータ４２が、マルチチャンネル信号のチャンネルを、各チャンネルを均等に重み付けして、単純に加算しうることが説明されたが、これは必ずしも図３の実施形態に関する場合というわけではない。むしろ、図３のダウンミックスジェネレータ４２は、モノラルまたはステレオのダウンミックス４８を形成するよう構成され、その結果、複数のチャンネルは、マルチチャンネル信号１８の少なくとも２つのチャンネルの間で異なっているレベルでモノラルまたはステレオのダウンミックスに寄与する。この手段により、特定のチャンネルまたはマルチチャンネル信号に混合される音声またはバックグラウンドミュージックのようなマルチチャンネル信号の特定のコンテンツは、ルームプロセッシングの影響を受けることを妨げられうる、または促されうる。そして、それによって、不自然な音を回避する。

【0035】

例えば、マルチチャンネル信号１８の複数のチャンネルのセンターチャンネルがマルチチャンネル信号１８の他のチャンネルと比較してレベルを低減した方法でモノラルまたはステレオのダウンミックス信号４８に寄与するように、図３のダウンミックスジェネレータ４２は、モノラルまたはステレオのダウンミックス４８を形成するように構成されうる。例えば、レベルの低減量は、３ｄＢと１２ｄＢの間でありうる。レベルの低減は、均一にマルチチャンネル信号１８のチャンネルの有効なスペクトル範囲にわたって広がっていることもあり、または、声の信号により一般的に占有されるスペクトル部分のような特定のスペクトル部分に集中するなどの周波数依存であることもある。他のチャンネルに対するレベル低減量は、他の全てのチャンネルで同じでありうる。すなわち、他のチャンネルは、同じレベルでダウンミックス信号４８に混合されうる。あるいは、他のチャンネルは、不均一なレベルでダウンミックス信号４８に混合されうる。それから、その他のチャンネルに対するレベル低減量は、その他のチャンネルの平均値またはその低減された１つを含むすべてのチャンネルの平均値と比較されうる。その場合は、その他のチャンネルのミキシングウェイトの標準偏差またはすべてのチャンネルのミキシングウェイトの標準偏差は、ちょうど言及した平均値と比較してレベルを減じたチャンネルのミキシングウェイトのレベル低減の６６％より小さいこともありうる。

【0036】

センターチャンネルに関するレベル低減の効果は、寄与５６ａおよび５６ｂを経て得られたバイノーラル出力信号が 、（少なくともより詳細に下で述べられるいくつかの状況では）、レベル低減なしのものよりもより自然に聴取者に知覚される。換言すれば、その他のチャンネルの加重値と比較してセンターチャンネルに関連する加重値が減じられた状態で、ダウンミックスジェネレータ４２は、マルチチャンネル信号１８のチャンネルの加重和を形成する。

【0037】

センターチャンネルのレベル低減は、特に映画の会話または音楽の音声部分で有利である。これらの音声部分で得られたオーディオの印象の改良は、非音声位相のレベル低減による軽微なペナルティを過分に補償する。しかし、別の実施例によれば、レベル低減は一定でない。むしろ、ダウンミックスジェネレータ４２は、レベル低減のスイッチを切ったモードとレベル低減のスイッチを入れたモードとの間で切り替わるように構成されうる。換言すれば、ダウンミックスジェネレータ４２は、時間変化する方法でレベル低減量を変化させるように構成されうる。その変化は、ゼロおよび最大値との間で、バイナリまたは類似した種類のものでありうる。ダウンミックスジェネレータ４２は、モードスイッチングまたはマルチチャンネル信号１８内に含まれる情報に依存しているレベル低減量の変化を実行するように構成されうる。例えば、ダウンミックスジェネレータ４２は、音声位相を検出する、または、これらの音声位相と非音声位相を区別するように構成されうるし、あるいは、センターチャンネルの連続したフレームに、少なくとも順序尺度である音声内容を測定する音声内容計測を割り当てうる。例えば、ダウンミックスジェネレータ４２は、音声フィルタによってセンターチャンネルの音声の存在を検出し、そして、このフィルタの出力レベルが合計閾値を上回るかどうかに関して判断する。しかし、ダウンミックスジェネレータ４２によるセンターチャンネルの音声位相の検出は、レベル低減量変化の前述のモードスイッチングを時間依存させるようにする唯一の方法ではない。例えば、マルチチャンネル信号１８は、特に音声位相と非音声位相との間で区別する、または、量的に音声内容を測定することを目的とする、それに関連した補助情報を有しうる。この場合、ダウンミックスジェネレータ４２は、この補助情報に応答し作動する。他の可能性は、ジェネレータ４２が、例えばセンターチャンネル、左チャンネル、右チャンネルの現在のレベルの間での比較に依存して、前述のモードスイッチングまたはレベル低減量の変化を実行することだろう。センターチャンネルが、左右のチャンネルよりも、個々に、または、その総計と比較して、特定の閾値比以上の差で大きい場合に、ダウンミックスジェネレータ４２は、音声位相が現在存在するとみなし、それにしたがって、すなわち、レベル低減を実行することによって動作しうる。同様に、ダウンミックスジェネレータ４２は、上述した依存性を実現するために、センター、左および右のチャンネル間のレベル差を使用しうる。

【0038】

この他に、ダウンミックスジェネレータ４２は、マルチチャンネル信号１８のマルチプルチャンネルの空間イメージを説明するために使用される空間パラメータに応答しうる。これを図５に示す。図５は、特別なオーディオ符号化を用いることにより、すなわち、複数のチャンネルがダウンミックスされたダウンミックス信号６２および複数のチャンネルの空間イメージを表している空間パラメータ６４を用いることにより、マルチチャンネル信号１８が複数のチャンネルを示す場合のダウンミックスジェネレータ４２の一例を示す。選択的に、マルチチャンネル信号１８は、個々のチャンネルがダウンミックス信号６２に混合される比を表しているダウンミキシング情報、または、ダウンミックス信号６２のダウンミックスチャンネルを含みうる。そのダウンミックスチャンネル６２は、例えば、通常のダウンミックス信号６２またはステレオのダウンミックス信号６２でありうる。図５のダウンミックスジェネレータ４２は、復号器６４とミキサー６６とを含む。復号器６４は、空間オーディオ復号化に従って、特に、センターチャンネル６６、そして他のチャンネル６８を含んでいる複数のチャンネルを得るために、マルチチャンネル信号１８を復号する。ミキサー６６は、前述のレベル低減を実行することによって、モノラルまたはステレオの信号４８を引き出すためにセンターチャンネル６６およびその他の非センターチャンネル６８を混合するように構成される。破線７０によって示されるように、ミキサー６６は、上述したように、変化させられたレベル低減の量に関するレベル低減モードとレベル低減なしのモードとの間で切り替わるために空間パラメータ６４を使用するように構成されうる。ミキサー６６により用いられた空間パラメータ６４は、例えば、センターチャンネル６６、左チャンネルまたは右チャンネルがダウンミックス信号６２からどのように導き出されうるかを表しているチャンネル予測係数でありうる。そこにおいて、ミキサー６６は加えて、それぞれ、フロント左およびリア左チャンネルおよびフロント右およびリア右チャンネルのダウンミックスでありうるちょうど言及された左右のチャンネルとの間で可干渉性または相互相関を示している相互チャンネル可干渉性／相互相関パラメータを使用しうる。例えば、センターチャンネルは、前述のステレオダウンミックス信号６２の左チャンネルおよび右チャンネルに固定した比率で混合されうる。この場合、２チャンネル予測係数は、センター、左および右チャンネルがどのようにステレオダウンミックス信号６２の２つのチャンネルの各線形結合から導き出されうるか決めるために充分である。例えば、ミキサー６６は、音声位相および非音声位相を区別するために、チャンネル予測係数の和と差との間の比率を使用しうる。

【0039】

センターチャンネルに関するレベル低減が、マルチチャンネル信号１８の少なくとも２つのチャンネルの間で異なっているレベルのモノラルまたはステレオのダウンミックスに同上が寄与するように、複数のチャンネルの加重和を例証するために説明されたが、この、または、これらのチャンネルに存在するある音源コンテントが、低減／増幅されたレベルではなく、マルチチャンネル信号の他のコンテンツと同じレベルでルームプロセッシングの影響を受ける、または、受けないことになっているので、他のチャンネルが他方の、または、他のチャンネルと比較して、都合よくレベル低減またはレベル増幅された他の例もある。

【0040】

図５は、むしろ、ダウンミックス信号６２および空間パラメータ６４によって複数の入力チャンネルを示す可能性に関して、概して説明されたものである。図６に関して、この説明は強められる。図６に関する説明は、また、図１０から１３に関して説明された以下の実施形態を理解することにも使用される。図６は、スペクトル的に複数のサブバンド８２に分解されたダウンミックス信号６２を示す。見本となるように、図６において、周波数領域の矢印８４によって示されるように、サブバンド８２がサブバンド周波数を底部から上部へ増加して配置された状態で水平に延長するように示される。水平方向への拡張は、時間軸８６を意味する。例えば、ダウンミックス信号６２は、サブバンド８２ごとに一連のスペクトル値８８を含む。サブバンド８２がサンプル値８８によってサンプリングされる時間分解能は、フィルタバンクのスロット９０によって定義されうる。このように、タイムスロット９０およびサブバンド８２は、ある時間／周波数分解能またはグリッドを定める。図６の破線によって示されるように、より粗い時間／周波数グリッドは時間／周波数のタイル９２に隣接したサンプル値８８を結合させることによって定められ、そして、これらのタイルが時間／周波数パラメータ解像度またはグリッドを定める。上述した空間パラメータ６２は、その時間／周波数パラメータ解像度９２において定義される。時間／周波数パラメータ解像度９２は、時間で変化しうる。この目的で、マルチチャンネル信号６２は、連続したフレーム９４に分割されうる。フレームごとに、時間／周波数分解能グリッド９２は、個々に設定できる。復号器６４が時間領域においてダウンミックスを受けとる場合、復号器６４は、図６に示すようにダウンミックス信号６２の表現を導き出すために内部の分析フィルタバンクから成ることもある。あるいは、ダウンミックス信号６２は図６に示すような形式で復号器６４に入り、その場合、分析フィルタバンクは復号器６４には必要でない。図５においてすでに述べたように、タイル９２ごとに、２つのチャンネル予測係数は、各時間／周波数のタイル９２に関して、右および左チャンネルがどのようにステレオのダウンミックス信号６２の左右のチャンネルから導き出されうるかを明らかにして存在する。加えて、相互チャンネル可干渉性／相互相関（ＩＣＣ：ｉｎｔｅｒ−ｃｈａｎｎｅｌ ｃｏｈｅｒｅｎｃｅ／ｃｒｏｓｓ−ｃｏｒｒｅｌａｔｉｏｎ）パラメータは、ステレオダウンミックス信号６２から導き出されるために左右チャンネル間のＩＣＣ類似性を指し示しているタイル９２のために存在しうる。そこにおいて、ステレオダウンミックス信号６２の１本のチャンネルは完全に混合されており、一方で、その他方は、ステレオダウンミックス信号６２の他のチャンネルに完全に混合されている。しかし、チャンネルレベル差（ＣＬＤ：ｃｈａｎｎｅｌ ｌｅｖｅｌ ｄｉｆｆｅｒｅｎｃｅ）パラメータは、ちょうど言及された左右のチャンネル間のレベル差を示しているタイル９２ごとに更に存在する。対数目盛上の均一でない量子化はＣＬＤパラメータに適用されうる。ここで、チャンネル間のレベルにおいて大きな差があるとき、その量子化は０ｄＢ付近の高い正確さとより粗い解像度を有する。加えて、別のパラメータは、空間パラメータ６４の中に存在しうる。これらのパラメータは、ちょうど言及された、例えばリア左、フロント左、リア右およびフロント右のチャンネルのような左右チャンネルを混合することによって形成するのに役立ったチャンネルに関連するＣＬＤおよびＩＣＣを特に定めうる。

【0041】

上述した実施形態が互いに組み合わせられうることは、留意すべきことである。いくつかの組み合わせの可能性は、すでに上に述べた。別の可能性は、図７から１３までの実施形態に関して以下に述べられる。加えて、図１および５の上述した実施形態は、中間のチャンネル２０、６６および６８が、それぞれ、実際に装置内に存在すると仮定した。しかし、これは必ずしもそうとは限らない。例えば、図２の装置により導き出されるような修正されたＨＲＴＦは、類似性低減装置１２を除外することにより図１の方向フィルタを定めるのに使用されうる。そして、この場合、図１の装置は、図５に示されるダウンミックス信号６２のようなダウンミックス信号に作用しうる。そして、空間パラメータおよび修正されたＨＲＴＦを時間／周波数パラメータ解像度９２において最適に組み合わせることによって、複数のチャンネル１８ａ〜１８ｄを示して、それに応じて得られた線形結合係数をバイノーラル信号２２ａおよび２２ｂを形成するために適用する。

【0042】

同様に、ダウンミックスジェネレータ４２は、ルームプロセッサ４４への提供を目的とするモノラルまたはステレオのダウンミックス４８を得るためにセンターチャンネルのために得られる空間パラメータ６４およびレベル低減量を最適に組み合わせるように構成されうる。図７は、一実施形態に従ったバイノーラル出力信号ジェネレータを示す。概して引用符号１００によって示されるジェネレータは、マルチチャンネル復号器１０２、バイノーラル出力１０４およびマルチチャンネル復号器１０２の出力とバイノーラル出力１０４の間で拡張している２つの経路、すなわち直接経路１０６と残響経路１０８とを含む。直接経路において、方向フィルタ１１０は、マルチチャンネル復号器１０２の出力に接続される。直接経路は、さらに、アダー１１２の第１のグループとアダー１１４の第２のグループを含む。アダー１１２は、方向フィルタ１１０の最初の半分の出力信号を計上し、そして、第２のアダー１１４は方向フィルタ１１０のもう半分の出力信号を計上する。第１および第２のアダー１１２および１１４の合計された出力は、バイノーラル出力信号２２ａおよび２２ｂの前述の直接経路の寄与を示す。アダー１１６および１１８は、寄与信号２２ａおよび２２ｂを、残響経路１０８により供給されるバイノーラル寄与信号、すなわち、信号４６ａおよび４６ｂと結合するために供給される。残響経路１０８において、ミキサー１２０およびルームプロセッサ１２２はマルチチャンネル復号器１０２の出力およびアダー１６および１１８の各入力との間で直列に接続される。そして、それらアダーの出力は、出力１０４で出力されるバイノーラル出力信号を定める。

【0043】

図７の装置についての以下の説明の理解を容易にするために、図１から６において使用された引用符号は、図１から６で生ずる要素に対応する、または、それら要素の機能の責任を負う、図７の要素を示すために部分的に使用されている。対応の説明は、後の説明でより明白になるだろう。しかし、以下の説明を容易にするために、以下の実施形態は、類似性低減装置が相関低減を実行すると仮定して説明されたことが留意される。したがって、後者は、以下において、相関低減装置を示す。しかし、上記から明白になったように、下で概説される実施形態は、類似性低減装置が相関に関して以外の類似性の低減を実行するケースに容易に振替え可能である。更に、上記のように、別の実施形態への転用は容易に可能だろうが、以下で概説される実施形態は、ルームプロセッシングのためのダウンミックスを生成するためのミキサーがセンターチャンネルのレベル低減を生成すると仮定して立案されている。

【0044】

図７の装置は、復号化マルチチャンネル信号１２４からの出力１０４でのヘッドホン出力の生成のための信号伝達を使用する。復号化されたマルチチャンネル１２４は、例えば、空間オーディオ復号化などによるビットストリーム入力１２６でのビットストリーム入力からマルチチャンネル復号器１０２によって得られる。復号化の後、復号化されたマルチチャンネル信号１２４の各信号または各チャンネルは、１対の方向フィルタ１１０によってフィルタにかけられる。例えば、復号化されたマルチチャンネル信号１２４の第１の（上側の）チャンネルは、方向フィルタ（１，Ｌ）および方向フィルタ（１，Ｒ）によってフィルタにかけられ、そして、第２の（上から２番目の）信号またはチャンネルは、方向フィルタ（２，Ｌ）および方向フィルタ（２，Ｒ）などによってフィルタにかけらえる。これらのフィルタ１１０は、室内の仮想音源から聴取者の耳道への音響伝達、いわゆる両耳室内伝達関数（ＢＲＴＦ：ｂｉｎａｕｒａｌ ｒｏｏｍ ｔｒａｎｓｆｅｒ ｆｕｎｃｔｉｏｎ）をモデル化しうる。それらは、時間、レベルそしてスペクトルの修正を実行しうる。そして、部分的に室内反射、残響もまたモデル化しうる。方向フィルタ１１０は、時間または周波数領域において実行されうる。必要な多くのフィルタ１１０（Ｎ×２、Ｎは復号化されたチャンネル数）があるので、これらの方向フィルタは、室内反射および残響を完全にモデル化する場合、それらフィルタはかなり長くなる、すなわち、フィルタリング処理が計算上、必要とされるだろう場合には、４４．１ｋＨｚで２００００フィルタタップという長さになる。方向フィルタ１１０は、最小限、いわゆる頭部伝達関数（ＨＲＴＦ）まで都合よく減少させられる。そして共通の処理ブロック１２２は、室内反射および残響のモデルが使用される。ルームプロセッシングモジュール１２２は時間または周波数領域の残響算法を実行することができて、１または２のチャンネル入力信号４８から作動しうる。ここで、その入力信号はミキサー１２０内で、混合行列によって復号化マルチチャンネル入力信号１２４から算出される。ルームプロセッシングブロックは、室内反射および／または残響を実行する。特に距離、および、聴取者の頭の外に知覚されることを意味する外在化に関して、室内反射および残響は音の定位に必要不可欠である。

【0045】

一般的に、支配的な音響エネルギーがフロントチャンネル、すなわち、左フロント、右フロント、センターに含まれるように、マルチチャンネル音は生成される。映画の会話および音楽における声は、一般的にセンターチャンネルに主に混合される。センターチャンネル信号がルームプロセッシングモジュール１２２に供給される場合、結果として生じる出力は、しばしば不自然に残響し、スペクトル的に不均一に知覚される。したがって、図７の実施形態によれば、センターチャンネルは、すでに上で記載したように、ミキサー１２０内でレベル低減が実行され、６ｄＢ減衰されたような有意なレベル低減を有するルームプロセッシングモジュール１２２に供給される。その範囲において、図７の実施形態は、図３および５に記載の構造を含む。そこにおいて、図７の引用符号１０２、１２４、１２０、および１２２は、図３および５の引用符号１８、６４、引用符号６６および６８の結合、引用符号６６および引用符号４４にそれぞれ対応する。

【0046】

図８は、別の実施形態に従う他のバイノーラル出力信号ジェネレータを示す。そのジェネレータは、概して引用符号１４０によって示される。図８の説明を容易にするために、同じ引用符号が、図７にあるように使用された。図３、５および７の実施形態によって示されるような機能、すなわち、センターチャンネルに関してレベル低減を実行する機能を、ミキサー１２０が必ずしも有するというわけではないことを示すために、引用符号４０’は、ブロック１０２、１２０および１２２の配置を示すために使用された。換言すれば、ミキサー１２２内のレベル低減は、図８の場合には選択的である。しかし、図７と異なり、非相関装置（ｄｅｃｏｒｒｅｌａｔｏｒ）は、方向フィルタ１１０の各対と復号化されたマルチチャンネル信号１２４の関連するチャンネルのための復号器１０２の出力との間にそれぞれ接続される。非相関装置は、引用符号１４２１、１４２２などによって示される。非相関装置１４２１〜１４２４は、図１に示す相関低減装置１２として働く。図８に示されるにもかかわらず、非相関装置１４２１〜１４２４が復号化されたマルチチャンネル信号１２４のチャンネルの各々に供給される必要はない。むしろ、１つの非相関装置で充分だろう。非相関装置１４２は、単に遅延でありうる。好ましくは、遅延１４２１〜１４２４の各々によって生じる遅延量は、互いに異なるだろう。他の可能性は、非相関装置１４２１〜１４２４が全通過フィルタであるということ、すなわち、ある定常的な大きさの伝達関数を有するが、各チャンネルのスペクトル成分の位相を変えるフィルタであることである。非相関装置１４２１〜１４２４によって生じる位相修正は、好ましくは各チャンネルで異なるだろう。他の可能性も、もちろん存在するだろう。例えば、非相関装置１４２１〜１４２４は、ＦＩＲフィルタ、またはそのようなものとして実行されうる。

【0047】

このように、図８の実施形態によれば、要素１４２１〜１４２４、１１０、１１２、および１１４は、図１の装置１０に従って作動する。

【0048】

図８と同様に、図９は、図７のバイノーラル出力信号ジェネレータのバリエーションを示す。このように、図９も、図７において用いられているものと同じ引用符号を使用して、以下で説明される。図８の実施形態と同様に、ミキサー１２２のレベル低減は単に図９の場合は選択的である。したがって、図７の場合のような引用符号４０というより、むしろ引用符号４０’が図９にある。図９の実施形態は、有意な相関がマルチチャンネルの音生成におけるすべてのチャンネルの間に存在するという問題に対処する。方向フィルタ１１０に関するマルチチャンネル信号の処理後、各フィルタ対の２つのチャンネルの中間信号は、出力１０４のヘッドホン出力信号を形成するために、アダー１１２および１１４によって加算される。アダー１１２および１１４による相関した出力信号の和は、結果として出力１０４の出力信号の極めて低減された空間幅および外在化の欠如をもたらす。これは、復号化されたマルチチャンネル信号１２４内の左右の信号およびセンターチャンネルの相関に特に問題を含む。図９の実施形態によれば、方向フィルタは、できるだけ非相関な（ｄｅｃｏｒｒｅｌａｔｅｄ）出力を有するように構成される。この目的で、図９の装置は、ＨＲＴＦの元々の組を基礎として方向フィルタ１１０により用いられる相互類似性を低減しているＨＲＴＦの組を形成するための装置３０を含む。上述の通り、装置３０は、復号化されたマルチチャンネル信号１２４の１つまたはいくつかのチャンネルに関連する方向フィルタの対のＨＲＴＦに関して、以下の技術の１つまたはいくつかを使用しうる：例えばフィルタタップの位置を変えることによって、各方向フィルタの位相応答を修正することによって、そして、全通過フィルタのような非相関フィルタ（ｄｅｃｏｒｒｅｌａｔｉｏｎ ｆｉｌｔｅｒ）を、各チャンネルの各方向フィルタに適用することによって、なされうるそのインパルス応答の位置を変えることによって、方向フィルタまたは各方向フィルタの対を遅延させる。この種の全通過フィルタは、ＦＩＲフィルタとして実行することができる。

【0049】

上述の通り、装置３０は、ビットストリーム入力１２６のビットストリームが向くラウドスピーカ構成における変化に応答して作動しうる。

【0050】

図７から９の実施形態は、復号化されたマルチチャンネル信号に関連したものである。以下の実施形態は、ヘッドホンのためのパラメータのマルチチャンネルの復号化に関する。一般的に言って、空間オーディオ符号化は、より高い圧縮率を得るためにマルチチャンネルオーディオ信号の知覚的な相互チャンネルの無関係を活用するマルチチャンネル圧縮技術である。これは、空間的な手がかりまたは空間パラメータ、すなわち、マルチチャンネルのオーディオ信号の空間イメージを表しているパラメータに関して取り込むことができる。空間的な手がかりは、一般的にチャンネル間のレベル／強度の差、位相差および相関／可干渉性の計測を含み、そして極めて簡潔な方法で示すことができる。空間オーディオ符号化の構想は、結果としてＭＰＥＧサラウンド標準、すなわち、ＩＳＯ／ＩＥＣ２３００３―１をもたらしたＭＰＥＧによって採用された。空間オーディオ符号化において用いられたような空間パラメータは、方向フィルタを説明するためにも用いることができる。そうすることによって、空間オーディオデータを復号化するステップと方向フィルタを適用するステップは、ヘッドホン再生のためのマルチチャンネルオーディオを能率的に復号化し、供給するために組み合わせることができる。

【0051】

ヘッドホン出力のための空間オーディオ復号器の一般の構造は、図１０に与えられる。図１０の復号器は、概して、引用符号２００によって示され、そして、ステレオまたはモノラルのダウンミックス信号２０４のための入力、空間パラメータ２０６のための他の入力およびバイノーラル出力信号２０８のための出力を含んでいるバイノーラル空間サブバンド修正器（ｍｏｄｉｆｉｅｒ）２０２を含む。空間パラメータ２０６を伴ったダウンミックス信号は、前述のマルチチャンネル信号１８を形成して、その複数のチャンネルを示す。

【0052】

内部的に、サブバンド修正器２０２は、入力されたダウンミックス信号とサブバンド修正器２０２の出力との間に述べられる順に接続された分析フィルタバンク２０８、行列化ユニットまたは線形結合器２１０、および、合成フィルタバンク２１２を含む。更に、サブバンド修正器２０２は、空間パラメータ２０６によって供給されるパラメータ変換装置２１４および装置３０によって得られるようなＨＲＴＦの修正された一組を含む。

【0053】

図１０では、ダウンミックス信号は、例えばエントロピー符号化を含んで、前もってすでに復号されたと仮定される。バイノーラル空間オーディオ復号器は、ダウンミックス信号２０４によって供給される。パラメータ変換装置２１４は、バイノーラルパラメータ２１８を形成するために、修正されたＨＲＴＦパラメータ２１６の形で、空間パラメータ２０６および方向フィルタのパラメータ記述を使用する。これらのパラメータ２１８は、周波数領域において、２×２の行列（ステレオダウンミックス信号の場合）の形で、そして、１×２の行列（モノラルダウンミックス信号２０４の場合）の形で、分析フィルタバンク２０８によって出力されるスペクトル値８８に行列化ユニット２１０によって適用される（図６参照）。換言すれば、バイノーラルパラメータ２１８は、図６に示される時間／周波数パラメータ解像度９２において変動し、各サンプル値８８に適用される。補間は、より粗い時間／周波数パラメータ領域９２から分析フィルタバンク２０８の時間／周波数分解能まで、行列係数およびバイノーラルパラメータ２１８を、それぞれ、整形するために使用されうる。すなわち、ステレオダウンミックス２０４の場合、装置２１０によって実行される行列化により、ダウンミックス信号２０４の左チャンネルのサンプル値とダウンミックス信号２０４の対応する右チャンネルのサンプル値の１対あたり２つのサンプル値が結果として生じる。結果として生じる２つのサンプル値は、それぞれ、バイノーラル出力信号２０８の左右のチャンネルの一部である。モノラルのダウンミックス信号２０４の場合には、装置２１０による行列化は、モノラルのダウンミックス信号２０４、すなわち、バイノーラル出力信号２０８の左チャンネルのための１つと右チャンネルのための１つのサンプル値ごとに、結果として２つのサンプル値になる。バイノーラルパラメータ２１８は、ダウンミックス信号２０４の１つまたは２つのサンプル値からバイノーラル出力信号２０８のそれぞれの左右のチャンネルサンプル値まで導く行列演算を定める。バイノーラルパラメータ２１８は、すでに修正されたＨＲＴＦパラメータを反映する。このように、それらは、上記のようにマルチチャンネル信号１８の入力チャンネルを非相関にする。

【0054】

このように、行列化ユニット２１０の出力は、図６で示すような修正されたスペクトログラムである。合成フィルタバンク２１２は、そこからバイノーラル出力信号２０８を再構築する。換言すれば、合成フィルタバンク２１２は、行列化ユニット２１０により出力される結果として生じる２つのチャンネル信号を時間領域に変換する。これは、もちろん、選択的である。

【0055】

図１０の場合には、室内反射および残響の効果は、別途述べられなかった。もしあったとすれば、これらの効果は、ＨＲＴＦ２１６において考慮されなければならない。図１１は、バイノーラル空間オーディオ復号器２００’を別々の室内反射／残響処理と結合しているバイノーラル出力信号ジェネレータを示す。図１１の引用符号２００’の中の「’」は、図１１のバイノーラル空間オーディオ復号器２００’が修正されていないＨＲＴＦ、すなわち、図２に示すような元のＨＲＴＦを使用しうることを意味するものとする。しかし、選択的に、図１１のバイノーラル空間オーディオ復号器２００’は、図１０に示されるものでありうる。いずれにせよ、概して引用符号２３０によって示される図１１のバイノーラル出力信号ジェネレータは、バイノーラル空間復号器２００’の他に、ダウンミックスオーディオ復号器２３２、修正された空間オーディオサブバンド修正器２３４、ルームプロセッサ１２２および２つのアダー１１６および１１８を含む。ダウンミックスオーディオ復号器２３２は、ビットストリーム入力１２６およびバイノーラル空間オーディオ復号器２００’のバイノーラル空間オーディオサブバンド修正器２０２との間に接続される。ダウンミックスオーディオ復号器２３２は、ダウンミックス信号２１４および空間パラメータ２０６を導き出すために入力１２６で入力されるビットストリームを復号するように構成される。両方とも、すなわち修正された空間オーディオサブバンド修正器２３４だけでなくバイノーラル空間オーディオサブバンド修正器２０２も、空間パラメータ２０６に加えてダウンミックス信号２０４を供給される。修正された空間オーディオサブバンド修正器２３４は、ダウンミックス信号２０４から、センターチャンネルのレベル低減の前述の量を反映している修正されたパラメータ２３６だけでなく空間パラメータ２０６の使用により、ルームプロセッサ１２２のための入力として役立つモノラルまたはステレオのダウンミックス４８を割り出す。バイノーラル空間オーディオサブバンド修正器２０２とルームプロセッサ１２２の両方により出力される寄与は、それぞれ、出力２３８で結果としてバイノーラル出力信号をもたらすためにアダー１１６および１１８においてチャンネルごとに合計される。

【0056】

図１２は、図１１のバイノーラルオーディオ復号器２００’の機能を説明しているブロック図を示す。図１２は図１１のバイノーラル空間オーディオ復号器２００’の実際の内部構造を示さず、バイノーラル空間オーディオ復号器２００’によって得られた信号修正を説明するという点には留意する必要がある。バイノーラル空間オーディオ復号器２００’の内部構造は、同上が元のＨＲＴＦで作動する場合には装置３０は切り離しうるということを除いて、通常、図１０に示される構造でコンパイルすることは、想起されることである。加えて、図１２は、マルチチャンネル信号１８によって示されるそのわずか３本のチャンネルが、バイノーラル出力信号２０８を形成するためにバイノーラル空間オーディオ復号器２００’によって使用される場合を見本として、バイノーラル空間オーディオ復号器２００’の機能を示す。特に、「２ ｔｏ ３」、すなわち、ＴＴＴボックスは、ステレオダウンミックス２０４の２本のチャンネルからセンターチャンネル２４２、右チャンネル２４４および左チャンネル２４６を導出するために使用される。換言すれば、図１２は、見本として、ダウンミックス２０４がステレオダウンミックスであると仮定する。ＴＴＴボックス２４８により用いられる空間パラメータ２０６は、上述のチャンネル予測係数を含む。相関の低減は、図１２のＤｅｌａｙＬ、ＤｅｌａｙＲおよびＤｅｌａｙＣで示される３つの非相関装置によって達成される。それらは、例えば、図１および７の場合に導入される非相関性に対応する。しかし、図１２は、実際の構造が図１０に示されたそれに対応するにもかかわらず、単にバイノーラル空間オーディオ復号器２００’によってなされる信号修正を示すだけであることがさらにまた想起される。このように、方向フィルタ１４を形成しているＨＲＴＦと比較して相関低減装置１２を形成している遅延は分離した機能として示されるが、相関低減装置１２における遅延の存在は、図１２の方向フィルタ１４の元のＨＲＴＦを形成しているＨＲＴＦパラメータの修正として理解されうる。まず、図１２は、単にそれにバイノーラル空間オーディオ復号器２００’がヘッドホン再生のためのチャンネルを非相関にする（ｄｅｃｏｒｒｅｌａｔｅ）ことを示すだけである。非相関性は、簡潔な方法によって、すなわち、行列Ｍのためのパラメータ処理における遅延ブロックとバイノーラル空間オーディオ復号器２００’を追加することによって、達成される。このように、バイノーラル空間オーディオ復号器２００’は、個々のチャンネルに以下の修正を適用しうる。すなわち、好ましくは少なくとも一つのサンプル分、センターチャンネルを遅延させること、各周波数帯域において、異なる間隔でセンターチャンネルを遅延させること、好ましくは少なくとも一つのサンプル分、左右のチャンネルを遅延させると、および／または各周波数帯域において、異なる間隔で左右のチャンネルを遅延させること、を適用しうる。

【0057】

図１３は、図１１の修正された空間オーディオサブバンド修正器の構造のための例を示す。図１３のサブバンド修正器２３４は、ｔｗｏ−ｔｏ−ｔｈｒｅｅまたはＴＴＴボックス２６２、重み付けステージ２６４ａ〜２６４ｅ、第１のアダー２６６ａおよび２６６ｂ、第２のアダー２６８ａおよび２６８ｂ、ステレオダウンミックス２０４のための入力、空間パラメータ２０６のための入力、残差信号２７０のための更なる入力およびルームプロセッサにより処理され、そして図１３に従えば、ステレオ信号であることを目的としたダウンミックス４８のための出力を含む。

【0058】

図１３が構造的な意味で修正された空間オーディオサブバンド修正器２３４のための実施形態を定める際、図１３のＴＴＴボックス２６２は単にステレオダウンミックス２０４から空間パラメータ２０６を使用することによって、センターチャンネル、右チャンネル２４４、左チャンネル２４６を再構築するのみである。図１２の場合、チャンネル２４２〜２４６が実際は割り出されないことが再度想起される。むしろ、バイノーラル空間オーディオサブバンド修正器は、ステレオダウンミックス信号２０４がＨＲＴＦを反映しているバイノーラル寄与に直接変えられるような方法で、行列Ｍを修正する。しかし、図１３のＴＴＴボックス２６２は、実際に再構築を実行する。選択的に、図１３に示すように、上記に示すように、チャンネル予測係数を含み、選択的にＩＣＣ値を含む、ステレオダウンミックス２０４および空間パラメータ２０６に基づいてチャンネル２４２〜２４６を再構築するときに、ＴＴＴボックス２６２は予測残差を反映している残差信号２７０を使用しうる。第１のアダー２６６ａは、ステレオダウンミックス４８の左チャンネルを形成するために、チャンネル２４２〜２４６を合計するように構成される。特に、加重和はアダー２６６ａおよび２６６ｂによって形成される。そこにおいて、加重値は、各チャンネル２４６から２４２までに、各加重値ＥＱ^LL、ＥＱ^RLおよびＥＱ^CLを適用する重み付けステージ２６４ａ、２６４ｂ、２６４ｃおよび２６４ｅによって定義される。同様に、アダー２６８ａおよび２６８ｂは、加重値を形成している加重ステージ２６４ｂ、２６４ｄおよび２６４ｅでチャンネル２４６〜２４２の加重和を形成する。そして、その加重和はステレオダウンミックス４８の右チャンネルを形成する。

【0059】

ステレオダウンミックス４８の前述したセンターチャンネルのレベル低減がなされ、上記のように、結果として自然な音感覚に関する効果がもたらされるに、加重ステージ２６４ａ〜２６４ｅのためのパラメータ２７０は、上記のように、選択される。

【0060】

このように、換言すれば、図１３は、図１２のバイノーラルパラメータ復号器２００’と結合して使用されうるルームプロセッシングモジュールを示す。図１３において、ダウンミックス信号２０４は、モジュールに供給するために使用される。ダウンミックス信号２０４は、ステレオ互換性を供給することができるようにマルチチャンネル信号のすべての信号を含む。上記のように、低減されたセンターの信号だけを含んでいる信号をルームプロセッシングモジュールに供給することは、望ましい。図１３の修正された空間オーディオサブバンド修正器は、このレベル低減を実行するのに役立つ。特に、図１３によれば、残差信号２７０は、センター、左右のチャンネル２４２〜２４６を再構築するために使用されうる。図１１には図示されていないが、センターおよび左右のチャンネル２４２〜２４６の残差信号は、ダウンミックスオーディオ復号器２３２によって復号されうる。

【0061】

加重ステージ２６４ａ〜２６４ｅにより適用されるＥＱパラメータまたは加重値は、左、右およびセンターチャンネル２４２〜２４６のために実数値でありうる。センターチャンネル２４２のための１つのパラメータの組は、格納され、適用されうる。そして、センターチャンネルは、図１３に従って、ステレオのダウンミックス４８の左右両方の出力に例として均等に混合される。修正された空間オーディオサブバンド修正器２３４に入れられるＥＱパラメータ２７０は、以下の性質を有しうる。第１に、センターチャンネル信号は、好ましくは、少なくとも６ｄＢ減衰されうる。更に、センターチャンネル信号は、ローパス特性を有しうる。更に、その残りのチャンネルの差分信号は、低周波数で増大させられうる。その他のチャンネル２４４および２４６に対してより低いセンターチャンネル２４２のレベルを補償するために、バイノーラル空間オーディオサブバンド修正器２０２で使用されるセンターチャンネルのためのＨＲＴＦパラメータの利得は、それに応じて、増加しなければならない。

【0062】

ＥＱパラメータの設定の主な目的は、ルームプロセッシングモジュールのための出力におけるセンターチャンネル信号の低減である。しかし、センターチャンネルは、限られた範囲に抑制されなければならないだけである。センターチャンネル信号は、ＴＴＴボックス内部で左および右のダウンミックスチャンネルから減算される。センターのレベルが低減される場合、左右のチャンネルのアーチファクトは聞き取れるようになりうる。従って、ＥＱステージにおけるセンターのレベルの低減は、抑制およびアーチファクトの間のトレードオフである。ＥＱパラメータの固定した設定を見つけることは可能であるが、すべての信号に最適であるとは限らない。したがって、実施形態によっては、適合アルゴリズムまたはモジュール２７４は、１つまたは以下のパラメータの結合によりセンターレベルの低減量を制御するために使用されうる。

【0063】

ＴＴＴボックス２６２の中への左右のダウンミックスチャンネル２０４からセンターチャンネル２４２を復号するために使用される空間パラメータ２０６は、破線２７６によって示されるように使用されうる。

【0064】

センター、左および右のチャンネルのレベルは、破線２７８によって示されるように使用されうる。

【0065】

センター、左および右のチャンネル２４２〜２４６間のレベル差は、破線２７８によっても示されるように使用されうる。

【0066】

例えばヴォイス・アクティビティ・ディテクター（ＶＡＤ：ｖｏｉｃｅ ａｃｔｉｖｉｔｙ ｄｅｔｅｃｔｏｒ）のようなシングルタイプの検出アルゴリズムの出力は、破線２７８によっても示されるように使用されうる。

【0067】

最後に、オーディオ内容を表している静的または動的なメタデータは、破線２８０によって示されるように、センターのレベル低減量を測定するために使用されうる。

【0068】

いくつかの態様が装置の文脈において説明されたが、これらの態様は、また、対応する方法の説明を示しもすることは明らかである。そこにおいて、ブロックまたは装置は、方法のステップまたは方法のステップの特徴に対応する。類似して、方法のステップの文脈においても説明される態様は、対応するブロックまたは項目の説明または例えばＡＳＩＣ、プログラムコードのサブルーチンまたはプログラムされたプログラム可能な論理の一部のような対応する装置の特徴を示す。

【0069】

本発明の符号化されたオーディオ信号は、デジタル記憶媒体に格納できる、または、例えば無線伝送媒体またはインターネットのような有線伝送媒体などの伝送媒体に送信できる。

【0070】

特定の実施要件に応じて、本発明の実施形態は、ハードウェアにおいて、または、ソフトウェアにおいて実施できる。実施例は、例えばフロッピー（登録商標）ディスク、ＤＶＤ、ＣＤ、ＲＯＭ、ＰＲＯＭ、ＥＰＲＯＭ、ＥＥＰＲＯＭまたはＦＬＡＳＨメモリといった、その上に格納された電子的に読み込み可能な制御信号を有するデジタル記憶媒体を使用して実行できる。そして、その記憶媒体は、各方法が実行されるように、それはプログラム可能な計算機システムと協動する（または協動することができる）。

【0071】

本発明によるいくつかの実施形態は、プログラム可能な計算機システムと協動可能である、電子的に読み込み可能な制御信号を有するデータキャリアを含む。その結果、ここで説明された方法のうちの１つが実行される。

【0072】

通常、本発明の実施形態は、プログラムコードを有するコンピュータ・プログラム製品として実施できる。そして、コンピュータ・プログラム製品がコンピュータ上で動作するときに、そのプログラムコードは、その方法のうちの１つを実行する働きをする。そのプログラムコードは、例えば、機械読み取り可能なキャリアに格納されうる。

【0073】

他の実施形態は、ここで説明された方法のうちの１つを実行するための、機械読み取り可能キャリアに格納された、コンピュータ・プログラムを含む。

【0074】

したがって、換言すれば、本発明の方法の実施形態は、コンピュータ・プログラムがコンピュータ上で動作するときに、ここに説明された方法のうちの１つを実行するためのプログラムコードを有するコンピュータ・プログラムである。

【0075】

したがって、本発明の方法の別の実施形態は、その上に記録されて、ここに説明された方法のうちの１つを実行するためのコンピュータ・プログラムを含んでいるデータキャリア（またはデジタル記憶媒体またはコンピュータ可読媒体）である。

【0076】

したがって、本発明の方法の別の実施形態は、ここにおいて説明された方法のうちの１つを実行するためのコンピュータ・プログラムを示しているデータストリームまたは信号のシーケンスである。例えば、そのデータストリームまたは信号のシーケンスは、データ通信コネクションを介して、例えばインターネットを介して転送されるように構成されうる。

【0077】

別の実施形態は、例えばコンピュータまたはプログラム可能な論理デバイスといった、ここに説明された方法のうちの１つを実行するために構成される、または、適用される処理手段を含む。

【0078】

別の実施形態は、ここに説明された方法のうちの１つを実行するためのコンピュータ・プログラムをその上にインストールしたコンピュータを含む。

【0079】

いくつかの実施形態では、プログラム可能な論理デバイス（例えば論理フィールド・プログラマブル・ゲート・アレイ）は、ここに説明された方法の特徴のいくつかまたは全てを実行するために使用されうる。いくつかの実施形態では、フィールド・プログラマブル・ゲート・アレイは、ここに説明された方法のうちの１つを実行するために、マイクロプロセッサと協動しうる。通常、その方法は、いかなるハードウェア装置によっても好ましくは実行される。

【0080】

上で説明された実施形態は、本発明の原理のために、単に図示しているだけである。ここに説明された装置と詳細の修正および変形は、他の当業者にとって明らかであるものと理解される。したがって、以下の特許請求の範囲のみによって制限され、実施形態の記載および説明の仕方によってここに提示された具体的な詳細によっては制限されないという意図がある。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】