特許第5934784号(P5934784)IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ フラウンホッファー−ゲゼルシャフト ツァ フェルダールング デァ アンゲヴァンテン フォアシュンク エー.ファオの特許一覧

特許5934784分解器を使用する出力信号を生成するための装置および方法
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】5934784
(24)【登録日】2016年5月13日
(45)【発行日】2016年6月15日
(54)【発明の名称】分解器を使用する出力信号を生成するための装置および方法
(51)【国際特許分類】
   H04S 5/02 20060101AFI20160602BHJP
   H04S 1/00 20060101ALI20160602BHJP
   G10L 19/00 20130101ALI20160602BHJP
【FI】
   H04S5/02 A
   H04S1/00 B
   G10L19/00 400Z
【請求項の数】16
【全頁数】31
(21)【出願番号】特願2014-509708(P2014-509708)
(86)(22)【出願日】2012年5月8日
(65)【公表番号】特表2014-513502(P2014-513502A)
(43)【公表日】2014年5月29日
(86)【国際出願番号】EP2012058433
(87)【国際公開番号】WO2012152785
(87)【国際公開日】20121115
【審査請求日】2014年1月15日
(31)【優先権主張番号】61/484,962
(32)【優先日】2011年5月11日
(33)【優先権主張国】US
(31)【優先権主張番号】11181828.2
(32)【優先日】2011年9月19日
(33)【優先権主張国】EP
(73)【特許権者】
【識別番号】591037214
【氏名又は名称】フラウンホッファー−ゲゼルシャフト ツァ フェルダールング デァ アンゲヴァンテン フォアシュンク エー.ファオ
(74)【代理人】
【識別番号】100079577
【弁理士】
【氏名又は名称】岡田 全啓
(74)【代理人】
【識別番号】100167966
【弁理士】
【氏名又は名称】扇谷 一
(72)【発明者】
【氏名】ワルサー アンドレーアス
(72)【発明者】
【氏名】ズィルズル アンドレーアス
(72)【発明者】
【氏名】ヘルムート オリヴァー
(72)【発明者】
【氏名】グリル ベルンハルト
(72)【発明者】
【氏名】ポップ ハラルド
【審査官】 大野 弘
(56)【参考文献】
【文献】 国際公開第2009/049773(WO,A1)
【文献】 特開2009−077379(JP,A)
【文献】 特開2008−227788(JP,A)
【文献】 J. Usher and J. Benesty,Enhancement of spatial sound quality: A new reverberation-extraction audio upmixer,IEEE Transactions on Audio, Speech, and Language Processing,2007年 9月,vol. 15, no. 7,,2141-2150,URL,http://externe.emt.inrs.ca/users/benesty/papers/aslp_sep2007.pdf
(58)【調査した分野】(Int.Cl.,DB名)
H04S 5/02
G10L 19/00
H04S 1/00
(57)【特許請求の範囲】
【請求項1】
少なくとも2つの入力チャネルを有する入力信号から少なくとも2つの出力チャネルを有する出力信号を生成するための装置であって、前記装置は、
前記少なくとも2つの入力チャネルのそれぞれが周囲信号グループの周囲信号、および直接信号グループの直接信号に分解されるように、前記入力信号の少なくとも2つの入力チャネルを分解するように適応される、周囲/直接分解器(110;210;310;410;610)と、
複数のスピーカの第1のスピーカのための第1の出力チャネルとして、修正された周囲信号を得るために、前記周囲信号グループの周囲信号、または前記周囲信号グループの信号から導出された信号を修正するように適応される、周囲修正ユニット(120;220;320;420)と、
前記複数のスピーカの第2のスピーカのための第2の出力チャネルとして、前記周囲信号グループの周囲信号または前記周囲信号グループの周囲信号から導出された信号と、前記直接信号グループの直接信号または前記直接信号グループの直接信号から導出された信号とを合成するように適応される、合成ユニット(130;230;330;430)と、
を含み、
ここで、前記装置は、前記複数のスピーカのうちの1つに、前記少なくとも2つの入力チャネルのうちの1つの周囲信号部分の第1の量を出力するために適応され、そして、前記装置は、前記複数のスピーカのうちの他の1つに、前記少なくとも2つの入力チャネルのうちの1つの周囲信号部分の残りの量に加えて前記少なくとも2つの入力チャネルのうちの1つの前記直接信号部分を出力するために適応される、装置。
【請求項2】
前記周囲修正ユニット(120;220;320;420)は、第1の導出信号を修正するように適応され、前記第1の導出信号は、前記周囲信号グループの周囲信号をフィルタリングするか、ゲイン修正か、または非相関化によって導出され、
前記合成ユニット(130;230;330;430)は、第2の導出信号を修正するように適応され、前記第2の導出信号は、前記周囲信号グループの周囲信号をフィルタリングするか、ゲイン修正するか、または非相関化するかによって導出され、
前記合成ユニット(130;230;330;430)は、第3の導出信号を修正するように適応され、前記第3の導出信号は、前記直接信号グループの前記直接信号をフィルタリングするか、ゲイン修正するか、または非相関化するかによって導出された、請求項1に記載の装置。
【請求項3】
前記周囲修正ユニット(120;220;320;420)は、修正された周囲信号(372)を得るために、前記周囲信号グループの第1の周囲信号(352)と前記周囲信号グループの第2の周囲信号(354)とを合成するように適応される、請求項1または請求項2に記載の装置。
【請求項4】
前記装置は、第1のゲイン修正周囲信号を得るために、前記周囲信号グループの周囲信号、または前記周囲信号グループの周囲信号から導出された信号をゲイン修正するように適応される第1の周囲ゲイン修正器(490)をさらに含み、
前記合成ユニット(130;230;330;430)は、第2の出力チャネルとして、前記第1のゲイン修正周囲信号と、前記直接信号グループの直接信号または前記直接信号グループの直接信号から導出された信号とを合成するように適応される、請求項1ないし請求項3のいずれかに記載の装置。
【請求項5】
前記ゲイン修正器(490)は、異なる第2の時点において、前記周囲信号は、異なる第2のゲイン修正ファクタをともないゲイン修正され、第1の時点において、前記周囲信号が第1のゲイン修正ファクタをともないゲイン修正されるように、前記周囲信号グループの周囲信号をゲイン修正するように適応される、請求項4に記載の装置。
【請求項6】
前記周囲修正ユニット(120;220;320;420)は、前記第1の出力チャネルとして、前記修正された信号を得るために、前記周囲信号グループの第1の周囲信号、または前記周囲信号グループの周囲信号から導出された信号を非相関化するための非相関化器(522)を含む、請求項1ないし請求項5のいずれかに記載の装置。
【請求項7】
前記周囲修正ユニット(120;220;320;420)は、前記第1の出力チャネルとして、前記修正された信号を得るために、前記周囲信号グループの周囲信号、または前記周囲信号グループの周囲信号から導出された信号をゲイン修正するように適応される第2の周囲ゲイン修正器(524)を含む、請求項1ないし請求項6のいずれかに記載の装置。
【請求項8】
前記周囲修正ユニット(120;220;320;420)は、前記第1の出力チャネルとして、前記修正された信号を得るために、前記周囲信号グループの周囲信号、または前記周囲信号グループの周囲信号から導出された信号をフィルタするためのフィルタユニット(526)を含む、請求項1ないし請求項7のいずれかに記載の装置。
【請求項9】
前記フィルタユニット(526)は、ローパスフィルタを使用するように適応される、請求項8に記載の装置。
【請求項10】
前記合成ユニット(130;230;330;430)は、合成信号を生成するために、前記周囲信号グループの周囲信号、または前記周囲信号グループの周囲信号から導出された信号と前記直接信号グループの直接信号、または前記直接信号グループの直接信号から導出された信号との、線形結合を形成するように適応される、請求項1ないし請求項9のいずれかに記載の装置。
【請求項11】
前記周囲/直接分解器(110;210;310;410;610)は、前記入力信号の少なくとも3つの入力チャネルを分解するように適応され、
前記周囲/直接分解器(110;210;310;410;610)は、ダウンミキサー(12)、アナライザ(16)および信号プロセッサ(20)を含み、
前記ダウンミキサー(12)は、ダウンミックス信号を得るために、前記入力信号をダウンミックスするように適応され、前記ダウンミキサー(12)は、ダウンミックスされた信号のダウンミックスチャネルの数が、少なくとも2および入力チャネルの数より少ないようなダウンミックス処理のために構成され、
前記アナライザ(16)は、解析結果を導出するために前記ダウンミックスされた信号を解析するように適応され、
前記信号プロセッサ(20)は、前記入力信号、前記入力信号から導出された信号、または、前記解析結果を用いて、前記入力信号が導出された信号を処理するように適応され、前記信号プロセッサ(20)は、前記分解された信号を得るために、前記入力信号の前記入力チャネル、または前記入力信号から導出された前記信号のチャネルに前記解析結果を適用するために構成される、請求項1ないし請求項10のいずれかに記載の装置。
【請求項12】
前記入力チャネルをチャネル周波数表現の時間シーケンスに変換するための時間/周波数コンバータ(32)をさらに含み、各入力チャネル周波数表現は、複数のサブバンドを有し、または、前記ダウンミキサー(12)は、前記ダウンミックスされた信号を変換するための時間/周波数コンバータ(32)を含み、
前記アナライザ(16)は、個々のサブバンドのための解析結果を生成するために構成され、
前記信号プロセッサ(20)は、前記入力信号、または前記入力信号から導出された前記信号のサブバンドに対応する前記個々の解析結果を適用するために構成される、請求項11に記載の装置。
【請求項13】
前記アナライザ(16)は、前記解析結果として、重み係数(W(m,i))を生成するために構成され、
前記信号プロセッサ(20)は、前記重み係数をともなう重み付けによって、前記入力信号、または前記入力信号から導出された前記信号に前記重み係数を適用するために構成される、請求項11または請求項12に記載の装置。
【請求項14】
前記アナライザ(16)は、予め既知の基準信号によって生成しうる2つの信号の間の類似点を示している予め格納された周波数依存基準曲線を使用して構成される、請求項11ないし請求項13のいずれかに記載の装置。
【請求項15】
少なくとも2つの入力チャネルを有する入力信号から少なくとも2つの出力チャネルを有する出力信号を生成するための方法であって、前記方法は、
前記少なくとも2つの入力チャネルのそれぞれが周囲信号グループの周囲信号、および直接信号グループの直接信号に分解されるように、前記入力信号の少なくとも2つの入力チャネルを分解するステップと、
第1の出力チャネルとして、修正された信号を得るために、前記周囲信号グループの周囲信号、または前記周囲信号グループの周囲信号から導出された信号を修正するステップと、
第2の出力チャネルとして、前記周囲信号グループの周囲信号または前記周囲信号グループの周囲信号から導出された信号と、前記直接信号グループの直接信号または前記直接信号グループの直接信号から導出された信号とを合成するステップと、
を含み、
ここで、前記少なくとも2つの入力チャネルのうちの1つの周囲信号部分の第1の量が複数のスピーカのうちの1つに出力され、前記少なくとも2つの入力チャネルのうちの1つの周囲信号部分の残りの量に加えて前記少なくとも2つの入力チャネルのうちの1つの前記直接信号部分が前記複数のスピーカのうちの他の1つに出力される、方法。
【請求項16】
コンピュータ・プログラムが、コンピュータまたはプロセッサによって実行される場合、請求項15の方法を実行するためのコンピュータ・プログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は音声処理に関し、特に、分解器を使用する出力信号を生成するための装置および方法に関する。
【背景技術】
【0002】
人間の聴覚系は、すべての方向から音を検出する。知覚された聴覚(形容詞の「聴覚の」は、知覚されていることを意味する一方、単語の「音」は、物理的な現象を記載するために用いられる)の環境は、サラウンドスペースおよび発生しているサウンドイベントの音響特性についての印象を創り出す。特定の音場において知覚される聴覚の印象は、信号の3種類の異なる信号を考慮して(少なくとも部分的に)モデル化されうる:直接的な音、早期反射および拡散反射。これらの信号は、知覚された聴覚の空間画像の形成に貢献する。
【0003】
直接的な音は、妨害のない音源から直接的に、最初にリスナーに達するそれぞれの音イベントの波を意味する。それは音源に対する特性であって、そして、サウンドイベントの出現の方向について最も少ない障害を含む情報を提供する。水平面における音源の方向を推定するための主要なきっかけは、左右の耳の入力信号の間の差(すなわち、内部時間差(internal time differences:ITDs)および聴覚レベル差(interaural level differences:ILDs))である。その後、異なる方向からの、ならびに異なる相対的な遅延およびレベルをともなう耳において直接的な音の反射の大きさが到着する。時間遅延の増加とともに、直接的な音に関して、反射の密度はそれらが統計的雑音を構成するまで増加する。
【0004】
反射音は、距離の感覚に、そして、少なくとも2つの要素(見かけの音源の幅(apparent source width:ASW)および音に包まれた感じ(listener envelopment:LEV))を構成する聴覚空間印象に貢献する。ASWは、音源の見かけの幅の広がりとして定義され、主に、早期の外側への反転によって決定される。LEVは、音によって包まれているリスナーの感覚を参照し、遅れて到着する反射によって主に決定される。電気音響ステレオの音声再生の目的は、心地よい聴覚空間画像の感覚を呼び起こすことである。これは自然であるかアーキテクチャの参照(たとえば、ホールのコンサートの録音)を有しうるか、またはそれは、実際は現存しない(たとえば、電気音響音楽)音場でもよい。
【0005】
コンサートホールの音響効果の分野から、よく知られているように、−主観的に心地よい音場を得るために−、欠くことのできない部分であるLEVをともなう聴覚空間印象の強い感覚が重要である。拡散音場を再生することによって包まれている音場を再生するスピーカセットアップの能力は、興味深い。合成音響場において、専用のトランスデューサを使用しているすべての自然に生じる反射を再生することは可能ではない。それは、特に、拡散後の反射のために事実に反しない。散乱反射のタイミングおよびレベル特性は、スピーカ供給として「反響された」信号を用いてシミュレーションされうる。それらが十分に無相関である場合、再生のために使用するスピーカの数および位置は、音場が拡散であるとして知覚されるかを決定する。目的は、別々の数のトランスデューサのみを使用して、連続、拡散音場の知覚を呼び起こすことである。すなわち、音の到着の方向でない音場を創り出すことが推定され、そして、特に単一のトランスデューサはローカライズされない。
【0006】
ステレオの音声再生は、別々の数のトランスデューサのみを使用している連続音場の感覚を呼び起こすことを意図する。最も要求される特徴は、ローカライズされたソースの方向安定性および周囲の聴覚環境の現実的な解釈である。ステレオ録音を記録または伝送するために今日使用される大多数のフォーマットは、チャネルベースである。各チャネルは、特定の位置で付随するスピーカを通じて再生されることを目的とする信号を伝達する。特定の聴覚画像は、録音またはミキシング処理の間、策定される。再生のために使用するスピーカセットアップが、録音が策定された目標セットアップと共通点がある場合、この画像は正確に再現される。
【0007】
サラウンドシステムは、複数のスピーカを含む。通常のサラウンドシステムは、たとえば、5つのスピーカを含みうる。送信されたチャネルの数がスピーカの数より少ない場合、問題が生じ、信号は、それらのスピーカに提供される。たとえば、サラウンドシステムは、5つのスピーカを含み、その一方で、ステレオ信号は、2つの送信されたチャネルを有して送信される。他方では、サラウンド信号が利用できる場合であっても、利用できるサラウンド信号は、ユーザのサラウンドシステムのスピーカの数未満のチャネルを有する。たとえば、5つのサラウンドチャネルを有するサラウンド信号が利用されうる、その一方で、サラウンド信号を再生することを意図するサラウンドシステムは、たとえば、9つのスピーカを有しうる。
【0008】
特に、自動車のサラウンドシステムにおいて、サラウンドシステムは、複数のスピーカ(たとえば、9つのスピーカ)を含みうる。これらのスピーカのいくつかは、リスナーのシートに関して水平な位置に配置され、他のスピーカは、リスナーのシートに関して高い位置に配置されうる。アップミックスアルゴリズムは、入力信号の利用できるチャネルから追加チャネルを生成するために使用されなければならない。複数の水平のおよび複数の高い位置のスピーカを有するサラウンドシステムに関して、サウンド位置が、高い位置に配置されたスピーカによって再生され、そして、サウンド位置が水平のスピーカによって再生される特定の課題が生ずる。
【発明の概要】
【発明が解決しようとする課題】
【0009】
本発明の目的は、少なくとも2つのチャネルを有する出力信号を生成するための装置を提供するための改良された概念を提供することである。本発明の目的は、請求項1に記載の装置、請求項15に記載の方法、および請求項1に記載のコンピュータ・プログラムによって解決される。
【0010】
本発明は、知覚的に異なった成分への音声信号の分解が、高品質信号修正、強化、適応再生および知覚的な符号化のために必要であるという知見に基づく。2以上の入力チャネルを有する入力信号から知覚的に異なった信号成分は、操作されおよび/または抽出されなければならない。
【課題を解決するための手段】
【0011】
本発明によれば、少なくとも2つの入力チャネルを有する入力信号から少なくとも2つの出力チャネルを有する出力信号を生成するための装置が提供される。装置は、第1の入力チャネルを周囲信号グループの第1の周囲信号に、および直接信号グループの第1の直接信号に分解するように適応される周囲/直接分解器を含む。装置は、第2の入力チャネルを周囲信号グループの第2の周囲信号に、および直接信号グループの第2の直接信号に分解するように、さらに適応される。さらに、装置は、第1のスピーカに、第1の出力チャネルとして修正された周囲信号を得るために、周囲信号グループの周囲信号または周囲信号グループの周囲信号から導出された信号を修正するために適応される周囲修正ユニットを含む。さらに、装置は、第2のスピーカに、第2の出力チャネルとして合成信号を得るために、周囲信号グループの周囲信号または周囲信号グループの周囲信号から導出された信号と、直接信号グループの直接信号または直接信号グループの直接信号から導出された信号とを合成するための合成ユニットを含む。
【0012】
本発明は、周囲/直接分解器、周囲修正ユニットおよび合成ユニットが、入力信号の少なくとも2つの入力チャネルから、分解され、修正されまたは合成される出力チャネルを生成するために使用されうるというさらなる知見に基づく。入力信号のそれぞれのチャネルは、周囲/直接分解器によって、周囲信号グループの周囲信号に、そして直接信号グループの直接信号に分解される。このように、周囲信号グループおよび直接信号グループは、共に入力信号チャネルの音の特性を表す。これによって、チャネルの周囲信号部分の特定量は、特定のスピーカに出力されうる。その一方で、たとえば、他のスピーカは、チャネルの周囲信号部分の残りの量に加えて直接信号部分を受信しうる。従って、第1のスピーカに供給される入力信号の周囲信号部分の量、および入力信号の直接信号部分とともに第2のスピーカに供給される入力信号の周囲信号部分の量を導くことが可能である。
【0013】
実施の形態によれば、周囲/直接分解器は、入力信号のチャネルの周囲信号部分を含む周囲信号グループを、そして、入力信号チャネルの直接信号部分を含む直接信号グループに形成するために、入力信号のチャネルを分解する。このような実施の形態では、周囲信号グループの周囲信号および直接信号グループの直接信号は、入力信号チャネルの異なる信号成分を表す。
【0014】
実施の形態において、信号は、周囲信号グループの周囲信号をフィルタリングするか、ゲイン修正するか、または非相関化するかによって、周囲信号グループの周囲信号から導出された。さらに、信号は、直接信号グループの直接信号をフィルタリングするか、ゲイン修正するか、または非相関化するかによって、直接信号グループの直接信号から導出されうる。
【0015】
さらなる実施の形態において、第1の周囲ゲイン修正器が提供され、周囲ゲイン修正器は、ゲイン修正された周囲信号を得るために、周囲信号グループの周囲信号、または周囲信号グループの周囲信号から導出された信号をゲイン修正するように適応される。この実施の形態の合成ユニットは、第2の出力信号として合成信号を得るために、ゲイン修正された周囲信号と、直接信号グループの直接信号、または直接信号グループの直接信号から導出された信号とを合成するように適応される。合成ユニットによって合成される両方の信号は、入力信号の同じチャネルから生成されている。このように、そのような実施の形態において、入力チャネルに既に含まれた全ての信号成分をともなう出力チャネルを生成することは可能である。しかし、特定の信号成分は、たとえば、周囲信号成分が、周囲ゲイン修正器によってゲイン修正され、それによって、特定のゲイン修正された信号成分特性をともなう出力チャネルを提供する。
【0016】
他の実施の形態において、周囲修正ユニットは非相関化器、第2のゲイン修正器および/またはフィルタユニットを含む。フィルタユニットは、ローパスフィルタでありうる。このように、修正ユニットは、周囲信号グループの信号を非相関化し、ゲイン修正し、および/またはフィルタリング、たとえば、ローパスフィルタをすることによって、出力チャネルを提供しうる。実施の形態において、周囲信号グループは、入力信号のチャネルの周囲信号部分を含みうる。このように、入力信号のチャネルの周囲信号部分を修正することが可能である。
【0017】
他の実施の形態において、周囲修正ユニットは、複数の修正された信号を得るために、上述のコンセプトによる入力信号の複数の入力チャネルを修正する。
【0018】
他の実施の形態において、少なくとも2つの入力チャネルを有する入力信号から少なくとも4つの出力チャネルを有する出力信号を生成するための装置を提供する。装置は、少なくとも2つの入力チャネルから周囲信号部分をともなう少なくとも2つの周囲信号を抽出するために適応される周囲エクストラクタを含む。さらに、装置は、少なくとも第1の修正された周囲信号および第2の修正された周囲信号を得るために、少なくとも2つの周囲信号を修正するのに適応される周囲修正ユニットを含む。さらにまた、装置は、少なくとも4つのスピーカを含む。少なくとも4つのスピーカの2つのスピーカは、リスナーに関して聴取環境における第1の高所に設置される。少なくとも4つのスピーカの2つのさらなるスピーカは、リスナーに関して聴取環境における第2の高所に設置され、第2の高所は、第1の高所とは異なる。周囲修正ユニットは、第3の出力チャネルとして第1の修正された周囲信号を2つのさらなるスピーカの第1のスピーカに供給するように適応される。さらに、周囲修正ユニットは、第4の出力チャネルとして第2の修正された周囲信号を2つのさらなるスピーカの第2のスピーカに供給するように適応される。またさらに、出力信号を生成するための装置は、第1の出力チャネルとして直接および周囲信号部分をともなう第1の入力チャネルを第1の高所に設置される第1のスピーカに供給するように適応される。さらに、周囲エクストラクタは、第2の出力チャネルとして直接および周囲信号部分をともなう第2の入力チャネルを第2の高所に設置される第2のスピーカに供給するように適応される。
【0019】
本発明の好ましい実施の形態は、添付する図に関して後に詳細に述べられる。
【図面の簡単な説明】
【0020】
図1図1は、実施の形態による装置のブロック図を例示する。
図2図2は、更なる実施の形態による装置のブロック図を表す。
図3図3は、他の実施の形態による装置のブロック図を示す。
図4図4は、更なる実施の形態による装置のブロック図を例示する。
図5図5は、他の実施の形態による装置のブロック図を例示する。
図6図6は、他の実施の形態による装置のブロック図を示す。
図7図7は、更なる実施の形態による装置のブロック図を表す。
図8図8は、実施の形態のスピーカの配置を例示する。
図9図9は、実施の形態によるダウンミキサーを使用する周囲/直接分解器を例示するためのブロック図である。
図10図10は、実施の形態による予め算出された周波数依存相関曲線をともなうアナライザを使用して少なくとも3つの入力チャネルを有する周囲/直接分解器の実装を例示しているブロック図である。
図11図11は、実施の形態によるダウンミックス、解析および信号処理のための周波数領域処理をともなう周囲/直接分解器の更なる実装を例示する。
図12図12は、実施の形態による周囲/直接分解器のための図9または図10において示される解析に対する基準曲線のための典型的な予め算出された周波数依存相関曲線を例示する。
図13図13は、実施の形態による周囲/直接分解器のための独立成分を抽出するための更なる処理を例示しているブロック図を例示する。
図14図14は、実施の形態による周囲/直接分解器のための解析信号生成器としてダウンミキサーを実装しているブロック図を例示する。
図15図15は、実施の形態による周囲/直接分解器のための図9または図10の信号アナライザにおける処理の方法を示しているフローチャートを例示する。
図16a図16aは、実施の形態による周囲/直接分解器のための異なる音源(たとえば、スピーカ)の数および位置をともなういくつかの異なるセットアップに対する基準曲線として使用されうる、異なる予め算出された周波数依存相関曲線を例示する。
図16b図16bは、実施の形態による周囲/直接分解器のための異なる音源(たとえば、スピーカ)の数および位置をともなういくつかの異なるセットアップに対する基準曲線として使用されうる、異なる予め算出された周波数依存相関曲線を例示する。
図16c図16cは、実施の形態による周囲/直接分解器のための異なる音源(たとえば、スピーカ)の数および位置をともなういくつかの異なるセットアップに対する基準曲線として使用されうる、異なる予め算出された周波数依存相関曲線を例示する。
図16d図16dは、実施の形態による周囲/直接分解器のための異なる音源(たとえば、スピーカ)の数および位置をともなういくつかの異なるセットアップに対する基準曲線として使用されうる、異なる予め算出された周波数依存相関曲線を例示する。
図16e図16eは、実施の形態による周囲/直接分解器のための異なる音源(たとえば、スピーカ)の数および位置をともなういくつかの異なるセットアップに対する基準曲線として使用されうる、異なる予め算出された周波数依存相関曲線を例示する。
【発明を実施するための形態】
【0021】
図1は、実施の形態による装置を例示する。装置は、周囲/直接分解器110を含む。周囲/直接分解器110は、少なくとも2つの入力チャネル142,144のそれぞれが周囲信号グループの周囲信号152,154、および直接信号グループの直接信号162,164に分解されるように、入力信号の2つの入力チャネル142,144を分解するように適応される。他の実施の形態において、周囲/直接分解器110は、2つ以上の入力チャネルを分解するように適応される。
【0022】
さらに、図1において例示される実施の形態の装置は、周囲修正ユニット120を含む。周囲修正ユニット120は、第1のスピーカのための第1の出力チャネルとして、修正された周囲信号172を得るために、周囲信号グループの周囲信号152を修正するように適応される。他の実施の形態において、周囲修正ユニット120は、周囲信号グループの信号から導出された信号を修正するように適応される。たとえば、周囲信号グループの信号は、フィルタされ、ゲイン修正され、または非相関化され、そして、周囲信号グループの信号から導出された信号として、その後、周囲修正ユニット120に通される。さらなる実施の形態において、周囲修正ユニット120は、1つ以上の修正された周囲信号を得るために、2つ以上の周囲信号を合成しうる。
【0023】
さらにまた、図1において例示される実施の形態の装置は、合成ユニット130を含む。合成ユニット130は、第2のスピーカのための第2の出力チャネルとして、周囲信号グループの周囲信号152と、直接信号グループの直接信号162とを合成するように適応される。他の実施の形態において、合成ユニット130は、周囲信号グループの周囲信号から導出された信号および/または直接信号グループの直接信号から導出された信号を合成するように適応される。たとえば、周囲信号および/または直接信号は、フィルタされ、ゲイン修正され、または非相関化され、そして、合成ユニット130にその後、通される。実施の形態において、合成ユニットは、両方の信号を加えることによって、周囲信号152および直接信号162を合成するように適応される。他の実施の形態において、周囲信号152および直接信号162は、2つの信号152,162の線形結合を形成することによって合成されうる。
【0024】
図1によって例示される実施の形態において、周囲信号154および第2の入力チャネルの分解から結果として得られる直接信号164は、出力信号のさらなる出力チャネルとして修正なしで、出力される。しかしながら、他の実施の形態において、信号154,164は、修正ユニット120および/または合成ユニット130によって処理されることもできる。
【0025】
実施の形態において、修正ユニット120および合成ユニット130は、点線135によって示されるように互いに伝達するように適応されうる。この伝達に依存して、修正ユニット120は、合成ユニット130によって導かれる合成に依存しているその受信された周囲信号、たとえば、周囲信号152を修正し、および/または、合成ユニット130は、修正ユニット120によって導かれる修正に依存しているその受信された信号、たとえば、信号152および信号162を合成しうる。
【0026】
図1の実施の形態は、入力信号が直接および周囲信号部分に分解され、あるいは、修正された信号部分が修正され、スピーカの第1のセットに出力され、そして、入力信号の直接信号部分および周囲信号部分の合成はスピーカの第2のセットに出力されるというアイデアに基づく。
【0027】
たとえば、このことによって、実施の形態において、チャネルの周囲信号部分の特定の量が特定のスピーカに出力されうる。その一方で、たとえば、他のスピーカは、チャネルの周囲信号部分の残りの量に加えて直接的な信号部分を受信する。たとえば、周囲修正ユニットは、第1の出力チャネルを生成するために、0.7によりその振幅を乗算することによって、周囲信号152をゲイン修正しうる。さらに、合成ユニットは、第2の出力チャネルを生成するために、直接信号162および周囲信号部分を合成しうる。ここで、周囲信号部分は、係数0.3によって乗算される。このことによって、修正された周囲信号172および合成信号182が以下により結果として得る。

信号172=0.7・信号142の周囲信号部分
信号182=0.3・信号142の周囲信号部分+信号142の直接信号部分
【0028】
従って、図1は、入力信号のすべての信号部分が、リスナーに出力され、少なくとも1つのチャネルが、入力チャネルの周囲信号部分の特定の量のみを含み、そして、さらに、チャネルが入力チャネルの周囲信号部分の残りの部分および入力チャネルの直接信号部分の合成を含みうる。
【0029】
図2は、より詳細に例示している、さらなる実施の形態による装置である。装置は、図1の実施の形態において例示された装置の対応するユニットとして同様の機能を有する、周囲/直接分解器210、周囲修正ユニット220および合成ユニット230を含む。周囲/直接分解器210は、第1の分解ユニット212および第2の分解ユニット214を含む。第1の分解ユニットは、装置の入力信号の第1の入力チャネル242を分解する。第1の入力チャネル242は、周囲信号グループの第1の周囲信号252および直接信号グループの第1の直接信号262に分解する。さらに、第2の分解ユニット214は、周囲信号グループの第2の周囲信号254および直接信号グループの第2の直接信号264に分解する。分解された周囲および直接信号は、図1において例示される実施の形態による装置におけるように、同様に処理される。実施の形態において、修正ユニット220および合成ユニット230は、点線235によって例示されるように、お互いに伝達するように適応される。
【0030】
図3は、さらなる実施の形態による出力信号を生成するための装置を例示する。3つの入力チャネル342,344,346を含む入力信号は、周囲/直接分解器310に供給される。周囲/直接分解器310は、周囲信号グループの第1の周囲信号352および直接信号グループの第1の直接信号362を導出するために第1の入力チャネル342を分解する。さらに、分解器は、第2の入力チャネル344を周囲信号グループの第2の周囲信号354および直接信号グループの第2の直接信号364に分解する。さらに、分解器310は、第3の入力チャネル346を周囲信号グループの第3の周囲信号356および直接信号グループの第3の直接信号366に分解する。さらに、実施の形態において、装置の入力信号の入力チャネルの数は、3つのチャネルに限られず、いかなる数の入力チャネル、たとえば、4つの入力チャネル、5つの入力チャネル、または9つの入力チャネルでありうる。実施の形態において、修正ユニット320および合成ユニット330は、点線335によって例示されるように互いに伝達されるように適応されうる。
【0031】
図3の実施の形態において、周囲修正ユニット320は、第1の修正された周囲信号372を得るために、周囲信号グループの第1の周囲信号352を修正する。さらに、周囲修正ユニット320は、第2の修正された周囲信号374を得るために、周囲信号グループの第2の周囲信号354を修正する。さらに、実施の形態おいて、周囲修正ユニット320は、1つ以上の修正された周囲信号を得るために、第1の周囲信号352および第2の周囲信号354を合成しうる。
【0032】
さらに、図3の実施の形態において、直接信号グループの第1の直接信号362は、周囲信号グループの第1の周囲信号352とともに合成ユニット330に供給される。直接および周囲信号362,352は、合成信号382を得るために、合成ユニット330によって合成される。図3の実施の形態において、合成ユニットは、直接信号グループの第1の直接信号362と周囲信号グループの第1の周囲信号352とを合成する。他の実施の形態において、合成ユニット330は、直接信号グループの他のいかなる直接信号も周囲信号グループの他のいかなる周囲信号と合成しうる。たとえば、直接信号グループの第2の直接信号364は、周囲信号グループの第2の周囲信号354と合成されうる。他の実施の形態において、直接信号グループの第2の直接信号364は、周囲信号グループの第3の周囲信号356と合成されうる。さらなる実施の形態において、合成ユニット330は、1つ以上の合成信号を得るために、直接信号グループの1つ以上の直接信号と、周囲信号グループの1つ以上の周囲信号とを合成しうる。
【0033】
図3の実施の形態において、第1の修正された周囲信号372は、出力信号の第1の出力チャネルとして出力される。合成信号382は、出力信号の第2の出力チャネルとして出力される。第2の修正された周囲信号374は、出力信号の第3の出力信号として出力される。さらに、周囲信号グループの第3の周囲信号356、ならびに直接信号グループの第2および第3の直接信号364,366が、出力信号の第4、第5および第6の出力チャネルとして出力される。他の実施の形態において、1つまたはすべての信号356,364,366は、全て出力されず、切り捨てられうる。
【0034】
図4は、さらなる実施の形態による装置を例示する。装置は、さらに周囲ゲイン修正器490を含んでいる点で、図1により例示される装置とは異なる。周囲ゲイン修正器490は、合成ユニット490に供給するためにゲイン修正された周囲信号492を得るように、周囲信号グループの周囲信号452をゲイン修正する。合成ユニット430は、装置の出力信号として合成信号482を得るために、ゲイン修正された信号492を直接信号グループの直接信号462とともに合成する。ゲイン修正は時間変数でありうる。たとえば、時間における第1の時点において、信号は、第1のゲイン修正ファクタをともないゲイン修正される一方、異なる第2の時点において、信号は、異なる第2のゲイン修正ファクタをともないゲイン修正される。
【0035】
ゲイン修正器490におけるゲイン修正は、合成信号482において周囲信号452の重みを減らすために、周囲信号452の振幅に1より小さい係数を乗算するように実施されうる。これは、入力信号の周囲信号部分の特定の量を合成信号482に加えることを可能にする。その一方で、入力信号の残りの周囲部分は、修正された周囲信号472として出力されうる。
【0036】
他の実施の形態において、増倍率は、合成ユニット430によって生成される合成信号482において周囲信号452の重みを増加するように1より大きくてもよい。これは、周囲信号部分を強化して、リスナーに対して異なるサウンドインプレッションを形成することを可能にする。
【0037】
図4に示す実施の形態において、1つの周囲信号のみが、周囲ゲイン修正器490に供給されている一方、他の実施の形態において、2つ以上の周囲信号が、周囲ゲイン修正器490によってゲイン修正されうる。そのとき、ゲイン修正器は、受信された周囲信号をゲイン修正し、ゲイン修正された周囲信号を合成ユニット430に供給する。
【0038】
他の実施の形態において、入力信号は、周囲/直接分解器410に供給される2つ以上のチャネルを含む。その結果、そのとき、周囲信号グループは、2つ以上の周囲信号を含み、直接信号グループもまた、2つ以上の直接信号を含む。同様に、2つ以上のチャネルは、ゲイン修正のために、ゲイン修正器490にも供給されうる。たとえば、3つ、4つ、5つ、または9つの入力チャネルが周囲ゲイン修正器490に供給されうる。実施の形態において、修正ユニット420および合成ユニット430は、点線435によって例示されるように、互いに伝達されるように適応されうる。
【0039】
図5は、実施の形態による周囲修正ユニットを例示する。周囲信号ユニットは、非相関化器522、ゲイン修正器524およびローパスフィルタ526を含む。
【0040】
図5の実施の形態において、第1の周囲信号552、第2の周囲信号554および第3の周囲信号556が非相関化器522に供給される。他の実施の形態において、異なる数の信号、たとえば、1つの周囲信号、または、2つ、4つ、5つまたは9つの周囲信号が、非相関化器522に供給されうる。非相関化器522は、非相関化された信号562,564,566をそれぞれ得るために、入力された周囲信号552,554,556のそれぞれを非相関化する。図5の実施の形態の非相関化器522は、いかなる種類の非相関化器でもよく、たとえば、ラティスオールパスフィルタ、またはIIR(Infinite Impulse Response:無限インパルス応答)オールパスフィルタでもよい。
【0041】
それから、非相関化された信号562,564,566は、ゲイン修正器524に供給される。ゲイン修正器は、ゲイン修正された信号572,574,576をそれぞれ得るために、入力された信号562,564,566のそれぞれをゲイン修正する。ゲイン修正器524は、ゲイン修正された信号を得るために係数によって入力された信号562,564,566の振幅を乗算するように適応されうる。ゲイン修正器524におけるゲイン修正は、時間変数である。たとえば、第1の時点において、信号は、第1のゲイン修正ファクタをともないゲイン修正される一方、異なる第2の時点において、信号は、異なる第2のゲイン修正ファクタをともないゲイン修正される。
【0042】
その後、ゲイン修正された信号572,574,576は、ローパスフィルタユニット526に供給される。ローパスフィルタユニット526は、修正された信号582,584,586のそれぞれを得るために、ゲイン修正された信号572,574,576のそれぞれにローパスフィルタをする。図5の実施の形態は、ローパスフィルタユニット526を使用する一方、他の実施の形態は、他のユニット、たとえば、周波数選択フィルタまたはイコライザを適用しうる。
【0043】
図6は、さらなる実施の形態による装置を例示する。装置は、5つの入力チャネルを有する入力信号から、9つのチャネル、たとえば、水平に配置されたスピーカのための5つのチャネルであるLh,Rh,Ch,LSh,RSh、および高所に位置されたスピーカのための4つのチャネルであるLe,Re,LSe,RSeを有する出力信号を生成する。入力信号の入力チャネルは、左チャネルL,右チャネルR,中央チャネルC,左サラウンドチャネルLSおよび右サラウンドチャネルRSを含む。
【0044】
5つの入力チャネルL,R,C,LS,RSは、周囲/直接分解器610に供給される。周囲/直接分解器610は、左信号Lを周囲信号グループの周囲信号LAおよび直接信号グループのLDに分解する。さらに、周囲/直接分解器610は、入力信号Rを周囲信号グループの周囲信号RAおよび直接信号グループの直接信号RDに分解する。さらに、周囲/直接分解器610は、左サラウンド信号LSを周囲信号グループの周囲信号LSAおよび直接信号グループの直接信号LSDに分解する。さらにまた、周囲/直接分解器610は、右サラウンド信号RSを周囲信号グループの周囲信号RSAおよび直接信号グループの直接信号RSDに分解する。
【0045】
周囲/直接分解器610は、中央信号Cを修正しない。代わりに、信号Cは、修正なしで、出力チャネルChとして出力される。
【0046】
周囲/直接分解器610は、周囲信号LAを第1の非相関化ユニット621に供給し、信号LAを非相関化する。周囲/直接分解器610は、第1のゲイン修正器の第1のゲイン修正ユニット691にも周囲信号を通す。第1のゲイン修正ユニット691は、信号LAをゲイン修正し、ゲイン修正された信号を第1の合成ユニット631に供給する。さらに、信号LDは、周囲/直接分解器610によって、第1の合成ユニット631に供給される。第1の合成ユニット631は、出力チャネルLhを得るために、ゲイン修正された信号LAと直接信号LDとを合成する。
【0047】
さらにまた、周囲/直接分解器610は、信号RA,LSAおよびRSAを、第1のゲイン修正器の第2のゲイン修正ユニット692,第3のゲイン修正ユニット693および第4のゲイン修正ユニット694に供給する。第2のゲイン修正ユニット692,第3のゲイン修正ユニット693および第4のゲイン修正ユニット694は、受信された信号RA,LSAおよびRSAをそれぞれゲイン修正する。第2のゲイン修正ユニット692,第3のゲイン修正ユニット693および第4のゲイン修正ユニット694は、それから、ゲイン修正された信号を第2の合成ユニット632,第3の合成ユニット633および第4の合成ユニット634へそれぞれ通す。さらにまた、周囲/直接分解器610は、信号RDを合成ユニット632に供給し、信号LSDを合成ユニット633に供給し、そして、信号RSDを合成ユニット634にそれぞれ供給する。合成ユニット632,633,634は、それから、出力チャネルRh,LSh,RShをそれぞれ得るために、信号RD,LSD,RSDをゲイン修正された信号RA,LSA,RSAとそれぞれ合成する。
【0048】
さらに、周囲/直接分解器610は、信号LAを第1の非相関化ユニット621に供給し、周囲信号LAは非相関化される。第1の非相関化ユニット621は、それから、非相関化された信号LAを、第2のゲイン修正器の第5のゲイン修正ユニット625に通し、非相関化された周囲信号LAはゲイン修正される。第5のゲイン修正ユニット625は、それから、ゲイン修正された周囲信号LAを第1のローパスフィルタユニット635に通し、ゲイン修正された周囲信号は、装置の出力信号の出力チャネルとしてローパスフィルタされた周囲信号Leを得るために、ローパスフィルタされる。
【0049】
同様に、周囲/直接分解器610は、信号RA,LSAおよびRSAを、第2の非相関化ユニット622,第3の非相関化ユニット623および第4の非相関化ユニット624に通し、受信された周囲信号をそれぞれ非相関化する。第2,第3および第4の非相関化ユニット622,623,624は、それぞれ、非相関化された周囲信号を、第2のゲイン修正器の第6のゲイン修正ユニット626,第7のゲイン修正ユニット627および第8のゲイン修正ユニット628に通す。第6,第7および第8のゲイン修正ユニット626,627,628は、非相関化された信号をゲイン修正し、そして、ゲイン修正された信号を第2のローパスフィルタユニット636,第3のローパスフィルタユニット637および第4のローパスフィルタユニット638にそれぞれ通す。第2,第3および第4のローパスフィルタユニット636,637,638は、装置の出力信号の出力チャネルとして、ローパスフィルタされた出力信号Re,LSeおよびRSeを得るために、ゲイン修正された信号をそれぞれローパスフィルタする。
【0050】
実施の形態において、修正ユニットは、第1,第2,第3および第4の非相関化ユニット621,622,623,624、第5,第6,第7および第8のゲイン修正ユニット625,626,627,628、ならびに第1,第2,第3および第4のローパスフィルタユニット635,636,637,638を含みうる。結合部の合成ユニットは、第1,第2,第3および第4の合成ユニット631,632,633,634を含みうる。
【0051】
図6の実施の形態において、分解器610は、入力信号を、周囲信号グループを構成する周囲信号LA,RA,LSA,およびRSAならびに、直接信号グループを構成する直接信号LD,RD,LSDおよびRSDに分解する。
【0052】
図7は、実施の形態による装置のブロック図を例示する。装置は、周囲エクストラクタ710を含む。5つのチャネルL,R,C,LS,RSを含む入力信号は、周囲エクストラクタ710に入力される。周囲エクストラクタ710は、周囲チャネルLAとしてチャネルLの周囲部分を抽出し、そして、周囲チャネルLAを第1の非相関化ユニット721に供給する。さらに、周囲エクストラクタ710は、周囲チャネルRA,LSA,RSAとしてチャネルR,LS,RSの周囲部分を抽出し、そして、周囲チャネルRA,LSA,RSAを第2,第3および第4の非相関化ユニット722,723,724のそれぞれに供給する。周囲信号の処理は、第1,第2,第3および第4の非相関化ユニット721,722,723,724において続けられ、周囲信号LA,RA,LSA,RSAは非相関化される。非相関化された周囲信号は、それから、第1,第2,第3および第4のゲイン修正ユニット725,726,727,728において、それぞれゲイン修正される。その後、ゲイン修正された周囲信号は、第1,第2,第3および第4のローパスフィルタユニット729,730,731,732に通され、ゲイン修正された周囲信号は、それぞれ、ローパスフィルタされる。その後、周囲信号は、出力信号の第1,第2,第3および第4の出力チャネルLe,Re,LSe,RSeとして、それぞれ出力される。
【0053】
図8は、スピーカの配置を例示する。5つのスピーカ810,820,830,840,850は、リスナーに関して聴取環境における第1の高所に設置され、スピーカ860,870,880,890は、リスナーに関して聴取環境における第2の高所に設置され、第2の高所は、第1の高所とは異なる。
【0054】
5つのスピーカ810,820,830,840,850は、水平に配置され、すなわち、リスナーの位置に関して水平に配置される。4つの他のスピーカ860,870,880,890は、高所に位置され、すなわち、それらが、リスナーの位置に関して高所に位置されるように配置される。他の実施の形態において、スピーカ810,820,830,840,850は、水平に配置される一方、4つの他のスピーカ860,870,880,890は、下げられ、すなわち、それらが、リスナーの位置に関して低い位置になるように配置される。さらなる実施の形態において、リスナーの位置に関して、1つ以上のスピーカが水平に配置され、1つ以上のスピーカが高所に位置され、そして、1つ以上のスピーカが低い位置で配置される。
【0055】
実施の形態において、図6によって例示される実施の形態の装置は、9つの出力チャネルを含む出力信号を生成し、図6の実施の形態の5つの出力チャネルLh,Rh,Ch,LSh,RShを水平に配置されたスピーカ810,820,830,840,850にそれぞれ供給され、そして、図6の実施の形態の4つの出力チャネルLe,Re,LSe,RSeを高所に位置されたスピーカ860,870,880,890にそれぞれ供給される。
【0056】
さらなる実施の形態において、図7によって例示される実施の形態の装置は、9つの出力チャネルを含む出力信号を生成し、図7の実施の形態の5つの出力チャネルL,R,C,LS,RSを水平に配置されたスピーカ810,820,830,840,850にそれぞれ供給され、そして、図7の実施の形態の4つの出力チャネルLe,Re,LSe,RSeを高所に位置されたスピーカ860,870,880,890にそれぞれ供給される。
【0057】
実施の形態において、出力信号を生成するための装置が提案される。出力信号は、少なくとも4つの出力チャネルを有する。さらに、出力信号は、少なくとも2つの入力チャネルを有する入力信号から生成される。装置は、少なくとも2つの入力チャネルから周囲信号グループをともなう少なくとも2つの周囲信号を抽出するように適応される周囲エクストラクタを含む。周囲エクストラクタは、第1の出力チャネルとして直接および周囲信号部分をともなう第1の入力チャネルを第1の水平に配置されたスピーカに供給するように適応される。さらに、周囲エクストラクタは、第2の出力チャネルとして直接および周囲信号部分をともなう第2の入力チャネルを第2の水平に配置されたスピーカに供給するように適応される。さらにまた、装置は、周囲修正ユニットを含む。周囲修正ユニットは、少なくとも第1の修正された周囲信号および第2の修正された周囲信号を得るために、少なくとも2つの周囲信号を修正するように適応される。さらにまた、周囲修正ユニットは、第3の出力チャネルとして第1の修正された周囲信号を第1の高所に位置されたスピーカに供給するように適応される。さらに、周囲修正ユニットは、第4の出力チャネルとして第2の修正された周囲信号を第2の高所に位置されたスピーカに供給するように適応される。さらに、実施の形態において、周囲修正ユニットは、1つ以上の修正された周囲信号を得るために、第1の周囲信号および第2の周囲信号を合成しうる。
【0058】
実施の形態において、複数のスピーカは、モータービークル、たとえば、自動車において配置される。複数のスピーカは、水平に配置されたスピーカおよび高所に位置されたスピーカとして配置される。上述の実施の形態の1つによる装置は、出力チャネルを生成するために使用される。周囲信号のみを含む出力チャネルは、高所に位置されたスピーカに供給される。周囲および直接信号部分を含む合成信号である出力チャネルは、水平に配置されたスピーカに供給される。
【0059】
実施の形態において、1つ、いくつかまたは全ての高所に位置された、および/または水平に配置されたスピーカが傾けられうる。
【0060】
続いて、実施の形態による周囲/直接分解器の可能な構成が述べられる。
【0061】
2つのチャネルを有する入力信号を、2つの周囲および2つの直接信号に分解するために適応されるさまざまな分解器及び分解する方法は、現状技術において公知である。
たとえば、以下を参照にされたい:

C. Avendano and J.-M. Jot, "A frequency-domain approach to multichannel upmix," Journal of the Audio Engineering Society, vol. 52, no. 7/8, pp. 740-749, 2004.

C. Faller, "Multiple-loudspeaker playback of stereo signals," Journal of the Audio Engineering Society, vol. 54, no. 11, pp. 1051-1064, November 2006.

J. Usher and J. Benesty, "Enhancement of spatial sound quality: A new reverberation-extraction audio upmixer," IEEE Transactions on Audio, Speech, and Language Processing, vol. 15, no. 7, pp. 2141-2150, September 2007.
【0062】
以下において、図9図16eに関して、周囲/直接分解器が示され、そして、それは、多くの入力チャネルを周囲および直接信号成分に分解する。
【0063】
図9は、少なくとも3つの入力チャネルの数、または一般的にはn個の入力チャネルを有する入力信号10を分解するための周囲/直接分解器を例示する。これらの入力チャネルは、ダウンミックスされた信号14を得るために入力信号をダウンミックスするためのダウンミキサー12に入力される。ここで、ダウンミキサー12は、「m」によって示されるダウンミックスされた信号14のダウンミックスチャネルの数が少なくとも2つ、および入力信号10の入力チャネルの数よりも少なくなるように、ダウンミックスするために配置される。m個のダウンミックスチャネルは、解析結果18を導出するために、ダウンミックスされた信号を解析するためのアナライザ16に入力される。解析結果18は、信号プロセッサ20に入力され、信号プロセッサは、解析結果を用いて、入力信号10、または、信号導出器22によって入力信号から導出された信号を処理するために配置され、信号プロセッサ20は、分解された信号26を得るために、入力チャネルまたは入力信号から導出された信号24のチャネルの解析結果を適用するために構成される。
【0064】
図9において、入力信号ではなく導出された信号が信号プロセッサによって処理された場合、入力チャネルの数はnであり、ダウンミックスチャネルの数はmであり、導出されたチャネルの数はLであり、そして、出力チャネルの数はLに等しい。あるいは、信号導出器22が存在しない場合、そのとき、入力信号は、信号プロセッサによって直接的に処理され、そして、それから、図9における「L」によって示される分解された信号26がnと等しくなる。従って、図9は、2つの異なる例を例示している。1つの例は、信号導出器22を有さず、そして、入力信号は、信号プロセッサ20に直接的に適用される。他の例は、信号導出器22が実装され、それから、入力信号10ではなく導出された信号24が信号プロセッサ20によって処理されるというものである。信号導出器は、たとえば、より多くの出力チャネルを生成するためのアップミキサーのような音声チャネルミキサーでありうる。この場合、Lは、nより大きくなる。他の実施の形態において、信号導出器は、入力チャネルに対して、重み付け、遅延、またはその他の何かを実行する他の音声プロセッサであり、この場合、信号導出器22の出力チャネルの数Lは、入力チャネルのnの数に等しくなる。さらなる実装において、信号導出器は、入力信号から導出された信号にチャネルの数を減らすダウンミキサーでありうる。この実装において、Lの数は、ダウンミックスされたチャネルのmの数よりも大きいことが好ましい。
【0065】
アナライザは、知覚的に異なった成分に関してダウンミックスされた信号を解析するために作動している。これらの知覚的な異なった成分は、個々のチャネルにおいて、一方においては独立成分であり、他方においては従属成分である。あるいは、解析される信号成分は、一方においては直接成分であり、他方においては周囲成分である。たとえば、音楽成分から音声成分、音声成分からノイズ成分、音楽成分からノイズ成分、低い周波数ノイズ成分に関して高い周波数ノイズを分離されうる多くの他の成分があり、複数の音の高さの信号において、成分は、異なる機器等によって提供される。
【0066】
図10は、周囲/直接分離器の他の態様を例示する。ここで、アナライザは、予め算出された周波数依存相関曲線16を使用するために実装される。このように、周囲/直接分解器28は、たとえば、図9に照らして例示されるようにダウンミックスする動作によって、入力信号または入力信号に関して一致している解析信号の2つのチャネルの間の相関を解析するためのアナライザ16を含む。アナライザ16によって解析された解析信号は、少なくとも2つの解析チャネルを有し、アナライザ16は、解析結果18を決定するために基準曲線として予め算出された周波数依存相関曲線を使用するために構成される。信号プロセッサ20は図9に照らして議論されるように、同じ方法で動作し、解析された信号、または信号導出器22によって解析信号から導出された信号を処理するために構成される。信号導出器22は、図9の信号導出器22に照らして議論されるのと同様に実装されうる。あるいは、信号プロセッサは、解析信号が導出された信号を処理することができ、そして、信号処理は、分解された信号を得るために、解析結果を使用する。従って、図10における実施の形態において、入力信号は、解析信号と一致し、この場合、解析信号は、図10において例示されるように、ちょうど2つのチャネルを有するステレオ信号でもありうる。あるいは、解析信号は、図9に照らして記載されるようなダウンミックスのようなどのような処理によっても、またはアップミックス等のようないくつかの他の処理によって、入力信号から導出されうる。加えて、信号プロセッサ20は、アナライザに入力されるような同じ信号に信号処理を適用するのに役立ち、または、信号プロセッサは、図9に照らして示されるように導出された解析信号からの信号に信号処理を適用でき、または、信号プロセッサは、アップミックス等によって、解析信号から導出された信号に信号処理を適用しうる。
【0067】
従って、異なる可能性が信号プロセッサのために存在し、そして、これらの可能性の全ては、解析結果を決定するための基準曲線として、予め算出された周波数依存相関曲線を使用するアナライザの特有の動作のために有利である。
【0068】
続いて、さらなる実施の形態が議論される。図10において議論されるように、(ダウンミックスなしで)2つのチャネルの解析信号の使用さえ、考慮される点に留意する必要がある。図9および図10に照らして異なる態様において議論されるように、一緒に、または分離した態様で使用され、ダウンミックスは、アナライザによって処理され、または、ダウンミックスによっておそらく生成されない2つのチャネル信号は、予め算出された基準曲線を使用して単一のアナライザによって処理されうる。これに関連して、特定の特徴が、両方ではなく1つの態様に対してのみ記載される場合、実施の態様の次の説明が、図9および図10において略図で例示される両方の態様に適用されうる。たとえば、図11が考慮される場合、図11の周波数−時間特徴が、図9において例示される態様に照らして記載されることが明らかになり、一方、図11に関して続いて記載される時間/周波数変換および逆変換も、ダウンミキサーを有さない図10において実装されるように適用されるが、予め算出された周波数依存相関曲線を使用した特定のアナライザを有する。
【0069】
特に、解析信号がアナライザに入力される前に、時間/周波数変換器は、解析信号に変換するために配置され、そして、周波数/時間変換器は、処理された信号を時間領域に変換するために、信号プロセッサにおいて配置される。信号導出器が存在する場合、信号導出器、アナライザおよび信号プロセッサが、周波数/サブバンド領域においてすべて作動するように、時間/周波数変換器は、信号導出器の入力において配置されうる。これに関連して、周波数およびサブバンドは、基本的に、周波数表現の周波数における部分を意味する。
【0070】
図9におけるアナライザは、多くの異なる方法で実装されうることは、さらに、明らかであるが、このアナライザは、1つの実施の形態において、図10において議論されるアナライザ、すなわち、ウィーナーフィルタまたは他のいくつかの解析方法に代わるものとして、予め算出された周波数依存相関曲線を使用するアナライザとして、として実装される。
【0071】
図11において、ダウンミックス操作は、2つのチャネルの表現を得るために、任意の入力信号に適用される。図11において例示されるように、時間−周波数領域における解析が実行され、そして、重みマスクが、入力信号の時間−周波数表現に乗算されるように算出される。
【0072】
図において、T/Fは、時間周波数変換を意味する;一般に、短時間フーリエ変換(STFT)を意味する。iT/Fは、それぞれの逆変換を意味する。
【0073】
【0074】
【0075】
【0076】
【0077】
【0078】
実施の形態において、基準相関において異なる。(本明細書全体にわたって、相関という用語は、内部チャネルの類似性のための同義語として使用され、このように、たいてい、干渉性という用語が使用される時間シフトの評価も含む。)
【0079】
類似性という用語は、相関性および干渉性を含む。ここで、数学的に厳密には、相関性は、さらなる時間シフトのない2つの信号の間において算出される。そして、干渉性は、信号が最大の相関を有するように、時間/位相において2つの信号のシフトによって算出され、そのとき、周波数の上の実際の相関は、適用される時間/位相によって算出される。本明細書において、類似性、相関性および干渉性は、同じ、すなわち、2つの信号の間の類似点の定量的な度合いであり、たとえば、類似性のより高い絶対値は、2つの信号がより類似していることを意味し、類似性のより低い絶対値は、2つの信号があまり類似していないことを意味する。
【0080】
【0081】
基準曲線は、異なる方法で定義され、たとえば、以下のとおりである。
・独立成分からなる理想化された2または3次元の拡散音場に対する理想の理論基準曲線
・所与の入力信号に対する基準ターゲットスピーカのセットアップをともなう達成可能な理想の曲線(たとえば、アジマス角(±30°)をともなう標準のステレオのセットアップ、またはアジマス角(0°,±30°,±110°)をともなうITU−R BS.775による標準の5チャネルのセットアップ)
・実際の現在のスピーカのセットアップに対する理想の曲線(実際の位置は、ユーザ入力によって測定されるか、既知でありうる。基準曲線は、所与のスピーカ上での独立信号の再生を仮定して算出されうる。)
・各入力チャネルの実際の周波数依存の短時間のパワーは、基準の算出において組み込まれる。
【0082】
【0083】
基準曲線から実際の曲線の偏差が、閾値によって与えられる境界の範囲内にある場合、実際のビンは、独立成分を示している重みを得る。上限の閾値を超えて、または下限の閾値より下位で、ビンは、依存するように示される。この表示は、2進法、または段階的(すなわち、軟判定関数)でありうる。特に、上限のおよび下限の閾値が基準曲線と一致する場合、適用される重みは、基準曲線からの偏差に直接関連がある。
【0084】
図11に関して、参照番号32は、短時間フーリエ変換またはQMFフィルターバンクのようなサブバンド信号を生成しているいくつかの種類のフィルターバンクとして実装されうる時間/周波数変換器を例示する。時間/周波数変換器32の詳細な実装とは独立して、時間/周波数変換器の出力は、各入力チャネルxiに対して、入力信号の各時間周期のためのスペクトルである。従って、時間/周波数プロセッサ32は、個々のチャネル信号の入力サンプルのブロックを常に取得し、そして、低周波数から高周波数まで伸びているスペクトル線を有するFFTスペクトルのような周波数表現を算出するために実装される。それから、時間の次のブロックに対して、結局、短時間スペクトルのシーケンスは、各入力チャネル信号に対して算出されるように、同じ手順が実行される。入力チャネルの入力サンプルの特定のブロックに関する特定のスペクトルの特定の周波数範囲が、「時間/周波数タイル」であると言われ、おそらく、アナライザ16における解析は、これらの時間/周波数タイルに基づいて実行される。従って、1つの時間/周波数タイルに対する入力として、アナライザは、第1のダウンミックスチャネルD1の入力サンプルの特定のブロックに対する第1の周波数でのスペクトル値を受信し、第2のダウンミックスチャネルD2の同じ周波数および同じブロック(時間において)に対する値を受信する。
【0085】
それから、たとえば、図15において例示されるように、アナライザ16は、サブバンドおよび時間ブロックにつき、2つの入力チャネルの間の相関値、すなわち、時間/周波数タイルの相関値を決定する(80)ために構成される。図10または図12に関連して例示される実施の形態において、アナライザ16は、基準相関曲線から対応するサブバンドに対して相関値(82)を取り出す。たとえば、サブバンドは、図12において、40で示されるサブバンドであり、そして、ステップ82は、−1と+1との間における相関を示す値41を結果として得て、そして、値41は、そのとき、取り出された相関値である。それから、ステップ83において、ステップ80から決定された相関値およびステップ82において得られた取り出された相関値41を使用するサブバンドに対する結果は、比較および次の決定を実行することによって実行されるか、または、実際の差を算出することによって行われる。前に述べたように、バイナリは、ダウンミックス/解析信号において考慮される実際の時間/周波数タイルが独立成分を有することを結果として得る。(ステップ80において)実際に決定された相関値が基準相関値に等しいか、または基準相関値に非常に近い場合、この決定がされる。
【0086】
しかしながら、決定された相関値が基準相関値より高い絶対的な相関を示すことが決定された場合、そのとき、この考慮に基づく時間/周波数タイルは、従属成分を含むことの決定がされる。従って、ダウンミックスまたは解析信号の時間/周波数タイルの相関が基準曲線よりも高い絶対的な相関値を示す場合、そのとき、この時間/周波数タイルの成分は、互いに依存していることが言える。しかしながら、相関は、基準曲線に非常に近いことが示される場合、そのとき、成分は、独立していることが言える。従属成分は、1のような第1の重み値を受信することができ、そして、独立成分は、0のような第2の重み値を受信することができる。好ましくは、図12において例示されるように、基準線から相隔たる高い閾値および低い閾値は、単独で基準曲線を使用することより、よりよい結果を提供するために使用される。
【0087】
さらに、図12に関して、相関が、−1と+1との間で変化しうる点に留意されたい。加えて、マイナスを有する相関は、信号の間において180°の位相シフトを示す。従って、0と1との間に伸びているだけの他の相関は、相関の負の部分が単に正にされるように、同様に適用されうる。
【0088】
結果を算出する別の方法は、ブロック80において決定された相関値とブロック82において得られる取り出された相関値との間における距離を実際に算出し、そして、距離に基づく重み係数として、0と1との間における距離(メトリック)を決定することである。図15における第1の選択肢(1)は、0または1の値のみを結果として得て、0と1との間の値を結果として得る可能性(2)は、いくつかの実装においてより好ましい。
【0089】
図11における信号プロセッサ20は、乗算器として例示され、解析結果は、図15における84において例示されるように、アナライザから信号プロセッサに送り届けられる、ちょうど決定された重み係数であり、そして、入力信号10の対応している時間/周波数タイルに適用される。たとえば、実際に考慮されたスペクトルが、スペクトルシーケンスにおける第20のスペクトルである場合、そして、実際に考慮された周波数が、この第20のスペクトルの第5の周波数ビンである場合、そのとき、時間/周波数タイルは、(20,5)のように示され、第1の数は、時間におけるブロックの数を示し、第2の数は、このスペクトルにおける周波数ビンを示す。図9において例示される信号導出器が実装される場合、それから、時間/周波数タイル(20,5)に対する解析結果は、図11における入力信号の各チャネルの対応する時間/周波数タイル(20,5)か、または、導出された信号の各チャネルの対応する時間/周波数タイルに適用される。
【0090】
続いて、基準曲線の算出が詳細に述べられる。しかしながら、本発明に対して、どのように基準曲線が導出されたかは基本的に重要でない。それは、ダウンミックス信号Dにおける入力信号xjの理想的なまたは所望の関係を示しているルックアップテーブルにおける、または、たとえば、解析信号における図10との関係における任意の曲線または値でありうる。以下の導出は、例である。
【0091】
【0092】
【0093】
【0094】
音圧測定の1つが、周波数独立時間差によって前進するかまたは遅延する場合、信号の干渉性が評価されうる。人間の聴覚系は、時間的整合特性を使用することができる。通常、両耳間の干渉性は、±1msの範囲内で算出される。利用できる処理パワーに依存して、算出は、(低い複雑さに対して)遅延がゼロの値のみ、または、(高い複雑さが可能である場合)時間前進および遅延を有する干渉性を使用して実装されうる。この明細書の全体にわたって、区別が、両方のケースの間においてなされるというわけではない。
【0095】
理想的な挙動は、理想的な拡散音場を考慮して達成され、そして、それは全方向(すなわち、ランダムな位相関係および一様な分布加重伝搬の方向を有する平面波を伝搬する無限数の重ね合わせ)における、等しく強い、無相関の平面波の伝搬性からなる波場として理想化されうる。スピーカによって放射される信号は、十分に遠くに配置されるリスナーのための平面波とみなされうる。この平面波の仮定は、スピーカ上のステレオ再生において一般的である。このように、スピーカによって再生される合成音響場は、限られた数の方向から平面波を寄与することにより構成される。
【0096】
【0097】
周波数依存基準曲線または相関曲線に対する例としての異なる基準曲線は、図(IC=両耳間の干渉性)において示されるように、音源の異なる位置および異なる頭部方位における音源の異なる数に対して図16a〜図16eにおいて例示される。
【0098】
続いて、基準曲線に基づく図15に照らして述べられるような解析結果の算出が、詳細に述べられる。
【0099】
ダウンミックスチャネルの相関が、全てのスピーカから再生される独立信号の仮定において、算出された基準相関に等しい場合、目的は、1に等しい重みを導出することである。ダウンミックスの相関が、+1または−1に等しい場合、導出された重みは0でなければならず、独立成分が存在しないことを示す。それらの極端なケースの間において、重みは、独立(W=1)または完全に依存している(W=0)としての指示の間において、合理的な移行を表すべきである。
【0100】
【0101】
以下の例は、閾値が基準曲線と一致する場合、可能なマッピングを例示する。
【0102】
【0103】
【0104】
【0105】
【0106】
そのような処理は、より短いインパルス応答を有するフィルタを得るために計算の複雑性の理由で知覚的に動機付けされたサブバンドに分類される周波数係数を有する周波数分解において実行されうる。さらにまた、平滑化フィルタが適用され、圧縮機能(すなわち、所望の傾向の重みを歪め、加えて、最小および/または最大の重み値を導入する)が適用されうる。
【0107】
図13は、例示されるように、HRTFおよび聴覚フィルタを使用して実装されるダウンミキサーを含むさらなる実施の形態を例示する。さらに、図13は、加えて、アナライザ16によって出力された解析結果は、各時間/周波数ビンに対する重み係数であり、そして、信号プロセッサ20は、独立成分を抽出するためのエクストラクタとして例示される。それから、プロセッサ20の出力は、再び、N個のチャネルであり、一方、各チャネルは、現在独立成分を含み、もはや従属成分は含まない。この実施の形態において、図15の最初の実施において、独立成分が1の重み値を受信し、従属成分が0の重み値を受信するように、アナライザは、重みを算出する。それから、プロセッサ20によって処理された元のN個のチャネルにおける時間/周波数タイルは、0にセットされた従属成分を有する。
【0108】
図15における0と1との間において、重み値がある他の変形例において、基準曲線まで小さい距離を有する時間/周波数タイルは、高い値(より1まで近い)を受信し、そして、基準曲線まで大きな距離を有する時間/周波数タイルは、小さい重み係数(0により近い)を受信するように、アナライザは重みを受信する。次に例示される重みにおいて、たとえば、図11における20において、従属成分が低減される一方、独立成分は、それから、増幅される。
【0109】
重みが、図11において例示される乗算器20において実行される場合、独立成分が低減され、従属成分が増幅されるように、しかしながら、信号プロセッサ20は、独立成分を抽出しないで、従属成分を抽出するために実装される場合、そのとき、重みは、反対に割り当てられる。従って、実際に抽出された信号成分の決定が、重み値の実際の割り当てによって決定されるので、各信号プロセッサは、信号成分を抽出するために適用されうる。
【0110】
図14は、一般的な概念の変形例を表す。N個のチャネルの入力信号が、解析信号発生器(ASG)に供給される。M個のチャネル解析信号の生成は、たとえば、チャネル/スピーカから耳への伝搬モデル、または本明細書の全体にわたるダウンミックスとして記載される他の方法を含みうる。明確な成分の表示は、解析信号に基づく。異なる成分を示しているマスクは、入力信号(A抽出/D抽出(20a,20b))に適用される。重み付けされた入力信号は、特有の特徴をともなう出力信号をもたらすために、さらに処理(Aポスト/Dポスト(70a,70b))されうる。ここで、この実施の形態において、指示子「A」および「D」は、抽出される成分が「周囲」および「直接音」であることを示すために選択されている。
【0111】
若干の態様が、装置に関連して記載されているが、これらの形態は対応する方法の記載も表すことは明らかである。ここで、1ブロックまたはデバイスは、方法ステップまたは方法ステップの特徴に対応する。類似して、方法ステップに関連して記載されている形態は、対応するブロックまたは項目または対応する装置の特徴の説明を表す。
【0112】
発明の分解された信号は、たとえば、インターネットのような無線伝送媒体または有線伝送媒体であるデジタル記憶媒体に保存されることができるかまたは伝送媒体上に送られうる。
【0113】
特定の実現要求に応じて、本発明の実施の形態は、ハードウェアにおいて、または、ソフトウェアにおいて、実行されうる。その実現態様は、それぞれの方法が実行されるように、プログラミング可能なコンピュータシステムと協働するか(または、協働することができる)、そこに格納された電子的に読み込み可能な制御信号を有するデジタル記憶媒体、たとえば、フロッピー(登録商標)ディスク、DVD、CD、ROM、PROM、EPROM、EEPROM、またはFLASHメモリを使用して実行されうる。
【0114】
本発明による若干の実施の形態は、本願明細書において記載される方法のうちの1つが実行されるように、プログラミング可能なコンピュータシステムと協働することができる電子的に読み込み可能な信号を有する持続性のあるデータキャリアを含む。
【0115】
通常、本発明の実施の形態は、プログラム・コードを有するコンピュータ・プログラム製品として実施され、コンピュータ・プログラム製品がコンピュータ上で実行する場合、プログラム・コードは、方法のうちの1つを実行するために作動される。プログラム・コードは、機械可読キャリアに、たとえば、格納されうる。
【0116】
他の実施の形態は、機械可読キャリアに格納され、本願明細書において記載される方法のうちの1つを実行するためのコンピュータ・プログラムを含む。
【0117】
換言すれば、従って、コンピュータ・プログラムがコンピュータ上で実行する場合、本発明の方法の実施の形態は、本願明細書において記載される方法のうちの1つを実行するためのプログラム・コードを有するコンピュータ・プログラムである。
【0118】
従って、本発明の方法の更なる実施の形態は、その上に記録され、本願明細書において記載される方法のうちの1つを実行するためのコンピュータ・プログラムを含むデータキャリア(または、デジタル記憶媒体、またはコンピュータ可読媒体)である。
【0119】
従って、本発明の方法の更なる実施の形態は、本願明細書において記載される方法のうちの1つを実行するためのコンピュータ・プログラムを表しているデータストリームまたは一連の信号である。たとえば、データストリームまたは一連の信号は、データ通信接続、たとえば、インターネットを介して転送されるように構成されうる。
【0120】
更なる実施の形態は、本願明細書において記載される方法のうちの1つを実行するために構成され、または適応される処理手段、たとえば、コンピュータ、またはプログラミング可能な論理回路を含む。
【0121】
更なる実施の形態は、その上にインストールされ、本願明細書において記載される方法のうちの1つを実行するためのコンピュータ・プログラムを有するコンピュータを含む。
【0122】
いくつかの実施の形態において、プログラミング可能な論理回路(たとえば、現場でプログラム可能なゲートアレイ(Field Programmable Gate Array))が、本願明細書において記載されるいくつかまたは全ての機能を実行するために使用されうる。いくつかの実施の形態において、現場でプログラム可能なゲートアレイは、本願明細書において記載される方法の1つを実行するために、マイクロプロセッサと協働しうる。一般に、方法は、いくつかのハードウェア装置によって、好ましくは実行される。
【0123】
上述した実施の形態は、本発明の原理の例を表すだけである。本願明細書において記載される装置の修正および変更は、他の当業者にとって明らかであるものと理解される。従って、間近に迫った特許請求の範囲だけによってのみ制限され、ならびに、本願発明の記述および説明によって表された明細書の詳細な記載によっては、制限されない。
図1
図2
図3
図4
図5
図6
図7
図8
図9
図10
図11
図12
図13
図14
図15
図16a
図16b
図16c
図16d
図16e