(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公表特許公報(A)
(11)【公表番号】特表2017-537574(P2017-537574A)
(43)【公表日】2017年12月14日
(54)【発明の名称】オーディオソース信号に基づいて出力信号を生成する装置及び方法、音響再生システム及びラウドスピーカ信号
(51)【国際特許分類】
H04S 7/00 20060101AFI20171117BHJP
G10K 15/12 20060101ALI20171117BHJP
【FI】
H04S7/00 350
G10K15/00 B
【審査請求】有
【予備審査請求】未請求
【全頁数】38
(21)【出願番号】特願2017-542298(P2017-542298)
(86)(22)【出願日】2015年10月29日
(85)【翻訳文提出日】2017年5月30日
(86)【国際出願番号】EP2015075141
(87)【国際公開番号】WO2016071206
(87)【国際公開日】20160512
(31)【優先権主張番号】14192213.8
(32)【優先日】2014年11月7日
(33)【優先権主張国】EP
(81)【指定国】
AP(BW,GH,GM,KE,LR,LS,MW,MZ,NA,RW,SD,SL,ST,SZ,TZ,UG,ZM,ZW),EA(AM,AZ,BY,KG,KZ,RU,TJ,TM),EP(AL,AT,BE,BG,CH,CY,CZ,DE,DK,EE,ES,FI,FR,GB,GR,HR,HU,IE,IS,IT,LT,LU,LV,MC,MK,MT,NL,NO,PL,PT,RO,RS,SE,SI,SK,SM,TR),OA(BF,BJ,CF,CG,CI,CM,GA,GN,GQ,GW,KM,ML,MR,NE,SN,TD,TG),AE,AG,AL,AM,AO,AT,AU,AZ,BA,BB,BG,BH,BN,BR,BW,BY,BZ,CA,CH,CL,CN,CO,CR,CU,CZ,DE,DK,DM,DO,DZ,EC,EE,EG,ES,FI,GB,GD,GE,GH,GM,GT,HN,HR,HU,ID,IL,IN,IR,IS,JP,KE,KG,KN,KP,KR,KZ,LA,LC,LK,LR,LS,LU,LY,MA,MD,ME,MG,MK,MN,MW,MX,MY,MZ,NA,NG,NI,NO,NZ,OM,PA,PE,PG,PH,PL,PT,QA,RO,RS,RU,RW,SA,SC,SD,SE,SG,SK,SL,SM,ST,SV,SY,TH,TJ,TM,TN,TR,TT,TZ,UA,UG,US
(71)【出願人】
【識別番号】500341779
【氏名又は名称】フラウンホーファー−ゲゼルシャフト・ツール・フェルデルング・デル・アンゲヴァンテン・フォルシュング・アインゲトラーゲネル・フェライン
(74)【代理人】
【識別番号】100085497
【弁理士】
【氏名又は名称】筒井 秀隆
(72)【発明者】
【氏名】シュレッヒト,ゼバスチャン
(72)【発明者】
【氏名】ジルツレ,アンドレアス
(72)【発明者】
【氏名】ハベッツ,エマニュエル
(72)【発明者】
【氏名】ボルス,クリスチャン
(72)【発明者】
【氏名】ノイゲバウエル,ベルンハルト
(72)【発明者】
【氏名】シュテンツェル,ハンネ
【テーマコード(参考)】
5D162
5D208
【Fターム(参考)】
5D162AA06
5D162BA07
5D162CA22
5D162CC36
5D162CC37
5D162DA22
5D162EG07
5D208AA08
5D208AB08
(57)【要約】
少なくとも1つのオーディオソース信号に基づいて第1多数の出力信号を生成する装置は、遅延ネットワークとフィードバック処理部とを有する。遅延ネットワークは第2多数の遅延経路を有し、各遅延経路は1つの遅延ラインと1つの減衰フィルタとを有する。各遅延ラインは、遅延ライン入力信号を遅延させ、かつ少なくとも1つのオーディオソース信号と残響されたオーディオ信号とを結合して、結合済み信号を得る。遅延経路の減衰フィルタは、遅延経路の遅延ラインからの結合済み信号をフィルタリングして出力信号を得る。第1多数の出力信号は出力信号を含む。フィードバック処理部は、第1多数の出力信号を残響させ、残響されたオーディオ信号を含む第3多数の残響されたオーディオ信号を得るよう構成される。
【選択図】 図2
【特許請求の範囲】
【請求項1】
少なくとも1つのオーディオソース信号(104a,104b)に基づいて第1多数の出力信号(102a−d)を生成する装置(100;200)であって、この装置は、
第2多数の遅延経路(106a−d)を有する遅延ネットワーク(202)であって、各遅延経路(106a−d)は1つの遅延ライン(108a−d)と1つの減衰フィルタ(112a−d)とを有し、各遅延ライン(108a−d)は、遅延ライン入力信号(104a−b,104a'',104b'',114a−d)を遅延させ、かつ少なくとも1つのオーディオソース信号(104a−b,104a'',104b'')と残響されたオーディオ信号(114a−d)とを結合して、結合済み信号(116)を得るよう構成され、遅延経路(106a−d)の減衰フィルタ(112a−d)は、前記遅延経路(106a−d)の前記遅延ライン(108a−d)からの結合済み信号(116)をフィルタリングして出力信号(102a−d)を得るよう構成され、前記第1多数の出力信号は前記出力信号(102a−d)を含む、遅延ネットワーク(202)と、
前記第1多数の出力信号(102a−d)を残響させ、前記残響されたオーディオ信号を含む第3多数の残響されたオーディオ信号(114a−d)を得るよう構成された、フィードバック処理部(120)と、
を備える装置。
【請求項2】
少なくとも1つのオーディオソース信号(104a−d)に基づいて第4多数のラウドスピーカ信号(144a−d)を生成する装置(200)であって、この装置は、
第2多数の遅延経路(106a−d)を有する遅延ネットワーク(202)であって、各遅延経路(106a−d)は1つの遅延ライン(108a−d)と1つの減衰フィルタ(112a−d)とを有し、各遅延ライン(108a−d)は、遅延ライン入力信号(104a−b,104a'',104b'',114a−d)を遅延させ、かつ少なくとも1つのオーディオソース信号(104a−b,104a'',104b'')と残響されたオーディオ信号(114a−d)とを結合して、結合済み信号(116)を得るよう構成され、遅延経路(106a−d)の減衰フィルタ(112a−d)は、前記遅延経路(106a−d)の前記遅延ライン(108a−d)からの結合済み信号(116)をフィルタリングして出力信号(102a−d)を得るよう構成され、前記第1多数の出力信号は前記出力信号(102a−d)を含む、遅延ネットワーク(202)と、
前記第1多数の出力信号(102a−d)を残響させ、前記残響されたオーディオ信号を含む第3多数の残響されたオーディオ信号(114a−d)を得るよう構成された、フィードバック処理部(120)と、を備え、
前記遅延ネットワーク(202)は、前記第1多数の出力信号(102a−d)又は中間遅延ライン信号(308a−c)をスペクトル的に整形して、前記第4多数のラウドスピーカ信号(144a−d)を得るよう構成された、第5多数のイコライゼーションフィルタ(142a−d)を有し、前記中間遅延ライン信号(308a−c)は前記遅延ライン(108a−d)の出力タップ(306a−c)から受信される、
装置。
【請求項3】
請求項1又は2に記載の装置において、
前記第1多数、前記第2多数、前記第3多数及びイコライゼーションフィルタ(142a−d)の第5多数の数は等しい、装置。
【請求項4】
請求項2又は3に記載の装置において、前記遅延ライン(108a−d)は仮想再生室(130)における反射音のリスニング位置に対する到来方向に関連しており、前記イコライゼーションフィルタ(142a−d)のフィルタパラメータは前記到来方向に基づいて適応される、装置。
【請求項5】
請求項1乃至4のいずれか一項に記載の装置において、前記結合済み信号(116)はオーディオソース信号(104a−b)部分と残響された信号(114)部分とを有し、前記遅延ライン(108a−d)は前記オーディオソース信号(104a−b)又は前記オーディオソース信号の重み付きバージョン(104a'',104b'')を受信するよう構成された第6多数の入力タップ(302a−d)を有し、前記装置(100)は、仮想再生室(130)内の仮想音源の第1位置に基づいて、前記オーディオソース信号(104a−b)又は前記オーディオソース信号の重み付きバージョン(104a'',104b'')と前記第6多数の入力タップ(302a−d)の1つとを接続する一方で、前記オーディオソース信号(104a−b)又は前記オーディオソース信号の重み付きバージョン(104a'',104b'')を前記第6多数の入力タップ(103a−d)の異なる入力タップへと接続しないよう構成された、入力コントローラ(140)を有し、前記入力コントローラ(140)は、前記第1位置とは異なる前記仮想音源の第2位置に基づいて、前記オーディオソース信号(104a−b)又は前記オーディオソース信号の重み付きバージョン(104a'',104b'')を前記第6多数の入力タップ(302a−d)の前記1つから切り離すよう構成される、装置。
【請求項6】
請求項1乃至5のいずれか一項に記載の装置において、前記結合済み信号(116)はオーディオソース信号部分(104a−b)と残響された信号(114)部分とを有し、前記遅延ライン(108a−d)は前記結合済み信号(116)又は中間遅延ライン信号(308a−c)を提供するよう構成された第7多数の出力タップ(308a−c)を有し、前記装置(100)は、仮想再生室(130)の第1の反射特性に基づいて、イコライゼーションフィルタ(142a−d)を出力信号(102a−d)又は前記第7多数の出力タップ(308a−c)の1つへと接続し、かつ前記第7多数の出力タップ(308a−c)の異なる出力タップを前記イコライゼーションフィルタ(142a−d)へと接続しないよう構成された、出力コントローラ(170)を有し、前記出力コントローラ(170)は、前記第1の特性とは異なる前記仮想再生室(130)の第2の反射特性に基づいて、前記イコライゼーションフィルタ(142a−d)を前記出力信号(102a−d)又は前記中間遅延ライン信号(308a−c)から切り離すよう構成される、装置。
【請求項7】
請求項1乃至6のいずれか一項に記載の装置において、前記オーディオソース信号(104a,104b)をその幾つかのバージョン(104a',104b’)へと分配するよう構成された分配部(118a,118b)をさらに備え、前記バージョンの数は少なくとも前記第2多数の遅延経路(106a−d)の数であり、前記オーディオソース信号(104a,104b)の前記バージョン(104a',104b’)は、互いに対して前記第2多数の遅延経路(106a−d)の最大時間遅延のせいぜい20%の遅延を有する、装置。
【請求項8】
請求項6に記載の装置において、前記分配部(118a,118b)は、前記オーディオソース信号(104a,104b)の前記バージョン(104a',104b’)を重み付けし、前記オーディオソース信号(104a,104b)の重み付きバージョン(104a'',104b'’)を取得するよう構成された、第8多数の増幅器(122)をさらに有し、前記オーディオソース信号(104a,104b)の重み付きバージョン(104a'',104b'’)は、仮想ラウドスピーカ(132a−d)を有する仮想再生室(130)内の仮想音源のオーディオ信号と関連しており、前記第8多数の増幅器(122)の1つの増幅器(122)のゲインファクタは、前記仮想再生室(130)内のオーディオソースの反射特性と関連している、装置。
【請求項9】
請求項1乃至8のいずれか一項に記載の装置において、
前記減衰フィルタ(112a−d)は第9多数のフィルタ係数(α0−αn,β1−βn)を有し、
前記遅延経路(106a−d)は、仮想の音響伝播特性と音反射構造とを有する仮想再生室(130)における仮想ラウドスピーカ(132a−d)の仮想位置と関連しており、
前記フィルタ係数(α0−αn,β1−βn)は、前記オーディオソース信号が残響される前記仮想再生室(130)の残響時間と関係している、装置。
【請求項10】
請求項1乃至8のいずれか一項に記載の装置において、
前記減衰フィルタ(112a−d)は第9多数のフィルタ係数(α0−αn,β1−βn)を有し、
前記遅延経路(106a−d)は、仮想の音響伝播特性と音反射構造とを有する仮想再生室(130)における仮想ラウドスピーカ(132a−d)の仮想位置と関連しており、
前記結合済み信号(116)は、前記仮想再生室(130)において反射され又は残響された反射されたオーディオ信号又は残響されたオーディオ信号の方向性情報を有し、
前記遅延ライン(108a−d)によって前記オーディオソース信号(104a,104b)が遅延された遅延時間は、仮想ラウドスピーカ(132a−d)と前記仮想再生室(130)の音反射構造との間の距離に関係しており、
前記フィルタ係数(α0−αn,β1−βn)は、前記仮想再生室(130)の残響時間及び拡散特性又は音到来方向に関係している、装置。
【請求項11】
請求項1乃至10のいずれか一項に記載の装置において、前記フィードバック処理部(120)は、前記第1多数の出力信号(102a−d)を結合して、第3多数の残響されたオーディオ信号(114a−d)を得るよう構成され、前記フィードバック処理部(120)は残響パラメータ(α11−α44)に基づいて前記第1多数の出力信号(102a−d)を結合するよう構成され、前記残響パラメータは仮想音源を有する仮想再生室(130)の反射特性と関係しており、前記仮想音源は前記オーディオソース信号(104a,104b)と関連しており、前記残響特性は前記仮想再生室(130)における前記仮想音源の位置には依存しない、装置。
【請求項12】
請求項11に記載の装置において、前記パラメータ(α
11−α
44)は前記仮想再生室(130)の複数のサブ室(136a,136b)と関係しており、前記残響パラメータ(α
11−α
44)は次式に基づく行列表記法で表現可能であり、
【数1】
ここで、U
1は第1サブ室(136a)の残響パラメータを示し、U
2は第2サブ室(136b)の残響特性を示し、V
1は前記第1サブ室(136a)から前記第2サブ室(136b)への連結パラメータを示し、V
2は前記第2サブ室(136b)から前記第1サブ室(136a)への連結パラメータを示す、
装置。
【請求項13】
請求項11又は12に記載の装置において、前記減衰フィルタ(112a−d)は無限インパルス応答構造を有し、前記無限インパルス応答構造のフィルタパラメータ(α0−αn,β1−βn)は、前記仮想再生室(130)の第1サブ室(136a)の第1残響特性が前記仮想再生室(130)の第2サブ室(136b)の第2残響特性とは異なるように、適応される、装置。
【請求項14】
請求項1乃至13のいずれか一項に記載の装置において、前記遅延ネットワーク(202)は、前記出力信号(102a−d)、中間遅延ライン信号(308a−c)又は前記結合済み信号(116)をスペクトル的に整形して、仮想再生室(130)の仮想ラウドスピーカ(132a−d)に関係する第4多数のラウドスピーカ信号(144)を得るよう構成された、第5多数のイコライゼーションフィルタ(142a−d)を有し、前記第4多数のラウドスピーカ信号(144a−d)が記憶媒体に格納されるよう構成され、それにより実際の再生室(160)の実際のラウドスピーカ(162a−f)に関連する第10多数の実際のラウドスピーカ信号(152a−f)が、前記第4多数のラウドスピーカ信号(144a−d)を前記第10多数の実際のラウドスピーカ信号(144a−f)へとパニングするよう構成された装置(150)によって取得可能である、装置。
【請求項15】
請求項1乃至14のいずれか一項に記載の装置において、前記遅延ライン(106a−d)は少なくとも2つのオーディオソース信号(104a,104b)と前記残響されたオーディオ信号(114)とを結合するようさらに構成され、前記遅延ライン(106a−d)は、第1時間遅延を第1オーディオソース信号(104a)に適用し、第2時間遅延を第2オーディオソース信号(104b)に適用するよう構成された、装置。
【請求項16】
請求項1乃至15のいずれか一項に記載の装置において、前記第2多数の遅延ラインの1つの遅延ライン(106a−d)は、仮想ラウドスピーカ(132a−d)を有する仮想再生室(130)におけるリスナーの仮想位置(604)に対する仮想ラウドスピーカ(132a−d)の方向に関連しており、前記仮想再生室(130)における仮想ラウドスピーカ(132a−d)の分布は不均一である、装置。
【請求項17】
請求項1乃至16のいずれか一項に記載の装置(100、200)と、
第11多数のラウドスピーカ(162a−f)と、
前記第1多数の出力信号(102a−d)から導出された第4多数のラウドスピーカ信号(144a−d)を受信し、前記第4多数のラウドスピーカ信号(144a−d)を第12多数のパニング済みラウドスピーカ信号(152a−f)へとパニングするよう構成された、パンナー(150)であって、前記第12多数のパニング済みラウドスピーカ信号(152a−f)は前記第11多数のラウドスピーカのラウドスピーカ(162a−f)の数に等しい数のラウドスピーカ信号を有する、パンナーと、を含み、
前記パンナー(150)は、前記第4多数のラウドスピーカ信号(144a−d)をパニングするとき、前記第4多数のラウドスピーカ信号(144a−d)に関連する仮想再生室(130)の音響伝播特性を維持するよう構成された、
音響再生システム(1000)。
【請求項18】
少なくとも1つのオーディオソース信号に基づいて第1多数の出力信号を生成する方法であって、この方法は、
遅延ライン(108a−d)を用いて少なくとも1つのオーディオソース信号(104a、104b)と残響されたオーディオ信号(114)とを遅延させかつ結合して、結合済み信号(116)を得るステップと、
前記遅延ライン(108a−d)からの前記結合済み信号(116)をフィルタリングして、出力信号(102a−d)を得るステップであって、第1多数の出力信号(102a−d)は各遅延経路が1つの遅延ラインを有する第2多数の遅延経路から得られる、ステップと、
前記第1多数の出力信号(102a−d)を残響させて、前記残響されたオーディオ信号を含む第3多数の残響されたオーディオ信号(114a−d)を得るステップと、
を有する方法。
【請求項19】
少なくとも1つのオーディオソース信号に基づいて第4多数のラウドスピーカ信号を生成する方法であって、この方法は、
遅延ラインを用いて少なくとも1つのオーディオソース信号と残響されたオーディオ信号とを遅延させかつ結合して、結合済み信号を得るステップと、
前記遅延ラインからの前記結合済み信号をフィルタリングして、出力信号を得るステップであって、第1多数の出力信号は各遅延経路が1つの遅延ラインを有する第2多数の遅延経路から得られる、ステップと、
前記第1多数の出力信号を残響させて、前記残響されたオーディオ信号を含む第3多数の残響されたオーディオ信号を得るステップと、
前記第1多数の出力信号(102a−d)又は中間遅延ライン信号(308a−c)をスペクトル的に整形して、前記第4多数のラウドスピーカ信号(144a−d)を得るステップであって、前記中間遅延ライン信号(308a−c)は前記遅延ライン(106a−d)の出力タップ(306a−c)から受信される、ステップと、
を有する方法。
【請求項20】
プログラムがコンピュータ上で作動するとき、請求項18又は19に記載の方法を実行する、プログラムコードを有するコンピュータプログラム。
【請求項21】
直接部分(114)とその残響部分(114a−d)とを含むラウドスピーカ信号(144a−d)であって、前記残響部分は、前記ラウドスピーカ信号(144a−d)を仮想的に再生するよう構成された仮想ラウドスピーカ(132a−d)を有する仮想再生室(130)に対する方向性情報を有する、ラウドスピーカ信号(144a−d)。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、少なくとも1つのオーディオソース信号に基づいて出力信号を生成する装置、少なくとも1つのオーディオソース信号に基づいて複数のラウドスピーカ信号を生成する装置、音響再生システム、出力信号を生成する方法及びコンピュータプログラムに関する。本発明はさらに、ラウドスピーカ信号に関し、空間多チャネルパラメトリック残響についての技術
【背景技術】
【0002】
音が部屋の中で放射された場合、その音波は、それが部屋境界で反射されるまで空間を横切って伝播する。反射音は再度反射され、経時的により一層複雑な音波のパターンを含み、いわゆる残響となる。図8は残響の単一チャネル概略表現を示しており、残響は直接音(direct sound)1002、初期反射(early reflections)1004、及び後期残響(late reverberation)1006を含む典型的な室内インパルス応答である。図8の横軸に示されるように、受信位置において、最初に直接音1002が受信者によって受信される。直接音1002は反射せずに受信者へ届く。その後、初期反射1004が受信される。初期反射1004は別個の幾つかの反射からなり、これら反射は経時的に後期残響へと濃縮される。直接音1002と初期反射1004とは、部屋の幾何学的形状に対するソース位置及び受信者位置に特に依存している。後期残響1006における反射は、方向において均等に分散され、ソース位置及び受信者位置への依存性が比較的低い。
【0003】
しかしながら、空間再生において、全ての音は到来方向(DOA)を有し、つまりその音は、方位角と仰角とによって与えられるある角度方向から到来する。より良好な図解のため、図9は二次元における残響の概略空間表現を示す。DOAは直接音1002については明確に知覚され得、主に音源(ソース)定位を決定する。DOAは、部屋の幾何学的形状、音源の空間的深さ、及び角度音源定位の感覚を創造するのに役立つので、初期反射1004にとってもまた重要である。後期残響1006は拡散性であり、明示的なDOAは知覚され得ない。
【0004】
時間tの増加に伴い、横軸で示されるように、受信者は最初に直接音1002を知覚し、次に初期反射1004を知覚して、その後に後期残響1006を知覚する。角度方向は音波の到来方向の方位角であり、方位角はラジアル次元(radial dimension)として表されている。受信者への距離は、到達時間である。点の暗さは反射の知覚レベルを示す。よって、図9は2次元における残響の空間表現を示している。
【0005】
オーディオ・ポストプロダクションの過程で、空間品質を強化するために人工的残響が当該音に付加される。所望の目標は、音楽性の強化、音響デザインの改善から、物理的音響空間の再創造へとわたる。臨場感のある音響空間は、多数のラウドスピーカ、ソース依存性初期反射、及び非相関の後期残響の使用によって創造され得る。この意味において、臨場感のある音響空間は、多数のオーディオソースと多数の出力チャネルとを有する多チャネルと称される。
【0006】
実際の残響アルゴリズムは、一般に2つのカテゴリーの1つに帰結するが、その混成も存在する。
1)入力信号が遅延され、フィルタリングされかつフィードバックされる遅延ネットワーク
2)入力信号が音響空間の記録され又は推定されたインパルス応答と共に単純に畳み込まれる、畳み込み
【0007】
畳み込み型残響器は所与の音響を高い精度で再生するが、高い演算コスト、すなわち労力を必要とする。多チャネル畳み込み型残響器は考案されてきたが、演算コストがソース/チャネルペア数と共に線形的に増大する。
【0008】
低チャネル、すなわちモノラルやステレオの適用例について、多種類のパラメトリック残響器が開発されてきた。しかしながら、これら発展形のいずれもが高度な多チャネル残響器に対して効率的な手法で拡張されてこなかった。特に、それら発展形は、任意なソース入力とラウドスピーカ設定に対処するための柔軟性を欠いている。
【0009】
多くの人工的残響器が近年開発されており、多チャネル残響におけるそれら適用例の概観を以下に説明する。商業的に利用可能な残響器の大多数は、少数の入力チャネルと出力チャネルとを有する。それらは操作性、演算効率性、及び音質の点で高い基準を達成してきた一方で、多数の出力チャネルに対しては能力が低下する。
【0010】
低チャネル残響器を用いて多数のチャネルを達成する一方法は、多数の同様な残響器をインスタンス化(instantiate)することである。これは、メモリ要件を増大させ、演算コストをかなり増大させる。非相関の出力チャネルについて、残響器が異なるようにパラメータ化されるので、それら残響器は別個になり得る。残響器間で信号をクロスフィード処理することで、分離状態で受信され得る残響器の問題を克服することも可能になる。
【0011】
しかしながら、所望のDOAは2つの残響器の出力チャネル間にあり得るので、初期反射のDOAはこの方法では実装できない。結果として、多数の残響器の組合せによって、多数のソースを位置決めする明確な方法はない。さらに、多数のインスタンスについての操作性が悪化し、複雑になり得る。
【0012】
例えば特許文献1に記載されているように、畳み込みベースの残響器は所与の物理的音響空間を高精度で生成できる一方で、それら残響器は、音源と出力チャネルとの増加に伴って、非常に非効率的となる。音源と出力チャネルとの各ペアは別個の畳み込みによって処理される。その結果として、実行されるべき畳み込みの回数は、音源の数と出力チャネルの数との積となる。インパルス応答は取得するのが困難であり、他の室内パラメータのソースと受信者との位置決めにおける柔軟性に欠ける。
【0013】
対照的に、遅延ネットワークベースの残響器は、残響される音の任意の詳細に亘って広い制御を可能にする。また、近年の遅延ネットワーク残響器は、低チャネルアプリケーションにおいて音質の高い標準を達成してきた。現存するアルゴリズムは、高効率で多チャネルオーディオを再生するための一貫した手法については、提供しないか、又は非効率的にしか提供できていない。
【0014】
典型的には、残響音は2つの段階、すなわち図10に示され、特許文献2,3で開示されているように、初期反射及び後期残響において生成される。初期反射1004,1004は、モノラルソース1014a,1014bの遅延(1008a,1008b)されかつ減衰(1012a,1012b)されたコピーである。τ
siと記された遅延ライン1008a,1008bと、b
siと記された出力タップゲイン1012a,1012とパニング1016とは、ソース位置に依存しており、各ソースに対して排他的である。よって、全てのソース1014a、1014bについて、初期反射セクション1018が複製されなければならない。初期反射1004a,1004bの品質を強化するため、それら反射は拡散装置1022によって処理される。拡散部1022は、非鏡面壁反射の効果をエミュレートするために、典型的に全域通過フィルタ又は短い有限インパルス応答(FIR)フィルタとして実装される。拡散部1022とパニング1016のユニットの特殊な順序と配置は変更可能である。例えば、全ての単一の初期反射1004a,1004bの正確なパニングのために、各ソース1014a,1014bについて専用のパニングユニット1016を使用することができ、又は拡散部1022を遅延ライン1008a,1008bのソース入力に直接的に配置することもできる。よって、この特殊な設計は、細かい制御と演算効率との間の妥協点となる。
【0015】
後期残響はフィードバック遅延ネットワーク(FDN)1024によって生成される。FDN1024は、時間にわたる複素エコーパターンを導出するための、τ
1,τ
2,...,τ
Nと記されたN個の遅延ライン1025とフィードバック・ミキシング行列Aとのセットに基づいている。残響時間と拡散はα
1,α
2,...,α
Nと記された減衰フィルタ1026によって制御される。減衰フィルタの構成は、非特許文献1に記載されているような単純な低域通過フィルタから、非特許文献2に記載されているような吸収型全域通過フィルタ(absorbent allpass filters)まで変わり得る。
【0016】
初期反射はFDNループへ供給され、遅延された残響の初期密度が増大する。遅延された残響は、パニングされた初期残響に対してミキシングされ付加される。結果としてのチャネルは再生室1032のラウドスピーカ1028へ供給される。任意選択的に、チャネル依存型イコライゼーションフィルタ(EQ)1034がスペクトル補正とスペクトル依存性周波数応答のためにスピーカチャネルに適用され得る。
【0017】
リスニング位置において、再生室160における全ての出力チャネルは遅延され、合計されて、受信者信号を形成する。よって、従来の設計(prior design)において典型的に実行されているような遅延ライン信号のプレミキシングは、全ての出力チャネルにおけるエコー密度を増大させるが、その室内で知覚されるエコー密度を増大させない。それは、むしろ不快なコヒーレンスや櫛状フィルタアーチファクト(comb-like filter artifacts)を導入しがちになってしまう。アダマール・ミキシング行列(Hadamard mixing matrix)を用いた場合に起こり得る1つの極端な例は、1つの遅延ラインの出力を全ての出力チャネルへ分配することであり、それは位相フリップを持つ多チャネルのモノラル信号を生成する。
【0018】
公知の概念の設計は、空間キューと方向依存性とを含む多チャネル残響音を取り扱う上で、効率的かつ便利な手法を備えていない。さらに、公知の概念では残響器の空間知覚にとって最も重要な初期反射が別個にレンダリングされるので、演算上のコストが嵩んでしまう。
【0019】
現在、多数の異なるマルチスピーカ構成が存在する。そのため、柔軟性のあるスピーカ構成を持つ多チャネル残響器が高度に必要となる。よって、例えば、より柔軟性のあるスピーカ構成を持つ多チャネル残響器、及び/又はその残響音を得るための効率的な方法を可能にするオーディオ再生概念が必要になる。
【先行技術文献】
【特許文献】
【0020】
【特許文献1】[1] S. Diedrichsen, “Methods, modules, and computer-readable recording media for providing a multichannel convolution reverb," 米国特許第8 363 843
【特許文献2】[2] P. S. Anand, "Method and device for artificial reverberation," 米国出願公開第2002067836
【特許文献3】[3] J. M. Jot, “Method and system for artificial specialization of digital audio signals," 米国特許第5491754
【非特許文献】
【0021】
【非特許文献1】[4] J.-M. Jot, “An analysis/synthesis approach to real-time artificial reverberation,” in International Conference on Acoustics, Speech, and Signal Processing, ICASSP-92., vol. 2. IEEE, 1992, pp. 221_224.
【非特許文献2】[5] L. Dahl and J.-M. Jot, “A reverberator based on absorbent all-pass filters,” in Proc. COST G-6 Conference on Digital Audio Effects (DAFX-00), 2000.
【非特許文献3】[6] V. Pulkki, “Virtual sound source positioning using vector base amplitude panning,” Journal of the Audio Engineering Society, vol. 45, no. 6, pp. 456_466, 1997.
【発明の概要】
【発明が解決しようとする課題】
【0022】
本発明の目的は、残響された信号を得るためのより効率的な装置及びより柔軟性のある音響再生システムの概念を提供することである。
【0023】
本発明のさらなる有利な変形例は、従属項の主題である。
【課題を解決するための手段】
【0024】
少なくとも1つのオーディオソース信号に基づいて第1多数の出力信号を生成する装置に関する。この装置は、遅延ネットワークとフィードバック処理部とを有する。遅延ネットワークは第2多数の遅延経路を有し、各遅延経路は1つの遅延ラインと1つの減衰フィルタとを有する。各遅延ラインは、その遅延ライン入力信号を遅延させ、かつ少なくとも1つのオーディオソース信号と残響されたオーディオ信号とを結合して、結合済み信号を得るよう構成されている。遅延経路の減衰フィルタは、遅延経路の遅延ラインからの結合済み信号をフィルタリングして出力信号を得るよう構成されている。第1多数の出力信号は、その出力信号を含んでいる。フィードバック処理部は、第1多数の出力信号を残響させ、残響されたオーディオ信号を含む第3多数の残響されたオーディオ信号を得るよう構成されている。
【0025】
これにより、1つのFDNから遅延された信号(初期反射)及び残響された信号を得ることが可能になり、FDNの演算量はソース信号の数からほぼ独立しており、その結果、遅延された信号及び残響された信号が効率的に取得される。
【0026】
さらに、少なくとも1つのオーディオソース信号に基づいて第4多数のラウドスピーカ信号を生成する装置に関する。この装置は、遅延ネットワークとフィードバック処理部とを有する。遅延ネットワークは第2多数の遅延経路を有し、各遅延経路は1つの遅延ラインと1つの減衰フィルタとを有する。各遅延ラインは、遅延ライン入力信号を遅延させ、かつ少なくとも1つのオーディオソース信号と残響されたオーディオ信号とを結合して、結合済み信号を得るよう構成されている。遅延経路の減衰フィルタは、遅延経路の遅延ラインからの結合済み信号をフィルタリングして出力信号を得るよう構成されている。第1多数の出力信号は、その出力信号を含む。フィードバック処理部は、第1多数の出力信号を残響させ、残響されたオーディオ信号を含む第3多数の残響されたオーディオ信号を得るよう構成されている。遅延ネットワークは、さらに第5多数のイコライゼーションフィルタを有し、このイコライゼーションフィルタは第1多数の出力信号又は中間遅延ライン信号をスペクトル的に整形して、第4多数のラウドスピーカ信号を取得するよう構成されている。この中間遅延ライン信号は、遅延ラインの出力タップから受信される。
【0027】
オーディオソース信号と残響されたオーディオ信号とを遅延ラインにおいて結合することにより、初期反射と後期残響との両方がフィードバック遅延ネットワークによって得ることが可能であることが、発明者らによりわかってきた。本願が提案する概念の演算複雑性は、取得されるべき出力信号又はラウドスピーカ信号の数に伴って変化するが、出力信号又はラウドスピーカ信号へそれぞれレンダリングされるべきオーディオソース信号の数に依存しないか、又は殆ど依存しない可能性がある。さらに、反射されたオーディオ信号及び/又は残響されたオーディオ信号の空間情報は維持され得る。
【0028】
本発明のさらなる第1多数の出力信号を生成する装置又は第4多数のラウドスピーカ信号を生成する装置と、複数のラウドスピーカと、出力信号から導出されたラウドスピーカ信号を受信し、そのラウドスピーカ信号を多数のラウドスピーカ信号へとパニングするよう構成されたパンナーと、を有する音響再生システムに関し、前記多数のラウドスピーカ信号の数は、受信されたラウドスピーカ信号の数とは異なる可能性のあるラウドスピーカの数に対応する。パンナーは、受信された信号をパニング済みラウドスピーカ信号へとパニングする際に、前記多数の受信されたラウドスピーカ信号と関連する仮想再生室の音響伝播特性を維持するよう構成される。
【0029】
このことは、本装置の生成された出力信号又はラウドスピーカ信号には依存しない、柔軟性のあるラウドスピーカ構成を可能にする。なぜなら、これら信号は、出力信号又はラウドスピーカ信号を生成する本装置の遅延ラインに関連した方向性情報を含む可能性があり、それにより、これら空間情報が維持され得るからである。
【0030】
本発明のさらなる第1多数の出力信号を生成する方法、多数のラウドスピーカ信号を生成する方法、コンピュータプログラム及びラウドスピーカ信号に関する。
【0031】
添付図面を参照しながら、以下に本発明の実施形態をより詳細に説明する。
【図面の簡単な説明】
【0032】
【図1A】2つのオーディオソース信号に基づいてある多数の出力信号を生成する装置を含む、一音響再生システムの一部の概略ブロック図を示す。
【図1B】2つのオーディオソース信号に基づいてある多数の出力信号を生成する装置を含む、一音響再生システムの残部の概略ブロック図を示す。
【図2】一、ラウドスピーカ信号を生成する装置の概略ブロック図を示す。
【図3】一遅延経路の概略ブロック図を示す。
【図4A】一、ラウドスピーカ信号がオーディオソース信号の反射部分と残響された部分とを含むシナリオの概略ブロック図を示す。
【図4B】一、イコライゼーションフィルタが遅延ラインの出力タップに接続された異なるシナリオの概略ブロック図を示す。
【図5A】一、出力信号を残響させるよう構成されたフィードバック処理部の概略ブロック図を示す。
【図5B】一、例えば2つのサブ室を有する仮想再生室の概略ブロック図を示す。
【図6A】一、仮想再生室の上側半球における16本の遅延ラインの分布の概略平面図を示す。
【図6B】一、行列Aのパラメータによって実現される仮想ラウドスピーカ間の音響連結の概略構成を示す。
【図7】一、減衰フィルタの可能な実現例の概略ブロック図を示す。
【図8】直接音と初期反射と後期残響とを有する典型的な室内インパルス応答である、残響の概略的な単一チャネル表現を示す。
【図9】2次元のみにおける残響の概略的な空間表現を示す。
【図10】従来技術に係る、残響された信号を取得するための概念である。
【発明を実施するための形態】
【0033】
同一又は同等な要素、又は同一又は同等な機能を有する要素は、異なる図であっても、以下の説明では同一又は同等な参照番号によって示されている。
【0034】
以下の説明では、複数の詳細例が本発明の実施形態のさらに完全な説明を提供するために説明される。しかしながら、それらの特異な詳細に拘わらず実施され得ることは、当業者にとっては自明のことであろう。換言すれば、周知の構造や装置は、本発明の実施形態を不明瞭にするのを避けるため、その詳細よりもブロック図の形態で示される。さらに、以下に示される異なる実施形態の特徴は、特に不可能の注意書きがない限り、互いに結合が可能である。
【0035】
図1は、2つのオーディオソース信号104a,104bに基づいて多数の出力信号102a−dを生成する装置100を有する音響再生システム1000の概略ブロック図を示す。オーディオソース信号は、例えばモノラル信号であってかつ仮想オーディオオブジェクトと関連する信号、つまりモノラル信号を放射するよう適応された仮想オーディオソースであってもよい。
【0036】
装置100は、オーディオソース信号104a,104bに基づいて出力信号102a−dを生成するよう構成されており、それにより出力信号102a−dは、オーディオソース信号104a,104bの反射されかつ残響されたバージョンとなる、すなわち出力信号102a−dはオーディオソース信号104a,104bから導出される。出力信号102a−dによって運ばれる情報は、経時的に変化してもよい。例えば出力信号は、第1時刻では仮想再生室130におけるオーディオソース信号の初期反射であってもよく、第1時刻に続く第2時刻ではオーディオソース信号の残響されたバージョンであってもよい。
【0037】
装置100は、4つの遅延経路106a−dを有する。各遅延経路106a−dは、遅延ライン108a−dと減衰フィルタ112a−dとを有する。遅延ライン108a−dは、オーディオソース信号104a,104bと残響されたオーディオ信号114a−dとを受信するよう構成され、すなわち全ての遅延ライン108a−dは3つの信号、つまり2つのオーディオソース信号と1つの残響されたオーディオ信号とを受信するよう構成されている。
【0038】
後でより詳細に説明するように、全ての遅延ライン108a−dは受信(入力)信号を遅延させ、かつ受信され遅延された信号を結合して、結合済み信号116が得られるように構成されている。結合済み信号116は、例えば異なる時間遅延により、オーディオソース信号104a及び104bの遅延された部分と、残響された信号114a,114b,114c又は114cの遅延された部分と、を含む。遅延ライン108a−dは、τ1−τ4で示される概略ブロックとして示される。概略的には、遅延ライン104a−dは、受信された信号を、概略的フィルタ構造の一方向例えば左方向から、他の方向例えば右方向へと転送する有限インパルス応答(FIR)フィルタのような、遅延フィルタとして理解されてもよい。要するに、信号が遅延ラインのより「左側」へ入力されると、その信号は一層大きく遅延される。遅延ライン108aに関して言えば、オーディオソース信号104aはオーディオソース信号104bに比べてより大きな時間遅延によって遅延され、残響されたオーディオ信号114aはオーディオソース信号104aに比べてより長い持続時間によって遅延される。
【0039】
遅延経路106a−dは、それぞれα1、α2、α3、α4によって示された減衰フィルタ112a−dを有する。減衰フィルタ116は、遅延ライン108a−dの結合済み信号116を減衰させることによって、出力信号102a−dを提供、即ち出力するよう構成され、例えば無限インパルス応答(IIR)フィルタとして構成されてもよい。遅延ライン108a−dにおいてオーディオソース信号104a,104bを結合し、かつ結合済み信号116を減衰させることにより、オーディオソース信号104a,104bの初期反射が取得され得る。
【0040】
装置100はさらに、出力信号102a−dを残響させるよう構成されたフィードバック処理部120を含み、それにより残響されたオーディオ信号114a−dが取得される。フィードバック処理部120は、例えば出力信号102a−dのクロスフィード処理と解釈されてもよい。クロスフィード処理は、例えば一つの行列演算として示されてもよい。遅延経路は遅延ネットワークを形成してもよい。フィードバック処理部120と遅延ネットワークとはフィードバック遅延ネットワーク(FDN)を形成してもよく、ここでフィードバック処理部120は、遅延ネットワークに対して出力信号102のフィードバック及び/又はクロスフィードを実行するよう構成される。
【0041】
装置100は2つの分配部118a,118bを有し、ここで分配部118aはオーディオソース信号104aを受信し、分配部118bはオーディオソース信号104bを受信するよう構成される。分配部118a,118bは、受信されたオーディオソース信号104a又は104bをその幾つかのバージョン(コピー)へと分配するよう構成される。要するに、分配部118a,118bは、受信されたオーディオソース信号104a又は104bを分割又は複写するよう構成される。取得されたバージョン104a',104b'は、個々のオーディオソース信号104a又は104bの他のバージョンのそれぞれに対して、遅延を含まないか又は低遅延を含んでも良い。低遅延は、例えば遅延ライン108a−dの最大時間遅延の20%以下、10%以下、又は4%以下でもよい。分配部118a,118bは、前記バージョン104a',104b'をそれぞれ個別に増幅又は減衰させるよう構成された、複数又は多数の増幅器122をさらに含む。適用された増幅度又は減衰度は、例えば仮想再生室における音源の反射の強度又は値へと相関付けられてもよい。
【0042】
分配部118aは、オーディオソース信号104aの個別の、つまり互いに独立した幾つかの増幅済みバージョン104a''を提供するよう構成され、各遅延ライン108a−dがバージョン104a''の1つを受信できるように、バージョン104a''の数は遅延経路106a−dの数に等しくてもよい。分配部118bは、バージョン104b'を独立して増幅し、オーディオソース信号104bの独立して増幅されたバージョン104b''を取得するよう構成された多数の増幅器122を有しても良く、ここで、全ての遅延ライン108a−dが増幅済みバージョン104b''の1つを受信できるように、取得されたバージョン104b''又は104b'の数は、遅延ライン108a−dの数に等しくてもよい。各遅延ライン106a−dは仮想ラウドスピーカと関連していても良いので、各増幅器122の増幅度は、仮想再生室において再生され、かつ壁のような音響反射構造で反射された、音響オブジェクトの再生された反射特性に影響を及ぼしても良い。
【0043】
オーディオソース信号104a、104bの前記バージョン(コピー)及び増幅されたバージョンは、モノラル信号、すなわちオーディオソース信号104a,104bに関して不変の情報を運ぶ。遅延、減衰及びその他のさらなる処理に関して、これら信号は不変であるとみなされても良い。
【0044】
装置100の構造は、次の実施例で説明するように、時間にわたって各出力信号102a−dがオーディオソース信号104a,104bの反射された部分及び残響された部分を含むことを可能にする。
【0045】
遅延ライン108aは、オーディオソース信号104a、そのそれぞれ増幅済みバージョン104a''、及びオーディオソース信号104bの増幅済みバージョン104b''を受信するよう構成されている。オーディオソース信号104bは、オーディオソース信号104aの入力に比べて遅延ライン108aの出力に近く配置されたオーディオソース信号104bの入力によって示されるように、オーディオソース信号104aよりも短い時間遅延によって遅延される。例えば、遅延ライン108aが複数の遅延ブロックを有する場合、オーディオソース信号104aは、オーディオソース信号104bに比べて、より多数の遅延ブロックによって遅延されてもよい。よって、結合済み信号116は、遅延されたオーディオソース信号104bから導出された部分と、より長い時間遅延されたオーディオソース信号104bの部分とを含む。結合済み信号116は、減衰フィルタ112aへ供給される。出力信号102aは、オーディオソース信号104a,104bの遅延され、減衰され、それ故反射されたバージョンとして示されても良い。
【0046】
遅延ライン108a−dの実際に異なる位置での入力により示され、またそれが異なる時間遅延を示しているように、入力はオーディオソース信号104a,104b及び増幅済みバージョン104a''、104b''をそれぞれ受信し、各バージョン104a''は他の遅延ライン108a−dと比べて異なる時間遅延によって遅延されてもよい。したがって、オーディオソース信号104bの各バージョン104b''は、他の遅延ライン108a−dと比べて異なる時間遅延によって遅延されてもよい。このようにして、多数の反射された信号が取得され得る。
【0047】
出力信号102a−dはフィードバック処理部120によって残響され、次いで遅延経路106a−dへと供給される。残響された信号114a−dは遅延ライン108a−dによって遅延され、オーディオソース信号104a,104bと結合される。これにより、出力信号102a−dにおいて残響された部分を取得することが可能になる。
【0048】
追加のオーディオソース信号が遅延ネットワーク、つまり複数の遅延経路106a−dへ供給されてもよい。この追加のオーディオソース信号の処理は、追加的な遅延経路の配置を用いずに、よって追加メモリ又はフィルタ段階を準備することなく、実現可能である。代替的に、唯一のオーディオソース信号が処理、つまり遅延されかつ残響されてもよい。
【0049】
オーディオソース信号104a,104bの時間遅延、つまり遅延ライン108a−dに対する信号入力の位置は、仮想再生室130における仮想ラウドスピーカ132a−dの位置に従って調整され又は設定されてもよい。仮想再生室130は、オーディオオブジェクトが再生され又は生成されるべき基準場面としてパラメータ化されてもよい。仮想ラウドスピーカ130a−dは仮想再生室内の仮想位置に配置され、方向及び/又は放射パターンなどの仮想放射特性を有する。仮想再生室における仮想ラウドスピーカ132a−dの音伝播の位置及び/又は方向(音到来方向)は、FDNによって、それぞれ遅延ライン108a−dを介して関係付けられる(パラメータ化される)。要するに、仮想再生室130は、遅延ライン108a−d、減衰フィルタ112a−d及びフィードバック処理部120についてのパラメータを獲得するために使用され得る。
【0050】
遅延ライン108a−dの遅延時間は、仮想再生室の音響反射構造に対する仮想ラウドスピーカ132a−dの距離に対応してもよい。仮想再生室の残響時間は、減衰フィルタ112a−dの減衰ファクタと対応してもよい。減衰フィルタ112a−dの減衰ファクタ及び/又は残響時間は、周波数依存であってもよく、つまり第1周波数が第2残響時間とは異なる第1残響時間で残響されてもよく、第1周波数とは異なる第2周波数が第2残響時間で残響されてもよい。例えば、減衰度が高くなるにつれて、残響時間が短くなってもよい。よって、減衰フィルタ112a−dのフィルタ係数は、仮想再生室130に関して、オーディオソース信号の残響時間に関係していてもよい。そのフィルタ係数は、時間可変であってもよく、例えば時間可変仮想再生室130に基づいていてもよい。
【0051】
よって、仮想ラウドスピーカ132a−dは、仮想再生室130における音伝播の仮想方向を含む情報に関連している。各仮想ラウドスピーカ132a−dは、他の仮想ラウドスピーカ132a−dに対して独立して調整されてもよい。遅延ライン108a−dの時間遅延を変更することによって、仮想再生室130における対応する仮想ラウドスピーカ132a−dの位置を変化させてもよいし、又はその逆であってもよい。よって、仮想ラウドスピーカ設定は任意の所望の形態で実現されてもよく、例えば仮想ラウドスピーカ132a−dは仮想再生室130内に均等に配分されてもよい。代替的に、仮想ラウドスピーカ132a−dは、不均等に配分されてもよく、例えばリスナーの位置に関して、リスナーの左、右、前又は後側エリアが、仮想再生室130の他の部分に比べて、ラウドスピーカを高い密度で有していてもよい。
【0052】
床、天井、壁及び/又は他の音響反射物が、仮想再生室によって又はその中でパラメータ化されてもよい。よって、方向のような音響伝播特性を持つ音を仮想再生室内に放射する仮想音オブジェクトが仮想ラウドスピーカ130a−dによって再生されてもよい。壁等での音反射及び/又は音減衰のような仮想再生室の音響伝播特性は、少なくとも部分的に遅延ネットワークのパラメータへ変換され得る。例えば、仮想ラウドスピーカと仮想再生室の壁との間の距離は、音波が反射される前の伝播時間(時間遅延)に変換され得る。遅延ライン108a−dの時間遅延は、仮想のリスニング位置へ到達する前の仮想再生室における伝播音の遅延と呼ぶことができる。各遅延経路106a−dは、仮想再生室130における仮想ラウドスピーカ130a−dに関連していてもよい。これにより、再生される音源の数に基づく代わりに、仮想ラウドスピーカ130a−dの数に基づいて装置100を拡縮することが可能になる。
【0053】
仮想再生室130における仮想音源の様々な位置に基づいて、時間遅延もまた変更でき、例えば仮想音源が壁の近くに移動したとき、放射された音はより早期に反射する。本装置100は、オーディオソース信号104a,104bと増幅済みバージョン104a''、104b''とを、遅延ライン108a−dの異なる入力を用いてそれぞれ接続するよう構成された入力コントローラ140を含み、その異なる入力は、個々の入力と出力との間の異なる時間遅延に関係している。要するに、入力コントローラ140は、必要な又は目的とする時間遅延に関係するパラメータを受信し、その時間遅延をオーディオソース信号が遅延ライン108a−dによって遅延される時間へと適用するよう構成されている。
【0054】
出力信号102a−dは、例えばデータメモリ、例えばハードドライブ、デジタルビデオディスク(DVD)、インターネット又はその他のメディアに格納されてもよい。代替的に、入力信号102a−dは、その出力信号102a−dをスペクトル的に整形するイコライゼーションフィルタ142a−dを含むイコライジング・ネットワーク141に供給されてもよい。このイコライゼーションフィルタ142a−dのスペクトル的な整形は、仮想再生室に放射された音の音響伝播特性及び/又は音伝播方向に従って実行されてもよい。例えば、仮想再生室130の壁が高周波を減衰させるよう適応された場合には、イコライゼーションフィルタ142a−dはそのような特性に従って構成されてもよく、音方向に従って音調整を可能にしてもよい。
【0055】
イコライゼーションフィルタ142a−dの出力信号144a−dは、仮想再生室130及び仮想ラウドスピーカ132a−dがあたかも現実であるかのように、仮想オーディオオブジェクト、仮想再生室130及び仮想ラウドスピーカ132a−dを含む仮想再生場面を生成するよう構成されてもよい。得られた信号144a−dは、記憶媒体に格納されてもよく、及び/又はオーディオシステム100のパンナー150に供給されてもよく、ここでパンナー150は、現実の再生室160における現実のラウドスピーカ162の数に応じた数において、(現実の)ラウドスピーカ信号152a−fを供給するよう構成される。要するに、パンナー150は、仮想ラウドスピーカ132a−dの数に応じた数を有する幾つかのラウドスピーカ信号144a−dを、現実のラウドスピーカ162a−fの数に応じた数を有する幾つかのラウドスピーカ信号152a−fへとパニングするよう構成されている。一般的に、現実のラウドスピーカ152a−fの数は、仮想ラウドスピーカ132a−dの数より多いか又は少なくてもよい。現実のラウドスピーカの数は、ユーザー設定に依存してもよく、出力信号102a−d及び/又はラウドスピーカ信号144a−dを生成するときに未知であってもよい。よって、出力信号102a−d及び/又はラウドスピーカ信号144a−dの生成は、再生室から独立しているとみなされてもよい。出力信号102a−d、遅延経路106a−d、及び出力信号をフィルタリングするイコライゼーションフィルタ142a−dの数は、同じであってもよい。要するに、遅延ライン106a−dは、仮想再生室130における初期反射の音伝播の方向に関連している。イコライゼーションフィルタ142a−dのフィルタパラメータは、音伝播の方向に基づいて適応されてもよい。
【0056】
オーディオ場面の再生は、直接音、つまり再生されたオーディオオブジェクトからリスナーへの反射されない信号の再生を含んでも良い。オーディオ再生システム1000は、オーディオソース信号104a及び/又は104bをイコライジングつまりスペクトル的に整形して、スペクトル的に整形されたオーディオソース信号145a,145bを取得するよう構成されたイコライゼーションフィルタ143a,143bを有してもよい。パンナー150は、オーディオソース信号104a,104b及び/又はスペクトル的に整形された信号145a,145bを受信するよう構成されてもよい。パンナー150はさらに、ラウドスピーカ信号144a−dとオーディオソース信号104a,104b及び/又は、そのスペクトル的に整形されたバージョンとに基づいて、ラウドスピーカ信号152a−fを供給するよう構成されてもよい。要するに、パンナー150は、直接音、初期反射及び後期残響に関連した情報を含むラウドスピーカ信号152a−dを供給するよう構成されてもよい。
【0057】
イコライゼーションフィルタ152a−dが出力信号102a−dを受信するよう構成されると説明してきたが、イコライゼーションフィルタ142a−dはまた中間的な遅延ライン信号を受信するよう構成されてもよく、その信号とは例えば減衰フィルタ112a−dによって減衰されていない信号である。そのようなシナリオは後述されるが、ラウドスピーカ信号144a−dを取得し、従って、反射部分がない場合に残響された信号を含むラウドスピーカ信号152a−dを取得することが可能になる。
【0058】
本装置100は、イコライゼーションフィルタ142a−dを遅延ライン108a−dの出力タップへ接続する出力コントローラ170を有しても良い。その出力タップにおいて、中間的な遅延ライン信号が取得され得る。仮想再生室の変化した音響反射特性に基づいて、出力コントローラ170はさらにイコライゼーションフィルタ142a−dを遅延ライン108a−dの出力タップから切り離すよう構成され、及び/又はイコライゼーションフィルタ142a−dを他の出力タップへ接続するよう構成される。一実施形態によれば、せいぜい1つの出力タップがイコライゼーションフィルタ142a−dに接続される。入力コントローラ140及び出力コントローラ170の双方が、遅延ラインの唯一の入力タップ及び唯一の出力タップへそれぞれ接続されてもよい。
【0059】
図2は、一実施形態に従ってラウドスピーカ信号144a−dを生成する装置200の概略ブロック図を示す。装置100と比較して、この装置200は、出力信号102a−dが内部でスペクトル的に整形されるように、イコライゼーションフィルタ142a−dを有し、つまり装置200が出力信号としてラウドスピーカ信号144a−dを出力するよう構成される
【0060】
本装置200は、遅延経路106a−dを含む遅延ネットワーク202を有する。遅延ネットワーク202及びフィードバック処理部120はFDNを形成し、ここでフィードバック処理部120は、遅延ネットワーク202に対して出力信号102のフィードバック及び/又はクロスフィードを実行するよう構成される。
【0061】
換言すれば、図1及び図2において、新規な遅延ネットワーク多チャネル残響器が提案され、その残響器は、演算効率性を維持しながら、多数のラウドスピーカを用いた多数の音源の定位を可能にする。FDNは、空間的に割り当て可能な多数のデコリレート済みチャネルと、全てのソースについての個別の初期反射と、空間的残響時間及びスペクトルパワーに亘るゲイン制御と、を創造するよう拡張されている。
【0062】
遅延ラインの数及びソースの数は、1からさらに大きい整数まで可変である。図10に示されたような従来の設計では、初期反射と後期残響とが異なるネットワークで取得され、これらネットワークは入力チャネル(ソース)の数に応じて拡縮される必要があり得る。さらに、FDNは、なんら明示的な方向情報を伝達せず、時には直交ミキシングのような高密度技術によって方向情報を最少化することさえある。図1及び2に示すフィードバック遅延ネットワークにおいては、遅延ライン出力、つまり出力信号102a−dは、仮想スピーカへ直接的に供給することによって、又は仮想スピーカ132a−dに従って遅延経路106a−dを適応することによって、方向性情報を付与される。これら仮想スピーカは次に、パンナー150のパニングアルゴリズムによって再生室130のような再生室へとレンダリングされる。実際のレンダリング状況に従って、残響出力は正確な空間的特性を最大限の柔軟性をもって再現できるよう保証され得る。
【0063】
遅延ラインを仮想ラウドスピーカ132a−dの仮想方向へと直接的に割り当てることにより、公知の概念に比べて望ましい解決策を提供し得る。反対に、角度方向は各フィルタリングされた遅延ライン出力、出力信号102a−d、及び遅延ライン108a−dそのものへと割り当てられる。遅延ライン108a−dと仮想スピーカ130a−dとの間のこのような一対一の対応、例えば遅延ライン108aから仮想スピーカ130aへの対応は、従来設計に比べて重要又は最重要であるとみなされ得、空間的設計はFDNネットワークへと導入され得る。同様に、減衰フィルタ112a−d及び出力イコライゼーションフィルタ142a−dは空間的方向と対応していてもよい。
【0064】
仮想再生室における仮想ラウドスピーカ132a−dによって示されるチャネル方向は、次に実際の再生室160における所望の出力ラウドスピーカ設定へとパニングされる。全ての仮想ラウドスピーカ132はリスナー周りの球体上の点音源と理解されてもよく、その点音源は物理的スピーカにより、物理的スピーカ同士の相対位置に基づく重み付きゲインを用いて再生され得る。例えば、非特許文献3に開示されているベクトルベースの増幅パニング(VBAP)が、単純かつ効果的な選択肢として用いられ得る。代替的に、少なくとも20、少なくとも30又は少なくとも50のような多数のラウドスピーカを用いたシナリオにおいて特に、パニングは所謂ハードパニングとして実行されてもよく、そのハードパニングでは、ラウドスピーカ信号144a−dが直近の実際のラウドスピーカ162a−fへと、つまり音響信号を放射すると想定される仮想ラウドスピーカ132a−dに対して最短距離を有する実際のラウドスピーカへと供給される。
【0065】
仮想再生室の中間ステップは、ラウドスピーカ設定の選択において高い又は最大の柔軟性を可能にし、残響の空間的かつ音響的特徴を良好なレベル又は可能な限り最良となるように維持する。結果的なミキシング行列、つまりフィードバック処理部120は、多チャネルラウドスピーカ設定についての演算複雑性の点からみて非常に疎らである。
【0066】
遅延ライン108a−dは、パニング球体をリスニング位置の周りに離散化するために配置される。特殊な配置が音響設計上にパニングされてもよく、例えばそれら遅延ラインが球体上に均等に間隔をあけて配置されることができ、又は球体のある部分が遅延ラインの数によって強化されてもよい。
【0067】
目標ラウドスピーカ設定に依存して、球体のある部分は省略され、他の部分が凝縮され得る。例えば5.1+4又は22.2のようなラウドスピーカ設定について、下側半球の大部分が省略されることができ、又はアプリケーションに依存して、より多くの遅延ラインを自然なステージ方向である前側に配置することが好ましい可能性ある。そのような領域は、図9において「前側」として示される。仮想スピーカの角度分解能は、物理的スピーカの配置に比べて高くなり得ることに注意すべきである。
【0068】
図3は遅延経路106aの概略ブロック図を示し、以下の説明は他の遅延経路106b−dにも適用可能である。遅延経路106aは、遅延ライン108aを含み、その遅延ラインは例えば有限インパルス応答フィルタとして実装される。遅延ライン108aは多数の入力タップ302a−dを有する。例えば、遅延ライン108aは少なくとも4個、少なくとも16個、少なくとも500個又は少なくとも1000個もの入力タップ302a−dを有しても良い。入力タップ302a−dは、オーディオソース信号104a,104b、あるバージョン及び/又はそれらの増幅済みバージョンのようなオーディオソース信号を受信するよう構成される。例えば、図1に示された入力コントローラ140は、第1オーディオソース信号を入力タップ302a−dの1つへ接続し、又は入力タップ302a−dの1つから切り離してもよく、その一方でこの入力信号を他の入力タップへ接続せずにおいてよい。その結果、そのオーディオソース信号は1つの入力タップにおいて遅延ライン108aと接続される。これにより、遅延ラインの時間可変遅延時間が可能になる。入力コントローラ140は、同じ又は異なる入力タップ302a−dを追加のオーディオソース信号へと接続し、及び/又は入力信号又はその(増幅済み)バージョンを異なる遅延ラインへと接続するよう構成されてもよい。
【0069】
入力タップ302a−dは、2つの入力タップ302a−d間に1つの遅延ブロック304a−dを有する状態で、連続的に配置されている。よって、入力タップ302aで受信された信号は、遅延ブロック304aへ送られて遅延され、次に第2入力タップ302bへ送られる。第1入力タップ302aが残響されたオーディオ信号114aを受信し、かつ第2入力タップ302bがオーディオソース信号104aを受信したとき、残響されたオーディオ信号114aはオーディオソース信号104aと第2入力タップで結合される。最終出力タップ、例えば出力タップ306cは、結合済み信号116を提供するフィルタの出力であってもよく、それにより「最終の」中間遅延ライン信号、例えば308cが結合済み信号であってもよい。
【0070】
代替的に又は追加的に、例えば第3入力タップ302cがオーディオソース信号104bを受信したとき、残響されたオーディオ信号114aとオーディオソース信号104aとオーディオソース信号104bとが第3入力タップ302cで結合される。信号114a、104a、104bの各々が異なる時間遅延によって遅延され、すなわち異なる個数の遅延ブロック304a−cによって遅延される。入力タップ302a−dで結合された信号は、ゲインファクタ又は減衰ファクタk
1−k
3によって増幅又は減衰されてもよい。次に増幅又は減衰された信号は出力タップ306a−cで結合され、出力タップ306a−cでは、中間遅延ライン信号308a−cが取得され得る。例えば、出力コントローラ170は、出力タップ306a−cの1つ又は減衰フィルタ112aの出力を、イコライゼーションフィルタ142aと接続し又はイコライゼーションフィルタ142aから切り離してもよく、それによりイコライゼーションフィルタ142aは中間遅延ライン信号308a−cの1つ又は出力信号102aを受信してもよい。
【0071】
図4A及び4Bは、ラウドスピーカ信号144を取得する異なるシナリオの概略ブロック図を示す。
【0072】
図4Aは、ラウドスピーカ信号144がオーディオソース信号104aの反射部分と残響部分とを有するシナリオの概略ブロック図を示す。例えば遅延ライン108a−dの1つであってもよい遅延ライン108iは、第1入力において、例えば残響されたオーディオ信号114a−dの1つである残響されたオーディオ信号114iを受信するよう構成される。入力タップ302a−dの1つのような任意の入力タップであり得る入力タップ302iにおいて、遅延ライン108iはオーディオソース信号104aの増幅済みバージョン104a''を受信するよう構成される。よって、残響されたオーディオ信号114iとオーディオソース信号302iとが入力タップ302iで結合される。
【0073】
入力タップ302iからフィルタ出力への遅延時間、つまり減衰フィルタ112iが結合済み信号116を受信するまでの遅延時間は、反射遅延とみなされても良い。例えば出力信号102a−dの1つである減衰フィルタ112iの出力信号102iは、イコライゼーションフィルタ142iへ送られ、それによりラウドスピーカ信号144iが残響された部分と反射された部分とを含む。遅延ライン108i及び/又は減衰フィルタ112iのフィルタが、例えば初期状態又は基本状態にある場合、残響された信号114iもまた静的及び/又は初期状態、例えばゼロ状態にあってもよい。オーディオソース信号104が本システムに適用され、遅延ライン108iがその増幅済みバージョンを受信したとき、ラウドスピーカ信号144iは、最初は反射された部分だけを含んでもよい。なぜなら、残響された信号114iは次の反復でゼロ状態と異なるからである。要するに、オーディオソース信号がまず一度、遅延ライン108iのある部分を通過し、ラウドスピーカ信号144iが遅延された(反射された)オーディオソース信号に基づくようになる。次に、出力信号102iは残響されかつオーディオソース信号と結合され、後続の時間期間においてはラウドスピーカ信号144iが反射された部分及び残響された部分に基づくようになる。
【0074】
図4Bは、イコライゼーションフィルタ142iが例えば出力タップ306a−cの1つである出力タップ306iへ接続された異なるシナリオの概略ブロック図を示す。概略的に時間ドメインで見た場合には、出力タップ306iは、オーディオソース信号と接続された入力タップ302iの「前方」に配置される。よって、ゼロ状態から見れば、オーディオソース信号はまず遅延され、次に減衰フィルタ112iによって減衰され、フィードバック処理部120によって残響され、遅延ライン108iへ入力される。中間遅延ライン信号308iはイコライゼーションフィルタ142iへ接続される。このシナリオに基づけば、ゼロ状態とは異なる場合、ラウドスピーカ信号144iは常に残響された部分を含んでも良い。これにより、初期反射を少し含むか又は全く含まない信号が取得され得る。例えば拡散シナリオのような、明瞭な初期反射が発生すべきでない音響場面が再生される場合には、このシナリオが望ましい可能性がある。
【0075】
換言すれば、全てのソースについて、最初の反射がゲイン、遅延及び近似された方向において決定され、かつ全ての反射が減衰フィルタによってフィルタリングされるように、遅延ラインの数までのインタップ即ち入力タップが選択され得る。本願が提案する装置及び方法は、公知の従来方法に比べて低減された演算コストをもたらす。空間的な初期反射が望ましくない場合には、図4Bに示されるような代替的な手法が遅延ライン設計に対して実現され得る。図4Aと図4Bとの違いは、アウトタップ即ち出力タップ308iの位置がイコライゼーションフィルタ142iに接続されている点だけである。フィードバック行列入力つまり出力信号102iに代えて、出力つまり中間遅延ライン信号308iが、遅延ライン108iの始端(接続入力の前の部分)から、ソースインタップがアウトタップの後に配置されるような状態で引き出される。結果として、出力信号はフィードバック処理部(フィードバック行列)によって少なくとも1回処理されたことになり、おそらく全ての遅延ライン方向に分配されたことになる。これにより、初期反射がより顕著でなくなり、反射密度の増大がより早くなる。
【0076】
図5Aは、出力信号102a−dを残響させるよう構成されたフィードバック処理部120の概略ブロック図を示す。行列演算によって示されるように、フィードバック処理部は出力信号102a−dを様々な残響パラメータa
11−a
44と結合するよう構成されている。行列Aの対角にあるパラメータa
11,a
22,a
33,a
44は、出力信号102a−dの変化(増幅又は減衰)と関連する。他の値は、他の出力信号102a−dの個々の出力信号に対する影響(残響)と関連する。このように、残響されたオーディオ信号114a−dは1つ以上の出力信号102aに基づくか、及び/又は影響されてもよい。パラメータa
11−a
44の値は、仮想再生室の構成、例えばラウドスピーカ設定、及び又は残響に影響する仮想再生室の反射特性と関連していてもよい。要するに、行列演算は例えば以下のように記述され得る。
r=
A*
o
又は代替的に
rT=
oT*
AT
ここで、
rは残響された信号114a−dを含むベクトルを示し、
Aは残響行列を示し、
oは出力信号102a−dを示し、x
Tはxの転置バージョンを示す。
【0077】
図5Bは、例えば2つのサブ室136a,136bを有する仮想再生室130の概略図を示す。サブ室136aは、例えば部屋の前側又は第1側であり得る。仮想再生室130は、例えば室内の仮想オブジェクト、及び/又はオブジェクト又は壁の材料、それらの構造によって定義された伝播特性を有する。
【0078】
サブ室136bは、例えば後側又は第2側などの、サブ室136aと比べて仮想再生室130の異なる側であり得る。サブ室136aはパラメータブロックU
1(パラメータa
11−a
44の1つの部分集合を含む)によってパラメータ化されてもよい。サブ室136bは、パラメータブロックU
2(パラメータa
11−a
44の少なくとも部分的に異なる1つの部分集合を含む)によってパラメータ化されてもよい。パラメータブロックV
1とV
2は、第1サブ室136aから第2サブ室136bへの音響連結と、第2サブ室136bから第1サブ室136aへの音響連結とをそれぞれ示す。行列Aは、パラメータブロックU
1、U
2、V
1、V
2に従って構成されてもよい。サブ室136a,136bはまた、互いの間に音響連結を有する2つの異なる部屋であってもよく、例えば1つのドアで結ばれた2つの部屋であってもよい。これにより、仮想再生室130の簡易なパラメータ化が可能になる。このパラメータ化は、反射及び/又は残響の維持された方向性情報に基づいて取得されてもよい。
【0079】
換言すれば、フィードバック行列Aは反射密度を制御するために選択されることが多い。行列内の全てのエントリーはある遅延ラインから他の遅延ラインへのゲインを示す。行列の密度が高くなればなる程、残響テールの密度も高くなるであろう。提案の装置及び方法により、行列Aを方向性部分へとサブ分割して、反射の方向性伝播を経時的に制御することが可能になる。遅延ラインの仮想方向は既知であり、行列エントリーは一方向から他の方向への伝播を示しており、例えば対角エントリーはその方向を保持している。全ての方向が互いにミックスされる均質な部屋については、均一な行列ゲインが適切であり得る。例えばある部屋と隣接する廊下のような2つの音響的に連結された部屋は、2×2ブロックの行列によって構成され得る。
【0080】
対角ブロックU
1、U
2は、例えば前側と後側の部屋のミキシングをそれぞれ制御する。非対角ブロックV
1、V
2は連結された部屋間の漏れを制御してもよい。
【0081】
図6Aは、仮想再生室130の上半球における16個の遅延ラインの分布の概略平面図を示す。各ドット603は仮想再生室130における仮想ラウドスピーカの位置に対応し、関連する遅延経路のパラメータによって適応されてもよい。よって、仮想ラウドスピーカは仮想遅延ライン角度位置、すなわち遅延経路の遅延ラインのパラメータに基づく位置によって少なくとも部分的に定義される。仮想ラウドスピーカは不均一、つまり非対称に分布している。16個の仮想ラウドスピーカの内の10個はリスナー位置604に対して前部分で、かつ0度として示された前方向に対して配置されている。16個の仮想ラウドスピーカの内の6個は仮想再生室の後領域に配置されている。16個の仮想ラウドスピーカの数に従って、装置100又は200は16個の遅延経路を有する。換言すれば、図6Aは、上半球における16個の遅延ラインの分布を示している。
【0082】
図6Bは、行列Aのパラメータによって実現された仮想ラウドスピーカ間の音響連結の概略的構成を示す。矢印606の各々は、2つのラウドスピーカ間の連結、すなわちゼロに等しくないパラメータa
ijを示す。対照的に、点線矢印608は、個々の経路に沿ってゼロに等しいパラメータa
ijによって構成され得る音響連結がない場合を示す。前方領域に配置された灰色の影付き表面は、例えば仮想再生室130の第1サブ室136aに対応する。仮想再生室130の後側に配置された灰色の影付き表面は、例えばサブ室136bに対応してもよい。遅延ラインは仮想再生室における仮想ラウドスピーカの方向と位置とに関係するので、遅延ラインは仮想ラウドスピーカと仮想再生室130の音響反射構造との間の距離にも関係し得る。残響パラメータは仮想再生室の音響連結に基づく音響信号の残響に関係しているので、a
ijはまた残響パラメータとしても表され得る。パラメータa
ijは仮想再生室130の残響特性に従って調整されてもよい。よって、残響時間及びそれに対応したフィルタ係数は、(音)到来方向に従って及び/又は依存して、適応されてもよい。
【0083】
従って、異なるサブ室に配置された仮想ラウドスピーカに関連する減衰フィルタ及び/又はイコライゼーションフィルタは、異なるように調整されてもよく、すなわちそれらが異なる残響特性を構成するようにしてもよい。
【0084】
換言すれば、図6Bは前後の結合に関する方向依存性ミキシングについての概略模式図を示し、図6Aの遅延ライン分布への遅延ライン方向間の矢印として示されたゲイン経路の選択を含む。簡素な室内配置における残響時間は、単一曲線で表され得る。連結された部屋のより極端な場合、又は高いドーム形状の天井を有する大聖堂のような不均一な部屋の場合は、方向依存性の残響時間を有し得る。提案の方法及び装置により、残響時間の方向依存調整が可能になる。このことは、方向依存のミキシング行列Aに基づく。ブロックがほぼ隔離され、ミキシングがゆっくりと伝播している場合には、減衰フィルタ112a−dのスペクトルフィルタリングは各方向について無処置のままである。図5B、図6Bで示された連結された部屋の上述の実例に従い、室内及び廊下内、つまりサブ室136a、136b内で減衰フィルタについて異なる減衰強度を選択することによって、前側及び後側において異なる残響時間が達成され得る。他の実例は、大聖堂のドーム天井における長い残響時間である。コンサートホール内では、オーケストラの方向での短い残響時間と、後ろ側の側部からの包み込むような長い残響時間とが、音楽的にバランスのとれた設定を創造することができる。
【0085】
図7は、減衰フィルタ112aの可能な実現例の概略ブロック図を示し、以下の説明が減衰フィルタ112b−dにもまた適用される。減衰フィルタ112aは、残響時間と、フィードバック遅延ネットワークの拡散性とを制御するよう構成される。初期反射の色合い及び拡散は、部屋の幾何学形状及び境界材料の重要な知覚的キューを伝え得る。遅延ラインの出力に配置された減衰フィルタ112aは、フィードバック遅延ネットワーク出力において直接信号の未処理のコピーが存在しないよう確保するものであり、その直接信号の未処理のコピーは、例えばオーディオソース信号が遅延経路の遅延ラインの最終入力タップに接続された場合に、取得される可能性があるものである。減衰フィルタ112aが残響時間を調整するよう配置された場合には、初期反射のフィルタリングは追加フィルタの意味で追加コストをかけることなく達成され得る。減衰フィルタ112aが直接2型の無限インパルス応答(IIR)構造として実現されるとして説明したが、減衰フィルタ112aは、例えば直接1型のIIR構造、カスケード型IIRフィルタ、格子フィルタなどの他のフィルタ形式で実現されてもよい。代替的に、有限インパルス応答構造を持つフィルタが配置されてもよい。
【0086】
換言すれば、方向及び時間においてある反射を配置するために、所望の到来方向に最も近い遅延ラインが選択されてもよく、インタップが適切な距離で遅延ラインに配置される。初期反射の方向は、角度遅延ライン分布によって近似され、初期反射に対する低減されたDOA知覚を反映してもよい。公知の方法に比べて、何個の入力ソースがレンダリングされるかに関わらず、外部の遅延ラインのための追加のメモリが必要にならない。また、初期反射についての専用のパニング装置も省略し得る。公知の方法では、減衰されていない初期反射を回避するために、典型的には初期反射出力の追加処理が実行される必要がある。追加のインタップのための演算コストは、初期反射アウトタップのコストと実際上等しくなる。
【0087】
典型的には、残響の全体的なスペクトルパワーは、図1及び図2におけるイコライゼーションフィルタ142a−dについて説明したように、例えばスペクトル整形によって調整されるべきである。このことは、前記装置の中で又は外部装置としてFDN出力において実行されてもよい。よって、スペクトルパワー調整はチャネルベースで実行されてもよい。しかしながら、部屋は異なる境界材料を有することが多く、及びそのため変化するスペクトルパワーカーブを有することが多い。例えば、後方反射は軟らかい後壁により、硬い材料からはね返る前方反射に比べて伝播が小さい。上述の実施形態により、スペクトルパワーの方向依存の調整が可能になる。仮想再生室130における遅延ライン108a−dのパニング方向が既知であるから、イコライゼーションフィルタ142a−dはその方向に従って設計されてもよい。この概念を用いることにより、空間スペクトルパワーが最終的なラウドスピーカ設定から独立可能となり、全ての選択項目に亘って一貫している。本願が提案する概念は初期反射を既存のFDNネットワークに統合する。全ての入力ソース、つまりオーディオソース信号にとって、図1に関連して図3に示されたように、各遅延ラインに1つのインタップが存在する。インタップとアウトタップとの間の「距離」は、反射遅延を与えても良い。反射のゲインは増幅器122によって適用されたインタップゲインによって決定される。
【0088】
本願が提案する概念は、空間的多チャネルパラメトリック残響のための技術を提示している。この概念は、遅延ネットワーク残響器の最も一般的な表現としてのフィードバック遅延ネットワークに基づいている。
【0089】
提案の概念は、遅延ラインの空間的解釈を導入する。仮想リスニング室の中間レベルは、パニングアルゴリズムを介して目標ラウドスピーカ設定に対する重み付けされた柔軟性を与える。従って、初期反射についての統合された技術が適用可能となる。同時に、演算コストを維持することができ、到来方向が制御可能である。さらに、提案の方法により、方向依存のスペクトルパワー、ミキシング及び残響時間の効率的な調整が可能になる。提案の概念は、3D多チャネルスピーカ設定における再生のための空間的残響の創造を可能にする。よって、提案の概念は、空間的多チャネルパラメトリック残響のための技術を提供する。演算効率性を維持しながら、多数のラウドスピーカを用いて多数の音源の位置決めを可能にする新規な遅延ネットワーク多チャネル残響器が提案される。提案の概念は、遅延ラインの空間的解釈と初期反射を処理するための統合技術とを導入する。さらに、提案の概念は、方向依存のスペクトルパワー、ミキシング及び残響時間の効率的な調整を可能にする。
【0090】
FDNの減衰フィルタ及び/又はイコライゼーションフィルタは、せいぜい200、せいぜい100、又はせいぜい50のような少数のフィルタ係数、及び/又は、例えばせいぜい次数8、次数5、又は次数3又はそれより低次数のフィルタを有するIIR−フィルタとして構成され得る。減衰フィルタの減衰ファクタは、結合済み信号の周波数選択的な残響時間に基づいて調整され得る。イコライゼーションフィルタのフィルタ係数は、出力信号及び/又は中間遅延ライン信号の周波数選択的なスペクトルエネルギーにそれぞれ基づいてもよい。加えて、減衰フィルタ及び/又はイコライゼーションフィルタのフィルタ係数は、実装されるべき音響の到来方向に従って設定されてもよい。
【0091】
上述の実施形態は4個及び16個の遅延ラインに関係しているが、他の例えば少なくとも3個、少なくとも8個、12個又は16個の異なる個数の遅延ライン及び仮想ラウドスピーカに関係している。
【0092】
上述の実施形態では、フィードバック処理部が行列ベースの演算を実行するよう構成されたフィードバック処理部の実現について説明したが、フィードバック処理部は代替的又は追加的に、行列に関連する(例えばIIRフィルタ又はFIRフィルタに関連する)畳み込み演算、変換、差分、除算及び/又は非線形演算のような、他の形式の演算を実行するよう構成されてもよい。
【0093】
上述の実施形態では、6個のラウドスピーカを有する再生室について説明したが、再生室が異なる数、例えば少なくとも2個、少なくとも4個、10個又はそれ以上のような数のラウドスピーカを有していてもよい。
【0094】
上述のFIRフィルタとして構成された遅延ラインに関係しているが、遅延ラインはまた異なる形式のフィルタ、及び/又は、減衰又はゲインパラメータを有しないフィルタとして実現されてもよい。例えば、多数の遅延ブロックがデジタル的に構成されてもよく、それにより遅延ラインが、信号を遅延させるための単純な数の遅延ブロックによって特徴付けられるようにしてもよい。
【0095】
上述の2つのサブ室又は1つの部屋を有する仮想再生室に関係しているが、仮想再生室は3つ又はそれ以上のサブ室を有していてもよい。従って、行列Aはまた、互いに分離され又は結合(部分的にオーバーラップしている)されてもよい異なる数のパラメータブロックを有していてもよく、幾つかのパラメータブロック及び/又は遅延経路はサブ室間の連結経路の数に基づいていてもよい。しかしながら、行列Aは連結パラメータに基づく二次であるよう示したが、行列Aは非二次であってもよく、及び/又は非二次形態を持つ1つ以上のサブ室関連の行列を有していても良い。
【0096】
これまで幾つかの態様を装置の文脈で示してきたが、これらの態様は対応する方法の説明をも表しており、1つのブロック又は装置が1つの方法ステップ又は方法ステップの特徴に対応することは明らかである。同様に、方法ステップを説明する文脈で示した態様もまた、対応するブロック、項目、又は対応する装置の特徴を表している。
【0097】
本発明の符号化されたオーディオ信号は、デジタル記憶媒体に格納されることができ、又はインターネット等の無線伝送媒体又は有線伝送媒体のような伝送媒体上で伝送されることができる。
【0098】
所定の構成要件にもよるが、ハードウエア又はソフトウエアにおいて構成可能である。この構成は、例えばフレキシブルディスク,DVD,CD,ROM,PROM,EPROM,EEPROM,フラッシュメモリなどのデジタル記憶媒体を使用して実行することができ、その0デジタル記憶媒体は、その中に格納された電子的に読み取り可能な制御信号を有し、それら制御信号は、本発明の各方法が実行されるようにプログラム可能なコンピュータシステムと協働する(又は協働可能である)。
【0099】
本発明に従う幾つかの電子的に読み取り可能な制御信号を有するデータキャリアを含み、それら制御信号は、上述した方法の1つを実行するようプログラム可能なコンピュータシステムと協働可能である。
【0100】
一般的に、プログラムコードを有するコンピュータプログラム製品として構成することができ、そのプログラムコードは当該コンピュータプログラム製品がコンピュータ上で作動するときに、本発明の方法の一つを実行するよう作動可能である。そのプログラムコードは例えば機械読み取り可能なキャリアに記憶されていても良い。
【0101】
本発明の他の上述した方法の1つを実行するための、機械読み取り可能なキャリアに格納されたコンピュータプログラムを含む。
【0102】
換言すれば、本発明の方法の一コンピュータプログラムがコンピュータ上で作動するときに、上述した方法の1つを実行するためのプログラムコードを有するコンピュータプログラムである。
【0103】
本発明の他の上述した方法の1つを実行するために記録されたコンピュータプログラムを含む、データキャリア(又はデジタル記憶媒体、又はコンピュータ読み取り可能な媒体)である。
【0104】
本発明の他の上述した方法の1つを実行するためのコンピュータプログラムを表現するデータストリーム又は信号列である。そのデータストリーム又は信号列は、例えばインターネットのようなデータ通信接続を介して伝送されるよう構成されても良い。
【0105】
他の上述した方法の1つを実行するように構成又は適応された、例えばコンピュータ又はプログラム可能な論理デバイスのような処理手段を含む。
【0106】
他の上述した方法の1つを実行するためのコンピュータプログラムがインストールされたコンピュータを含む。
【0107】
幾つかの実施形態においては、(例えば書換え可能ゲートアレイのような)プログラム可能な論理デバイスが、上述した方法の幾つか又は全ての機能を実行するために使用されても良い。幾つかの実施形態では、書換え可能ゲートアレイは、上述した方法の1つを実行するためにマイクロプロセッサと協働しても良い。一般的に、そのような方法は、好適には任意のハードウエア装置によって実行される。
【0108】
上述の本発明の原理の単なる説明に過ぎない。上述の装置及び詳細の修正及び変更が当業者にとって明らかなことは理解されよう。従って、以下に添付する特許請求の範囲の主題によってのみ限定されるべきであり、実施形態の説明及び解説の方法で表現された特定の詳細によっては限定されないことが趣旨である。
【図1A】
【図1B】
【図2】
【図3】
【図4A】
【図4B】
【図5A】
【図5B】
【図6A】
【図6B】
【図7】
【図8】
【図9】
【図10】
【手続補正書】
【提出日】2017年5月31日
【手続補正1】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項1】
少なくとも1つのオーディオソース信号(104a,104b)に基づいて第1多数の出力信号(102a−d)を生成する装置(100;200)であって、この装置は、
第2多数の遅延経路(106a−d)を有する遅延ネットワーク(202)であって、各遅延経路(106a−d)は1つの遅延ライン(108a−d)と1つの減衰フィルタ(112a−d)とを有し、各遅延ライン(108a−d)は、遅延ライン入力信号(104a−b,104a'',104b'',114a−d)を遅延させ、かつ少なくとも1つのオーディオソース信号(104a−b,104a'',104b'')と残響されたオーディオ信号(114a−d)とを結合して、結合済み信号(116)を得るよう構成され、遅延経路(106a−d)の減衰フィルタ(112a−d)は、前記遅延経路(106a−d)の前記遅延ライン(108a−d)からの結合済み信号(116)をフィルタリングして出力信号(102a−d)を得るよう構成され、前記第1多数の出力信号は前記出力信号(102a−d)を含む、遅延ネットワーク(202)と、
前記第1多数の出力信号(102a−d)を残響させ、前記残響されたオーディオ信号を含む第3多数の残響されたオーディオ信号(114a−d)を得るよう構成された、フィードバック処理部(120)と、
を備え、
前記結合済み信号(116)はオーディオソース信号(104a−b)部分と残響された信号(114)部分とを有し、前記遅延ライン(108a−d)は前記オーディオソース信号(104a−b)又は前記オーディオソース信号の重み付きバージョン(104a'',104b'')を受信するよう構成された第6多数の入力タップ(302a−d)を有し、前記装置(100)は、仮想再生室(130)内の仮想音源の第1位置に基づいて、前記オーディオソース信号(104a−b)又は前記オーディオソース信号の重み付きバージョン(104a'',104b'')と前記第6多数の入力タップ(302a−d)の1つとを接続する一方で、前記オーディオソース信号(104a−b)又は前記オーディオソース信号の重み付きバージョン(104a'',104b'')を前記第6多数の入力タップ(302a−d)の異なる入力タップへと接続しないよう構成された、入力コントローラ(140)を有し、前記入力コントローラ(140)は、前記第1位置とは異なる前記仮想音源の第2位置に基づいて、前記オーディオソース信号(104a−b)又は前記オーディオソース信号の重み付きバージョン(104a'',104b'')を前記第6多数の入力タップ(302a−d)の前記1つから切り離すよう構成され、
又は、
前記結合済み信号(116)はオーディオソース信号部分(104a−b)と残響された信号(114)部分とを有し、前記遅延ライン(108a−d)は前記結合済み信号(116)又は中間遅延ライン信号(308a−c)を提供するよう構成された第7多数の出力タップ(308a−c)を有し、前記装置(100)は、仮想再生室(130)の第1の反射特性に基づいて、イコライゼーションフィルタ(142a−d)を出力信号(102a−d)又は前記第7多数の出力タップ(308a−c)の1つへと接続する一方で、前記第7多数の出力タップ(308a−c)の異なる出力タップを前記イコライゼーションフィルタ(142a−d)へと接続しないよう構成された、出力コントローラ(170)を有し、前記出力コントローラ(170)は、前記第1の反射特性とは異なる前記仮想再生室(130)の第2の反射特性に基づいて、前記イコライゼーションフィルタ(142a−d)を前記出力信号(102a−d)又は前記中間遅延ライン信号(308a−c)から切り離すよう構成される、
装置。
【請求項2】
少なくとも1つのオーディオソース信号(104a−b)に基づいて第4多数のラウドスピーカ信号(144a−d)を生成する装置(200)であって、この装置は、
第2多数の遅延経路(106a−d)を有する遅延ネットワーク(202)であって、各遅延経路(106a−d)は1つの遅延ライン(108a−d)と1つの減衰フィルタ(112a−d)とを有し、各遅延ライン(108a−d)は、遅延ライン入力信号(104a−b,104a'',104b'',114a−d)を遅延させ、かつ少なくとも1つのオーディオソース信号(104a−b,104a'',104b'')と残響されたオーディオ信号(114a−d)とを結合して、結合済み信号(116)を得るよう構成され、遅延経路(106a−d)の減衰フィルタ(112a−d)は、前記遅延経路(106a−d)の前記遅延ライン(108a−d)からの結合済み信号(116)をフィルタリングして出力信号(102a−d)を得るよう構成され、前記第1多数の出力信号は前記出力信号(102a−d)を含む、遅延ネットワーク(202)と、
前記第1多数の出力信号(102a−d)を残響させ、前記残響されたオーディオ信号を含む第3多数の残響されたオーディオ信号(114a−d)を得るよう構成された、フィードバック処理部(120)と、を備え、
前記装置(200)は、前記第1多数の出力信号(102a−d)又は中間遅延ライン信号(308a−c)をスペクトル的に整形して、前記第4多数のラウドスピーカ信号(144a−d)を得るよう構成された、第5多数のイコライゼーションフィルタ(142a−d)を有し、前記中間遅延ライン信号(308a−c)は前記遅延ライン(108a−d)の出力タップ(306a−c)から受信され、
前記結合済み信号(116)はオーディオソース信号(104a−b)部分と残響された信号(114)部分とを有し、前記遅延ライン(108a−d)は前記オーディオソース信号(104a−b)又は前記オーディオソース信号の重み付きバージョン(104a'',104b'')を受信するよう構成された第6多数の入力タップ(302a−d)を有し、前記装置(200)は、仮想再生室(130)内の仮想音源の第1位置に基づいて、前記オーディオソース信号(104a−b)又は前記オーディオソース信号の重み付きバージョン(104a'',104b'')と前記第6多数の入力タップ(302a−d)の1つとを接続する一方で、前記オーディオソース信号(104a−b)又は前記オーディオソース信号の重み付きバージョン(104a'',104b'')を前記第6多数の入力タップ(302a−d)の異なる入力タップへと接続しないよう構成された、入力コントローラ(140)を有し、前記入力コントローラ(140)は、前記第1位置とは異なる前記仮想音源の第2位置に基づいて、前記オーディオソース信号(104a−b)又は前記オーディオソース信号の重み付きバージョン(104a'',104b'')を前記第6多数の入力タップ(302a−d)の前記1つから切り離すよう構成され、
又は、
前記結合済み信号(116)はオーディオソース信号部分(104a−b)と残響された信号(114)部分とを有し、前記遅延ライン(108a−d)は前記結合済み信号(116)又は中間遅延ライン信号(308a−c)を提供するよう構成された第7多数の出力タップ(308a−c)を有し、前記装置(200)は、仮想再生室(130)の第1の反射特性に基づいて、イコライゼーションフィルタ(142a−d)を出力信号(102a−d)又は前記第7多数の出力タップ(308a−c)の1つへと接続する一方で、前記第7多数の出力タップ(308a−c)の異なる出力タップを前記イコライゼーションフィルタ(142a−d)へと接続しないよう構成された、出力コントローラ(170)を有し、前記出力コントローラ(170)は、前記第1の反射特性とは異なる前記仮想再生室(130)の第2の反射特性に基づいて、前記イコライゼーションフィルタ(142a−d)を前記出力信号(102a−d)又は前記中間遅延ライン信号(308a−c)から切り離すよう構成される、
装置。
【請求項3】
請求項1又は2に記載の装置において、
前記第1多数、前記第2多数、前記第3多数及びイコライゼーションフィルタ(142a−d)の第5多数の数は等しい、装置。
【請求項4】
請求項2又は3に記載の装置において、前記遅延ライン(108a−d)は仮想再生室(130)における反射音のリスニング位置に対する到来方向に関連しており、前記イコライゼーションフィルタ(142a−d)のフィルタパラメータは前記到来方向に基づいて適応される、装置。
【請求項5】
請求項1乃至4のいずれか一項に記載の装置において、前記オーディオソース信号(104a,104b)をその幾つかのバージョン(104a',104b’)へと分配するよう構成された分配部(118a,118b)をさらに備え、前記バージョンの数は少なくとも前記第2多数の遅延経路(106a−d)の数であり、前記オーディオソース信号(104a,104b)の前記バージョン(104a',104b’)は、互いに対して前記第2多数の遅延経路(106a−d)の最大時間遅延のせいぜい20%の遅延を有する、装置。
【請求項6】
請求項1乃至5のいずれか一項に記載の装置において、前記分配部(118a,118b)は、前記オーディオソース信号(104a,104b)の前記バージョン(104a',104b’)を重み付けし、前記オーディオソース信号(104a,104b)の重み付きバージョン(104a'',104b'’)を取得するよう構成された、第8多数の増幅器(122)をさらに有し、前記オーディオソース信号(104a,104b)の重み付きバージョン(104a'',104b'’)は、仮想ラウドスピーカ(132a−d)を有する仮想再生室(130)内の仮想音源のオーディオ信号と関連しており、前記第8多数の増幅器(122)の1つの増幅器(122)のゲインファクタは、前記仮想再生室(130)内の前記仮想音源の反射特性と関連している、装置。
【請求項7】
請求項1乃至6のいずれか一項に記載の装置において、
前記減衰フィルタ(112a−d)は第9多数のフィルタ係数(α0−αn,β1−βn)を有し、
前記遅延経路(106a−d)は、仮想の音響伝播特性と音反射構造とを有する仮想再生室(130)における仮想ラウドスピーカ(132a−d)の仮想位置と関連しており、
前記フィルタ係数(α0−αn,β1−βn)は、前記オーディオソース信号が残響される前記仮想再生室(130)の残響時間と関係している、装置。
【請求項8】
請求項1乃至6のいずれか一項に記載の装置において、
前記減衰フィルタ(112a−d)は第9多数のフィルタ係数(α0−αn,β1−βn)を有し、
前記遅延経路(106a−d)は、仮想の音響伝播特性と音反射構造とを有する仮想再生室(130)における仮想ラウドスピーカ(132a−d)の仮想位置と関連しており、
前記結合済み信号(116)は、前記仮想再生室(130)において反射され又は残響された反射されたオーディオ信号又は残響されたオーディオ信号の方向性情報を有し、
前記遅延ライン(108a−d)によって前記オーディオソース信号(104a,104b)が遅延された遅延時間は、仮想ラウドスピーカ(132a−d)と前記仮想再生室(130)の音反射構造との間の距離に関係しており、
前記フィルタ係数(α0−αn,β1−βn)は、前記仮想再生室(130)の残響時間及び拡散特性又は音到来方向に関係している、装置。
【請求項9】
請求項1乃至8のいずれか一項に記載の装置において、前記フィードバック処理部(120)は、前記第1多数の出力信号(102a−d)を結合して、第3多数の残響されたオーディオ信号(114a−d)を得るよう構成され、前記フィードバック処理部(120)は残響パラメータ(α11−α44)に基づいて前記第1多数の出力信号(102a−d)を結合するよう構成され、前記残響パラメータは仮想音源を有する仮想再生室(130)の反射特性と関係しており、前記仮想音源は前記オーディオソース信号(104a,104b)と関連しており、前記残響特性は前記仮想再生室(130)における前記仮想音源の位置には依存しない、装置。
【請求項10】
請求項
9に記載の装置において、前記パラメータ(α
11−α
44)は前記仮想再生室(130)の複数のサブ室(136a,136b)と関係しており、前記残響パラメータ(α
11−α
44)は次式に基づく行列表記法で表現可能であり、
【数1】
ここで、U
1は第1サブ室(136a)の残響パラメータを示し、U
2は第2サブ室(136b)の残響
パラメータを示し、V
1は前記第1サブ室(136a)から前記第2サブ室(136b)への連結パラメータを示し、V
2は前記第2サブ室(136b)から前記第1サブ室(136a)への連結パラメータを示す、
装置。
【請求項11】
請求項9又は10に記載の装置において、前記減衰フィルタ(112a−d)は無限インパルス応答構造を有し、前記無限インパルス応答構造のフィルタパラメータ(α0−αn,β1−βn)は、前記仮想再生室(130)の第1サブ室(136a)の第1残響特性が前記仮想再生室(130)の第2サブ室(136b)の第2残響特性とは異なるように、適応される、装置。
【請求項12】
請求項1乃至11のいずれか一項に記載の装置において、前記遅延ネットワーク(202)は、前記出力信号(102a−d)、中間遅延ライン信号(308a−c)又は前記結合済み信号(116)をスペクトル的に整形して、仮想再生室(130)の仮想ラウドスピーカ(132a−d)に関係する第4多数のラウドスピーカ信号(144a−d)を得るよう構成された、第5多数のイコライゼーションフィルタ(142a−d)を有し、前記第4多数のラウドスピーカ信号(144a−d)が記憶媒体に格納されるよう構成され、それにより実際の再生室(160)の実際のラウドスピーカ(162a−f)に関連する第10多数の実際のラウドスピーカ信号(152a−f)が、前記第4多数のラウドスピーカ信号(144a−d)を前記第10多数の実際のラウドスピーカ信号(152a−f)へとパニングするよう構成された装置(150)によって取得可能である、装置。
【請求項13】
請求項1乃至12のいずれか一項に記載の装置において、前記遅延ライン(108a−d)は少なくとも2つのオーディオソース信号(104a,104b)と前記残響されたオーディオ信号(114)とを結合するようさらに構成され、前記遅延ライン(108a−d)は、第1時間遅延を第1オーディオソース信号(104a)に適用し、第2時間遅延を第2オーディオソース信号(104b)に適用するよう構成された、装置。
【請求項14】
請求項1乃至13のいずれか一項に記載の装置において、前記第2多数の遅延ラインの1つの遅延ライン(108a−d)は、仮想ラウドスピーカ(132a−d)を有する仮想再生室(130)におけるリスナーの仮想位置(604)に対する仮想ラウドスピーカ(132a−d)の方向に関連しており、前記仮想再生室(130)における仮想ラウドスピーカ(132a−d)の分布は不均一である、装置。
【請求項15】
請求項1乃至14のいずれか一項に記載の装置(100、200)と、
第11多数のラウドスピーカ(162a−f)と、
前記第1多数の出力信号(102a−d)から導出された第4多数のラウドスピーカ信号(144a−d)を受信し、前記第4多数のラウドスピーカ信号(144a−d)を第12多数のパニング済みラウドスピーカ信号(152a−f)へとパニングするよう構成された、パンナー(150)であって、前記第12多数のパニング済みラウドスピーカ信号(152a−f)は前記第11多数のラウドスピーカのラウドスピーカ(162a−f)の数に等しい数のラウドスピーカ信号を有する、パンナーと、を含み、
前記パンナー(150)は、前記第4多数のラウドスピーカ信号(144a−d)をパニングするとき、前記第4多数のラウドスピーカ信号(144a−d)に関連する仮想再生室(130)の音響伝播特性を維持するよう構成された、
音響再生システム(1000)。
【請求項16】
少なくとも1つのオーディオソース信号に基づいて第1多数の出力信号を生成する方法であって、この方法は、
遅延ライン(108a−d)を用いて少なくとも1つのオーディオソース信号(104a、104b)と残響されたオーディオ信号(114)とを遅延させかつ結合して、結合済み信号(116)を得るステップと、
前記遅延ライン(108a−d)からの前記結合済み信号(116)をフィルタリングして、出力信号(102a−d)を得るステップであって、第1多数の出力信号(102a−d)は各遅延経路が1つの遅延ラインを有する第2多数の遅延経路から得られる、ステップと、
前記第1多数の出力信号(102a−d)を残響させて、前記残響されたオーディオ信号を含む第3多数の残響されたオーディオ信号(114)を得るステップと、
を有し、
前記結合済み信号(116)はオーディオソース信号(104a、104b)部分と残響された信号(114)部分とを有し、前記遅延ライン(108a−d)は前記オーディオソース信号(104a−b)又は前記オーディオソース信号の重み付きバージョン(104a'',104b'')を受信するよう構成された第6多数の入力タップ(302a−d)を有し、前記方法は、仮想再生室(130)内の仮想音源の第1位置に基づいて、前記オーディオソース信号(104a−b)又は前記オーディオソース信号の重み付きバージョン(104a'',104b'')と前記第6多数の入力タップ(302a−d)の1つとを接続する一方で、前記オーディオソース信号(104a−b)又は前記オーディオソース信号の重み付きバージョン(104a'',104b'')を前記第6多数の入力タップ(302a−d)の異なる入力タップへと接続しないよう構成された、ステップと、前記第1位置とは異なる前記仮想音源の第2位置に基づいて、前記オーディオソース信号(104a−b)又は前記オーディオソース信号の重み付きバージョン(104a'',104b'')を前記第6多数の入力タップ(302a−d)の前記1つから切り離すよう構成された、ステップとを有し、
又は、
前記結合済み信号(116)はオーディオソース信号部分(104a−b)と残響された信号(114)部分とを有し、前記遅延ライン(108a−d)は前記結合済み信号(116)又は中間遅延ライン信号(308a−c)を提供するよう構成された第7多数の出力タップ(308a−c)を有し、前記方法は、仮想再生室(130)の第1の反射特性に基づいて、イコライゼーションフィルタ(142a−d)を出力信号(102a−d)又は前記第7多数の出力タップ(308a−c)の1つへと接続する一方で、前記第7多数の出力タップ(308a−c)の異なる出力タップを前記イコライゼーションフィルタ(142a−d)へと接続しないよう構成された、ステップと、前記第1の反射特性とは異なる前記仮想再生室(130)の第2の反射特性に基づいて、前記イコライゼーションフィルタ(142a−d)を前記出力信号(102a−d)又は前記中間遅延ライン信号(308a−c)から切り離すよう構成された、ステップとを有する、
方法。
【請求項17】
少なくとも1つのオーディオソース信号に基づいて第4多数のラウドスピーカ信号を生成する方法であって、この方法は、
遅延ラインを用いて少なくとも1つのオーディオソース信号と残響されたオーディオ信号とを遅延させかつ結合して、結合済み信号を得るステップと、
前記遅延ラインからの前記結合済み信号をフィルタリングして、出力信号を得るステップであって、第1多数の出力信号は各遅延経路が1つの遅延ラインを有する第2多数の遅延経路から得られる、ステップと、
前記第1多数の出力信号を残響させて、前記残響されたオーディオ信号を含む第3多数の残響されたオーディオ信号を得るステップと、
前記第1多数の出力信号(102a−d)又は中間遅延ライン信号(308a−c)をスペクトル的に整形して、前記第4多数のラウドスピーカ信号(144a−d)を得るステップであって、前記中間遅延ライン信号(308a−c)は前記遅延ライン(108a−d)の出力タップ(306a−c)から受信される、ステップと、
を有し、
前記結合済み信号(116)はオーディオソース信号(104a−b)部分と残響された信号(114)部分とを有し、前記遅延ライン(108a−d)は前記オーディオソース信号(104a−b)又は前記オーディオソース信号の重み付きバージョン(104a'',104b'')を受信するよう構成された第6多数の入力タップ(302a−d)を有し、前記方法は、仮想再生室(130)内の仮想音源の第1位置に基づいて、前記オーディオソース信号(104a−b)又は前記オーディオソース信号の重み付きバージョン(104a'',104b'')と前記第6多数の入力タップ(302a−d)の1つとを接続する一方で、前記オーディオソース信号(104a−b)又は前記オーディオソース信号の重み付きバージョン(104a'',104b'')を前記第6多数の入力タップ(302a−d)の異なる入力タップへと接続しないよう構成された、ステップと、前記第1位置とは異なる前記仮想音源の第2位置に基づいて、前記オーディオソース信号(104a−b)又は前記オーディオソース信号の重み付きバージョン(104a'',104b'')を前記第6多数の入力タップ(302a−d)の前記1つから切り離すよう構成された、ステップとを有し、
又は、
前記結合済み信号(116)はオーディオソース信号部分(104a−b)と残響された信号(114)部分とを有し、前記遅延ライン(108a−d)は前記結合済み信号(116)又は中間遅延ライン信号(308a−c)を提供するよう構成された第7多数の出力タップ(308a−c)を有し、前記方法は、仮想再生室(130)の第1の反射特性に基づいて、イコライゼーションフィルタ(142a−d)を出力信号(102a−d)又は前記第7多数の出力タップ(308a−c)の1つへと接続する一方で、前記第7多数の出力タップ(308a−c)の異なる出力タップを前記イコライゼーションフィルタ(142a−d)へと接続しないよう構成された、ステップと、前記第1の反射特性とは異なる前記仮想再生室(130)の第2の反射特性に基づいて、前記前記イコライゼーションフィルタ(142a−d)を前記出力信号(102a−d)又は前記中間遅延ライン信号(308a−c)から切り離すよう構成された、ステップとを有する、
方法。
【請求項18】
プログラムがコンピュータ上で作動するとき、請求項16又は17に記載の方法を実行する、プログラムコードを有するコンピュータプログラム。
【請求項19】
請求項1乃至14のいずれか一項に記載の装置によって得られるラウドスピーカ信号(144a−d)。
【手続補正2】
【補正対象書類名】明細書
【補正対象項目名】0014
【補正方法】変更
【補正の内容】
【0014】
典型的には、残響音は2つの段階、すなわち図10に示され、特許文献2,3で開示されているように、初期反射及び後期残響において生成される。初期反射
1004a,1004bは、モノラルソース1014a,1014bの遅延(1008a,1008b)されかつ減衰(1012a,1012b)されたコピーである。τ
siと記された遅延ライン1008a,1008bと、b
siと記された出力タップゲイン1012a,
1012bとパニング1016とは、ソース位置に依存しており、各ソースに対して排他的である。よって、全てのソース1014a、1014bについて、初期反射セクション1018が複製されなければならない。初期反射1004a,1004bの品質を強化するため、それら反射は拡散装置1022によって処理される。拡散部1022は、非鏡面壁反射の効果をエミュレートするために、典型的に全域通過フィルタ又は短い有限インパルス応答(FIR)フィルタとして実装される。拡散部1022とパニング1016のユニットの特殊な順序と配置は変更可能である。例えば、全ての単一の初期反射1004a,1004
bの正確なパニングのために、各ソース1014a,1014bについて専用のパニングユニット1016を使用することができ、又は拡散部1022を遅延ライン1008a,1008bのソース入力に直接的に配置することもできる。よって、この特殊な設計は、細かい制御と演算効率との間の妥協点となる。
【手続補正3】
【補正対象書類名】明細書
【補正対象項目名】0038
【補正方法】変更
【補正の内容】
【0038】
後でより詳細に説明するように、全ての遅延ライン108a−dは受信(入力)信号を遅延させ、かつ受信され遅延された信号を結合して、結合済み信号116が得られるように構成されている。結合済み信号116は、例えば異なる時間遅延により、オーディオソース信号104a及び104bの遅延された部分と、残響された信号114a,114b,114c又は
114dの遅延された部分と、を含む。遅延ライン108a−dは、τ1−τ4で示される概略ブロックとして示される。概略的には、遅延ライン
108a−dは、受信された信号を、概略的フィルタ構造の一方向例えば左方向から、他の方向例えば右方向へと転送する有限インパルス応答(FIR)フィルタのような、遅延フィルタとして理解されてもよい。要するに、信号が遅延ラインのより「左側」へ入力されると、その信号は一層大きく遅延される。遅延ライン108aに関して言えば、オーディオソース信号104aはオーディオソース信号104bに比べてより大きな時間遅延によって遅延され、残響されたオーディオ信号114aはオーディオソース信号104aに比べてより長い持続時間によって遅延される。
【手続補正4】
【補正対象書類名】明細書
【補正対象項目名】0052
【補正方法】変更
【補正の内容】
【0052】
床、天井、壁及び/又は他の音響反射物が、仮想再生室によって又はその中でパラメータ化されてもよい。よって、方向のような音響伝播特性を持つ音を仮想再生室内に放射する仮想音オブジェクトが仮想ラウドスピーカ
132a−dによって再生されてもよい。壁等での音反射及び/又は音減衰のような仮想再生室の音響伝播特性は、少なくとも部分的に遅延ネットワークのパラメータへ変換され得る。例えば、仮想ラウドスピーカと仮想再生室の壁との間の距離は、音波が反射される前の伝播時間(時間遅延)に変換され得る。遅延ライン108a−dの時間遅延は、仮想のリスニング位置へ到達する前の仮想再生室における伝播音の遅延と呼ぶことができる。各遅延経路106a−dは、仮想再生室130における仮想ラウドスピーカ
132a−dに関連していてもよい。これにより、再生される音源の数に基づく代わりに、仮想ラウドスピーカ
132a−dの数に基づいて装置100を拡縮することが可能になる。
【手続補正5】
【補正対象書類名】明細書
【補正対象項目名】0054
【補正方法】変更
【補正の内容】
【0054】
出力信号102a−dは、例えばデータメモリ、例えばハードドライブ、デジタルビデオディスク(DVD)、インターネット又はその他のメディアに格納されてもよい。代替的に、
出力信号102a−dは、その出力信号102a−dをスペクトル的に整形するイコライゼーションフィルタ142a−dを含むイコライジング・ネットワーク141に供給されてもよい。このイコライゼーションフィルタ142a−dのスペクトル的な整形は、仮想再生室に放射された音の音響伝播特性及び/又は音伝播方向に従って実行されてもよい。例えば、仮想再生室130の壁が高周波を減衰させるよう適応された場合には、イコライゼーションフィルタ142a−dはそのような特性に従って構成されてもよく、音方向に従って音調整を可能にしてもよい。
【手続補正6】
【補正対象書類名】明細書
【補正対象項目名】0063
【補正方法】変更
【補正の内容】
【0063】
遅延ラインを仮想ラウドスピーカ132a−dの仮想方向へと直接的に割り当てることにより、公知の概念に比べて望ましい解決策を提供し得る。反対に、角度方向は各フィルタリングされた遅延ライン出力、出力信号102a−d、及び遅延ライン108a−dそのものへと割り当てられる。遅延ライン108a−dと仮想スピーカ
132a−dとの間のこのような一対一の対応、例えば遅延ライン108aから仮想スピーカ
132aへの対応は、従来設計に比べて重要又は最重要であるとみなされ得、空間的設計はFDNネットワークへと導入され得る。同様に、減衰フィルタ112a−d及び出力イコライゼーションフィルタ142a−dは空間的方向と対応していてもよい。
【手続補正7】
【補正対象書類名】明細書
【補正対象項目名】0069
【補正方法】変更
【補正の内容】
【0069】
入力タップ302a−dは、2つの入力タップ302a−d間に1つの遅延ブロック304a−dを有する状態で、連続的に配置されている。よって、入力タップ302aで受信された信号は、遅延ブロック304aへ送られて遅延され、次に第2入力タップ302bへ送られる。第1入力タップ302aが残響されたオーディオ信号114aを受信し、かつ第2入力タップ302bがオーディオソース信号104aを受信したとき、残響され
かつ遅延されたオーディオ信号114aはオーディオソース信号104aと第2入力タップで結合される。最終出力タップ、例えば出力タップ306cは、結合済み信号116を提供するフィルタの出力であってもよく、それにより「最終の」中間遅延ライン信号、例えば308cが結合済み信号であってもよい。
【国際調査報告】