特許 5879199 残響応答生成装置およびそのプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】5879199

(24)【登録日】2016年2月5日

(45)【発行日】2016年3月8日

(54)【発明の名称】残響応答生成装置およびそのプログラム

(51)【国際特許分類】

   H04S 1/00 20060101AFI20160223BHJP

【ＦＩ】

   H04S1/00 L

   H04S1/00 D

【請求項の数】3

【全頁数】20

(21)【出願番号】特願2012-116235(P2012-116235)

(22)【出願日】2012年5月22日

(65)【公開番号】特開2013-243572(P2013-243572A)

(43)【公開日】2013年12月5日

【審査請求日】2015年4月1日

【権利譲渡・実施許諾】特許権者において、実施許諾の用意がある。

(73)【特許権者】

【識別番号】000004352

【氏名又は名称】日本放送協会

(74)【代理人】

【識別番号】110001807

【氏名又は名称】特許業務法人磯野国際特許商標事務所

(74)【代理人】

【識別番号】100064414

【弁理士】

【氏名又は名称】磯野 道造

(74)【代理人】

【識別番号】100111545

【弁理士】

【氏名又は名称】多田 悦夫

(72)【発明者】

【氏名】松井 健太郎

【審査官】 渡邊 正宏

(56)【参考文献】

【文献】 特開２００５−０８０１２４（ＪＰ，Ａ）

【文献】 特開平０７−１６８５８７（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｈ０４Ｒ ３／００− ３／１４

Ｈ０４Ｓ １／００− ７／００

(57)【特許請求の範囲】

【請求項1】

音響空間における残響を生成するための残響応答を生成する残響応答生成装置であって、
前記音響空間における音源位置から任意の受音点までの、当該受音点を基準とした複数の方向ごとの音響伝達特性を示す第１方向別ルームインパルス応答と、無響空間における音源位置から頭部の耳の位置までの、当該耳の位置を基準とした前記複数の方向ごとの音響伝達特性を示す頭部インパルス応答とを、一致する前記方向ごとに畳み込むことで、各方向の第１バイノーラル方向別ルームインパルス応答を算出するインパルス応答畳み込み手段と、
前記第１バイノーラル方向別ルームインパルス応答を短時間フーリエ変換することで、当該第１バイノーラル方向別ルームインパルス応答のスペクトログラムを算出する第１インパルス応答変換手段と、
前記音響空間における音源位置から前記受音点と同一位置に配置された前記頭部の耳の位置までの音響伝達特性を示すバイノーラルルームインパルス応答を短時間フーリエ変換することで、当該バイノーラルルームインパルス応答のスペクトログラムを算出する第２インパルス応答変換手段と、
全方向の前記第１バイノーラル方向別ルームインパルス応答のスペクトログラムの振幅の総和に対する、各方向の前記第１バイノーラル方向別ルームインパルス応答のスペクトログラムの振幅の割合を、前記バイノーラルルームインパルス応答のスペクトログラムの振幅に乗じ、前記バイノーラルルームインパルス応答のスペクトログラムの位相を複製することで、各方向の第２バイノーラル方向別ルームインパルス応答のスペクトログラムを算出するスペクトログラム算出手段と、
前記第２バイノーラル方向別ルームインパルス応答のスペクトログラムを逆短時間フーリエ変換することで、第２バイノーラル方向別ルームインパルス応答を算出するスペクトログラム変換手段と、
前記第２バイノーラル方向別ルームインパルス応答と、前記頭部インパルス応答とを、一致する前記方向ごとに逆畳み込みすることで、各方向の第２方向別ルームインパルス応答を前記残響応答として算出するインパルス応答逆畳み込み手段と、
を備えることを特徴とする残響応答生成装置。

【請求項2】

前記頭部インパルス応答を最小位相成分と全域通過成分とに分割する頭部インパルス応答分割手段と、
前記第２方向別ルームインパルス応答から遅延量を削除する遅延量削除手段と、を備え、
前記インパルス応答逆畳み込み手段は、前記第２バイノーラル方向別ルームインパルス応答と、前記頭部インパルス応答の前記最小位相成分とを、一致する前記方向ごとに逆畳み込みすることで、各方向の前記第２方向別ルームインパルス応答を算出し、
前記遅延量削除手段は、前記第２方向別ルームインパルス応答から、前記頭部インパルス応答の前記全域通過成分の近似量として得られる前記遅延量を削除することを特徴する請求項１に記載の残響応答生成装置。

【請求項3】

音響空間における残響を生成するための残響応答を生成するために、コンピュータを、
前記音響空間における音源位置から任意の受音点までの、当該受音点を基準とした複数の方向ごとの音響伝達特性を示す第１方向別ルームインパルス応答と、無響空間における音源位置から頭部の耳の位置までの、当該耳の位置を基準とした前記複数の方向ごとの音響伝達特性を示す頭部インパルス応答とを、一致する前記方向ごとに畳み込むことで、各方向の第１バイノーラル方向別ルームインパルス応答を算出するインパルス応答畳み込み手段、
前記第１バイノーラル方向別ルームインパルス応答を短時間フーリエ変換することで、当該第１バイノーラル方向別ルームインパルス応答のスペクトログラムを算出する第１インパルス応答変換手段、
前記音響空間における音源位置から前記受音点と同一位置に配置された前記頭部の耳の位置までの音響伝達特性を示すバイノーラルルームインパルス応答を短時間フーリエ変換することで、当該バイノーラルルームインパルス応答のスペクトログラムを算出する第２インパルス応答変換手段、
全方向の前記第１バイノーラル方向別ルームインパルス応答のスペクトログラムの振幅の総和に対する、各方向の前記第１バイノーラル方向別ルームインパルス応答のスペクトログラムの振幅の割合を、前記バイノーラルルームインパルス応答のスペクトログラムの振幅に乗じるとともに、前記バイノーラルルームインパルス応答のスペクトログラムの位相を複製することで、各方向の第２バイノーラル方向別ルームインパルス応答のスペクトログラムを算出するスペクトログラム算出手段、
前記第２バイノーラル方向別ルームインパルス応答のスペクトログラムを逆短時間フーリエ変換することで、第２バイノーラル方向別ルームインパルス応答を算出するスペクトログラム変換手段、
前記第２バイノーラル方向別ルームインパルス応答と、前記頭部インパルス応答とを、一致する前記方向ごとに逆畳み込みすることで、各方向の第２方向別ルームインパルス応答を前記残響応答として算出するインパルス応答逆畳み込み手段、
として機能させるための残響応答生成プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、ヘッドホン受聴時に所定の音響空間の響きを模擬した残響を生成する際に用いられる、残響応答（方向別ルームインパルス応答）を生成する残響応答生成装置およびそのプログラムに関する。

【背景技術】

【0002】

ヘッドホン受聴時に、再生する音響信号にその信号の到来する方向の頭部インパルス応答（HRIR：Head Related Impulse Response)を畳み込むことにより、その方向から音が到来するかのように知覚させる技術をバイノーラル技術という（例えば特許文献１参照）。前記した「頭部インパルス応答」とは、自由音場（無響空間）における音源位置から耳の位置（両耳鼓膜位置または両耳外耳道入口）までの音響伝達特性のことを示している。この頭部インパルス応答の伝達関数表現が頭部伝達関数（HRTF：Head Related Transfer Function）である。また、前記した「インパルス応答」とは、例えば音源位置からパルス音を放射した場合の受音点の応答のことを示している。

【0003】

頭部インパルス応答は、通常、音響無響室などの反射のない環境で測定される。頭部インパルス応答は、身体や頭部、耳近傍での音波の反射、回折などにより決定されるため、個々人によって異なってくる。従って、バイノーラル技術において最適な聴感を得るためには、受聴者自身の耳で頭部インパルス応答の測定を行うことが望ましいとされている。

【0004】

一方、このような頭部インパルス応答を測定せず、受聴者の頭やダミーヘッド、または、ＨＡＴＳ（Head and Torso Simulator）と呼ばれるマネキンの両耳鼓膜位置または両耳外耳道入口にマイクロホンを設置し、両耳の位置で直接音響信号を収音して提示する方法をバイノーラル録音・再生という。

【0005】

ここで、前記したように音響信号に頭部インパルス応答を畳み込むバイノーラル技術において、音響信号に対してある音響空間の響き(残響)を付加するには、大きく二つの方法が考えられる。一つ目の方法は、ダミーヘッドやＨＡＴＳを音響空間に配置し、反射を含む頭部インパルス応答を測定する方法である。このような反射の成分を含む頭部インパルス応答を音響信号に畳み込むことで、残響を含む音の到来を受聴者に知覚させることができる。ここで、以下の説明では、このような音響空間における反射の成分を含む頭部インパルス応答のことをバイノーラルルームインパルス応答（BRIR：Binaural Room Impulse Response）と呼ぶこととする。

【0006】

また、二つ目の方法は、リバーブレータ（残響装置）を使用して作成した残響や、音響空間で測定したルームインパルス応答（RIR：Room Impulse Response）を使用して作成した残響を、頭部インパルス応答と音響信号との畳み込みによって生成される直接音とは別に付加する方法である。なお、前記した「ルームインパルス応答（室内インパルス応答）」とは、音響空間における音源位置から受音点までの音響伝達特性のことであり、より具体的には、当該音響空間の形状、壁の吸音率や音源の位置などに基づく音の反射の成分を示している。

【先行技術文献】

【特許文献】

【0007】

【特許文献1】特開２００２−２０９３００号公報

【発明の概要】

【発明が解決しようとする課題】

【0008】

しかしながら、前記した一つ目の方法は、頭部インパルス応答と音響空間における反射とが同時に測定されることになるため、最適な聴感を得るには受聴者自身が音響空間に赴き、バイノーラルルームインパルス応答を測定しなければならなかった。そのため、例えば受聴者が変わる場合は、その都度受聴者が音響空間に赴いてバイノーラルルームインパルス応答を再測定する必要があり、処理が煩雑であるという問題があった。

【0009】

また、前記した二つ目の方法は、当該方法によって付加される残響が、本来スピーカでの再生を前提としており、例えばヘッドホンを通じて両耳に直接提示される場合は、必ずしも元の場所（音響空間）の響きを再現する所望の残響となるとは限らないという問題があった。

【0010】

本発明はかかる点に鑑みてなされたものであって、ヘッドホン受聴時において、受聴者が入れ替わった場合であっても、同じ音響空間で受聴したものに近い残響の生成が可能な残響応答を生成する残響応答生成装置およびそのプログラムを提供することを課題とする。

【課題を解決するための手段】

【0011】

前記課題を解決するために請求項１に係る残響応答生成装置は、音響空間における残響を生成するための残響応答を生成する装置であって、インパルス応答畳み込み手段と、第１インパルス応答変換手段と、第２インパルス応答変換手段と、スペクトログラム算出手段と、スペクトログラム変換手段と、インパルス応答逆畳み込み手段と、を備える構成とした。

【0012】

このような構成を備える残響応答生成装置は、インパルス応答畳み込み手段によって、音響空間における音源位置から任意の受音点までの、当該受音点を基準とした複数の方向ごとの音響伝達特性を示す第１方向別ルームインパルス応答と、無響空間における音源位置から頭部の耳の位置までの、当該耳の位置を基準とした複数の方向ごとの音響伝達特性を示す頭部インパルス応答とを、一致する方向ごとに畳み込むことで、各方向の第１バイノーラル方向別ルームインパルス応答を算出する。また、残響応答生成装置は、第１インパルス応答変換手段によって、第１バイノーラル方向別ルームインパルス応答を短時間フーリエ変換することで、当該第１バイノーラル方向別ルームインパルス応答のスペクトログラムを算出する。また、残響応答生成装置は、第２インパルス応答変換手段によって、音響空間における音源位置から受音点と同一位置に配置された頭部の耳の位置までの音響伝達特性を示すバイノーラルルームインパルス応答を短時間フーリエ変換することで、当該バイノーラルルームインパルス応答のスペクトログラムを算出する。

【0013】

また、残響応答生成装置は、スペクトログラム算出手段によって、全方向の第１バイノーラル方向別ルームインパルス応答のスペクトログラムの振幅の総和に対する、各方向の前記第１バイノーラル方向別ルームインパルス応答のスペクトログラムの振幅の割合を、バイノーラルルームインパルス応答のスペクトログラムの振幅に乗じるとともに、バイノーラルルームインパルス応答のスペクトログラムの位相を複製することで、各方向の第２バイノーラル方向別ルームインパルス応答のスペクトログラムを算出する。また、残響応答生成装置は、スペクトログラム変換手段によって、第２バイノーラル方向別ルームインパルス応答のスペクトログラムを逆短時間フーリエ変換することで、第２バイノーラル方向別ルームインパルス応答を算出する。そして、残響応答生成装置は、第２バイノーラル方向別ルームインパルス応答と、頭部インパルス応答とを、一致する方向ごとに逆畳み込みすることで、各方向の第２方向別ルームインパルス応答を残響応答として算出する。

【0014】

このように、残響応答生成装置は、スペクトログラム算出手段によって、全方向の第１バイノーラル方向別ルームインパルス応答の振幅応答の総和に対する、各方向の第１バイノーラル方向別ルームインパルス応答の振幅応答の割合をバイノーラルルームインパルス応答の振幅応答に乗じ、かつ、バイノーラルルームインパルス応答の位相応答を複製するとともに、インパルス応答逆畳み込み手段によって、頭部インパルス応答と逆畳み込みを行うことで、バイノーラル録音されたバイノーラルルームインパルス応答から頭部インパルス応答を分離し、残響応答（第２方向別インパルス応答）を生成することができる。

【0015】

また、請求項２に係る残響応答生成装置は、請求項１に係る残響応答生成装置において、頭部インパルス応答分割手段と、遅延量削除手段と、を備える構成とした。

【0016】

このような構成を備える残響応答生成装置は、頭部インパルス応答分割手段によって、頭部インパルス応答を最小位相成分と全域通過成分とに分割する。また、残響応答生成装置は、遅延量削除手段によって、第２方向別ルームインパルス応答から遅延量を削除する。また、残響応答生成装置は、インパルス応答逆畳み込み手段によって、第２バイノーラル方向別ルームインパルス応答と、頭部インパルス応答の最小位相成分とを、一致する方向ごとに逆畳み込みすることで、各方向の第２方向別ルームインパルス応答を算出する。そして、残響応答生成装置は、遅延量削除手段によって、第２方向別ルームインパルス応答から、頭部インパルス応答の全域通過成分の近似量として得られる遅延量を削除する。

【0017】

このように、残響応答生成装置は、頭部インパルス応答分割手段によって、頭部インパルス応答を、時間遅れ分を含まない最小位相成分と時間遅れ分を含む全域通過成分とに分割するため、インパルス応答逆畳み込み手段によって、時間遅れ分を含まない頭部インパルス応答の最小位相成分を用いて、第２バイノーラル方向別ルームインパルス応答との逆畳み込みを行うことができる。

【0018】

前記課題を解決するために請求項３に係る残響応答生成プログラムは、音響空間における残響を生成するための残響応答を生成するために、コンピュータを、インパルス応答畳み込み手段、第１インパルス応答変換手段、第２インパルス応答変換手段、スペクトログラム算出手段、スペクトログラム変換手段、インパルス応答逆畳み込み手段、として機能させることとした。

【0019】

このような構成を備える残響応答生成プログラムは、インパルス応答畳み込み手段によって、音響空間における音源位置から任意の受音点までの、当該受音点を基準とした複数の方向ごとの音響伝達特性を示す第１方向別ルームインパルス応答と、無響空間における音源位置から頭部の耳の位置までの、当該耳の位置を基準とした複数の方向ごとの音響伝達特性を示す頭部インパルス応答とを、一致する方向ごとに畳み込むことで、各方向の第１バイノーラル方向別ルームインパルス応答を算出する。また、残響応答生成プログラムは、第１インパルス応答変換手段によって、第１バイノーラル方向別ルームインパルス応答を短時間フーリエ変換することで、当該第１バイノーラル方向別ルームインパルス応答のスペクトログラムを算出する。また、残響応答生成プログラムは、第２インパルス応答変換手段によって、音響空間における音源位置から受音点と同一位置に配置された頭部の耳の位置までの音響伝達特性を示すバイノーラルルームインパルス応答を短時間フーリエ変換することで、当該バイノーラルルームインパルス応答のスペクトログラムを算出する。

【0020】

また、残響応答生成プログラムは、スペクトログラム算出手段によって、全方向の第１バイノーラル方向別ルームインパルス応答のスペクトログラムの振幅の総和に対する、各方向の前記第１バイノーラル方向別ルームインパルス応答のスペクトログラムの振幅の割合を、バイノーラルルームインパルス応答のスペクトログラムの振幅に乗じるとともに、バイノーラルルームインパルス応答のスペクトログラムの位相を複製することで、各方向の第２バイノーラル方向別ルームインパルス応答のスペクトログラムを算出する。また、残響応答生成プログラムは、スペクトログラム変換手段によって、第２バイノーラル方向別ルームインパルス応答のスペクトログラムを逆短時間フーリエ変換することで、第２バイノーラル方向別ルームインパルス応答を算出する。そして、残響応答生成プログラムは、第２バイノーラル方向別ルームインパルス応答と、頭部インパルス応答とを、一致する方向ごとに逆畳み込みすることで、各方向の第２方向別ルームインパルス応答を残響応答として算出する。

【0021】

このように、残響応答生成プログラムは、スペクトログラム算出手段によって、全方向の第１バイノーラル方向別ルームインパルス応答の振幅応答の総和に対する、各方向の第１バイノーラル方向別ルームインパルス応答の振幅応答の割合をバイノーラルルームインパルス応答の振幅応答に乗じ、かつ、バイノーラルルームインパルス応答の位相応答を複製するとともに、インパルス応答逆畳み込み手段によって、頭部インパルス応答と逆畳み込みを行うことで、バイノーラル録音されたバイノーラルルームインパルス応答から頭部インパルス応答を分離し、残響応答（第２方向別インパルス応答）を生成することができる。

【発明の効果】

【0022】

請求項１および請求項３に係る発明によれば、生成された第２方向別ルームインパルス応答と受聴者の頭部インパルス応答とを音響信号に畳み込むことで、受聴者が実際の音響空間に赴くことなく、当該受聴者が同じ音響空間で受聴したものに近い残響を生成することができる。また、請求項１および請求項３に係る発明によれば、受聴者が入れ替わった場合であっても、生成された第２方向別ルームインパルス応答と当該変更後の受聴者の頭部インパルス応答とを音響信号に畳み込むことで、当該変更後の受聴者が同じ音響空間で受聴したものに近い残響を生成することができる。

【0023】

請求項２に係る発明によれば、マイクロホンの配置のずれ、測定誤差などの要因により頭部インパルス応答をそのまま逆畳み込みを行うと因果律を満たさなくなる場合であっても、因果律を満たしながら第２バイノーラル方向別ルームインパルスとの逆畳み込みを行うことができ、音響空間における反射などの音響伝達特性を示す第２方向別ルームインパルス応答を生成することができる。

【図面の簡単な説明】

【0024】

【図1】本発明の第１実施形態に係る残響応答生成装置の全体構成を示すブロック図である。

【図2】本発明の実施形態に係る残響応答生成装置におけるルームインパルス応答を説明するための概略図である。

【図3】本発明の実施形態に係る残響応答生成装置における方向別ルームインパルス応答を説明するための概略図である。

【図4】本発明の実施形態に係る残響応答生成装置における方向別ルームインパルス応答を示す概略図である。

【図5】本発明の第１実施形態に係る残響応答生成装置の処理手順における、頭部インパルス応答の測定処理を示すフローチャートである。

【図6】本発明の第１実施形態に係る残響応答生成装置の処理手順における、第１バイノーラル方向別ルームインパルス応答のスペクトログラムの算出処理を示すフローチャートである。

【図7】本発明の第１実施形態に係る残響応答生成装置の処理手順における、第２方向別ルームインパルス応答の算出処理を示すフローチャートである。

【図8】本発明の実施形態に係る残響応答生成装置によって生成された第２方向別ルームインパルス応答を用いて残響を生成し、受聴者に提示する手順を示す概略図である。

【図9】本発明の第２実施形態に係る残響応答生成装置の全体構成を示すブロック図である。

【図10】本発明の第２実施形態に係る残響応答生成装置の処理手順における、頭部インパルス応答の最小位相成分の算出処理を示すフローチャートである。

【図11】本発明の第２実施形態に係る残響応答生成装置の処理手順における、第２方向別ルームインパルス応答の算出処理を示すフローチャートである。

【発明を実施するための形態】

【0025】

本発明の実施形態に係る残響応答生成装置およびそのプログラムについて、図面を参照しながら説明する。なお、以下の説明において、同一の構成については同一の名称および符号を付し、詳細説明を省略する。

【0026】

［第１実施形態］
以下、本発明の第１実施形態に係る残響応答生成装置１の構成について、図１〜図４を参照しながら説明する。残響応答生成装置１は、残響を生成する際に用いられる残響応答を生成するものである。ここで、「残響応答」とは、所定の音響空間における任意の受音点を基準とした、有限数（例えばＮ個）の到来方向ごとのルームインパルス応答（反射の成分）のことを示しており、具体的には図１に示すように、第２方向別ルームインパルス方向のことを意味している。

【0027】

残響応答生成装置１は、図１に示すように、頭部インパルス応答、第１方向別ルームインパルス応答およびバイノーラルルームインパルス応答を入力として、第２方向別ルームインパルス応答を生成する。すなわち、残響応答生成装置１は、後記するように、頭部インパルス応答と第１方向別ルームインパルス応答とを利用して、反射の成分を含む頭部インパルス応答であるバイノーラルルームインパルス応答から頭部インパルス応答を分離し、反射の成分のみを含む第２方向別ルームインパルス応答を生成することを特徴としている。なお、このように生成された第２方向別ルームインパルス応答は、後記するように、受聴者の頭部インパルス応答とともに音響信号に畳み込まれることで、音響空間の残響が生成されることになる（後記する図８参照）。

【0028】

残響応答生成装置１は、ここでは図１に示すように、インパルス応答畳み込み手段１０と、第１インパルス応答変換手段２０と、第２インパルス応答変換手段３０と、スペクトログラム算出手段４０と、スペクトログラム変換手段５０と、インパルス応答逆畳み込み手段６０と、を備えている。以下、残響応答生成装置１の各要素について説明する。

【0029】

インパルス応答畳み込み手段１０は、第１バイノーラル方向別ルームインパルス応答を算出するものである。ここで、「バイノーラル方向別ルームインパルス応答」とは、所定の音響空間における任意の受音点を基準とした、有限数（例えばＮ個）の到来方向ごとのバイノーラルルームインパルス応答のことを示している。インパルス応答畳み込み手段１０は、具体的には図１に示すように、第１方向別ルームインパルス応答と頭部インパルス応答とを、一致する方向ごとに畳み込む（コンボリューションする）ことで、予め定められた複数の方向ごとに第１バイノーラルルームインパルス応答を算出する。

【0030】

ここで、インパルス応答畳み込み手段１０に入力される頭部インパルス応答は、残響応答生成装置１における処理前に予め求められるものである。この頭部インパルス応答は、例えば音響無響室の所定位置にダミーヘッドまたはＨＡＴＳを配置し、これらの頭部の耳の位置（両耳鼓膜位置または両耳外耳道入口）を基準として、予め定められた複数の方向ごとに求められ、図１に示すように、それぞれがインパルス応答畳み込み手段１０に出力される。なお、前記した頭部インパルス応答は、ダミーヘッドまたはＨＡＴＳのみならず、実際の人間の頭部を用いて求めても構わない。

【0031】

頭部インパルス応答を求めるための具体的な方法は特に限定されず、任意の方法を用いることができる。頭部インパルス応答は、例えば、頭部がある場合の所定位置にある音源から外耳耳入口に設置したマイクロホンまでの音響伝達関数を、頭部がない場合の前記所定位置にある音源から頭部中心位置においたマイクロホンまでの音響伝達関数で除算し、これを逆離散フーリエ変換することで算出することができる。

【0032】

また、頭部インパルス応答を求める方向も特に限定されないが、例えば前記したダミーヘッドなどの耳（両耳鼓膜位置または両耳外耳道入口）の位置を基準として、水平方向に８方位（４５度間隔）、上下に２層の合計１６方向分の頭部インパルス応答を求めることができる。なお、頭部インパルス応答は、左右の耳のそれぞれについて求めることができるが、ここでは左右の耳の一方について求めればよい。但し、左右の耳のそれぞれについて頭部インパルス応答を求め、左右の耳の頭部インパルス応答のうち、Ｓ／Ｎなどの条件が良好なものを選択して用いても構わない。

【0033】

インパルス応答畳み込み手段１０に入力される第１方向別ルームインパルス応答は、残響応答生成装置１における処理前に予め求められるものである。ここで、「方向別ルームインパルス応答」とは、所定の音響空間における任意の受音点を基準とした、有限数（例えばＮ個）の到来方向ごとのルームインパルス応答のことを示している。この第１方向別ルームインパルス応答は、例えば音響空間の所定位置を基準として、予め定められた複数の方向ごとに求められ、図１に示すように、それぞれがインパルス応答畳み込み手段１０に出力される。

【0034】

ここで、バイノーラルルームインパルス応答から直接音を除いた信号、すなわち音響空間における反射の成分を示す応答は、図２に示すように、様々な方向から到来する反射音に到来方向に相当する頭部インパルス応答を畳み込んだ信号の、頭部近傍境界面Ｓ上における面積分で表すことができると仮定する。そして、様々な方向から到来する反射音の到来方向を有限数に限定（離散化）し、様々な方向から到来する反射音をパンニングなどの従来手法によって限定されたＮ個の到来方向に振り分けることで、これらの時系列信号を方向別インパルス応答として近似して用いることができる。なお、図２における頭部は、バイノーラル録音において用いられるダミーヘッドＤＨを示している。

【0035】

一方、本発明に係る残響応答生成装置１は、図３および図４に示すように、予め定められた複数の方向別に実測したルームインパルス応答を方向別インパルス応答として用いている。なお、図４は、方向別ルームインパルス応答の一例を示しており、縦軸が振幅を、横軸が時間を示している。方向別ルームインパルス応答は、図４に示すように、時間とともに徐々に振幅が減衰する波形として表わすことができる。

【0036】

第１方向別ルームインパルス応答を求めるための具体的な方法は特に限定されず、任意の方法を用いることができる。第１方向別ルームインパルス応答は、例えば、音響シミュレーションによって音響空間の所定位置を基準とした方向別ルームインパルス応答を解析的に算出する方法や、音響空間内の所定位置に指向性マイクロホンを設置し、複数の方向ごとに実測する方法などを用いることができる。

【0037】

また、第１方向別ルームインパルス応答を求める方向も特に限定されないが、全周囲を等分する方向が望ましい。例えば頭部インパルス応答と同様に、音響空間内の所定位置を基準として、水平方向に８方位（４５度間隔）、上下に２層の合計１６方向分の第１方向別ルームインパルス応答を求めることができる。すなわち、第１方向別ルームインパルス応答と頭部インパルス応答とは、それぞれ一致した方向について求める。

【0038】

インパルス応答畳み込み手段１０は、例えば前記したように、第１方向別ルームインパルス応答と頭部インパルス応答とがそれぞれ１６方向分入力された場合は、それぞれ一致する方向について畳み込みを行うことで１６方向分の第１バイノーラル方向別ルームインパルス応答を算出し、これらを第１インパルス応答変換手段２０に出力する。

【0039】

第１インパルス応答変換手段２０は、第１バイノーラル方向別ルームインパルス応答をスペクトログラムに変換するものである。第１インパルス応答変換手段２０は、具体的には、第１バイノーラル方向別ルームインパルス応答を短時間フーリエ変換することで、当該第１バイノーラル方向別ルームインパルス応答のスペクトログラムを算出する。

【0040】

第１インパルス応答変換手段２０は、例えば前記したように、第１バイノーラル方向別ルームインパルス応答が１６方向分入力された場合は、それぞれ短時間フーリエ変換を行うことで１６方向分のスペクトログラムを算出し、これらをスペクトログラム算出手段４０に出力する。なお、短時間フーリエ変換は、音声などの時間変化する信号の周波数と位相の変化を解析するために用いられ、関数に窓関数をずらしながら掛け、それをフーリエ変換することでスペクトログラムが算出される。

【0041】

第２インパルス応答変換手段３０は、バイノーラルルームインパルス応答をスペクトログラムに変換するものである。第２インパルス応答変換手段３０は、具体的には、バイノーラルルームインパルス応答を短時間フーリエ変換することで、当該バイノーラルルームインパルス応答のスペクトログラムを算出する。そして、第２インパルス応答変換手段３０は、図１に示すように、算出したバイノーラルルームインパルス応答のスペクトログラムをスペクトログラム算出手段４０に出力する。

【0042】

ここで、第２インパルス応答変換手段３０に入力されるバイノーラルルームインパルス応答は、残響応答生成装置１における処理前に予め求められるものである。バイノーラルルームインパルス応答は、前記した第１方向別ルームインパルス応答を求めた音響空間における所定位置と同一位置に、インパルス応答畳み込み手段１０に入力される頭部インパルス応答を測定したものと同じダミーヘッドまたはＨＡＴＳを配置し、従来のバイノーラル録音技術を用いて求めることができる。なお、バイノーラルルームインパルス応答は、左右の耳のそれぞれについて求めることができるが、ここでは左右の耳の一方について求めればよい。但し、左右の耳のそれぞれについてバイノーラルルームインパルス応答を求め、左右の耳のバイノーラルルームインパルス応答のうち、Ｓ／Ｎなどが良好なものを選択して用いても構わない。

【0043】

スペクトログラム算出手段４０は、第２バイノーラル方向別ルームインパルス応答のスペクトログラムを算出するものである。スペクトログラム算出手段４０は、具体的には、全方向の第１バイノーラル方向別ルームインパルス応答のスペクトログラムの振幅の総和に対する、各方向の第１バイノーラル方向別ルームインパルス応答のスペクトログラムの振幅の割合を、バイノーラルルームインパルス応答のスペクトログラムの振幅に乗じるとともに、バイノーラルルームインパルス応答のスペクトログラムの位相を複製することで、複数の方向ごとに第２バイノーラル方向別ルームインパルス応答のスペクトログラムを算出する。なお、バイノーラルルームインパルス応答のスペクトログラムの位相を複製するとは、当該バイノーラルルームインパルス応答のスペクトログラムの位相を第２バイノーラル方向別ルームインパルス応答のスペクトログラムの位相としてそのまま用いることを意味している。このように、スペクトログラム算出手段４０は、各方向の第２バイノーラル方向別ルームインパルス応答の全方向に対する割合（比率）によって、バイノーラル録音されたバイノーラルルームインパルス応答を分割し、反射の成分のみからなる第２バイノーラル方向別ルームインパルス応答を生成する。

【0044】

スペクトログラム算出手段４０は、より具体的には、以下の式（１）により、第２バイノーラル方向別ルームインパルス応答のスペクトログラムの振幅を算出する。

【0045】

【数1】

【0046】

ここで、式（１）において、Ｆ_Ｇｉは、第２バイノーラル方向別ルームインパルス応答のスペクトログラム、Ｆ_Ｂはバイノーラルルームインパルス応答のスペクトログラム、Ｆ_Ｄｉは各方向の第１方向別ルームインパルス応答のスペクトログラム、ｋは時間のインデックス、ｆは周波数ビンのインデックス、Ｎは第１方向別ルームインパルス応答の測定方向数、ｉは第１方向別ルームインパルス応答の測定方向数のインデックスを示している。また、式（１）の分母は、全方向の第１方向別ルームインパルス応答のスペクトログラムの振幅の総和を示している。

【0047】

また、スペクトログラム算出手段４０は、より具体的には、以下の式（２）により、第２バイノーラル方向別ルームインパルス応答のスペクトログラムの位相を複製する。

【0048】

【数2】

【0049】

ここで、式（２）において、∠Ｆ_Ｇｉは、第２バイノーラル方向別ルームインパルス応答のスペクトログラムの位相、∠Ｆ_Ｂはバイノーラルルームインパルス応答のスペクトログラムの位相、ｋは時間のインデックス、ｆは周波数ビンのインデックス、Ｎは第１方向別ルームインパルス応答の測定方向数、ｉは第１方向別ルームインパルス応答の測定方向数のインデックスを示している。

【0050】

スペクトログラム算出手段４０は、例えば前記したように、第１バイノーラル方向別ルームインパルス応答のスペクトログラムが１６方向分入力された場合は、前記した式（１）に示すように、それぞれの振幅の割合をバイノーラルルームインパルス応答のスペクトログラムの振幅に乗じるとともに、バイノーラルルームインパルス応答のスペクトログラムの位相を複製することで、１６方向分の第２バイノーラル方向別ルームインパルス応答のスペクトログラムを算出し、これらをスペクトログラム変換手段５０に出力する。

【0051】

スペクトログラム変換手段５０は、第２バイノーラル方向別ルームインパルス応答のスペクトログラムを第２バイノーラル方向別ルームインパルス応答に変換するものである。スペクトログラム変換手段５０は、具体的には、第２バイノーラル方向別ルームインパルス応答のスペクトログラムを逆短時間フーリエ変換することで、第２バイノーラル方向別ルームインパルス応答を算出する。

【0052】

スペクトログラム変換手段５０は、例えば前記したように、第２バイノーラル方向別ルームインパルス応答のスペクトログラムが１６方向分入力された場合は、それぞれ逆短時間フーリエ変換を行うことで１６方向分の第２バイノーラル方向別ルームインパルス応答を算出し、これらをインパルス応答逆畳み込み手段６０に出力する。

【0053】

インパルス応答逆畳み込み手段６０は、第２方向別ルームインパルス応答を算出するものである。この第２方向別ルームインパルス応答は、前記したように、残響応答のことを示している。インパルス応答逆畳み込み手段６０は、具体的には、第２バイノーラル方向別ルームインパルス応答と頭部インパルス応答とを、一致する方向ごとに逆畳み込みする（デコンボリューションする）ことで、複数の方向ごとに第２方向別ルームインパルス応答を算出する。

【0054】

インパルス応答逆畳み込み手段６０は、例えば前記したように、第２バイノーラル方向別ルームインパルス応答と頭部インパルス応答とがそれぞれ１６方向分入力された場合は、それぞれ一致する方向について逆畳み込みを行うことで、１６方向分の第２方向別ルームインパルス応答を算出する。

【0055】

以上のような構成を備える残響応答生成装置１は、スペクトログラム算出手段４０によって、全方向の第１バイノーラル方向別ルームインパルス応答の振幅応答の総和に対する、各方向の第１バイノーラル方向別ルームインパルス応答の振幅応答の割合をバイノーラルルームインパルス応答の振幅応答に乗じ、かつ、バイノーラルルームインパルス応答の位相応答を複製するとともに、インパルス応答逆畳み込み手段６０によって、頭部インパルス応答と逆畳み込みを行うことで、バイノーラル録音されたバイノーラルルームインパルス応答から頭部インパルス応答を分離し、残響応答（第２方向別インパルス応答）を生成することができる。

【0056】

従って、残響応答生成装置１によれば、生成された第２方向別ルームインパルス応答と受聴者の頭部インパルス応答とを音響信号に畳み込むことで、受聴者が実際の音響空間に赴くことなく、当該受聴者が同じ音響空間で受聴したものに近い残響を生成することができる。また、残響応答生成装置１によれば、受聴者が入れ替わった場合であっても、生成された第２方向別ルームインパルス応答と当該変更後の受聴者の頭部インパルス応答とを音響信号に畳み込むことで、当該変更後の受聴者が同じ音響空間で受聴したものに近い残響を生成することができる。

【0057】

［残響応答生成装置１の処理手順］
以下、残響応答生成装置１の処理手順について、図５〜図７を参照（適宜図１も参照）しながら説明する。なお、以下の説明では、図５〜図７に示すように、各インパルス応答（頭部インパルス応答、第１方向別ルームインパルス応答およびバイノーラルルームインパルス応答）の測定処理も含めて説明する。また、以下の説明では、図５〜図７に示すように、各インパルス応答の処理を別々の図面で示しているが、図面の順序と各インパルス応答の処理の順序とは関係していない。従って、例えば各インパルス応答の測定（図５のステップＳ１０、図６のステップＳ２０、図７のステップＳ３０）のタイミングは同じであっても別であっても構わない。

【0058】

まず、残響応答生成装置１は、図５に示すように、例えば図示しない測定手段などによってダミーヘッドなどの頭部インパルスが測定されると、これをインパルス応答畳み込み手段１０に入力する（ステップＳ１０）。

【0059】

次に、残響応答生成装置１は、図６に示すように、例えば図示しない測定手段などによって第１方向別ルームインパルス応答が測定されると、これをインパルス応答畳み込み手段１０に入力する（ステップＳ２０）。次に、残響応答生成装置１は、図６に示すように、インパルス応答畳み込み手段１０によって、第１方向別ルームインパルス応答と頭部インパルス応答との畳み込みを行い、第１バイノーラル方向別ルームインパルス応答を算出する（ステップＳ２１）。次に、残響応答生成装置１は、図６に示すように、第１インパルス応答変換手段２０によって、第１バイノーラル方向別ルームインパルス応答を短時間フーリエ変換することで、スペクトログラムを算出する（ステップＳ２２）。

【0060】

次に、残響応答生成装置１は、図７に示すように、例えば図示しない測定手段などによってバイノーラルルームインパルス応答が測定されると、これを第２インパルス応答変換手段３０に入力する（ステップＳ３０）。次に、残響応答生成装置１は、図７に示すように、第２インパルス応答変換手段３０によって、当該バイノーラルルームインパルス応答を短時間フーリエ変換することで、スペクトログラムを算出する（ステップＳ３１）。

【0061】

次に、残響応答生成装置１は、図７に示すように、スペクトログラム算出手段４０によって、各方向の第１バイノーラル方向別ルームインパルス応答の振幅応答（スペクトログラムの振幅）の全体に対する割合をバイノーラルルームインパルス応答のスペクトログラムの振幅に乗じることで、第２バイノーラル方向別ルームインパルス応答のスペクトログラムの振幅を算出する（ステップＳ３２）。次に、残響応答生成装置１は、図７に示すように、スペクトログラム算出手段４０によって、バイノーラルルームインパルス応答の位相応答（スペクトログラムの位相）を複製し、第２バイノーラル方向別ルームインパルス応答のスペクトログラムを算出する（ステップＳ３３）。

【0062】

次に、残響応答生成装置１は、図７に示すように、スペクトログラム変換手段５０によって、第２バイノーラル方向別ルームインパルス応答のスペクトログラムを短時間フーリエ変換することで、第２バイノーラル方向別ルームインパルス応答を算出する（ステップＳ３４）。次に、残響応答生成装置１は、図７に示すように、インパルス応答逆畳み込み手段６０によって、第２バイノーラル方向別ルームインパルス応答と頭部インパルス応答との逆畳み込みを行うことで、第２方向別ルームインパルス応答を算出し（ステップＳ３５）、処理を終了する。

【0063】

残響応答生成装置１は、以上のような手順により、バイノーラル録音されたバイノーラルルームインパルス応答から頭部インパルス応答を分離し、残響応答（第２方向別インパルス応答）を生成する。

【0064】

［受聴者への残響の提示手順］
以下、残響応答生成装置１によって生成された第２方向別ルームインパルス応答を用いて残響を生成し、受聴者に提示する（聴取させる）手順について、図８を参照しながら説明する。なお、以下の説明では、図８に示すように、残響応答生成装置１によって、予めＮ方向分（Ｎ個）の第２方向別ルームインパルス応答が生成されており、かつ、図示しない測定手段などによって、予め受聴者ＬのＮ方向分（Ｎ個）の両耳の頭部インパルス応答が測定されているものとする。また、第２方向別ルームインパルス応答と頭部インパルス応答とは、受音点あるいは受聴者Ｌを基準として、それぞれ一致する方向について生成および測定されているものとする。

【0065】

まず、最初に、図８に示すように、音響信号に対して、残響応答生成装置１によって生成されたＮ方向分の第２方向別ルームインパルス応答をそれぞれ畳み込む（ステップＳ１００）。これにより、音響信号にそれぞれ異なるＮ個の第２方向別ルームインパルス応答が畳み込まれ、Ｎ個の信号が生成される。

【0066】

次に、図８に示すように、ステップＳ１００において生成されたＮ個の信号に、一致する方向の頭部インパルス応答を左右耳分それぞれ畳み込む（ステップＳ１０１）。これにより、Ｎ個の信号に、それぞれ異なるＮ個の左耳の頭部インパルス応答と、それぞれ異なるＮ個の右耳の頭部インパルス応答とが畳み込まれ、２Ｎ個の信号が生成される。

【0067】

次に、図８に示すように、ステップＳ１０１において生成された２Ｎ個の信号を、左耳ごとおよび右耳ごとに加算し、ヘッドホンなどを介して受聴者Ｌの左耳および右耳にそれぞれ提示する（ステップＳ１０２）。

【0068】

以上のような手順により、音響空間の残響が生成され、受聴者Ｌに対して、当該受聴者Ｌがあたかも音響空間にいるかのような響きを再現する残響が提示される。なお、図８における受聴者Ｌが別の受聴者に入れ替わった場合であっても、ステップＳ１０１で用いられる頭部インパルス応答を当該別の受聴者の頭部インパルス応答と変更することで、別の受聴者に対して、あたかも音響空間にいるかのような響きを再現する残響が提示される。

【0069】

［第２実施形態］
以下、本発明の第２実施形態に係る残響応答生成装置１Ａの構成について、図９を参照しながら説明する。ここで、残響応答生成装置１Ａは、図９に示すように、インパルス応答逆畳み込み手段６０の代わりにインパルス応答逆畳み込み手段６０Ａを備え、頭部インパルス応答分割手段７０および遅延量削除手段８０を備えている以外は、前記した第１実施形態に係る残響応答生成装置１と同様の構成を備えている。従って、前記した残響応答生成装置１と重複する構成については、同じ符号を付して説明を省略し、動作についても説明を省略する。なお、図９において、図１に示す残響応答生成装置１から変更あるいは新たに付加された手段は、太枠のブロックで示している。

【0070】

インパルス応答逆畳み込み手段６０Ａは、前記したインパルス応答逆畳み込み手段６０と同様に、第２方向別ルームインパルス応答を算出するものである。インパルス応答逆畳み込み手段６０Ａは、具体的には、第２バイノーラル方向別ルームインパルス応答と、頭部インパルス応答の最小位相成分とを、一致する方向ごとに逆畳み込みすることで、第２方向別ルームインパルス応答を算出する。なお、最小位相成分については後記する。

【0071】

頭部インパルス応答分割手段７０は、頭部インパルス応答の成分ごとに分割するものである。頭部インパルス応答分割手段７０は、具体的には、頭部インパルス応答を最小位相成分と全域通過成分とに分割する。ここで、頭部インパルス応答は、前記したように、自由音場における音源位置から耳の位置（両耳鼓膜位置または両耳外耳道入口）までの音響伝達特性であるため、時間遅れ成分が含まれている。第２バイノーラル方向別ルームインパルス応答とそのまま逆畳み込みを行うと、通常は、第２バイノーラル方向別ルームインパルス応答の時間遅れ成分と相殺されるが、マイクロホンの配置のずれ、測定誤差などの要因により、因果律を満たさない場合がある。そこで、頭部インパルス応答分割手段７０によって、頭部インパルス応答を、時間遅れ成分を含まない最小位相成分と時間遅れ成分を含む全域通過成分とに分割することで、前記したように、インパルス応答逆畳み込み手段６０Ａにおいて、時間遅れ成分を含まない最小位相成分と、第２バイノーラル方向別ルームインパルス応答との逆畳み込みを行うことができる。

【0072】

頭部インパルス応答分割手段７０は、例えば前記したように、頭部インパルス応答が１６方向分入力された場合は、それぞれを最小位相成分と全域通過成分に分割することで、１６方向分の最小位相成分と１６方向分の全域通過成分とを生成する。そして、頭部インパルス応答分割手段７０は、図９に示すように、１６方向分の最小位相成分をインパルス応答逆畳み込み手段６０Ａに出力し、１６方向分の全域通過成分を遅延量削除手段８０に出力する。

【0073】

遅延量削除手段８０は、第２方向別ルームインパルス応答から遅延量を削除するものである。遅延量削除手段８０は、具体的には、頭部インパルス応答の全域通過成分の近似量として得られる遅延量が、第２方向別ルームインパルス応答の時間遅れ成分（遅延量）より小さい場合は、第２方向別ルームインパルス応答から、前記した遅延量（全域通過成分の近似量）を削除する。一方、遅延量削除手段８０は、頭部インパルス応答の全域通過成分の近似量として得られる遅延量が、第２方向別ルームインパルス応答の時間遅れ成分（遅延量）より大きい場合は、第２方向別ルームインパルス応答から、当該第２方向別ルームインパルス応答の遅延量を削除する。すなわち、遅延量削除手段８０は、第２方向別ルームインパルス応答の先頭部分から、前記した遅延量に相当するサンプル分を削除する。なお、このように第２方向別ルームインパルス応答から遅延量を削除するのは、頭部インパルス応答の最小位相成分との逆畳み込みだけでは、前記した遅延量分だけ応答が遅れてしまうためである。

【0074】

以上のような構成を備える残響応答生成装置１Ａは、頭部インパルス応答分割手段７０によって、頭部インパルス応答を、時間遅れ分を含まない最小位相成分と時間遅れ分を含む全域通過成分とに分割するため、インパルス応答逆畳み込み手段６０Ａによって、時間遅れ分を含まない頭部インパルス応答の最小位相成分を用いて、第２バイノーラル方向別ルームインパルス応答との逆畳み込みを行うことができる。

【0075】

従って、残響応答生成装置１Ａによれば、マイクロホンの配置のずれ、測定誤差などの要因により頭部インパルス応答をそのまま逆畳み込みを行うと因果律を満たさなくなる場合であっても、因果律を満たしながら第２バイノーラル方向別ルームインパルスとの逆畳み込みを行うことができ、音響空間における反射などの音響伝達特性を示す第２方向別ルームインパルス応答を生成することができる。

【0076】

［残響応答生成装置１Ａの処理手順］
以下、残響応答生成装置１Ａの処理手順について、図１０および図１１を参照しながら説明する。なお、以下の説明では、図１０および図１１に示すように、各インパルス応答（頭部インパルス応答およびバイノーラルルームインパルス応答）の測定処理も含めて説明する。また、第１バイノーラル方向別ルームインパルス応答のスペクトログラムの算出処理は、前記した残響応答生成装置１と同様であるため（図６参照）、ここでは説明を省略する。

【0077】

まず、残響応答生成装置１Ａは、図１０に示すように、例えば図示しない測定手段などによってダミーヘッドなどの頭部インパルス応答が測定されると、これを頭部インパルス応答分割手段７０に入力する（ステップＳ４０）。次に、残響応答生成装置１Ａは、図１０に示すように、頭部インパルス応答分割手段７０によって、頭部インパルス応答を最小位相成分と全域通過成分とに分割する（ステップＳ４１）。

【0078】

次に、残響応答生成装置１Ａは、図１１に示すように、例えば図示しない測定手段などによってバイノーラルルームインパルス応答が測定されると、これを第２インパルス応答変換手段３０に入力する（ステップＳ５０）。次に、残響応答生成装置１Ａは、図１１に示すように、第２インパルス応答変換手段３０によって、当該バイノーラルルームインパルス応答を短時間フーリエ変換することで、スペクトログラムを算出する（ステップＳ５１）。

【0079】

次に、残響応答生成装置１Ａは、図１１に示すように、スペクトログラム算出手段４０によって、各方向の第１バイノーラル方向別ルームインパルス応答の振幅応答（スペクトログラムの振幅）の全体に対する割合をバイノーラルルームインパルス応答の振幅応答に乗じることで、第２バイノーラル方向別ルームインパルス応答の振幅応答を算出する（ステップＳ５２）。次に、残響応答生成装置１Ａは、図１１に示すように、スペクトログラム算出手段４０によって、バイノーラルルームインパルス応答の位相応答（スペクトログラムの位相）を複製し、第２バイノーラル方向別ルームインパルス応答のスペクトログラムを算出する（ステップＳ５３）。

【0080】

次に、残響応答生成装置１Ａは、図１１に示すように、スペクトログラム変換手段５０によって、第２バイノーラル方向別ルームインパルス応答のスペクトログラムを短時間フーリエ変換することで、第２バイノーラル方向別ルームインパルス応答を算出する（ステップＳ５４）。次に、残響応答生成装置１Ａは、図１１に示すように、インパルス応答逆畳み込み手段６０Ａによって、第２バイノーラル方向別ルームインパルス応答と頭部インパルス応答の最小位相成分との逆畳み込みを行うことで、第２方向別ルームインパルス応答を算出する（ステップＳ５５）。そして、残響応答生成装置１Ａは、図１１に示すように、遅延量削除手段８０によって、第２方向別ルームインパルス応答から、全域通過成分の近似量として得られる遅延量を削除し（ステップＳ５６）、処理を終了する。

【0081】

残響応答生成装置１Ａは、以上のような手順により、頭部インパルス応答に時間遅れ成分が含まれる場合であっても、バイノーラル録音されたバイノーラルルームインパルス応答から頭部インパルス応答を分離し、残響応答（第２方向別インパルス応答）を生成することができる。

【0082】

［残響応答生成プログラム］
前記した残響応答生成装置１，１Ａは、一般的なコンピュータを、前記した各手段および各部として機能させるプログラムにより動作させることで実現することができる。このプログラムは、通信回線を介して配布することも可能であるし、ＣＤ−ＲＯＭなどの記録媒体に書き込んで配布することも可能である。

【0083】

［残響生成装置］
以下、前記した第２方向別ルームインパルス応答を用いて残響を生成する残響生成装置について説明する。残響生成装置は、前記した残響応答生成装置１，１Ａの各構成に加えて、第２方向別ルームインパルス応答畳み込み手段と、頭部インパルス応答畳み込み手段と、信号加算手段と、を備えている。

【0084】

第２方向別ルームインパルス応答畳み込み手段は、残響応答生成装置１，１Ａによって生成された各方向の第２方向別ルームインパルス応答と音響信号とを畳み込むものである。これにより、前記した図８に示すように、音響信号にそれぞれ異なるＮ個の第２方向別ルームインパルス応答が畳み込まれ、Ｎ個の信号が生成される。そして、第２方向別ルームインパルス応答畳み込み手段は、生成されたＮ個の信号を頭部インパルス応答畳み込み手段に出力する。

【0085】

頭部インパルス応答畳み込み手段は、第２方向別ルームインパルス応答畳み込み手段によって生成された信号と、受聴者の左右の頭部インパルス応答とを畳み込むものである。これにより、前記した図８に示すように、Ｎ個の信号に、それぞれ異なるＮ個の左耳の頭部インパルス応答と、それぞれ異なるＮ個の右耳の頭部インパルス応答とが畳み込まれ、２Ｎ個の信号が生成される。

【0086】

信号加算手段は、頭部インパルス応答畳み込み手段によって生成された２Ｎ個の信号を左耳ごとおよび右耳ごとに加算するものである。これにより、前記した図８に示すように、左耳用の信号と右耳用の信号とが生成される。そして、このように生成された信号を、前記した図８に示すように、ヘッドホンなどを介して受聴者Ｌの左耳および右耳にそれぞれ提示することで残響が生成される。

【0087】

以上、本発明に係る残響応答生成装置およびそのプログラムについて、発明を実施するための形態により具体的に説明したが、本発明の趣旨はこれらの記載に限定されるものではなく、特許請求の範囲の記載に基づいて広く解釈されなければならない。また、これらの記載に基づいて種々変更、改変などしたものも本発明の趣旨に含まれることはいうまでもない。

【0088】

ここで、本発明に係る残響応答生成装置の具体的な用途としては、例えば番組制作のエンジニアがヘッドホンを装着しながら収録番組の編集作業などを行う際に、当該エンジニアに対して、実際に番組を収録したスタジオなどの音響空間の残響を提示するような場合が想定される。この場合、予め複数のエンジニアごとの頭部インパルス応答を音響無響室で測定しておく。そして、編集作業を行うエンジニアごとに頭部インパルス応答を切り替えながら、本発明に係る残響応答生成装置によって生成された残響応答（第２方向別ルームインパルス応答）との畳み込みにより残響を生成する。これにより、収録番組の編集作業などを行うエンジニアに対して、実際にスタジオにいるかのような響きを再現する残響を提示することができる。

【符号の説明】

【0089】

１，１Ａ 残響応答生成装置
１０ インパルス応答畳み込み手段
２０ 第１インパルス応答変換手段
３０ 第２インパルス応答変換手段
４０ スペクトログラム算出手段
５０ スペクトログラム変換手段
６０，６０Ａ インパルス応答逆畳み込み手段
７０ 頭部インパルス応答分割手段
８０ 遅延量削除手段
ＤＨ ダミーヘッド
Ｌ 受聴者

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】