特開 2022-190624 インパルス応答生成装置及びインパルス応答生成プログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2022190624

(43)【公開日】2022-12-26

(54)【発明の名称】インパルス応答生成装置及びインパルス応答生成プログラム

(51)【国際特許分類】

   G10K 15/00 20060101AFI20221219BHJP

【ＦＩ】

G10K15/00 Z

【審査請求】未請求

【請求項の数】6

【出願形態】ＯＬ

(21)【出願番号】P 2021099052

(22)【出願日】2021-06-14

(71)【出願人】

【識別番号】000004352

【氏名又は名称】日本放送協会

(74)【代理人】

【識別番号】100147485

【弁理士】

【氏名又は名称】杉村 憲司

(74)【代理人】

【識別番号】230118913

【弁護士】

【氏名又は名称】杉村 光嗣

(74)【代理人】

【識別番号】100161148

【弁理士】

【氏名又は名称】福尾 誠

(74)【代理人】

【識別番号】100185225

【弁理士】

【氏名又は名称】齋藤 恭一

(72)【発明者】

【氏名】西口 敏行

(72)【発明者】

【氏名】大久保 洋幸

(72)【発明者】

【氏名】佐々木 陽

(57)【要約】

【課題】インパルス応答の初期反射音と後部残響音の境目を自動的に弁別し、一つのインパルス応答から、類似した音色を持ち互いに相関の低いインパルス応答を多数生成する。
【解決手段】インパルス応答を初期反射音と後部残響音とに分離する信号分離部と、所定時間長の時間窓を複数回シフトして得られる窓関数を前記初期反射音及び前記後部残響音に乗ずる時間窓乗算部と、時間シフト量を乱数により発生させる乱数発生部と、前記時間シフト量に基づき、前記時間窓毎に、前記初期反射音と前記後部残響音をそれぞれ時間シフトする時間シフト部と、時間シフトされた前記初期反射音及び前記後部残響音を加算する信号加算部と、を備えるインパルス応答生成装置において、前記信号分離部は前記インパルス応答の減衰曲線の所定の区間に含まれる変曲点に基づき前記インパルス応答を前記初期反射音と前記後部残響音とに分離することを特徴とする。
【選択図】図１

【特許請求の範囲】

【請求項1】

インパルス応答を初期反射音と後部残響音とに分離する信号分離部と、
前記初期反射音に適した所定時間長の第１時間窓を複数回シフトして得られる第１窓関数を前記初期反射音に乗ずる第１時間窓乗算部、及び前記後部残響音に適した所定時間長の第２時間窓を複数回シフトして得られる第２窓関数を前記後部残響音に乗ずる第２時間窓乗算部と、
前記初期反射音に適した分布幅に基づいて第１時間シフト量を乱数により発生させる第１乱数発生部、及び前記後部残響音に適した分布幅に基づいて第２時間シフト量を乱数により発生させる第２乱数発生部と、
前記第１時間シフト量に基づき、前記第１時間窓毎に、前記初期反射音に関する前記第１時間窓乗算部の出力を前記初期反射音の時間範囲内で時間シフトする第１時間シフト部、及び前記第２時間シフト量に基づき、前記第２時間窓毎に、前記後部残響音に関する前記第２時間窓乗算部の出力を前記後部残響音の時間範囲内で時間シフトする第２時間シフト部と、
前記初期反射音に関する前記第１時間シフト部の出力と前記後部残響音に関する前記第２時間シフト部の出力を加算する信号加算部と、
を備え、前記信号分離部は前記インパルス応答の減衰曲線の所定の区間に含まれる変曲点に基づき前記インパルス応答を前記初期反射音と前記後部残響音とに分離することを特徴とするインパルス応答生成装置。

【請求項2】

請求項１に記載のインパルス応答生成装置であって、
さらに、前記初期反射音に関する前記第１時間窓乗算部及び前記後部残響音に関する前記第２時間窓乗算部の少なくとも一方の出力について、時間窓単位のブロックを複数選択してこれらを削除又は時間窓単位のブロックを複数選択してそれぞれを複製して時間長を変更する時間設定部を備え、
前記第１時間シフト部は、前記第１時間シフト量に基づき、前記第１時間窓毎に、前記初期反射音に関する前記時間設定部の出力を前記初期反射音の時間範囲内で時間シフトし、前記第２時間シフト部は、前記第２時間シフト量に基づき、前記第２時間窓毎に、前記後部残響音に関する前記時間設定部の出力を前記後部残響音の時間範囲内で時間シフトすることを特徴とするインパルス応答生成装置。

【請求項3】

請求項１又は２に記載のインパルス応答生成装置であって、
前記信号分離部は、前記減衰曲線の２階微分の絶対値を評価関数として、前記インパルス応答の残響時間によって前記初期反射音と前記後部残響音とに分離する時間範囲を定め、前記時間範囲内で前記評価関数が最大となる時刻で前記分離を行うことを特徴とするインパルス応答生成装置。

【請求項4】

請求項１又は２に記載のインパルス応答生成装置であって、
前記信号分離部は、前記減衰曲線の２階微分の絶対値を評価関数として、前記インパルス応答の残響時間によって前記初期反射音と前記後部残響音とに分離する時間範囲を定め、前記時間範囲の時刻の遅い方から前記評価関数を検索し、前記評価関数が、前記時間範囲内の前記評価関数の最大値と所定の閾値係数から求めた閾値を超えた時刻で前記分離を行うことを特徴とするインパルス応答生成装置。

【請求項5】

請求項１又は２に記載のインパルス応答生成装置であって、
前記信号分離部は、前記減衰曲線の２階微分の絶対値を評価関数として、前記インパルス応答の残響時間によって前記初期反射音と前記後部残響音とに分離する時間範囲を定め、前記インパルス応答の残響時間が所定時間未満のときは、前記時間範囲内で前記評価関数が最大となる時間で前記分離を行い、前記インパルス応答の残響時間が所定時間以上のときは、前記時間範囲内で前記評価関数が２番目に大きな値となる時刻で前記分離を行うことを特徴とするインパルス応答生成装置。

【請求項6】

コンピュータを、請求項１乃至５のいずれか一項に記載のインパルス応答生成装置として機能させる、インパルス応答生成プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

この発明は、インパルス応答生成装置及びインパルス応答生成プログラムに関し、特に、予め与えられたインパルス応答から、予め与えられたインパルス応答と類似した音色を持ちかつ互いに相関が低いインパルス応答を多数生成する、インパルス応答生成技術に関する。

【背景技術】

【0002】

映画やテレビの音響方式には、従来の2チャンネル(ch)ステレオシステムや5.1chサラウンドに加え、近年は7.1ch、10.2ch、22.2chなどチャンネル数の多いマルチチャンネル音響方式などが採用されている。マルチチャンネル音響のコンテンツ制作では、従来のステレオシステムや5.1chの音響方式と同様、空間の拡がり感や豊かな臨場感を付与するため、残響付加装置が用いられる。

【0003】

残響付加装置には、空間の残響をシミュレーションで模擬したIIR（Infinite impulse response、無限インパルス応答）フィルタ型のものや、実空間で測定したインパルス応答を用いて残響を生成するFIR（Finite impulse response、有限インパルス応答）フィルタ型のものなど、様々なものがあるが、FIRフィルタ型のようにインパルス応答を音源に畳み込んで残響を付加する場合、再生方式のチャンネル数に応じた数のインパルス応答が必要となる。例えば22.2マルチチャンネル音響方式の場合は22ch分のインパルス応答が必要となる。さらに、それらのインパルス応答をコンサートホール等の拡散音場（各到来方向から音色が等しくかつ互いに無相関な音が到来する状態）で測定することを考えると、類似した音色を持ちかつ互いに相関が低いことが求められる。

【0004】

このような多数のインパルス応答を実測により求めることもできるが、互いに充分に離れた点でインパルス応答を測定することが必要となるため、大規模な測定システムと長い測定時間を要することから容易ではない。

【0005】

そこで、与えられた一つのインパルス応答から、類似した音色を持ちかつ互いに相関の低いインパルス応答を多数生成する装置が提案された（例えば特許文献１及び２、非特許文献１及び２を参照）。特許文献１及び２に記載の装置は、インパルス応答を初期反射音部分（直接音が到来後から比較的短い時間内に到達する、床や天井、壁などからの低次回反射で構成される部分）と後部残響音部分（初期反射音に続き、多次回反射を繰り返し、個々の音を分離して聴くことができない部分）とに分離する。そして、インパルス応答の初期反射音部分と後部残響音部分のそれぞれに対し所定の処理を加え、当該処理したインパルス応答の初期反射音部分と後部残響音部分を合成して出力することで、多数のインパルス応答を生成している。

【先行技術文献】

【特許文献】

【0006】

【特許文献1】特許第６２１２３３６号公報

【特許文献2】特許第６３４８７７３号公報

【非特許文献】

【0007】

【非特許文献1】小野一穂、小宮山摂、西口敏行、「共通の音色を持つ多数の残響音の生成法に関する一考察」、日本音響学会春季研究発表会講演論文集2-6-7、1996年、pp. 555-556

【非特許文献2】森千晶、西口敏行、小野一穂、「共通の音色を持つ多数の残響音生成のための初期反射音の処理方法」、日本音響学会春季研究発表会講演論文集2-1-17、2013年、pp. 669-670

【非特許文献3】羽生敏樹、「インパルス応答から求める室内音響指標」、日本音響学会誌69 巻6 号、2013年、pp. 291-296

【発明の概要】

【発明が解決しようとする課題】

【0008】

特許文献１及び２に記載の実施例において、与えられた一つのインパルス応答から、類似した音色を持ちかつ互いに相関の低いインパルス応答を多数生成するには、初期反射音部分と後部残響音部分とで異なる適切な処理パラメータを使い分ける必要がある。そこで、信号分離部１０を設けて初期反射音と後部残響音を分離して、別々に処理している。特許文献１及び２の信号分離部１０では、入力されたインパルス応答の振幅が所定の閾値を超える範囲の音を初期反射音として扱う、又は、直接音から所定の時間を初期反射音として扱うことで初期反射音と後部残響音を分離するとしているが、前記所定の閾値、所定の時間は、インパルス応答を取得した実音場の音響特性により異なってくるため、ユーザーが生成の元になるインパルス応答の波形を確認して初期反射音と後部残響音の境目を見定め、その時間に基づいて処理を行う必要が生じていた。

【0009】

したがって、上記のような問題点に鑑みてなされた本発明の目的は、インパルス応答の初期反射音と後部残響音の境目（初期反射音の長さ）を自動的に弁別し、与えられた一つのインパルス応答から、類似した音色を持ちかつ互いに相関の低いインパルス応答を多数生成することができるインパルス応答生成装置及びインパルス応答生成プログラムを提供することにある。

【課題を解決するための手段】

【0010】

上記課題を解決するために本発明に係るインパルス応答生成装置は、インパルス応答を初期反射音と後部残響音とに分離する信号分離部と、前記初期反射音に適した所定時間長の第１時間窓を複数回シフトして得られる第１窓関数を前記初期反射音に乗ずる第１時間窓乗算部、及び前記後部残響音に適した所定時間長の第２時間窓を複数回シフトして得られる第２窓関数を前記後部残響音に乗ずる第２時間窓乗算部と、前記初期反射音に適した分布幅に基づいて第１時間シフト量を乱数により発生させる第１乱数発生部、及び前記後部残響音に適した分布幅に基づいて第２時間シフト量を乱数により発生させる第２乱数発生部と、前記第１時間シフト量に基づき、前記第１時間窓毎に、前記初期反射音に関する前記第１時間窓乗算部の出力を前記初期反射音の時間範囲内で時間シフトする第１時間シフト部、及び前記第２時間シフト量に基づき、前記第２時間窓毎に、前記後部残響音に関する前記第２時間窓乗算部の出力を前記後部残響音の時間範囲内で時間シフトする第２時間シフト部と、前記初期反射音に関する前記第１時間シフト部の出力と前記後部残響音に関する前記第２時間シフト部の出力を加算する信号加算部と、を備え、前記信号分離部は前記インパルス応答の減衰曲線の所定の区間に含まれる変曲点に基づき前記インパルス応答を前記初期反射音と前記後部残響音とに分離することを特徴とする。

【0011】

また、前記インパルス応答生成装置は、さらに、前記初期反射音に関する前記第１時間窓乗算部及び前記後部残響音に関する前記第２時間窓乗算部の少なくとも一方の出力について、時間窓単位のブロックを複数選択してこれらを削除又は時間窓単位のブロックを複数選択してそれぞれを複製して時間長を変更する時間設定部を備え、前記第１時間シフト部は、前記第１時間シフト量に基づき、前記第１時間窓毎に、前記初期反射音に関する前記時間設定部の出力を前記初期反射音の時間範囲内で時間シフトし、前記第２時間シフト部は、前記第２時間シフト量に基づき、前記第２時間窓毎に、前記後部残響音に関する前記時間設定部の出力を前記後部残響音の時間範囲内で時間シフトすることが望ましい。

【0012】

また、前記インパルス応答生成装置は、前記信号分離部が、前記減衰曲線の２階微分の絶対値を評価関数として、前記インパルス応答の残響時間によって前記初期反射音と前記後部残響音とに分離する時間範囲を定め、前記時間範囲内で前記評価関数が最大となる時刻で前記分離を行うことが望ましい。

【0013】

また、前記インパルス応答生成装置は、前記信号分離部が、前記減衰曲線の２階微分の絶対値を評価関数として、前記インパルス応答の残響時間によって前記初期反射音と前記後部残響音とに分離する時間範囲を定め、前記時間範囲の時刻の遅い方から前記評価関数を検索し、前記評価関数が、前記時間範囲内の前記評価関数の最大値と所定の閾値係数から求めた閾値を超えた時刻で前記分離を行うことが望ましい。

【0014】

また、前記インパルス応答生成装置は、前記信号分離部が、前記減衰曲線の２階微分の絶対値を評価関数として、前記インパルス応答の残響時間によって前記初期反射音と前記後部残響音とに分離する時間範囲を定め、前記インパルス応答の残響時間が所定時間未満のときは、前記時間範囲内で前記評価関数が最大となる時間で前記分離を行い、前記インパルス応答の残響時間が所定時間以上のときは、前記時間範囲内で前記評価関数が２番目に大きな値となる時刻で前記分離を行うことが望ましい。

【0015】

上記課題を解決するために本発明に係るインパルス応答生成プログラムは、コンピュータを、上記のインパルス応答生成装置として機能させることを特徴とする。

【発明の効果】

【0016】

本発明のインパルス応答生成装置及びインパルス応答生成プログラムによれば、インパルス応答の初期反射音と後部残響音の境目（初期反射音の長さ）を自動的に弁別し、与えられた一つのインパルス応答から、類似した音色を持ちかつ互いに相関の低いインパルス応答を多数生成することができる。

【図面の簡単な説明】

【0017】

【図1】第１の実施形態に係るインパルス応答生成装置の構成の一例を示す図である。

【図2】拡散音場の残響音（インパルス応答）を模式的に示した図である。

【図3】小空間（小ブース）の初期反射音と後部残響音の分離例を示す図である。

【図4】大空間（コンサートホール）の初期反射音と後部残響音の分離例を示す図である。

【図5】減衰曲線のサーチ範囲に２つ変曲点をもつ音場の例を示す図である。

【図6】時間シフトによる新たなインパルス応答生成の概要を示す図である。

【図7】第２の実施形態に係るインパルス応答生成装置の構成の一例を示す図である。

【図8】残響時間を短くする場合の処理の概要を示す図である。

【図9】残響時間を長くする場合の処理の概要を示す図である。

【発明を実施するための形態】

【0018】

以降、諸図面を参照しながら、本発明の実施態様を詳細に説明する。

【0019】

（第１の実施形態）
図１は、本発明の第１の実施形態に係るインパルス応答生成装置の構成の一例を示す図である。本実施形態に係るインパルス応答生成装置は、インパルス応答を初期反射音と後部残響音とに分離する信号分離部１０と、所定時間長の時間窓を複数回シフトして得られる窓関数を初期反射音及び後部残響音に乗ずる時間窓乗算部２０と、時間シフト量を乱数により発生させる乱数発生部３０と、時間シフト量に基づき時間窓乗算部２０の出力を時間シフトする時間シフト部４０と、初期反射音及び後部残響音に関する時間シフト部４０の出力を加算する信号加算部５０と、を備える。インパルス応答生成装置の各機能部１０～５０は、ＣＰＵ等の好適なプロセッサや好適な電気回路により構成されるものである。

【0020】

時間窓乗算部２０は、第１時間窓乗算部２１及び第２時間窓乗算部２２を備え、乱数発生部３０は、第１乱数発生部３１及び第２乱数発生部３２を備え、時間シフト部４０は、第１時間シフト部４１及び第２時間シフト部４２を備える。後述のとおり、第１時間窓乗算部２１、第１乱数発生部３１、及び第１時間シフト部４１は、インパルス応答の初期反射音に対して処理を行い、第２時間窓乗算部２２、第２乱数発生部３２、及び第２時間シフト部４２は、インパルス応答の後部残響音に対して処理を行うものである。

【0021】

信号分離部１０は、入力されたインパルス応答h(t)を初期反射音e(t)と後部残響音r(t)とに自動的に分離する。当該インパルス応答h(t)は、新たに生成されるインパルス応答h'(t)の基準となるものである。

【0022】

初めに、拡散音場の残響音（インパルス応答）を模式的に示した図２により、残響音の初期反射音と後部残響音とを概説する。楽器やスピーカなどの音源から発せられた音は、まず直接音として到来する。次に、床や天井、壁によって反射された初期反射音が到来する。初期反射音部では、条件によっては各反射音を他の音から分離して聴くことができる低次回反射で構成される。さらに反射を繰り返した多次回反射音は、直接音から一般に数ms～150ms程度以上遅れた後部残響音として続々と到来する。後部残響音になると反射音密度が急激に高くなり、あらゆる方向から到来する反射音が互いに重なり合って、全体として方向性を持たない拡散音となる。このように残響音は、異なる性質を持つ初期反射音と後部残響音によって構成される。

【0023】

しかしながら、特に実際の音場で測定されたインパルス応答においては、個々の初期反射音も時間的な広がりを持ち、後部残響音や音場の暗騒音も重なってくるため、図２の模式図の波形のように初期反射音と後部残響音の境界は明確にならない。そこで、信号分離部１０で初期反射音と後部残響音を自動的に分離するには、双方の境界となる時間を自動的に定める必要がある。

【0024】

詳細は後述するが、本実施形態では、インパルス応答を所定の形状と時間長の窓関数（時間窓）で切り出した反射音群を,所定の時間長の中でランダムにシフト（並べ替え）することにより、互いに相関の低い多数のインパルス応答を生成する。生成した多数のインパルス応答が、互いに相関が低く、類似した音色の残響音であるためには、時間窓の時間長と反射音群を時間シフト量が重要なパラメータであり、初期反射音と後部残響音の処理においてこれらパラメータの最適値が異なることが、実験で確かめられている（非特許文献１、２）。初期反射音部分は、低次回反射による個々のピークを時間窓で分割し直接音から境界時間まで時間内でシフトする必要がある。このため、本願の信号分離部１０は、直接音が到来してから、後部残響音より振幅の大きい主要な低次回反射音の最後の到来時刻近傍までを初期反射音の長さとして自動弁別できることを特徴とする。

【0025】

信号分離部１０の動作について説明する。

【0026】

まず、入力されたインパルス応答h(t)から、次式（１）により、シュレーダーの減衰曲線E(t)を求める（非特許文献３）。ただし直接音はt=0で到達しているとする。

【0027】

【数1】

【0028】

本発明者らは、初期反射音と後部残響音の境界時間では、この減衰曲線E(t)の減衰の傾きが変わることを確認した。このことから、減衰曲線E(t)の変曲点をE(t)の２階微分関数から探る手段を採用する。すなわちE(t)の２階微分の絶対値を次式（２）で求め、この値が最大となる時間を所望の初期反射音の長さt₀と定める。

【0029】

【数2】

【0030】

ただし、E(t)の減衰の傾きは直接音到達の直後や、後部残響音のレベルが暗騒音と同等になるところなど、初期反射音と後部残響音の境界以外の時間でも変わるため、最大値をサーチする時間の範囲を予め定める。初期反射音と後部残響音の境界時間は、室容積の大きな空間では、音源からの音波が反射して受音点に到達するまでの平均行路が長くなるため、その空間の残響時間も境界時間も大きな値となる。一般に初期反射音が到来する時間は直接音到来後、数msから凡そ150msの間とされるが、アリーナな洞窟など大空間では、更に遅れて初期反射音が到来することも考慮し、残響時間T_RTとしたときT_RTに応じて最大値をサーチする時間範囲を変え、初期反射音の長さt₀として弁別する時間の範囲を定める。一例として、次の（３）の条件を初期反射音と後部残響音を分離する時間範囲とし、これを満たす時間範囲で式（２）の最大値をサーチする。

【0031】

【数3】

【0032】

残響時間T_RTは、例えば非特許文献３のT₃₀（30dBレンジの評価により求める残響時間）のとおり、減衰曲線E(t)の初期レベルから-5dB～-35dBまでの評価区間を最小２乗法で直線近似して傾きを求め、その傾きで60dB減衰相当となる時間から求める。

【0033】

実際に測定したインパルス応答は、デジタル処理による離散時間データのため、式（１）に相当する離散時間系の減衰曲線は、次式（４）として求められる（Ｎは測定の最大範囲）。

【0034】

【数4】

【0035】

同様に式（２）に相当する減衰曲線の２階差分の絶対値に関する評価関数を、式（５）として定める。

【0036】

【数5】

【0037】

実測インパルス応答のサンプリング周波数をf_sとすると初期反射音の長さt₀＝n₀/f_sであって、条件（３）を満たし、式（５）の評価関数の値を最大とするn₀を求めれば、t₀も定めることが出来る。

【0038】

この方法で、コンサートホールやスタジオの小ブースなどの室内で実測したインパルス応答から初期反射音の長さを弁別した例を示す。

【0039】

図３は、残響時間350ms（T_RT<1sの場合）の小空間の例として小ブースの初期反射音と後部残響音の分離例である。図３の３つのグラフは、横軸を時間（最大0.25秒で共通）として、上からインパルス応答の時間波形、式（４）から求めた減衰曲線、式（５）から求めた評価関数（減衰曲線の２階差分）である。グラフ中の破線が前述の方法で弁別した初期反射音と後部残響音の境界（初期反射音の長さ）t₀であり、この例ではt₀＝10.4ms（10ms～150msの間で評価関数最大となる時刻）である。

【0040】

図４は、残響時間1.7s（T_RT≧1sの場合）の比較的大空間の例としてコンサートホールの初期反射音と後部残響音の分離例である。図４の３つのグラフは、図３と同様に、横軸を時間（最大１秒で共通）として、上からインパルス応答の時間波形、式（４）から求めた減衰曲線、式（５）から求めた評価関数である。グラフ中の破線が前述の方法で弁別した初期反射音と後部残響音の境界（初期反射音の長さ）t₀であり、この例ではt₀＝78ms（50ms～300msの間で評価関数最大となる時刻）である。

【0041】

図３及び図４のインパルス応答波形上に示した破線のとおり、主要な初期反射音の最後のピーク部分を弁別できており、これにより、初期反射音と後部残響音の分離が自動的に行えることが示されている。

【0042】

本実施形態では、条件（３）で残響時間を1s未満と以上の２つの場合に分けて、所望の初期反射音と後部残響音の境界（初期反射音の長さ）t₀をサーチ（検索）する時間範囲を設定したが、多様な音響空間に対応するために、この場合分けを増やしてもよい。

【0043】

また、きわめて室容積の大きい音場や、容積が大きく異なる複数の部屋がつながった構造の音場では、時間的に大きく遅れて初期反射が到来する場合があり、これにより減衰曲線のサーチ（検索）を行う時間範囲に複数の変曲点が生じる音場がある。例として残響時間が8.6sで、減衰曲線が２つの変曲点を有する例を図５に示す。サーチする時間範囲の最初の変曲点は点線で示した80ms、２番目の変曲点は一点鎖線で示した99msであり、このように２つの変曲点が生じる音場では、２番目の変曲点を初期反射音と後部残響音の境界と定めたいところである。

【0044】

この場合、条件（３）の初期反射音と後部残響音を分離する時間範囲内での式（５）の評価関数の最大値をE_max、閾値係数をα（0<α<1）としてαの値を適宜定め、式（５）の評価関数をサーチ時間範囲の時刻の遅い方からサーチ（検索）して、閾値α・E_maxを超えた時刻をt₀とすることで、２つ目（遅い時刻）の変曲点をt₀として検出することができる。図５の例では、α=0.5として300msから時刻前方に50msまで評価関数の値をサーチすると、閾値を超える点として２番目の変曲点の99msを境界t₀として検出できる。この方法は、図３、図４のインパルス応答の初期反射音と後部残響音の分離にも適用できる。

【0045】

又は、残響時間T_RTによる場合分けを増やし、例えば、残響時間T_RTが5秒未満の場合は、前述のとおり、式（５）により残響時間で定めた初期反射音と後部残響音とに分離する時間範囲内で評価関数が最大となる時刻をt₀とし、残響時間T_RTが5秒以上の場合は、評価関数の値の所定の時間範囲（例えば、50ms ≦ t₀ ≦ 300ms）内で、評価関数の値をサーチして２番目に大きな値となる時刻をt₀としてもよい。なお、時間範囲内で評価関数の最大値もしくは２番目に大きな値が同値で複数ある場合は、遅い方の時刻をt₀として採用することが望ましい。

【0046】

信号分離部１０は上述のとおり、インパルス応答h(t)の波形の特徴に基づき、直接音から初期反射音の長さt₀までの音を初期反射音e(t)とし、t₀以降の音を後部残響音r(t)として、両者を自動的に分離する。そして、信号分離部１０は、初期反射音e(t)を第１時間窓乗算部２１に出力し、後部残響音r(t)を第２時間窓乗算部２２に出力する。

【0047】

これ以降、初期反射音e(t)に対する第１時間窓乗算部２１、第１乱数発生部３１、及び第１時間シフト部４１の処理について詳述する。

【0048】

第１時間窓乗算部２１は、所定時間長Twの時間窓We(t)を複数回（k回）シフトして得られる窓関数We_n(t) (n=1,2,…k)を初期反射音e(t)に乗じて出力e_n(t)=We_n(t)×e(t) (n=1,2,…k)を生成する。なお、時間窓は、窓の乗算による振幅周波数特性の変化の少ないハニング窓を用いることができる。また、窓としてハミング窓、ブラックマン窓等を用いても良い。窓関数We_n(t)が、時間窓We(t)を等間隔Tedでシフトして得られたものである場合、出力e_n(t)は、式（６）で表される。第１時間窓乗算部２１は、出力e_n(t)を第１時間シフト部４１に出力する。

【0049】

【数6】

【0050】

第１乱数発生部３１は、時間シフト量を乱数により発生させる。第１時間シフト部４１は、当該時間シフト量に基づき、時間窓毎に、初期反射音e(t)に関する第１時間窓乗算部２１の出力e_n(t)を初期反射音e(t)の時間範囲内で時間シフトして出力e´(t)を生成する。ここで、第１乱数発生部３１が発生させる時間シフト量N^*(n)を分布幅Nの整数値をとる一様分布の乱数とすると、式（６）で表される出力e_n(t)を時間シフトした出力e´(t)は次式（７）により表される。

【0051】

【数7】

【0052】

第１時間シフト部４１は、初期反射音e(t)に関する出力e_n(t)を初期反射音の時間範囲内で時間シフトするため、n+N^*(n)が1≦n+N^*(n)≦kとなるように制御する。第１時間シフト部４１は、e´(t)が初期反射音e(t)の範囲外になった場合は、第１乱数発生部３１に再び乱数による時間シフト量を発生させ、初期反射音e(t)の時間範囲内で第１時間窓乗算部２１の出力e_n(t)を時間シフトさせる。第１時間シフト部４１は、生成したe´(t)を信号加算部５０に出力する。

【0053】

図６は、時間シフトによる新たなインパルス応答生成の概要を示す図である。図６（ａ）は、新たなインパルス応答生成の基準となるインパルス応答を示し、窓幅Twの窓関数が所定間隔Tedで配置された窓関数We_n(t)が初期反射音e(t)に対して乗じられている。ここで、ハッチングで示すｎ番目の窓関数に対応する第１時間窓乗算部２１の出力e_n(t)に対し、第１乱数発生部３１は、例えば幅Ｎ＝５の時間シフト量（－２,－１，０，１，２）を乱数により発生させる。第１時間シフト部４１は、図６（ｂ）のとおり、時間シフト量（例えば－１）に基づき、ｎ番目の窓関数に対応する出力e_n(t)を時間シフトする。このように、時間窓毎に第１時間窓乗算部２１の出力を乱数に基づき時間シフトすることにより、予め与えられたインパルス応答h(t)の初期反射音e(t)と類似した音色を持ち、かつ互いに相関の低い初期反射音e´(t)を持つインパルス応答h'(t)が生成されることになる。

【0054】

後部残響音r(t)に対する第２時間窓乗算部２２、第２乱数発生部３２、及び第２時間シフト部４２の処理は、それぞれ初期反射音e(t)に対する第１時間窓乗算部２１、第１乱数発生部３１、及び第１時間シフト部４１の処理と同様である。なお、窓関数の長さ（窓幅）や時間シフト量の乱数の範囲（分布幅）等のパラメータ値は、初期反射音e(t)及び後部残響音r(t)それぞれに適した値を個別に設定することができるものである。すなわち、第１時間窓乗算部２１では初期反射音に適した所定時間長の第１時間窓とし、第２時間窓乗算部２２では後部残響音に適した所定時間長の第２時間窓とし、第１乱数発生部３１では初期反射音に適した分布幅に基づいて第１時間シフト量を発生させ、第２乱数発生部３２では後部残響音に適した分布幅に基づいて第２時間シフト量を発生させることが望ましい。

【0055】

第２時間窓乗算部２２は、所定時間長Trの時間窓Wr(t)を複数個それぞれシフトして得られる窓関数Wr_n(t) (n=1,2,…m)を後部残響音r(t)に乗じて出力r_n(t) (n=1,2,…m)を生成する。第２乱数発生部３２は、時間シフト量を乱数により発生させる。第２時間シフト部４２は、当該時間シフト量に基づき、時間窓毎に、後部残響音r(t)に関する第２時間窓乗算部２２の出力r_n(t)を後部残響音r(t)の時間範囲内で時間シフトして出力r'(t)を生成する。第２時間シフト部４２は、r'(t)が後部残響音r(t)の範囲外になる場合は、第２乱数発生部３２に再び後部残響音r(t)の範囲内となる時間シフト量を発生させる。第２時間シフト部４２は、生成したr'(t)を信号加算部５０に出力する。

【0056】

信号加算部５０は、初期反射音e(t)に関する第１時間シフト部４１の出力e´(t)と、後部残響音r(t)に関する第２時間シフト部４２の出力r'(t)とを加算し、新たなインパルス応答h'(t)を生成する。

【0057】

このように、本実施形態によれば、信号分離部１０は、インパルス応答を初期反射音と後部残響音とに自動的に分離し、時間窓乗算部２０は、所定時間長の時間窓を複数回シフトして得られる窓関数を初期反射音及び後部残響音に乗じ、乱数発生部３０は、時間シフト量を乱数により発生させ、時間シフト部４０は、時間シフト量に基づき、時間窓毎に、初期反射音に関する第１時間窓乗算部２１の出力を初期反射音の時間範囲内で時間シフトし、後部残響音に関する第２時間窓乗算部２２の出力を後部残響音の時間範囲内で時間シフトさせ、信号加算部５０は、初期反射音及び後部残響音に関する時間シフト部４０の出力を加算して新たなインパルス応答を生成する。これにより、予め与えられたインパルス応答と類似した音色を持ち、かつ互いに相関の低いインパルス応答を多数生成することが可能となり、多チャンネル音響方式における残響付加で使用するのに十分な品質のインパルス応答を提供することが可能となる。特に、本実施形態によれば、初期反射音と後部残響音とを正確に自動的に分離し、初期反射音及び後部残響音の相関がそれぞれ低いインパルス応答を多数生成することが可能となり、インパルス応答を畳み込んだ際に同じインパルス応答からは得られない拡がり感を得ることができる。

【0058】

（第２の実施形態）
図７は、本発明の第２の実施形態に係るインパルス応答生成装置の構成の一例を示す図である。本実施形態に係るインパルス応答生成装置は、インパルス応答を初期反射音と後部残響音とに分離する信号分離部１０と、所定時間長の時間窓を複数回シフトして得られる窓関数を初期反射音及び後部残響音に乗ずる時間窓乗算部２０と、インパルス応答を任意の時間長に変更する時間設定部６０と、時間シフト量を乱数により発生させる乱数発生部３０と、時間シフト量に基づき時間設定部６０の出力を時間シフトする時間シフト部４０と、初期反射音及び後部残響音に関する時間シフト部４０の出力を加算する信号加算部５０と、を備える。インパルス応答生成装置の各機能部１０～６０は、ＣＰＵ等の好適なプロセッサや好適な電気回路により構成されるものである。

【0059】

時間窓乗算部２０は、第１時間窓乗算部２１及び第２時間窓乗算部２２を備え、時間設定部６０は、第１時間設定部６１及び第２時間設定部６２を備え、乱数発生部３０は、第１乱数発生部３１及び第２乱数発生部３２を備え、時間シフト部４０は、第１時間シフト部４１及び第２時間シフト部４２を備える。後述のとおり、第１時間窓乗算部２１、第１時間設定部６１、第１乱数発生部３１、及び第１時間シフト部４１は、インパルス応答の初期反射音に対して処理を行い、第２時間窓乗算部２２、第２時間設定部６２、第２乱数発生部３２、及び第２時間シフト部４２は、インパルス応答の後部残響音に対して処理を行うものである。

【0060】

信号分離部１０は、第１の実施形態の信号分離部１０と同じ構成であり、入力されたインパルス応答h(t)を初期反射音e(t)と後部残響音r(t)とに自動的に分離する。すなわち、信号分離部１０は、まず、入力されたインパルス応答h(t)から、シュレーダーの減衰曲線E(t)を求める。実際のインパルス応答は、デジタル処理による離散時間データのため、離散時間系の減衰曲線を式（４）で求める。次いで、減衰曲線の変曲点を求めるため、減衰曲線の２階差分の絶対値に関する評価関数を式（５）から求める。そして、式（５）の評価関数の値を最大とするn₀を求め、初期反射音の長さt₀と定める。

【0061】

なお、初期反射音の長さt₀を求めるにあたって、残響時間T_RTに応じて最大値をサーチする時間範囲を変え、（３）の条件の下で評価関数の最大値をサーチして、初期反射音の長さt₀を求めることができる。或いは、条件（３）の初期反射音と後部残響音を分離する時間範囲内での式（５）の評価関数の最大値をE_max、閾値係数をα（0<α<1）としてαの値を適宜定め、式（５）の評価関数をサーチ時間範囲の時刻の遅い方からサーチして、閾値α・E_maxを超えた時刻をt₀とすることで、初期反射音の長さt₀を求めてもよい。また、残響音T_RTが長い場合は、評価関数が２番目に大きな値となる時刻を初期反射音の長さt₀としてもよい。

【0062】

このように、信号分離部１０は、直接音から初期反射音の長さt₀までの音を初期反射音e(t)とし、t₀以降の音を後部残響音r(t)として、両者を自動的に分離する。そして、初期反射音e(t)を第１時間窓乗算部２１に出力し、後部残響音r(t)を第２時間窓乗算部２２に出力する。

【0063】

次いで、初期反射音e(t)に対する第１時間窓乗算部２１、第１時間設定部６１、第１乱数発生部３１、及び第１時間シフト部４１の処理について詳述する。

【0064】

第１時間窓乗算部２１は、第１の実施形態の第１時間窓乗算部２１と同じであり、所定時間長Twの時間窓We(t)を複数回（k回）シフトして得られる窓関数We_n(t) (n=1,2,…k)を初期反射音e(t)に乗じて出力e_n(t)=We_n(t)×e(t) (n=1,2,…k)を生成する。窓関数We_n(t)が、時間窓We(t)を等間隔Tedでシフトして得られたものである場合、出力e_n(t)は、式（６）で表される。第１時間窓乗算部２１は、出力e_n(t)を第１時間設定部６１に出力する。

【0065】

第１時間設定部６１は、入力されたインパルス応答h(t)の初期反射音e(t)（長さt₀）に関する第１時間窓乗算部２１の出力を時間窓毎に削除又は複製して長さt_eの新たな初期反射音e'(t)を生成する。第１時間設定部６１は、残響時間を短くする場合（t_e<t₀）には、元の初期反射音e(t)の窓関数乗算後のブロックを適宜削除し、また、残響時間を長くする場合（t_e>t₀）には元の初期反射音e(t)の窓関数乗算後のブロックを適宜複製して、新たな初期反射音e'(t)を生成する。削除又は複製の方法については、例えば等間隔のブロックに対して行ってもよいし、ランダムに選択したブロックに対して行ってもよい。また、連続する任意の区間のブロックを削除又は複製してもよい。後述のとおり、新たな初期反射音e'(t)と新たな後部残響音r'(t)とから、残響時間が変更されたインパルス応答h'(t)が生成される。

【0066】

図８は、残響時間を短くする場合の処理の概要を示す図である。初期反射音e(t)をe1～e12とした場合、新たな初期反射音e'(t)は、例えば時間窓単位のブロックe2,e5,e8,e11が削除されたe1,e3,e4,e6,e7,e9,e10,e12により表される。これにより、第１時間設定部６１は、元の長さの2/3の長さの新たな初期反射音e'(t)を生成することができる。

【0067】

図９は、残響時間を長くする場合の処理の概要を示す図である。初期反射音e(t)をe1～e12とした場合、新たな初期反射音e'(t)は、例えば時間窓単位のブロックe3,e6,e9,e12が複製されたe1,e2,e3,e3,e4,e5,e6,e6,e7,e8,e9,e9,e10,e11,e12,e12により表される。これにより、第１時間設定部６１は元の長さの4/3の長さの新たな初期反射音e'(t)を生成することができる。

【0068】

第１乱数発生部３１は、第１の実施形態と同じであり、時間シフト量を乱数により発生させる。ここで、第１乱数発生部３１が発生させる時間シフト量N^*(n)を、分布幅Nの整数値をとる一様分布の乱数とする。

【0069】

第１時間シフト部４１は、当該時間シフト量に基づき、第１時間設定部６１の出力である時間長変更後の初期反射音e'(t)の各成分e'_n(t)を、初期反射音e'(t)の時間範囲内で時間シフトして出力e''(t)を生成する。

【0070】

時間シフトによる新たなインパルス応答生成の概要は、図６と同様である。すなわち、ｎ番目の窓関数に対応する出力e'_n(t)［図６（ａ）のハッチングで示す成分に相当］を、第１乱数発生部３１からの時間シフト量N^*(n)に基づいて時間シフトする［図６（ｂ）］。このように、時間窓毎に乱数に基づき時間シフトすることにより、インパルス応答h'(t)の初期反射音e'(t)と類似した音色を持ち、かつ互いに相関の低い初期反射音e''(t)が生成されることになる。

【0071】

なお、第１時間シフト部４１は、時間長変更後の初期反射音e'(t)に関する各出力e'_n(t)を初期反射音の時間範囲内で時間シフトするため、n+N^*(n)が1≦n+N^*(n)≦(t_e-Tw+Ted)/Tedとなるように制御する。第１時間シフト部４１は、e''(t)が初期反射音e'(t)の範囲外になった場合は、第１乱数発生部３１に再び乱数による時間シフト量を発生させ、初期反射音e'(t)の時間範囲内で第１時間窓乗算部２１の出力e'_n(t)を時間シフトさせる。第１時間シフト部４１は、生成したe''(t)を信号加算部５０に出力する。

【0072】

後部残響音r(t)に対する第２時間窓乗算部２２、第２時間設定部６２、第２乱数発生部３２、及び第２時間シフト部４２の処理は、それぞれ初期反射音e(t)に対する第１時間窓乗算部２１、第１乱数発生部３１、及び第１時間シフト部４１の処理と同様である。なお、窓関数の長さ（窓幅）や時間シフト量の乱数の範囲（分布幅）等のパラメータ値は、初期反射音e(t)及び後部残響音r(t)それぞれに適した値を個別に設定することができるものである。すなわち、第１時間窓乗算部２１では初期反射音に適した所定時間長の第１時間窓とし、第２時間窓乗算部２２では後部残響音に適した所定時間長の第２時間窓とし、第１乱数発生部３１では初期反射音に適した分布幅に基づいて第１時間シフト量を発生させ、第２乱数発生部３２では後部残響音に適した分布幅に基づいて第２時間シフト量を発生させることが望ましい。

【0073】

第２時間窓乗算部２２は、所定時間長Trの時間窓Wr(t)を複数個それぞれシフトして得られる窓関数Wr_n(t) (n=1,2,…m)を後部残響音r(t)に乗じて出力r_n(t) (n=1,2,…m)を生成する。第２時間設定部６２は、入力されたインパルス応答h(t)の後部残響音r(t) （長さt₁）に関する第２時間窓乗算部２２の出力を時間窓毎に削除又は複製して長さt_rの新たな後部残響音r'(t)を生成する。第２時間設定部６２は、残響時間を短くする場合（t_r<t₁）には元の後部残響音r(t)のブロックを適宜削除し、また、残響時間を長くする場合（t_r>t₁）には元の後部残響音r(t)のブロックを適宜複製して、新たな後部残響音ｒ'(t)を生成する。第２乱数発生部３２は、時間シフト量を乱数により発生させる。第２時間シフト部４２は、当該時間シフト量に基づき、時間窓毎に、時間長変更後の後部残響音r'(t)の各成分r'_n(t)を後部残響音r'(t)の時間範囲内で時間シフトして出力r''(t)を生成する。第２時間シフト部４２は、r''(t)が時間長変更後の後部残響音r'(t)の範囲外になる場合は、第２乱数発生部３２に再び後部残響音r'(t)の範囲内となる時間シフト量を発生させる。第２時間シフト部４２は、生成したr''(t)を信号加算部５０に出力する。

【0074】

信号加算部５０は、初期反射音e(t)に関する第１時間シフト部４１の出力e''(t)と、後部残響音r(t)に関する第２時間シフト部４２の出力r''(t)とを加算し、新たなインパルス応答h''(t)を生成する。

【0075】

なお、本実施形態では、残響時間の長さを変更する時間設定部６０の後段に、時間窓毎に残響成分をシフトさせる時間シフト部４０を備える構成としているが、時間シフト部４０及び関連する乱数発生部３０を省略し、時間設定部６０の出力からそのまま新たなインパルス応答h'(t)を生成する構成としても良い。この場合、信号加算部５０は、初期反射音e(t)に関する第１時間設定部６１の出力e'(t)と、後部残響音r(t)に関する第２時間設定部６２の出力r'(t)とを加算し、新たなインパルス応答h'(t)を生成する。

【0076】

このように、本実施形態によれば、信号分離部１０は、インパルス応答を初期反射音と後部残響音とに自動的に分離し、時間窓乗算部２０は、所定時間長の時間窓を複数回シフトして得られる窓関数を初期反射音及び後部残響音に乗じ、時間設定部６０は、初期反射音又は後部残響音の少なくとも一方に関する時間窓乗算部２０の出力を時間窓毎に削除又は複製して時間長を変更する。時間長を変更した初期反射音と後部残響音を加算することにより、予め与えられたインパルス応答と類似した音色を持ち、かつ互いに相関が低く設定した任意の残響時間を持つインパルス応答を多数生成することが可能となり、多チャンネル音響方式における残響付加で使用するのに十分な品質かつ様々な種類のインパルス応答を提供することが可能となる。

【0077】

さらに、乱数発生部３０は、時間シフト量を乱数により発生させ、時間シフト部４０は、時間シフト量に基づき、時間窓毎に、初期反射音に関する第１時間設定部６１の出力を初期反射音の時間範囲内で時間シフトさせる。これにより、初期反射音の相関が低いインパルス応答を多数生成することが可能となり、インパルス応答を畳み込んだ際に同じ初期反射音のインパルス応答からは得られない拡がり感を得ることができる。後部残響音についても同様である。

【0078】

上記の実施の形態では、インパルス応答生成装置の構成と動作について説明したが、本発明はこれに限らず、多数のインパルス応答を生成する方法として構成されてもよい。すなわち、図１又は図７のデータの流れに従って、インパルス応答生成装置の各部での処理工程を順に備えた、インパルス応答生成装置におけるインパルス応答生成方法として構成されても良い。

【0079】

なお、上述したインパルス応答生成装置として機能させるためにコンピュータを好適に用いることができ、そのようなコンピュータは、インパルス応答生成装置の各機能を実現する処理内容を記述したプログラムを該コンピュータの記憶部に格納しておき、該コンピュータのＣＰＵによってこのプログラムを読み出して実行させることで実現することができる。なお、このプログラム（インパルス応答生成プログラム）は、コンピュータ読取り可能な記録媒体に記録可能である。

【0080】

上述の実施形態は代表的な例として説明したが、本発明の趣旨及び範囲内で、多くの変更及び置換ができることは当業者に明らかである。したがって、本発明は、上述の実施形態によって制限するものと解するべきではなく、特許請求の範囲から逸脱することなく、種々の変形又は変更が可能である。例えば、実施形態に記載の各ブロック、各ステップ等に含まれる機能等は論理的に矛盾しないように再配置可能であり、複数の構成ブロック、ステップ等を１つに組み合わせたり、或いは分割したりすることが可能である。

【符号の説明】

【0081】

１０ 信号分離部
２０ 時間窓乗算部
２１ 第１時間窓乗算部
２２ 第２時間窓乗算部
３０ 乱数発生部
３１ 第１乱数発生部
３２ 第２乱数発生部
４０ 時間シフト部
４１ 第１時間シフト部
４２ 第２時間シフト部
５０ 信号加算部
６０ 時間設定部
６１ 第１時間設定部
６２ 第２時間設定部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】