特許 7605186 音信号処理方法および音信号処理装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-12-16

(45)【発行日】2024-12-24

(54)【発明の名称】音信号処理方法および音信号処理装置

(51)【国際特許分類】

   H04S 7/00 20060101AFI20241217BHJP

【ＦＩ】

H04S7/00 350

H04S7/00 400

【請求項の数】 16

(21)【出願番号】P 2022098540

(22)【出願日】2022-06-20

(62)【分割の表示】P 2021045542の分割

【原出願日】2021-03-19

(65)【公開番号】P2022145678

(43)【公開日】2022-10-04

【審査請求日】2024-01-25

(73)【特許権者】

【識別番号】000004075

【氏名又は名称】ヤマハ株式会社

(74)【代理人】

【識別番号】110000970

【氏名又は名称】弁理士法人 楓国際特許事務所

(72)【発明者】

【氏名】渡辺 隆行

(72)【発明者】

【氏名】橋本 悌

(72)【発明者】

【氏名】四童子 広臣

【審査官】▲徳▼田 賢二

(56)【参考文献】

【文献】特開平１１－２３４７９９（ＪＰ，Ａ）

【文献】特開２０１７－１８８８７７（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｈ０４Ｓ ７／００

(57)【特許請求の範囲】

【請求項1】

再生空間に配置されている複数のスピーカの位置を取得し、
前記再生空間での音響パラメータの設定を受け付け、
前記複数のスピーカの位置および前記音響パラメータの設定に基づいて、前記複数のスピーカの個々の音響パラメータを設定し、
目的の音響空間の反射音を示す仮想音源に対応する音信号を生成し、
前記個々の音響パラメータに基づいて前記複数のスピーカに出力する前記音信号に音響処理を施す、
音信号処理方法。

【請求項2】

前記個々の音響パラメータは、ゲイン値または遅延量を含む、
請求項１に記載の音信号処理方法。

【請求項3】

前記複数のスピーカの位置、前記音響パラメータ、および前記個々の音響パラメータの関係を示す係数設定式に基づいて前記個々の音響パラメータを設定する、
請求項１または請求項２に記載の音信号処理方法。

【請求項4】

前記係数設定式は、前記複数のスピーカのそれぞれの位置を示す座標と、前記座標のうち最大値および最小値と、前記音響パラメータと、で表される関数である、
請求項３に記載の音信号処理方法。

【請求項5】

利用者から前記音響パラメータの設定を受け付けるための操作子画像と、
前記音響パラメータに対応する前記再生空間での音の広がりおよび定位感を表す画像と、
を表示器に表示する、
請求項１乃至請求項４のいずれか１項に記載の音信号処理方法。

【請求項6】

前記音響パラメータは、前記再生空間での音の重みを示すウェイト値、または前記再生空間での音の広がりを示すシェイプ値を含む、
請求項１乃至請求項５のいずれか１項に記載の音信号処理方法。

【請求項7】

前記ウェイト値および前記シェイプ値は、前記再生空間の前後方向、左右方向、または上下方向の重みおよび広がりに対応する、
請求項６に記載の音信号処理方法。

【請求項8】

前記個々の音響パラメータは、前記複数のスピーカの位置および前記ウェイト値の関係を示すウェイト用係数設定式、または前記複数のスピーカの位置および前記シェイプ値の関係を示すシェイプ用係数設定式、に基づいて設定される、
請求項６または請求項７に記載の音信号処理方法。

【請求項9】

再生空間に配置されている複数のスピーカと、
目的の音響空間の反射音を示す仮想音源に対応する音信号を生成する初期反射音制御信号生成部と、
前記複数のスピーカに前記音信号を出力する出力調整部と、
を備え、
前記出力調整部は、
前記複数のスピーカの位置を取得し、
前記再生空間での音響パラメータの設定を受け付け、
前記複数のスピーカの位置および前記音響パラメータの設定に基づいて、前記複数のスピーカの個々の音響パラメータを設定し、
前記個々の音響パラメータに基づいて前記複数のスピーカに出力する前記音信号に音響処理を施す、
音信号処理装置。

【請求項10】

前記個々の音響パラメータは、ゲイン値または遅延量を含む、
請求項９に記載の音信号処理装置。

【請求項11】

前記出力調整部は、前記複数のスピーカの位置、前記音響パラメータ、および前記個々の音響パラメータの関係を示す係数設定式に基づいて前記個々の音響パラメータを設定する、
請求項９または請求項１０に記載の音信号処理装置。

【請求項12】

前記係数設定式は、前記複数のスピーカのそれぞれの位置を示す座標と、前記座標のうち最大値および最小値と、前記音響パラメータと、で表される関数である、
請求項１１に記載の音信号処理装置。

【請求項13】

利用者から前記音響パラメータの設定を受け付けるための操作子画像と、
前記音響パラメータに対応する前記再生空間での音の広がりおよび定位感を表す画像と、
を表示する表示器を備えた、
請求項９乃至請求項１２のいずれか１項に記載の音信号処理装置。

【請求項14】

前記音響パラメータは、前記再生空間での音の重みを示すウェイト値、または前記再生空間での音の広がりを示すシェイプ値を含む、
請求項９乃至請求項１３のいずれか１項に記載の音信号処理装置。

【請求項15】

前記ウェイト値および前記シェイプ値は、前記再生空間の前後方向、左右方向、または上下方向の重みおよび広がりに対応する、
請求項１４に記載の音信号処理装置。

【請求項16】

前記個々の音響パラメータは、前記複数のスピーカの位置および前記ウェイト値の関係を示すウェイト用係数設定式、または前記複数のスピーカの位置および前記シェイプ値の関係を示すシェイプ用係数設定式、に基づいて設定される、
請求項１４または請求項１５に記載の音信号処理装置。

【発明の詳細な説明】

【技術分野】

【0001】

この発明の一実施形態は、音源から入力した音に対して所定の処理を行う音信号処理方法および音信号処理装置に関する。

【背景技術】

【0002】

ホール等の空間に対する音響システムでは、その空間に配置されたスピーカによって音源に対する音像の定位を行う。

【0003】

例えば、特許文献１に記載の音声処理装置は、オーディオオブジェクト（音源）の近傍の２以上のスピーカでオーディオオブジェクト（音源）の音を出力する。この際、特許文献１に記載の音声処理装置は、オーディオオブジェクト（音源）の位置情報と音像情報とを用いて、各スピーカに出力する音声信号のゲインを算出する。

【先行技術文献】

【特許文献】

【0004】

【文献】国際公開２０１６／２０８４０６号

【発明の概要】

【発明が解決しようとする課題】

【0005】

しかしながら、上述の従来の構成では、スピーカが設置された空間で、仮想空間での音像定位を明瞭に再現することはできない。

【0006】

そこで、この発明の一実施形態は、仮想空間での音像定位を明瞭に再現することを目的とする。

【課題を解決するための手段】

【0007】

音信号処理方法は、再生空間に配置されている複数のスピーカの位置を取得し、前記再生空間での音響パラメータの設定を受け付け、前記複数のスピーカの位置および前記音響パラメータの設定に基づいて、前記複数のスピーカの個々の音響パラメータを設定し、目的の音響空間の反射音を示す仮想音源に対応する音信号を生成し、前記個々の音響パラメータに基づいて前記複数のスピーカに出力する前記音信号に音響処理を施す。

【発明の効果】

【0008】

音信号処理方法は、仮想空間での音像定位を明瞭に再現できる。

【図面の簡単な説明】

【0009】

【図1】図１は、本発明の実施形態に係る音信号処理装置を含む音響システムの構成を示す機能ブロック図である。

【図2】図２は、本発明の実施形態に係る音信号処理方法のフローチャートである。

【図3】図３は、一般的な直接音、初期反射音、残響音（後部残響音）を含む音の離散的な波形を示す図である。

【図4】図４（Ａ）、図４（Ｂ）は、虚音源の設定概念を示す図である。

【図5】図５は、グルーピング部４０の構成の一例を示す機能ブロック図である。

【図6】図６は、音源のグルーピング方法を示すフローチャートである。

【図7】図７は、複数の音源の複数の領域へのグループ化の概念を示す図である。

【図8】図８（Ａ）は、代表点を用いた音源のグルーピング方法を示すフローチャートであり、図８（Ｂ）は、領域の境界を用いた音源のグルーピング方法を示すフローチャートである。

【図9】図９は、音源の移動によるグルーピングの方法の一例を示すフローチャートである。

【図10】図１０は、初期反射音制御信号生成部５０の構成の一例を示す機能ブロック図である。

【図11】図１１は、ＧＵＩの一例を示す図である。

【図12】図１２は、虚音源の設定処理の一例を示すフローチャートである。

【図13】図１３（Ａ）、図１３（Ｂ）は、幾何学形状が異なる時のそれぞれの虚音源の設定例を示す図である。

【図14】図１４（Ａ）、図１４（Ｂ）、および、図１４（Ｃ）は、虚音源の設定例を示す図である。

【図15】図１５（Ａ）、図１５（Ｂ）、図１５（Ｃ）は、虚音源の設定例を示す図である。

【図16】図１６は、虚音源をスピーカに割り当てる処理を示すフローチャートである。

【図17】図１７（Ａ）、図１７（Ｂ）は、虚音源をスピーカに割り当てる概念を示す図である。

【図18】図１８は、ＬＤｔａｐの係数設定処理を示すフローチャートである。

【図19】図１９（Ａ）、図１９（Ｂ）は、係数設定の概念を説明するための図である。

【図20】図２０（Ａ）は、仮想空間形状が大きい場合のＬＤｔａｐ係数の例を示し、図２０（Ｂ）は、仮想空間形状が小さい場合のＬＤｔａｐ係数の例を示す。

【図21】図２１は、初期反射音制御信号生成部５０で生成される初期反射音制御信号の波形を示す図である。

【図22】図２２は、残響音制御信号生成部７０の構成の一例を示す機能ブロック図である。

【図23】図２３は、残響音制御信号の生成処理の一例を示すフローチャートである。

【図24】図２４は、直接音、初期反射音制御信号、および、残響音制御信号の波形例を示すグラフである。

【図25】図２５は、残響音用の領域設定の一例を示す図である。

【図26】図２６は、出力調整部９０の構成の一例を示す機能ブロック図である。

【図27】図２７は、出力調整処理の一例を示すフローチャートである。

【図28】図２８は、出力調整用のＧＵＩの一例を示す図である。

【図29】図２９（Ａ）、図２９（Ｂ）は、再生空間の後方に音の定位と広がりを持たせる場合の設定例を示す図である。

【図30】図３０（Ａ）、図３０（Ｂ）は、再生空間の横方向に音の定位と広がりを持たせる場合の設定例を示す図である。

【図31】図３１は、高さ方向の広がりを持たせる場合の音の広がりのイメージを表す図である。

【図32】図３２は、バイノーラル再生機能付き音信号処理装置の構成を示す機能ブロック図である。

【発明を実施するための形態】

【0010】

本発明の実施形態に係る音信号処理方法および音信号処理装置について、図を参照して説明する。なお、以下の実施形態では、まず、音信号処理方法および音信号処理装置の概要を説明し、その後、各処理、各構成の具体的な内容を説明する。

【0011】

なお、本実施形態において、再生空間は、ユーザ（聴者）がスピーカ等を用いて、音源からの音（直接音、初期反射音、残響音）を聞く空間である。仮想空間は、再生空間と異なる音場（音響）を有する空間であり、この音場による初期反射音や残響音が再生空間において再現（模擬）される空間である。

【0012】

［音信号処理装置の概略構成］
図１は、本発明の実施形態に係る音信号処理装置を含む音響システムの構成を示す機能ブロック図である。

【0013】

図１に示すように、音信号処理装置１０は、領域設定部３０、グルーピング部４０、初期反射音制御信号生成部５０、ミキサ６０、残響音制御信号生成部７０、加算器８０、出力調整部９０を備える。音信号処理装置１０は、例えば、領域設定部３０、グルーピング部４０、初期反射音制御信号生成部５０、ミキサ６０、残響音制御信号生成部７０、加算器８０、出力調整部９０をそれぞれに実現する電子回路や、コンピュータ等の演算処理装置によって実現する。加算器８０と出力調整部９０とから構成される部分が、本発明の「出力信号生成部」に対応する。

【0014】

音信号処理装置１０は、複数のスピーカＳＰ１－ＳＰ６４に接続する。なお、図１は、６４個のスピーカを用いる態様を示すが、スピーカの個数は、これに限るものではない。

【0015】

音信号処理装置１０には、複数の音源ＯＢＪ１－ＯＢＪ９６の音信号Ｓ１－Ｓ９６が入力される。なお、図１は、９６個の音源を用いる態様を示すが、音源の個数は、これに限るものではない。

【0016】

領域設定部３０は、再生空間を複数の領域に分割し、分割された領域に関する情報（領域情報）を設定する。領域情報は、領域の境界を決定する位置座標、領域に設定した代表点の位置座標である。

【0017】

領域設定部３０は、設定した複数の領域Ａｒｅａ１－Ａｒｅａ８の領域情報を、グルーピング部４０に出力する。なお、図１では、領域を８個に設定する態様を示すが、領域の個数は、これに限るものではない。

【0018】

グルーピング部４０は、音源ＯＢＪ１－ＯＢＪ９６を、複数の領域Ａｒｅａ１－Ａｒｅａ８にグルーピングする。グルーピング部４０は、グルーピングの結果に基づいて、音源ＯＢＪ１－ＯＢＪ９６の音信号Ｓ１－Ｓ９６を用いて、領域Ａｒｅａ１－Ａｒｅａ８毎の領域別音信号ＳＡ１－ＳＡ８を生成する。例えば、グルーピング部４０は、領域Ａｒｅａ１にグルーピングされた複数の音源の音信号をミキシングして、領域別音信号ＳＡ１を生成する。

【0019】

グルーピング部４０は、複数の領域別音信号ＳＡ１－ＳＡ８を、初期反射音制御信号生成部５０に出力する。また、グルーピング部４０は、音源ＯＢＪ１－ＯＢＪ９６の音信号Ｓ１－Ｓ９６を、ミキサ６０に出力する。

【0020】

初期反射音制御信号生成部５０は、複数の領域別音信号ＳＡ１－ＳＡ８から、複数のスピーカＳＰ１－ＳＰ６４毎の初期反射音制御信号ＥＲ１－ＥＲ６４を生成する。初期反射音制御信号ＥＲ１－ＥＲ６４は、仮想空間の初期反射音を再生空間において模擬するためにスピーカＳＰ１－ＳＰ６４のそれぞれに出力する信号である。初期反射音制御信号生成部５０は、生成した初期反射音制御信号ＥＲ１－ＥＲ６４を、加算器８０に出力する。

【0021】

概略的（詳細な構成および処理は後述）に、初期反射音制御信号生成部５０は、再生空間に配置されたスピーカＳＰ１－ＳＰ６４の位置と仮想空間の幾何学形状とを用いて、再生空間上に虚音源（仮想音源）を設定する。なお、虚音源の具体的な設定については、後述する。初期反射音制御信号生成部５０は、虚音源を用いることで、仮想空間での初期反射音を模擬する初期反射音制御信号ＥＲ１－ＥＲ６４を生成する。この際、初期反射音制御信号生成部５０は、初期反射音制御信号ＥＲ１－ＥＲ６４に対して、所望の音色調整を行う。

【0022】

ミキサ６０は、サミングミキサである。ミキサ６０は、音源ＯＢＪ１－ＯＢＪ９６の音信号Ｓ１－Ｓ９６をミキシングして、残響音生成用信号Ｓｒを生成する。ミキサ６０は、残響音生成用信号Ｓｒを、残響音制御信号生成部７０に出力する。

【0023】

残響音制御信号生成部７０は、残響音生成用信号Ｓｒから、複数のスピーカＳＰ１－ＳＰ６４毎の残響音制御信号ＲＥＶ１－ＲＥＶ６４を生成する。残響音制御信号ＲＥＶ１－ＲＥＶ６４は、仮想空間の残響音（後部残響音）を再生空間において模擬するためにスピーカＳＰ１－ＳＰ６４のそれぞれに出力する信号である。残響音制御信号生成部７０は、生成した残響音制御信号ＲＥＶ１－ＲＥＶ６４を、加算器８０に出力する。

【0024】

概略的（詳細な構成および処理は後述）に、残響音制御信号生成部７０は、再生空間を複数の残響音設定用領域に分割し、複数の残響音設定用領域毎に残響音制御信号を生成する。残響音制御信号生成部７０は、複数のスピーカＳＰ１－ＳＰ６４を複数の残響音設定用領域に割り当てる。残響音制御信号生成部７０は、この割り当てに基づいて、複数のスピーカＳＰ１－ＳＰ６４に、残響音設定用領域毎の残響音制御信号を設定する。

【0025】

この際、残響音制御信号生成部７０は、初期反射音と残響音との接続タイミングを、再生空間の幾何学形状に基づいて設定する。残響音制御信号生成部７０は、接続タイミングよりも前の期間では、残響音制御信号のレベル（振幅）を徐々に上げ、接続タイミング以降の期間では、残響音制御信号のレベル（振幅）を徐々に下げる。

【0026】

加算器８０は、複数のスピーカＳＰ１－ＳＰ６４毎に生成された初期反射音制御信号と残響音制御信号とを加算し、複数のスピーカ用信号Ｓａｔ１－Ｓａｔ６４を生成する。例えば、加算器８０は、スピーカＳＰ１用の初期反射音制御信号とスピーカＳＰ１用の残響音制御信号とを加算し、スピーカ用信号Ｓａｔ１を生成する。加算器８０は、複数のスピーカ用信号Ｓａｔ１－Ｓａｔ６４を、出力調整部９０に出力する。

【0027】

出力調整部９０は、複数のスピーカ用信号Ｓａｔ１－Ｓａｔ６４にゲイン制御およびディレイ制御を行って、出力信号Ｓｏ１－Ｓｏ６４を生成する。出力調整部９０は、出力信号Ｓｏ１－Ｓｏ６４を、複数のスピーカＳＰ１－ＳＰ６４に出力する。例えば、出力調整部９０は、スピーカ用信号Ｓａｔ１に、スピーカＳＰ１用のゲイン制御およびディレイ制御を行って、出力信号Ｓｏ１を生成する。出力調整部９０は、出力信号Ｓｏ１をスピーカＳＰ１に出力する。

【0028】

概略的（詳細な構成および処理は後述）に、出力調整部９０は、再生空間における音響パラメータの入力を受け付ける。音響パラメータは、例えば、音空間における幅方向の空間の広がりの調整、音空間における受音点よりも後方の空間の広がりの調整、音空間における天井方向の空間の広がりの調整等を設定するパラメータである。出力調整部９０は、複数のスピーカＳＰ１－ＳＰ６４の位置座標と音響パラメータとに基づいて、複数のスピーカ用信号Ｓａｔ１－Ｓａｔ６４のゲイン値およびディレイ量（遅延量）を、一括して設定する。一括して設定するとは、スピーカ毎に個別に設定することではなく、例えば、全てのスピーカに共通の特定の算出式に各スピーカの位置座標を入力するだけで、各スピーカのゲイン値およびディレイ量を設定することである。出力調整部９０は、設定されたゲイン値およびディレイ値を用いて、複数のスピーカ用信号Ｓａｔ１－Ｓａｔ６４にゲイン制御およびディレイ制御を行う。

【0029】

［音信号処理方法の概略処理］
図２は、本発明の実施形態に係る音信号処理方法のフローチャートである。図２は、図１の音信号処理装置１０によって実現される音信号処理方法を示す。なお、図２に示す各処理の内容は、上述の図１の説明において説明しているため、簡略的に記載する。

【0030】

（音源ＯＢＪ１－ＯＢＪ９６のグルーピング）
グルーピング部４０は、複数の音源ＯＢＪ１－ＯＢＪ９６を、複数の領域Ａｒｅａ１－Ａｒｅａ８毎にグループ化する（Ｓ１１）。

【0031】

（初期反射音制御信号の生成）
初期反射音制御信号生成部５０は、グループ毎に初期反射音用の音色を設定する（Ｓ１２）。初期反射音制御信号生成部５０は、グループ毎に虚音源を設定する（Ｓ１３）。初期反射音制御信号生成部５０は、音色と虚音源とを用いて、複数のスピーカＳＰ１－ＳＰ６４毎の初期反射音制御信号を生成する（Ｓ１４）。

【0032】

（残響音制御信号の生成）
ミキサ６０は、複数の音源ＯＢＪ１－ＯＢＪ９６の音信号Ｓ１－Ｓ９６をサミングする（Ｓ２１）。残響音制御信号生成部７０は、再生空間の幾何学形状に基づいて、初期反射音と残響音との接続タイミングを設定する（Ｓ２２）。残響音制御信号生成部７０は、設定した接続タイミングを用いて、残響音制御信号を生成する（Ｓ２３）。残響音制御信号生成部７０は、生成した残響音制御信号を、再生空間での複数のスピーカＳＰ１－ＳＰ６４の位置座標に基づいて、複数のスピーカＳＰ１－ＳＰ６４に割り当てる（Ｓ２４）。

【0033】

（複数のスピーカへの出力処理）
加算器８０は、複数のスピーカＳＰ１－ＳＰ６４毎に、初期反射音制御信号と残響音制御信号とを加算し、スピーカ用信号Ｓａｔ１－Ｓａｔ６４を生成する（Ｓ３１）。

【0034】

出力調整部９０は、再生空間における残響の定位、空間の広がりを実現する音響パラメータを用いて、スピーカ用信号Ｓａｔ１－Ｓａｔ６４から出力信号Ｓｏ１－Ｓｏ６４を生成する（Ｓ３２）。出力調整部９０は、出力信号Ｓｏ１－Ｓｏ６４を複数のスピーカＳＰ１－ＳＰ６４に出力する（Ｓ３３）。

【0035】

上述の構成および処理を用いることで、音信号処理装置１０（音信号処理方法）は、次の各種の効果を得られる。

【0036】

（１）音信号処理装置１０（音信号処理方法）は、再生空間を分割した領域毎に音源をグループ化して初期反射音を生成することで、明瞭な音像定位と豊かな空間の拡がりを実現できる。この際、残響音は、再生空間の全体で一定であり、初期反射音だけが、音源の位置に依存して変化する。したがって、例えば、音源の位置が移動した場合、この音源の音の移動は、より滑らかになる。

【0037】

（２）音信号処理装置１０（音信号処理方法）は、虚音源を用いて初期反射音制御信号を生成することで、仮想空間の幾何学形状による初期反射音を、再生空間でより忠実に模擬できる。

【0038】

（３）音信号処理装置１０（音信号処理方法）は、初期反射音制御信号の音色調整を行うことで、例えば、虚音源のみによって模擬される初期反射音の音色の不自然さを解消できる。

【0039】

（４）音信号処理装置１０（音信号処理方法）は、初期反射音制御信号と残響音制御信号との接続タイミングを再生空間の幾何学形状から設定することで、初期反射音から残響音への繋がりを、より滑らかで自然なものにすることができる。

【0040】

（５）音信号処理装置１０（音信号処理方法）は、初期反射音制御信号と残響音制御信号とを含むスピーカ用信号Ｓａｔ１－Ｓａｔ６４のゲイン値およびディレイ量を一括で調整することで、再生空間においてユーザの所望する音場を、より容易な操作入力で実現できる。

【0041】

［各信号処理部および各処理の具体的な説明］
以下では、上述の各信号処理部および各処理の具体的な説明を記載する。まず、発明を理解するために必要な初期反射音、残響音、および、虚音源について、図を参照して説明する。

【0042】

［初期反射音および残響音］
図３は、一般的な直接音、初期反射音、残響音（後部残響音）を含む音の離散的な波形を示す図である。例えば、演奏やコンテンツの再生を行うホールは、壁に囲まれる閉空間を有する。この閉空間で音が発生すると、受音点には、直接音、初期反射音、残響音（後部残響音）が到達する。

【0043】

直接音は、音の発生位置から受音点に直接到達する音である。

【0044】

初期反射音は、発生位置で発生した音が壁や床、天井に反射してから受音点に早い時刻で到達する音である。このため、初期反射音は、直接音に続いて受音点に到達する。また、初期反射音の音量（レベル）は、直接音の音量（レベル）より小さくなる。この反射回数が１回であれば、１次反射音であり、ｎ回であれば、ｎ次反射音である。受音点における初期反射音の到来方向とその音量は、音の発生位置の影響を大きく受ける。

【0045】

残響音は、初期反射音に続いて受音点に到達する。残響音は、発生位置で発生した音が多重反射してから受音点に到達する音である。すなわち、残響音は、反射音がさらに多数回反射、減衰しながら受音点に到達する音である。したがって、残響音の音量（レベル）は、初期反射音の音量（レベル）よりも小さい。さらに、残響音の到来方向とその音量は、初期反射音に比べて、音の発生位置の影響が小さい。

【0046】

［虚音源］
図４（Ａ）、図４（Ｂ）は、虚音源の設定概念を示す図である。なお、図４（Ａ）、図４（Ｂ）では、説明を容易にするため、二次元での虚音源の設定概念を示しているが、虚音源は、三次元においても同じ概念で設定できる。すなわち、実際の再生空間において、音源が一平面上に揃っておらず空間的に配置され、仮想空間が立体で設定される場合には、虚音源は、三次元で設定される。

【0047】

再生空間には、音源ＳＳと受音点ＲＰとが存在する。なお、図４（Ａ）、図４（Ｂ）に示す音源ＳＳは、上述の説明の音源ＯＢＪとは異なる意味であり、一般的な音を発生するものを意味する。また、再生空間には、仮想空間の音場を実現する仮想壁ＩＷＬが設定される。仮想壁ＩＷＬは、仮想空間の幾何学形状から得られる。

【0048】

音源ＳＳと受音点ＲＰとは、仮想壁ＩＷＬに囲まれる空間内に存在する。仮想壁ＩＷＬは、仮想壁ＩＷＬ１、仮想壁ＩＷＬ２、仮想壁ＩＷＬ３、および、仮想壁ＩＷＬ４を備える。仮想壁ＩＷＬ１と仮想壁ＩＷＬ４とは、再生空間の第１方向（図４（Ａ）、図４（Ｂ）の縦方向）において、音源ＳＳと受音点ＲＰとを間に挟むように配置される。仮想壁ＩＷＬ１は、受音点ＲＰよりも音源ＳＳに近い側に配置され、仮想壁ＩＷＬ４は、音源ＳＳよりも受音点ＲＰに近い側に配置される。仮想壁ＩＷＬ２と仮想壁ＩＷＬ３とは、再生空間の第２方向（図４（Ａ）、図４（Ｂ）の横方向）において、音源ＳＳと受音点ＲＰとを間に挟むように配置される。仮想壁ＩＷＬ２は、受音点ＲＰよりも音源ＳＳに近い側に配置され、仮想壁ＩＷＬ３は、音源ＳＳよりも受音点ＲＰに近い側に配置される。

【0049】

仮想壁ＩＷＬ１、仮想壁ＩＷＬ２、仮想壁ＩＷＬ３、および、仮想壁ＩＷＬ４が現実に音を反射する壁であれば、図４（Ｂ）に示すように、音源ＳＳから発した音は、仮想壁ＩＷＬ１、仮想壁ＩＷＬ２、および、仮想壁ＩＷＬ３で反射して、受音点ＲＰに到達する。なお、図４（Ｂ）では、仮想壁ＩＷＬ４からの反射を記載していないが、仮想壁ＩＷＬ４でも、仮想壁ＩＷＬ１、仮想壁ＩＷＬ２、および、仮想壁ＩＷＬ３と同様に反射が生じる。

【0050】

しかしながら、仮想壁ＩＷＬ１、仮想壁ＩＷＬ２、仮想壁ＩＷＬ３、および、仮想壁ＩＷＬ４は、再生空間では現実には存在しない。したがって、図４（Ａ）に示すように、音信号処理装置１０は、壁面における音の反射を鏡面反射として、虚音源ＩＳ１、虚音源ＩＳ２、および、虚音源ＩＳ３を設定する。

【0051】

具体的には、音信号処理装置１０は、仮想壁ＩＷＬ１を基準線として、音源ＳＳに対して線対称の位置に、虚音源ＩＳ１を設定する。音信号処理装置１０は、仮想壁ＩＷＬ２を基準線として、音源ＳＳに対して線対称の位置に、虚音源ＩＳ２を設定する。仮想壁ＩＷＬ３を基準線として、音源ＳＳに対して線対称の位置に、虚音源ＩＳ３を設定する。なお、各虚音源ＩＳの音響パワーを調整することで、仮想壁ＩＷＬでの反射におけるエネルギー損失を模擬することができる。

【0052】

このような設定を行うことによって、虚音源ＩＳ１で発生した音は、音源ＳＳで発生して仮想壁ＩＷ１で反射した音と同じになる。虚音源ＩＳ２で発生した音は、音源ＳＳで発生して仮想壁ＩＷ２で反射した音と同じになる。虚音源ＩＳ３で発生した音は、音源ＳＳで発生して仮想壁ＩＷ３で反射した音と同じになる。なお、図４（Ａ）、図４（Ｂ）では、仮想壁ＩＷＬ４に対する虚音源を記載していないが、仮想壁ＩＷＬ４についても、仮想壁ＩＷＬ１、仮想壁ＩＷＬ２、および、仮想壁ＩＷＬ３と同様に虚音源を設定できる。

【0053】

音信号処理装置１０は、このように虚音源を設定することで、仮想空間の初期反射音を、仮想空間の現実の壁が存在しない再生空間において模擬できる。

【0054】

［グルーピング部４０の構成および処理］
図５は、グルーピング部４０の構成の一例を示す機能ブロック図である。図６は、音源のグルーピング方法を示すフローチャートである。

【0055】

図５に示すように、グルーピング部４０は、音源位置検出部４１、領域判定部４２、および、マトリックスミキサ４００を備える。

【0056】

音源位置検出部４１は、再生空間における複数の音源ＯＢＪ１－ＯＢＪ９６の位置座標を検出する（図６：Ｓ１１１）。例えば、音源位置検出部４１は、ユーザからの操作入力によって、音源ＯＢＪ１－ＯＢＪ９６の位置座標を検出する。または、音源位置検出部４１は、音源ＯＢＪ１－ＯＢＪ９６の検出用の位置検出センサを備えており、位置検出センサが検出した位置によって、音源ＯＢＪ１－ＯＢＪ９６の位置座標を検出する。

【0057】

音源位置検出部４１は、音源ＯＢＪ１－ＯＢＪ９６の位置座標を、領域判定部４２に出力する。

【0058】

領域判定部４２は、領域設定部３０からの複数の領域Ａｒｅａ１－Ａｒｅａ８の領域情報と、音源位置検出部４１からの音源ＯＢＪ１－ＯＢＪ９６の位置座標とを用いて、音源ＯＢＪ１－ＯＢＪ９６を、複数の領域Ａｒｅａ１－Ａｒｅａ８にグルーピングする（図６：Ｓ１１２）。より具体的には、領域判定部４２は、次のように、グルーピングを行う。

【0059】

図７は、複数の音源の複数の領域へのグループ化の概念を示す図である。なお、図７では、図の上方が、再生空間であるホールの前方であり、図の下方が、ホールの後方である。

【0060】

領域設定部３０は、再生空間に対して、領域分割用の基準点Ｐｓｏを設定する。例えば、図７に示すように、領域設定部３０は、再生空間を実現するホールの中心位置を基準点Ｐｓｏに設定する。なお、領域設定部３０は、ユーザが設定した点（位置）を基準点とすることもできる。例えば、領域設定部３０は、ユーザが設定した受音点等を基準点とすることができる。

【0061】

領域設定部３０は、領域分割用の基準点Ｐｓｏを中心にして平面上の全周を８分割するように、８個の領域Ａｒｅａ１－Ａｒｅａ８を設定する。例えば、図７の場合、領域設定部３０は、ホール（再生空間）における基準点Ｐｓｏよりも前方に、複数の領域Ａｒｅａ１、Ａｒｅａ２、Ａｒｅａ３を設定する。また、領域設定部３０は、基準点Ｐｓｏからホールの前方を向いて左方向に、領域Ａｒｅａ４を設定し、基準点Ｐｓｏからホールの前方を向いて右方向に、領域Ａｒｅａ５を設定する。また、領域設定部３０は、ホール（再生空間）における基準点Ｐｓｏよりも後方に、複数の領域Ａｒｅａ６、Ａｒｅａ７、Ａｒｅａ８を設定する。

【0062】

なお、この領域の設定は、一例であり、設定した複数の領域によって、再生空間の全体がカバーできれば、他の設定であってもよい。また、この説明は、平面的な領域の設定を示すが、空間的な領域についても、同様に設定できる。例えば、領域Ａｒｅａ１の垂直方向の範囲も、領域Ａｒｅａ１に含まれる。

【0063】

領域設定部３０は、複数の領域Ａｒｅａ１－Ａｒｅａ８のそれぞれに代表点ＲＰ１－ＲＰ８を設定する。例えば、領域設定部３０は、複数の代表点ＲＰ１－ＲＰ８を、複数の領域Ａｒｅａ１－Ａｒｅａ８の中心位置で設定する。または、図７のような放射状に広がる領域の場合、例えば、領域設定部３０は、放射状に広がる角の中心を通る直線上で、基準点Ｐｓｏから所定距離の位置に、代表点を設定する。なお、これらの代表点の設定方法は、一例であり、例えば、１個の領域に１個の代表点を設定でき、音源のグルーピング処理を確実の行える方法であれば、他の方法であってもよい。

【0064】

領域設定部３０は、複数の領域Ａｒｅａ１－Ａｒｅａ８の領域情報を、グルーピング部４０の領域判定部４２およびマトリックスミキサ４００に出力する。複数の領域Ａｒｅａ１－Ａｒｅａ８の領域情報は、領域Ａｒｅａ１－Ａｒｅａ８の代表点ＲＰ１－ＲＰ８の位置座標、領域Ａｒｅａ１－Ａｒｅａ８の形状を形作る境界線を表す座標情報等である。

【0065】

（代表点を用いて音源を領域にグルーピングする方法）
図８（Ａ）は、代表点を用いた音源のグルーピング方法を示すフローチャートである。

【0066】

領域判定部４２は、複数の領域Ａｒｅａ１－Ａｒｅａ８の領域情報から、代表点ＲＰ１－ＲＰ８の位置座標を取得する（Ｓ１１２１）。領域判定部４２は、グルーピングの判定対象の音源の位置座標と代表点ＲＰ１－ＲＰ８の位置座標との距離を算出する（Ｓ１１２２）。領域判定部４２は、最短距離となる代表点を含む領域に音源をグルーピングする（Ｓ１１２３）。

【0067】

例えば、図７の例で音源ＯＢＪ１の場合、領域判定部４２は、音源ＯＢＪ１の位置座標を検出し、複数の代表点ＲＰ１－ＲＰ８の位置座標を取得する。領域判定部４２は、音源ＯＢＪ１の位置座標と複数の代表点ＲＰ１－ＲＰ８の位置座標から、音源ＯＢＪ１と複数の代表点ＲＰ１－ＲＰ８との距離をそれぞれに算出する。領域判定部４２は、音源ＯＢＪ１と代表点ＲＰ１との距離が、音源ＯＢＪ１と他の代表点ＲＰ２－ＲＰ８との距離よりも短いことを検出する。言い換えれば、領域判定部４２は、音源ＯＢＪ１と代表点ＲＰ１との距離が最短距離であることを検出する。領域判定部４２は、代表点ＲＰ１に関連づけられた領域Ａｒｅａ１に、音源ＯＢＪ１をグルーピングする。

【0068】

（領域の境界を用いて音源を領域にグルーピングする方法）
図８（Ｂ）は、領域の境界を用いた音源のグルーピング方法を示すフローチャートである。

【0069】

領域判定部４２は、複数の領域Ａｒｅａ１－Ａｒｅａ８の領域情報から、各領域Ａｒｅａ１－Ａｒｅａ８の境界線を表す座標情報（境界座標）を取得する（Ｓ１１２４）。領域判定部４２は、グルーピングの判定対象の音源の位置座標が各領域Ａｒｅａ１－Ａｒｅａ８の内側にあるかを判定する（Ｓ１１２５）。例えば、領域判定部４２は、Ｃｒｏｓｓｉｎｇ Ｎｕｍｂｅｒ Ａｌｇｏｒｉｔｈｍを用いて、領域に対する音源の内外判定を行う。領域判定部４２は、音源が領域内にあれば（Ｓ１１２５：ＹＥＳ）、この領域に音源をグルーピングする（Ｓ１１２６）。

【0070】

例えば、図７の例で音源ＯＢＪ１の場合、領域判定部４２は、音源ＯＢＪ１の位置座標を検出し、複数の領域Ａｒｅａ１－Ａｒｅａ８の境界線を表す座標情報（境界座標）を取得する。領域判定部４２は、音源ＯＢＪ１の位置座標と複数の領域Ａｒｅａ１－Ａｒｅａ８の境界座標から、複数の領域Ａｒｅａ１－Ａｒｅａ８に対する音源ＯＢＪ１の内外判定を行う。領域判定部４２は、音源ＯＢＪ１が領域Ａｒｅａ１内にあることを検出する。領域判定部４２は、領域Ａｒｅａ１に音源ＯＢＪ１をグルーピングする。

【0071】

領域判定部４２は、入力される複数の音源ＯＢＪ１－ＯＢＪ９６を、複数の領域Ａｒｅａ１－Ａｒｅａ８にグルーピングする。例えば、図７の例であれば、領域判定部４２は、領域Ａｒｅａ１に音源ＯＢＪ１、ＯＢＪ４をグルーピングし、領域Ａｒｅａ２に音源ＯＢＪ２をグルーピングし、領域Ａｒｅａ５に音源ＯＢＪ３をグルーピングする。

【0072】

領域判定部４２は、グルーピング情報を、マトリックスミキサ４００に出力する。グルーピング情報とは、上述の、どの領域にどの音源をグルーピングしたかを示す情報である。

【0073】

マトリックスミキサ４００は、グルーピング情報に基づいて、複数の音源ＯＢＪ１－ＯＢＪ９６の音信号Ｓ１－Ｓ９６を用いて、複数の領域Ａｒｅａ１－Ａｒｅａ８毎の領域別音信号ＳＡ１－ＳＡ８を生成する。例えば、マトリックスミキサ４００は、領域に複数の音源がグルーピングされていれば、これら複数の音源の音信号をミキシングして、この領域の領域別音信号を生成する。マトリックスミキサ４００は、各領域の領域別音信号を、初期反射音制御信号生成部５０に出力する。なお、マトリックスミキサ４００は、領域に１つでも音源がグルーピングされていれば、この音源の音信号を、この領域の領域別音信号として、初期反射音制御信号生成部５０に出力する。

【0074】

図７の例であれば、領域Ａｒｅａ１は、音源ＯＢＪ１、ＯＢＪ４がグルーピングされている。マトリックスミキサ４００は、音源ＯＢＪ１の音信号Ｓ１と音源ＯＢＪ４の音信号Ｓ４とをミキシングして、領域Ａｒｅａ１の領域別音信号ＳＡ１を生成し、出力する。また、領域Ａｒｅａ２は、音源ＯＢＪ２がグルーピングされている。マトリックスミキサ４００は、音源ＯＢＪ２の音信号Ｓ２を、領域Ａｒｅａ２の領域別音信号ＳＡ２として出力する。また、領域Ａｒｅａ５は、音源ＯＢＪ３がグルーピングされている。マトリックスミキサ４００は、音源ＯＢＪ３の音信号Ｓ３を、領域Ａｒｅａ５の領域別音信号ＳＡ５として出力する。

【0075】

このような構成、処理を実現することによって、音信号処理装置１０は、音空間を分割する複数の領域毎に複数の音源をグルーピングして、初期反射音制御信号を生成できる。これにより、音信号処理装置１０は、音源の位置に応じた初期反射音を再現でき、明瞭な音像定位と豊かな空間の拡がりを実現できる。

【0076】

なお、上述の説明では、音源が移動する場合を詳細に示していないが、音源が移動する場合は、グルーピング部４０は、図９に示す処理を行う。図９は、音源の移動によるグルーピングの方法の一例を示すフローチャートである。

【0077】

音源位置検出部４１は、音源の移動を検出する（Ｓ１０４）。音源位置検出部４１は、例えば、ユーザからの操作入力によって音源の移動を検出する。または、音源位置検出部４１は、位置検出センサによって継続的に音源位置を検出することで、音源の移動を検出する。そして、領域判定部４２は、移動した音源に対して再度グルーピングを行う（Ｓ１０５）。音源位置検出部４１は、移動後の音源の位置座標を検出し、領域判定部４２に出力する。

【0078】

領域判定部４２は、移動後の音源の位置座標を用いて、上述のように、複数の領域Ａｒｅａ１－Ａｒｅａ８へのグルーピングを行う（Ｓ１０５）。

【0079】

このような処理を行うことによって、音信号処理装置１０は、音源が移動しても、移動後の音源の位置に応じた初期反射音制御信号を生成できる。これにより、音信号処理装置１０は、音源の移動に応じた初期反射音の変化を再現でき、音源の移動があっても、移動に応じた明瞭な音像定位と豊かな空間の拡がりを実現できる。

【0080】

また、このような音源の移動が生じる際、音信号処理装置１０は、移動前の初期反射音制御信号と移動後の初期反射音制御信号に対して、クロスフェード処理を施すことができる。例えば、音源が移動したとき、音信号処理装置１０は、移動前の音源が含まれる領域別音信号におけるこの音源の音信号の成分を徐々に低くする。一方、音信号処理装置１０は、移動後の音源が含まれる領域別音信号におけるこの音源の音信号の成分を徐々に高くする。

【0081】

このような処理を行うことによって、音信号処理装置１０は、音源が移動したときの初期反射音の不連続な変化を抑制できる。これにより、音信号処理装置１０は、音源が移動したときに、音源の移動に応じて、初期反射音をより滑らかに変化させることができる。

【0082】

また、マトリックスミキサ４００は、複数の音源ＯＢＪ１－ＯＢＪ９６の音信号Ｓ１－Ｓ９６を、ミキサ６０に出力する。上述のように、ミキサ６０は、音信号Ｓ１－Ｓ９６を加算して残響音生成用信号Ｓｒを生成し、残響音制御信号生成部７０に出力する。残響音制御信号生成部７０は、残響音生成用信号Ｓｒを用いて、残響音制御信号ＲＥＶ１－ＲＥＶ６４を生成する。

【0083】

このような処理により、残響音は、音源の位置や移動による影響を受けない。したがって、音信号処理装置１０は、音源が移動しても再生空間の残響音を一定に保ちながら、初期反射音の変化によって音源の移動をより明瞭に再現できる。

【0084】

［初期反射音制御信号の生成］
図１０は、初期反射音制御信号生成部５０の構成の一例を示す機能ブロック図である。図１１は、ＧＵＩの一例を示す図である。

【0085】

図１０に示すように、初期反射音制御信号生成部５０は、ＦＩＲフィルタ回路５１、ＬＤｔａｐ回路５２、加算処理部５３、音色設定部５０１、虚音源設定部５０２、および、操作部５００を備える。ＬＤｔａｐ回路５２は、入力信号の増幅および遅延を行って出力する回路である。ＦＩＲフィルタ回路５１は、複数のＦＩＲフィルタ５１１－５１８を備える。ＬＤｔａｐ回路５２は、複数のＬＤｔａｐ５２１－５２８、出力スピーカ設定部５２０１、および、係数設定部５２０２を備える。なお、ＦＩＲフィルタ回路５１とＬＤｔａｐ回路５２との接続順は逆であってもよい。

【0086】

［初期反射音の音色調整］
操作部５００は、初期反射音に付加する音色の指定情報をユーザから受け付けて、音色設定部５０１に出力する。音色の指定情報は、例えば、低音域重視、高音域重視、初期反射音の音量、初期反射音の減衰特性等を指定する情報（フィルタ特性を表す情報）である。

【0087】

具体的な一例として、操作部５００は、図１１に示すようなＧＵＩ１００（Ｇｒａｐｈｉｃａｌ Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ）によって操作を受け付ける。

【0088】

ＧＵＩ１００は、設定表示ウィンドウ１１１、複数の操作子１１２、ノブ１１３１、調整値表示ウィンドウ１１３２を備える。

【0089】

設定表示ウィンドウ１１１は、複数の操作子１１２、ノブ１１３１によって設定された仮想空間の仮想壁ＩＷＬの形状を表示する。この際、設定表示ウィンドウ１１１は、別途設定された音源ＳＳの位置、スピーカＳＰの位置、受音点ＲＰの位置、再生空間の座標軸を、仮想壁ＩＷＬとともに表示できる。

【0090】

複数の操作子１１２は、予め設定された仮想空間のサンプル（各種のホール、部屋等）に関連づけられている。なお、図示は省略しているが、複数の操作子１１２には、それぞれの操作子１１２に関連づけられた仮想空間のサンプルを明示するインデックス（例えば、ホール名等）が表示されている。

【0091】

ノブ１１３１は、仮想空間のルームサイズ（空間の大きさ）の設定用である。調整値表示ウィンドウ１１３２は、仮想空間のルームサイズの設定値を表示する。

【0092】

ＧＵＩ１００は、音色の調整用の各種の操作を受け付ける。例えば、ＧＵＩ１００は、複数の操作子１１２、低音域用の操作子、高音域用の操作子、音量調整用の操作子、減衰特性調整用の操作子等を備え、これらの操作子によって操作を受け付ける。

【0093】

ユーザがＧＵＩ１００を用いて所望の操作子を操作すると、操作部５００は、この操作を検出し、これら操作に応じて、音色の指定情報を設定する。

【0094】

例えば、操作部５００は、複数の操作子１１２の選択を受け付けると、この操作子１１２に関連づけられた仮想空間に予め設定された音色の指定情報を取得する。また、操作部５００は、低音域用の操作子、高音域用の操作子、音量調整用の操作子、減衰特性調整用の操作子等による操作を受け付けると、これらの操作子によって設定された音色の指定情報を取得する。

【0095】

なお、図示を省略しているが、ＧＵＩ１００は、音色の指定情報を、例えば、後述のＦＩＲフィルタ５１１－５１８のフィルタ係数、概略的な波形等を用いて表示することも可能である。この場合、ＧＵＩ１００は、音色の指定情報の調整を受け付けると、この調整に応じて、表示を変更することもできる。例えば、ＧＵＩ１００は、調整に応じて波形の表示を変化させることができる。

【0096】

音色設定部５０１は、音色の指定情報に基づいて、ＦＩＲフィルタ回路５１のＦＩＲフィルタ５１１－５１８のフィルタ係数を設定する。例えば、音色設定部５０１は、低音域重視の指定情報を受け付けると、ＦＩＲフィルタ回路５１のＦＩＲフィルタ５１１－５１８の低域がブーストされたフィルタ係数を設定する。また、音色設定部５０１は、高音域重視の指定情報を受け付けると、ＦＩＲフィルタ回路５１のＦＩＲフィルタ５１１－５１８の高域がブーストされたフィルタ係数を設定する。音色設定部５０１は、設定したフィルタ係数を、ＦＩＲフィルタ回路５１に出力する。なお、音色設定部５０１は、フィルタ係数に限らず、フィルタ特性として、サンプリング周波数、フィルタ長を設定、調整することもできる。

【0097】

また、音色設定部５０１は、音色の指定情報に基づいて、ＦＩＲフィルタ回路５１のＦＩＲフィルタ５１１－５１８の各タップのゲイン値を設定する。音色設定部５０１は、設定したゲイン値を、ＦＩＲフィルタ回路５１に出力する。

【0098】

複数のＦＩＲフィルタ５１１－５１８は、領域別音信号ＳＡ１－ＳＡ８にそれぞれ対応するフィルタである。領域別音信号ＳＡ１－ＳＡ８は、ＦＩＲフィルタ５１１－５１８に入力される。例えば、図１０に示すように、領域別音信号ＳＡ１は、ＦＩＲフィルタ５１１に入力され、領域別音信号ＳＡ２は、ＦＩＲフィルタ５１２に入力され、領域別音信号ＳＡ３は、ＦＩＲフィルタ５１３に入力され、領域別音信号ＳＡ４は、ＦＩＲフィルタ５１４に入力される。領域別音信号ＳＡ５は、ＦＩＲフィルタ５１５に入力され、領域別音信号ＳＡ６は、ＦＩＲフィルタ５１６に入力され、領域別音信号ＳＡ７は、ＦＩＲフィルタ５１７に入力され、領域別音信号ＳＡ８は、ＦＩＲフィルタ５１８に入力される。

【0099】

複数のＦＩＲフィルタ５１１－５１８は、同じタップ数を備える。例えば、複数のＦＩＲフィルタ５１１－５１８は、１６０００タップを備える。なお、このタップ数は一例であり、音信号処理装置１０のリソース条件、再現したい初期反射音の音色の精度等に基づいて設定すればよい。

【0100】

複数のＦＩＲフィルタ５１１－５１８は、音色設定部５０１で設定されたフィルタ係数およびゲイン値によって、複数の領域別音信号ＳＡ１－ＳＡ８をそれぞれにフィルタ処理（畳み込み演算）を行う。これにより、複数のＦＩＲフィルタ５１１－５１８は、フィルタ処理後の領域別音信号ＳＡ１ｆ－ＳＡ８ｆを生成する。例えば、ＦＩＲフィルタ５１１は、音色設定部５０１で設定されたフィルタ係数およびゲイン値によって、領域別音信号ＳＡ１にフィルタ処理（畳み込み演算）を行い、フィルタ処理後の領域別音信号ＳＡ１ｆを生成する。同様に、複数のＦＩＲフィルタ５１２－５１８は、領域別音信号ＳＡ２－ＳＡ８から、フィルタ処理後の領域別音信号ＳＡ２ｆ－ＳＡ８ｆを個別に生成する。

【0101】

複数のＦＩＲフィルタ５１１－５１８は、フィルタ処理後の領域別音信号ＳＡ１ｆ－ＳＡ８ｆを、複数のＬＤｔａｐ５２１－５２８に出力する。例えば、ＦＩＲフィルタ５１１は、フィルタ処理後の領域別音信号ＳＡ１ｆを、ＬＤｔａｐ５２１に出力する。同様に、複数のＦＩＲフィルタ５１２－５１８は、フィルタ処理後の領域別音信号ＳＡ２ｆ－ＳＡ８ｆを、複数のＬＤｔａｐ５２２－５２８に出力する。

【0102】

なお、音色の指定情報は、音域の重視情報に限るものではなく、初期反射音の波形をユーザの所望の特性にするものも含む。このような音色の指定情報を用いることによって、音信号処理装置１０は、より多様でユーザの好みに応じた音色の初期反射音を実現できる。

【0103】

［虚音源設定およびＬＤｔａｐの設定］
虚音源設定部５０２は、再生空間における受音点の位置座標、および、仮想空間の幾何学形状に基づいて、虚音源を設定する。

【0104】

図１２は、虚音源の設定処理の一例を示すフローチャートである。虚音源設定部５０２は、再生空間の受音点の位置座標を取得する（Ｓ１３１）。例えば、虚音源設定部５０２は、ユーザからの操作入力、位置検出センサによる位置の検出等によって、再生空間の受音点の位置座標を取得する。

【0105】

虚音源設定部５０２は、仮想空間の幾何学形状を取得する（Ｓ１３２）。例えば、虚音源設定部５０２は、ユーザからの操作入力等によって、仮想空間の幾何学形状を取得する。仮想空間の幾何学形状とは、仮想空間に配置される壁の形状を表す座標群等を含む。

【0106】

虚音源設定部５０２は、ＧＵＩ１００に接続する。ユーザが複数の操作子１１２から所望の操作子１１２を選択すると、ＧＵＩ１００は、この操作子１１２に関連づけされた仮想空間の幾何学形状を読み出し、取得する。また、ユーザがノブ１１３１を用いてルームサイズを調整すると、ＧＵＩ１００は、このルームサイズの調整値を取得する。

【0107】

虚音源設定部５０２は、このようにＧＵＩ１００が取得した各設定に基づいて、ルームサイズが設定された仮想空間の幾何学形状の位置座標を取得する。また、虚音源設定部５０２は、音源ＳＳの位置座標、受音点ＲＰ（ルームセンタ（空間の中心位置））の位置座標を取得する。虚音源設定部５０２は、これらの取得情報を用いて、次に示すように、虚音源を設定する。虚音源設定部５０２は、再生空間の座標系と仮想空間の座標系とを一致させる。虚音源設定部５０２は、再生空間の受音点の位置座標と、仮想空間の幾何学形状とを用いて、前述の図４（Ａ）、図４（Ｂ）を用いた概念によって、再生空間での虚音源の位置座標を設定する（Ｓ１３３）。

【0108】

図１３（Ａ）、図１３（Ｂ）は、幾何学形状が異なる時のそれぞれの虚音源の設定例を示す図である。図１３（Ａ）では、四角形の仮想壁ＩＷＬであり、図１３（Ｂ）では、六角形の仮想壁ＩＷＬｈである。

【0109】

このように、仮想空間の幾何学形状が異なると、音源ＳＳａの位置座標および受音点ＲＰの位置座標が変化しなくても、音源ＳＳａおよび受音点ＲＰと仮想壁ＩＷＬとの位置関係と、音源ＳＳａおよび受音点ＲＰと仮想壁ＩＷＬｈとの位置関係は異なる。これにより、図１３（Ａ）の場合で設定される虚音源ＩＳ１ａ、ＩＳ２ａ、ＩＳ３ａの位置と、図１３（Ｂ）で設定される虚音源の位置ＩＳ１ａｈ、ＩＳ２ａｈ、ＩＳ３ａｈとは、異なる。

【0110】

図１４（Ａ）、図１４（Ｂ）、および、図１４（Ｃ）は、虚音源の設定例を示す図である。図１４（Ａ）、図１４（Ｂ）、図１４（Ｃ）は、虚音源の平面的変化を示す図である。図１４（Ｂ）は、図１４（Ａ）に対して、基準点（受音点ＲＰ）に対する音源ＳＳａの位置が同じであり、仮想空間のサイズが異なる場合を示す。図１４（Ｃ）は、図１４（Ａ）に対して、仮想空間のサイズが同じであり、仮想空間の基準点と再生空間の基準点（受音点）との位置関係が変化した場合（再生空間のルームセンタが変化した場合）を示す。

【0111】

図１４（Ａ）と図１４（Ｂ）との比較結果から分かるように、再生空間上での仮想空間のサイズ（図１４（Ａ）では仮想壁ＩＷＬ、図１４（Ｂ）では仮想壁ＩＷＬｃで記載）が異なることで、虚音源の元となる音源ＳＳａと仮想壁との距離、位置関係が異なる。これにより、図１４（Ａ）の場合で設定される虚音源ＩＳ１ａ、ＩＳ２ａ、ＩＳ３ａの位置と、図１４（Ｂ）の場合で設定される虚音源ＩＳ１ｃ、ＩＳ２ｃ、ＩＳ３ｃの位置とは、異なる。

【0112】

また、図１４（Ａ）と図１４（Ｃ）との比較結果から分かるように、仮想空間の基準点と受音点ＲＰとの位置関係が変化することで、再生空間上での虚音源の位置（受音点ＲＰおよびスピーカに対する虚音源の位置）は移動する。これにより、図１４（Ａ）の場合で設定される虚音源ＩＳ１ａ、ＩＳ２ａ、ＩＳ３ａの位置と、図１４（Ｃ）の場合で設定される虚音源ＩＳ１ａｓ、ＩＳ２ａｓ、ＩＳ３ａｓの位置とは、異なる。

【0113】

図１５（Ａ）、図１５（Ｂ）、図１５（Ｃ）は、虚音源の設定例を示す図である。図１５（Ａ）、図１５（Ｂ）、図１５（Ｃ）は、高さ方向の虚音源の位置の変化を示す図である。

【0114】

図１５（Ａ）と図１５（Ｂ）とでは、天井の高さが異なる。すなわち、図１５（Ａ）に示す仮想壁ＩＷＬにおける床の仮想壁ＩＷＦＬから天井の仮想壁ＩＷＣＬまでの距離（高さ）と、図１５（Ｂ）に示す仮想壁ＩＷＬＬにおける床の仮想壁ＩＷＦＬから天井の仮想壁ＩＷＣＬＬまでの距離（高さ）が異なる。

【0115】

図１５（Ａ）と図１５（Ｂ）との比較結果から分かるように、天井の高さが異なることで、虚音源の元となる音源と天井の仮想壁ＩＷＣＬ、ＩＷＣＬＬとの距離、位置関係が異なる。これにより、図１５（Ａ）の場合で設定される虚音源ＩＳ１Ｃａの位置と、図１５（Ｂ）の場合で設定される虚音源ＩＳ１ＣａＬの位置とは、異なる。

【0116】

図１５（Ａ）と図１５（Ｃ）とでは、天井の形状が異なる。すなわち、図１５（Ａ）に示す仮想壁ＩＷＬにおける天井の仮想壁ＩＷＣＬの形状と、図１５（Ｃ）に示す仮想壁ＩＷＬｘにおける天井の仮想壁ＩＷＣＬｘの形状が異なる。

【0117】

図１５（Ａ）と図１５（Ｃ）との比較結果から分かるように、天井の形状が異なることで、虚音源の元となる音源と天井の仮想壁ＩＷＣＬ、ＩＷＣＬｘとの位置関係が異なる。これにより、図１５（Ａ）の場合で設定される虚音源ＩＳ１Ｃａの位置と、図１５（Ｃ）の場合で設定される虚音源ＩＳ１Ｃａｘの位置とは、異なる。

【0118】

このように、虚音源設定部５０２は、仮想空間の幾何学形状、再生空間と仮想空間との位置関係に対応して、再生空間での虚音源の位置を最適に設定できる。これにより、音信号処理装置１０は、再生空間におけるスピーカの位置座標、仮想空間の幾何学形状、再生空間と仮想空間との位置関係に対応して、初期反射音の音像定位を明瞭にすることができる。

【0119】

虚音源設定部５０２は、複数の領域Ａｒｅａ１－Ａｒｅａ８毎に設定した虚音源の位置座標を、ＬＤｔａｐ回路５２の出力スピーカ設定部５２０１に出力する。

【0120】

出力スピーカ設定部５２０１は、虚音源ＩＳの位置座標、受音点ＲＰの位置座標、複数のスピーカＳＰ１－ＳＰ６４の位置座標に基づいて、スピーカ毎に割り当てる虚音源ＩＳを設定する。図１６は、虚音源をスピーカに割り当てる処理を示すフローチャートである。

【0121】

出力スピーカ設定部５２０１は、虚音源設定部５０２から虚音源の位置座標を取得する（Ｓ１４１）。出力スピーカ設定部５２０１は、例えばユーザからの操作入力等によって、再生空間での受音点の位置座標を取得する（Ｓ１４２）。出力スピーカ設定部５２０１は、例えばユーザからの操作入力等によって、複数のスピーカＳＰ１－ＳＰ６４の位置座標を取得する（Ｓ１４３）。

【0122】

出力スピーカ設定部５２０１は、再生空間における受音点ＲＰと複数のスピーカＳＰ１－ＳＰ６４との位置関係から、スピーカ毎の虚音源の担当領域を設定する（Ｓ１４４）。

【0123】

より具体的には、出力スピーカ設定部５２０１は、次のように、スピーカ毎の虚音源の担当領域を設定する。図１７（Ａ）、図１７（Ｂ）は、虚音源をスピーカに割り当てる概念を示す図である。図１７（Ａ）は、方位角φを用いた割り当ての概念を示し、図１７（Ｂ）は、仰俯角θを用いた割当の概念を示す。また、以下では、スピーカＳＰ１を例に説明するが、出力スピーカ設定部５２０１は、他のスピーカＳＰ２－ＳＰ６４についても同様の方法によって担当領域を設定する。

【0124】

出力スピーカ設定部５２０１は、受音点ＲＰの位置座標とスピーカＳＰ１の位置座標とを用いて、受音点ＲＰとスピーカＳＰ１とを通る直線（図１７（Ａ）における破線）を設定する。図１７（Ａ）に示すように、出力スピーカ設定部５２０１は、この直線（図１７（Ａ）における破線）に対して、平面上で受音点ＲＰを基準点としてスピーカＳＰ１側に広がる方位角φを設定する。方位角φは、受音点ＲＰとスピーカＳＰ１とを通る直線に対する水平方向の為す角である。また、図１７（Ｂ）に示すように、出力スピーカ設定部５２０１は、上述の直線（図１７（Ｂ）における破線）に対して、平面に直交する上下方向に対して広がる仰俯角θを設定する。仰俯角θは、受音点ＲＰとスピーカＳＰ１とを通る直線に対する鉛直方向（水平方向に直交する方向）での為す角である。

【0125】

出力スピーカ設定部５２０１は、この方位角φおよび仰俯角θによって決定される境界（水平領域を決定する境界面、鉛直領域を決定する境界面）よりもスピーカＳＰ１側の空間を、スピーカＳＰ１の担当領域ＲＧＳＰ１に設定する。

【0126】

出力スピーカ設定部５２０１は、複数の虚音源ＩＳ（図１７の場合、複数の虚音源ＩＳａ－ＩＳｇ）の位置座標を取得する。

【0127】

出力スピーカ設定部５２０１は、複数の虚音源ＩＳａ－ＩＳｇの位置座標と、担当領域ＲＧＳＰ１を表す座標とを用いて、複数の虚音源ＩＳａ－ＩＳｇが担当領域ＲＧＳＰ１内にあるかどうかを判定する。この判定は、上述の音源の領域へのグルーピングと同じ方法によって実現できる。

【0128】

出力スピーカ設定部５２０１は、この判定処理を行うことによって、例えば、図１４（Ａ）、図１４（Ｂ）、図１４（Ｃ）に示す場合であれば、複数の虚音源ＩＳａ、ＩＳｂ、ＩＳｃ、ＩＳｄが担当領域ＲＧｓｐ１内にあると判定し、複数の虚音源ＩＳｅ、ＩＳｆ、ＩＳｇが担当領域ＲＧｓｐ１外にあると判定する。

【0129】

出力スピーカ設定部５２０１は、担当領域ＲＧｓｐ１内にあると判定した複数の虚音源ＩＳａ、ＩＳｂ、ＩＳｃ、ＩＳｄを、スピーカＳＰ１に割り当てる（Ｓ１４５）。

【0130】

出力スピーカ設定部５２０１は、複数のスピーカＳＰ１－ＳＰ６４に対する複数の虚音源の割り当て情報を、係数設定部５２０２に出力する。この際、出力スピーカ設定部５２０１は、受音点ＲＰの位置座標、複数のスピーカＳＰ１－ＳＰ６４の位置座標、複数の虚音源の位置座標を、割り当て情報とともに係数設定部５２０２に出力する。

【0131】

なお、方位角φは例えば６０°であり、仰俯角θは例えば４５°である。これら方位角φおよび仰俯角θの角度は、一例であり、例えば、ユーザからの操作入力によって設定、調整可能である。

【0132】

係数設定部５２０２は、受音点ＲＰと複数のスピーカＳＰ１－ＳＰ６４との距離、受音点ＲＰと虚音源ＩＳとの距離を用いて、ＬＤｔａｐ５２１－５２８に与えるタップ係数を設定する。ＬＤｔａｐ５２１－５２８に与えるタップ係数とは、ＬＤｔａｐ５２１－５２８のゲイン値および遅延量である。

【0133】

図１８は、ＬＤｔａｐの係数設定処理を示すフローチャートである。図１９（Ａ）、図１９（Ｂ）は、係数設定の概念を説明するための図である。

【0134】

係数設定部５２０２は、受音点ＲＰの位置座標と複数のスピーカＳＰ１－ＳＰ６４の位置座標とを用いて、受音点ＰＲと複数のスピーカＳＰ１－ＳＰ６４との距離（スピーカ距離）を算出する（Ｓ１５１）。

【0135】

係数設定部５２０２は、受音点ＰＲと複数の虚音源ＩＳとの距離（虚音源距離）を算出する（Ｓ１５２）。

【0136】

係数設定部５２０２は、複数のスピーカＳＰ１－ＳＰ６４と、これらのスピーカＳＰ１－ＳＰ６４にそれぞれ割り当てられた複数の虚音源ＩＳとについて、スピーカ距離と虚音源距離とを比較する（Ｓ１５３）。例えば、図１７（Ａ）の例であれば、スピーカＳＰ１と、複数の虚音源ＩＳａ、ＩＳｂ、ＩＳｃ、ＩＳｄとについて、スピーカ距離と虚音源距離とを比較する。

【0137】

係数設定部５２０２は、スピーカ距離が虚音源距離以下であれば（Ｓ１５３：ＹＥＳ）、虚音源距離をそのまま用いて、タップ係数を設定する（Ｓ１５４）。

【0138】

例えば、図１９（Ａ）に示すような場合であり、虚音源ＩＳａは、スピーカＳＰ１よりも受音点ＲＰから遠く、受音点ＲＰと虚音源ＩＳａとの虚音源距離Ｌｉａは、受音点ＲＰとスピーカＳＰ１とのスピーカ距離Ｌｓ１よりも大きい。

【0139】

この場合、係数設定部５２０２は、虚音源ＩＳａとスピーカＳＰ１との距離Ｄａ１用いて、タップ係数を設定する。具体的には、係数設定部５２０２は、虚音源ＩＳａに対して設定するゲイン値および遅延量を、距離Ｄａ１によって設定する。係数設定部５２０２は、距離Ｄａ１が大きいほどゲイン値を小さく設定し、距離Ｄａ１が大きいほど遅延量を大きく設定する。

【0140】

係数設定部５２０２は、スピーカ距離が虚音源距離よりも大きければ（Ｓ１５３：ＮＯ）、この虚音源を再生するか判断する。言い換えれば、係数設定部５２０２は、スピーカよりも受音点側の虚音源を再生するか判断する（Ｓ１５５）。

【0141】

係数設定部５２０２は、スピーカよりも受音点に近い虚音源を再生するのであれば（Ｓ１５５：ＹＥＳ）、この虚音源の位置を移動する（Ｓ１５６）。より具体的には、係数設定部５２０２は、スピーカよりも受音点側の虚音源の位置を、スピーカよりも受音点から遠い位置に移動する。この際、係数設定部５２０２は、虚音源とスピーカとの距離差を用いて、虚音源の位置を移動する。係数設定部５２０２は、移動後の虚音源の位置座標を用いて、タップ係数を設定する（Ｓ１５７）。

【0142】

例えば、図１９（Ｂ）に示すような場合であり、虚音源ＩＳｄは、スピーカＳＰ１よりも受音点ＲＰから近く、受音点ＲＰと虚音源ＩＳｄとの虚音源距離Ｌｉｄは、受音点ＲＰとスピーカＳＰ１とのスピーカ距離Ｌｓ１よりも小さい。

【0143】

この場合、係数設定部５２０２は、虚音源距離Ｌｉｄとスピーカ距離Ｌｓ１との距離差Ｄｄを用いて、虚音源ＩＳｄを移動する。より具体的には、係数設定部５２０２は、受音点ＲＰとスピーカＳＰ１とを通る直線上で、且つ、スピーカＳＰ１を基準にして、受音点ＲＰ側と反対側に距離差Ｄｄの位置に、虚音源ＩＳｄを移動させる。そして、係数設定部５２０２は、この距離差Ｄｄを用いて、タップ係数を設定する。具体的には、係数設定部５２０２は、虚音源ＩＳｄに対して設定するゲイン値および遅延量を、距離差Ｄｄによって設定する。係数設定部５２０２は、距離差Ｄｄが大きいほどゲイン値を小さく設定し、距離差Ｄｄが大きいほど遅延量を大きく設定する。なお、概念的には、上述のように、虚音源を移動させているが、タップ係数の設定処理としては、係数設定部５２０２は、スピーカ距離と虚音源距離との距離によって、タップ係数を設定すればよい。

【0144】

すなわち、係数設定部５２０２は、受音点とスピーカとの間に位置する虚音源のみを移動する。受音点に対してスピーカよりも外側の虚音源は、移動しないことが好ましいが、この外側の虚音源が所定範囲内で移動する場合も含む。例えば、この外側の虚音源が移動しても、外側の虚音源とスピーカとの距離が所定範囲内であればよく、所定範囲内とは、移動による初期反射音制御信号の変化が視聴者に違和感を与えない程度の範囲内である。係数設定部５２０２は、スピーカよりも受音点に近い虚音源を再生しないのであれば（Ｓ１５５：ＮＯ）、この虚音源に対するタップ係数を設定しない。

【0145】

係数設定部５２０２は、各スピーカＳＰ１－ＳＰ６４設定したタップ係数を、複数のＬＤｔａｐに設定する。より具体的には、係数設定部５２０２は、領域Ａｒｅａ１に設定された虚音源位置に基づいて、各スピーカＳＰ１－ＳＰ６４に対してタップ係数を、ＬＤｔａｐ５２１に設定する。同様に、係数設定部５２０２は、複数の領域Ａｒｅａ２－Ａｒｅａ８にそれぞれ設定された虚音源位置に基づいて、各スピーカＳＰ１－ＳＰ６４に割り当てられた虚音源のタップ係数を、ＬＤｔａｐ５２２－５２８にそれぞれ設定する。

【0146】

複数のＬＤｔａｐ５２１－５２８は、設定されたタップ係数に応じて、フィルタ処理後の領域別音信号ＳＡ１ｆ－ＳＡ８ｆに対してゲイン処理および遅延処理を施し、加算処理部５３に出力する。より具体的には、タップ係数は、上述のように、複数の領域の虚音源位置と各スピーカとの組合せに応じて設定されている。したがって、複数のＬＤｔａｐ５２１－５２８は、スピーカ毎に、このスピーカに割り当てられた虚音源に基づくタップ係数を設定する。複数のＬＤｔａｐ５２１－５２８は、スピーカ毎に、フィルタ処理後の領域別音信号ＳＡ１ｆ－ＳＡ８ｆに対してゲイン処理および遅延処理を施す。複数のＬＤｔａｐ５２１－５２８は、ゲイン処理および遅延処理を施した信号を、スピーカ毎に出力する。

【0147】

例えば、スピーカＳＰ１に虚音源ＩＳａ、ＩＳｂ、ＩＳｃ、ＩＳｄが割り当てられている場合、ＬＤｔａｐ５２１は、虚音源ＩＳａ、ＩＳｂ、ＩＳｃ、ＩＳｄに基づくタップ係数（ゲイン値および遅延量）によって、フィルタ処理後の領域別音信号ＳＡ１ｆに対してゲイン処理および遅延処理を施す。そして、ＬＤｔａｐ５２１は、この信号を、スピーカＳＰ１用として、加算処理部５３に出力する。複数のＬＤｔａｐ５２２－５２８は、このような処理を、タップ係数を設定した虚音源に対して行う。

【0148】

加算処理部５３は、複数のＬＤｔａｐ５２１－５２８から出力された複数のスピーカＳＰ１－ＳＰ６４毎のＬＤｔａｐ処理後の信号を、複数のスピーカＳＰ１－ＳＰ６４毎に加算する。加算処理部５３は、これらの加算後の信号を、複数のスピーカＳＰ１－ＳＰ６４毎の初期反射音制御信号ＥＲ１－ＥＲ６４として、加算器８０に出力する。

【0149】

このような処理を行うことによって、初期反射音制御信号生成部５０は、次の特徴を有する初期反射音制御信号を生成できる。

【0150】

図２０（Ａ）、図２０（Ｂ）は、仮想空間の形状とＬＤｔａｐで実現する初期反射音制御信号の成分との関係の一例を示す波形図である。図２０（Ａ）は、仮想空間形状が大きい場合を示し、図２０（Ｂ）は、仮想空間形状が小さい場合を示す。なお、図２０（Ａ）、図２０（Ｂ）は、１つのスピーカに対して複数の虚音源を設定したときの初期反射音制御信号の成分の一例を示す。

【0151】

再生空間と仮想空間との位置関係が変わらず、受音点の位置およびスピーカの位置が変わらない場合、仮想空間形状が大きければ、仮想空間の形状が小さいときよりも、虚音源の分布はより広範囲に広がる。したがって、図２０（Ａ）、図２０（Ｂ）に示すように、仮想空間形状が大きい方が、ＬＤｔａｐ５２１－５２８で設定される各成分は小さくなり易く、時間軸上での分布範囲も広くなる。

【0152】

このように、上述の処理を行うことによって、初期反射音制御信号生成部５０は、仮想空間の形状に応じて、最適なタップ係数を設定できる。

【0153】

さらに、仮想空間と再生空間との位置関係が変化したり、スピーカ位置が変化したり、受音点が変化しても、仮想空間の形状が変化する場合と同様に、初期反射音制御信号生成部５０は、これらの変化に応じて、最適なタップ係数を設定できる。

【0154】

この際、複数の音源ＯＢＪ１－ＯＢＪ９６は、複数の領域Ａｒｅａ１－Ａｒｅａ８によるグルーピングを通じて、複数のスピーカＳＰ１－ＳＰ６４に対して最適に割り当てられている。そして、複数の虚音源は、これら複数のスピーカＳＰ１－ＳＰ６４に対して、最適に設定される。したがって、音信号処理装置１０は、仮想空間と再生空間との関係の変化、受音点ＲＰの位置の変化、複数のスピーカＳＰ１－ＳＰ６４の位置の変化、音源ＯＢＪ１－ＯＢＪ９６の位置の変化があっても、これらの変化に応じて、初期反射音による音像定位を明瞭にできる。

【0155】

また、上述の構成では、初期反射音制御信号生成部５０は、虚音源ＩＳがスピーカＳＰよりも受音点ＲＰ側にあっても、この虚音源ＩＳによる初期反射音制御信号の成分を擬似的に再現できる。したがって、例えば、初期反射音制御信号に対する虚音源の設定数が少ないとき等に、初期反射音制御信号生成部５０は、スピーカＳＰよりも受音点ＲＰに近い虚音源を利用できる。この際、初期反射音制御信号生成部５０は、上述のように虚音源ＩＳとスピーカＳＰとでの距離差を用いて、虚音源をスピーカの外側に再配置する。これにより、初期反射音制御信号生成部５０は、虚音源の位置を移動させたことによる初期反射音の違和感を抑制できる。

【0156】

なお、上述の構成において、初期反射音制御信号生成部５０は、虚音源ＩＳがスピーカＳＰよりも受音点ＲＰに近い位置にある場合、この虚音源ＩＳをスピーカＳＰの位置に設定してもよい。これにより、初期反射音制御信号生成部５０は、虚音源ＩＳを移動させる処理の負荷を軽減できる。

【0157】

さらには、上述の構成において、初期反射音制御信号生成部５０は、虚音源ＩＳがスピーカＳＰよりも受音点ＲＰに近い位置にある場合、この虚音源ＩＳを、初期反射音制御信号の生成に利用しなくてもよい。これにより、初期反射音制御信号生成部５０は、虚音源ＩＳを移動させる処理の負荷を必要とせず、初期反射音制御信号の生成処理の負荷を軽減できる。

【0158】

また、上述の構成では、初期反射音制御信号生成部５０は、虚音源による初期反射音制御信号の成分の設定とともに、ＦＩＲフィルタ５１１－５１８を用いた音色調整を行う。ＦＩＲフィルタ５１１－５１８は、上述のｔａｐ数（例えば、１６０００タップ）を有しており、ＬＤｔａｐ５２１－５２８よりも多くのｔａｐ数を有する。また、ＦＩＲフィルタ５１１－５１８のｔａｐの時間間隔（サンプリング周波数に依存）は、ＬＤｔａｐ５２１－５２８のタップ間の時間間隔（虚音源の配置に依存）よりも短い。したがって、ＦＩＲフィルタ５１１－５１８で生成される初期反射音制御信号の成分は、ＬＤｔａｐ５２１－５２８で生成される初期反射音制御信号の成分よりも、時間軸上において緻密に配置される。言い換えれば、ＦＩＲフィルタ５１１－５１８の時間軸上の分解能（時間分解能）は、ＬＤｔａｐ５２１－５２８のよりも高く、単位時間当たりの成分数は多くなる。

【0159】

そして、初期反射音制御信号生成部５０は、ＦＩＲフィルタ５１１－５１８の処理と、ＬＤｔａｐ５２１－５２８とを掛け合わせている。したがって、初期反射音制御信号生成部５０は、時間軸上における分解能が高く、より多様な音色の初期反射音制御信号ＥＲ１－ＥＲ６４を生成できる。図２１は、初期反射音制御信号生成部５０で生成される初期反射音制御信号の波形のイメージを示す図である。

【0160】

図２１に示すように、初期反射音制御信号生成部５０は、虚音源による初期反射音成分を残しながら、より分解能が高く、多様な音色に対応可能な初期反射音制御信号を生成できる。すなわち、音信号処理装置１０は、虚音源を用いた初期反射音による音像定位を明瞭に保ちながら、ユーザの好みに応じた音色の初期反射音を実現できる。

【0161】

また、ＦＩＲフィルタの分解能が高いことによって、例えば、音源のパルス音のように短い場合、ＬＤｔａｐによる初期反射音成分だけでは、初期反射音制御信号が粗になり、音色に不自然さが生じてしまうことがある。しかしながら、上述の構成および処理によって、音信号処理装置１０は、このような初期反射音の音が粗になること、音色の不自然さを抑制できる。

【0162】

また、上述の構成では、初期反射音制御信号生成部５０は、スピーカＳＰ毎に虚音源ＩＳの担当領域を設定し、この領域外の虚音源ＩＳをこのスピーカＳＰに割り当てない。これにより、初期反射音制御信号生成部５０は、初期反射音成分の過剰な生成を抑制できる。したがって、音信号処理装置１０は、初期反射音の過剰な生成を抑制し、仮想空間に応じたより自然な初期反射音を実現できる。

【0163】

［残響音制御信号の生成］
図２２は、残響音制御信号生成部７０の構成の一例を示す機能ブロック図である。図２３は、残響音制御信号の生成処理の一例を示すフローチャートである。

【0164】

図２２に示すように、残響音制御信号生成部７０は、ＰＥＱ７１、ＦＩＲフィルタ回路７２、分配器７３、残響音用領域設定部７０１、フィルタ係数設定部７０２、残響音用再生スピーカ設定部７０３、および、操作部７００を備える。ＦＩＲフィルタ回路７２は、複数のＦＩＲフィルタ７２１－７２８を備える。

【0165】

残響音用領域設定部７０１は、再生空間に対して、複数の残響音用領域Ａｒｒ１－Ａｒｒ８を設定する。より具体的には、残響音用領域設定部７０１は、例えば、再生空間の中心点Ｐｓｒを基準にして、平面上の全周に亘って、再生空間を複数の残響音用領域Ａｒｒ１－Ａｒｒ８に分割するように設定する（後述の図２５参照）。

【0166】

残響音用領域設定部７０１は、複数の残響音用領域Ａｒｒ１－Ａｒｒ８を示す座標情報を、フィルタ係数設定部７０２および残響音用再生スピーカ設定部７０３に出力する。

【0167】

フィルタ係数設定部７０２は、ユーザの操作等によって、残響音用のフィルタ係数を設定する。残響音用のフィルタ係数は、例えば、再生空間で再現した異空間（仮想空間）におけるインパルス応答の実測結果によって設定される。なお、残響音用のフィルタ係数は、仮想空間の幾何学形状、壁面の素材等を用いて擬似的に設定してもよい。この際、フィルタ係数設定部７０２は、残響音用領域Ａｒｒ１－Ａｒｒ８毎の座標情報を用いて、残響音用領域Ａｒｒ１－Ａｒｒ８毎にフィルタ係数を設定する。

【0168】

フィルタ係数設定部７０２は、ユーザの操作等によって、仮想空間の容積、仮想空間の表面積の入力等を受け付ける。フィルタ係数設定部７０２は、仮想空間の容積、仮想空間の表面積等のパラメータから、フィルタ係数に対するフェードイン関数を設定する。

【0169】

より具体的には、フィルタ係数設定部７０２は、仮想空間の容積Ｖ、仮想空間の表面積Ｓを用いて、平均自由行路ρを算出する。平均自由行路ρの算出式は、ρ＝４Ｖ／Ｓである。平均自由行路とは、閉空間において、音が壁面に反射してから次に反射するまでに進む平均的な伝搬距離である。平均自由行路を音速ｃ０で割ることで、音が壁面に反射してから次に反射するまでに要する平均的な時間を算出できる。

【0170】

フィルタ係数設定部７０２は、平均自由行路ρから接続タイミングｔｃを設定する（図２３：Ｓ２３１）。具体的には、フィルタ係数設定部７０２は、平均自由行路ρ、音速ｃ０、反射次数ｎを用いて、接続タイミングｔｃを設定する。接続タイミングｔｃの算出式は、ｔｃ＝ρ×ｎ／ｃ０である。

【0171】

この算出式から分かるように、接続タイミングｔｃは、仮想空間において、ｎ回反射するのに要する平均的な時刻に相当し、ｎ次の初期反射音を再現する場合、残響音に移行し始める時刻に相当する。言い換えれば、接続タイミングｔｃは、上述の初期反射音制御信号生成部５０による初期反射音制御信号の成分が無くなるタイミングに対応する。

【0172】

このような処理を行うことによって、フィルタ係数設定部７０２は、初期反射音と残響音との接続タイミングｔｃを、仮想空間の幾何学形状に応じて最適に設定できる。

【0173】

フィルタ係数設定部７０２は、接続タイミングｔｃを用いて、次式から、フェードイン関数を設定する（図２３：Ｓ２３２）。

【0174】

【数1】

【0175】

なお、この式において、ｔは直接音が発生してからの経過時間であり、Ｋは、次式から設定される。

【0176】

【数2】

【0177】

なお、この式において、Ｇ_ＲＥＶは、時刻ｔ= ０における残響音のゲイン値であり、ユーザによって設定可能であるが、例えば、一般に残響時間は、－６０ｄＢに減衰するのに要する時間であるので、Ｇ_ＲＥＶ＝－６０ｄＢ等にするとよい。

【0178】

フィルタ係数設定部７０２は、フィルタ係数とフェードイン関数ｆｉｎとから残響音用フィルタ係数を設定し（図２３：Ｓ２３３）、複数のＦＩＲフィルタ７２１－７２８に出力する。

【0179】

ミキサ６０から出力された残響音生成用信号Ｓｒは、ＰＥＱ７１に入力される。ＰＥＱ７１は、残響音生成用信号Ｓｒに対して、所定の信号処理を行い、複数のＦＩＲフィルタ７２１－７２８に出力する。

【0180】

ＰＥＱ７１による信号処理を行うことによって、残響音生成用信号Ｓｒのレベル（信号の大きさ）、音色等を調整できる。例えば、ＰＥＱ７１は、初期反射音制御信号の音量等を参照し、上述の接続タイミングｔｃにおいて初期反射音の音量と残響音の音量とが同じ程度となるように、残響音生成用信号Ｓｒのレベル（信号の大きさ）を調整できる。また、ＰＥＱ７１は、ユーザ等の設定によって音色等を調整できる。

【0181】

複数のＦＩＲフィルタ７２１－７２８は、残響音用フィルタ係数を用いて残響音生成用信号Ｓｒにフィルタ処理を施し、領域別の残響音制御信号ＲＥＶｒ１－ＲＥＶｒ８を生成する。例えば、ＦＩＲフィルタ７２１は、残響音用の領域Ａｒｒ１用に設定された残響音用フィルタ係数を用いて残響音生成用信号Ｓｒに畳み込み演算を施すことによって、領域Ａｒｒ１用の領域別の残響音制御信号ＲＥＶｒ１を生成する。同様に、ＦＩＲフィルタ７２２－７２８は、残響音用の領域Ａｒｒ２－Ａｒｒ８用に設定された残響音用フィルタ係数をそれぞれ用いて残響音生成用信号Ｓｒに畳み込み演算を施すことによって、領域Ａｒｒ２－Ａｒｒ８用の領域別の残響音制御信号ＲＥＶｒ２－ＲＥＶｒ８を生成する（図２３：Ｓ２３４）。複数のＦＩＲフィルタ７２１－７２８は、領域別の残響音制御信号ＲＥＶｒ１－ＲＥＶｒ８を分配器７３に出力する。

【0182】

上述のフェードイン関数を設定することで、残響音制御信号は、図２４に示すような波形になる。図２４は、直接音、初期反射音制御信号、および、残響音制御信号の波形例を示すグラフである。なお、図２４では、便宜上、残響音制御信号は、各時間成分の包絡線によって図示する。また、図２４の縦軸は、ｄＢ表示である。

【0183】

図２４に示すように、残響音制御信号は、直接音の出力タイミングから接続タイミングｔｃに掛けて、フェードイン関数にしたがって徐々に信号レベルが大きくなる。より具体的には、残響音制御信号の信号レベルは、直接音の出力タイミングで－６０ｄＢＦｓであり、接続タイミングｔｃまで徐々に大きくなり、接続タイミングｔｃで０ｄＢＦｓになる。このレベルは、初期反射音制御信号の接続タイミングｔｃで信号レベルに基づいて設定される。

【0184】

図２４の例では、上述のフェードイン関数を用いて、接続タイミングｔｃに近づくにしたがって指数的に信号レベルを大きくするものである。言い換えれば、上述のフェードイン関数は、フェードイン処理を行わない残響音制御信号の減衰カーブに対して逆の特性を有するものである。なお、フェードイン処理による残響音制御信号のレベルの変化の特性はこれに限るものではなく、フェードイン関数を適宜設定することによって、ユーザ等が所望の特性に設定できる。

【0185】

このような処理を行うことによって、残響音制御信号生成部７０は、ＦＩＲフィルタ７２１－７２８を用いて、仮想空間の残響音を精度良く再現する残響音制御信号を生成できる。また、残響音制御信号は、初期反射音制御信号の存在する区間で徐々に信号レベルが大きくなり、接続タイミングｔｃで初期反射音制御信号の信号レベルに応じたピーク値に達し、その後に減衰する。

【0186】

これにより、音信号処理装置１０は、残響音制御信号による残響音によって、仮想空間における複数の音源位置での虚音源分布を再現する複数のＬＤｔａｐによって生成される初期反射音制御信号と残響音制御信号との繋ぎを滑らかにできる。したがって、音信号処理装置１０から出力され、ユーザが聞く音は、初期反射音から残響音への繋がり時の違和感が抑制された音となる。

【0187】

残響音用再生スピーカ設定部７０３は、複数のスピーカＳＰ１－ＳＰ６４を、残響音用領域Ａｒｒ１－Ａｒｒ８にグルーピングする。

【0188】

より具体的には、残響音用再生スピーカ設定部７０３は、例えば、再生空間の中心点Ｐｓｒを基準にして、平面上の全周に亘って、再生空間を複数の残響音用領域Ａｒｒ１－Ａｒｒ８に分割するように設定する。残響音用再生スピーカ設定部７０３は、複数のスピーカＳＰ１－ＳＰ６４の位置座標と、複数の残響音用領域Ａｒｒ１－Ａｒｒ８を示す座標情報とを用いて、複数の残響音用領域Ａｒｒ１－Ａｒｒ８に対して複数のスピーカＳＰ１－ＳＰ６４をグルーピングする。このグルーピングは、上述の音源ＯＢＪをグルーピングする方法と同様の方法によって実現できる。

【0189】

図２５は、残響音用の領域設定の一例を示す図である。図２５では、説明を簡略化して分かり易くするために、複数のスピーカＳＰ１－ＳＰ１４を示す。例えば、残響音用再生スピーカ設定部７０３は、図２５に示すように、残響音用の領域Ａｒｒ１内にスピーカＳＰ６、スピーカＳＰ７があることを検出し、残響音用の領域Ａｒｒ１に、スピーカＳＰ６、スピーカＳＰ７をグルーピングする。同様に、残響音用再生スピーカ設定部７０３は、他のスピーカＳＰ１－ＳＰ５、ＳＰ８－ＳＰ１４についても、それぞれに複数の残響音用の領域Ａｒｒ２－Ａｒｒ８にグルーピングする。

【0190】

残響音用再生スピーカ設定部７０３は、複数の残響音用の領域Ａｒｒ２－Ａｒｒ８に対する複数のスピーカＳＰ１－ＳＰ６４のグルーピング情報を、分配器７３に出力する。

【0191】

分配器７３は、残響音用再生スピーカ設定部７０３からのグルーピング情報を用いて、領域別の残響音制御信号ＲＥＶｒ１－ＲＥＶｒ８を、複数のスピーカＳＰ１－ＳＰ６４に割り当てる。分配器７３は、割り当てに基づいて、領域別の残響音制御信号ＲＥＶｒ１－ＲＥＶｒ８を、複数のスピーカＳＰ１－ＳＰ６４毎の残響音制御信号ＲＥＶ１－ＲＥＶ４８として出力する。

【0192】

例えば、分配器７３は、グルーピング情報から、領域Ａｒｒ１にスピーカＳＰ６、スピーカＳＰ７がグルーピングされていることを抽出する。分配器７３は、領域Ａｒｒ１の領域別の残響音制御信号ＲＥＶｒ１を、スピーカＳＰ６およびスピーカＳＰ７に割り当てる。分配器７３は、領域別の残響音制御信号ＲＥＶｒ１を、スピーカＳＰ６用の残響音制御信号ＲＥＶ６としてスピーカＳＰ６に出力する。また、分配器７３は、領域別の残響音制御信号ＲＥＶｒ１を、スピーカＳＰ７用の残響音制御信号ＲＥＶ７としてスピーカＳＰ７に出力する。

【0193】

このような分配器７３による領域別の残響音制御信号ＲＥＶｒ１－ＲＥＶｒ８の領域毎の割り当て処理によって、残響音制御信号生成部７０は、複数のスピーカＳＰ１－ＳＰ６４の配置に応じて、複数のスピーカＳＰ１－ＳＰ６４のそれぞれに最適な残響音制御信号を出力できる。

【0194】

［出力調整］
図２６は、出力調整部９０の構成の一例を示す機能ブロック図である。図２７は、出力調整処理の一例を示すフローチャートである。

【0195】

図２６に示すように、出力調整部９０は、ゲイン制御部９１、ディレイ制御部９２、ゲインとディレイの設定部９０１、操作部９００、および、表示部９０９を備える。ゲイン制御部９１は、複数のスピーカＳＰ１－ＳＰ６４に対応した複数のゲイン制御部９１０１－９１６４を備える。ディレイ制御部９２は、複数のスピーカＳＰ１－ＳＰ６４に対応した複数のディレイ制御部９２０１－９２６４を備える。

【0196】

操作部９００は、ユーザからの操作入力よって、再生空間の音響パラメータの設定を受け付ける（図２７：Ｓ３２１）。再生空間の音響パラメータとは、再生空間で所望の音場を再現するためのパラメータである。

【0197】

この際、再生空間の音響パラメータは、複数のスピーカＳＰ１－ＳＰ６４の個々のゲイン値や遅延量ではなく、再生空間での音の所定方向への重み付けを表すウェイト値、再生空間での音の所定方向の広がりを表すシェイプ値である。

【0198】

ウェイト値は、ゲイン値と遅延量とによって構成され、再生空間の前後のウェイト値、再生空間の左右のウェイト値、再生空間の上下方向のウェイト値を含む。シェイプ値は、ゲイン値と遅延量とによって構成され、横方向のシェイプ値を含む。

【0199】

表示部９０９は、ＧＵＩを備える。図２８は、出力調整用のＧＵＩの一例を示す図である。

【0200】

図２８に示すように、ＧＵＩ１００Ａは、設定表示ウィンドウ１１１、出力状態表示ウィンドウ１１５、複数の操作子１１６を備える。複数の操作子１１６は、ノブ１１６１、調整値表示ウィンドウ１１６２を備える。

【0201】

複数の操作子１１６は、ウェイト値を設定するウェイトボリューム、シェイプ値を設定するシェイプボリューム等を設定する操作子である。ウェイトボリューム用の操作子１１６は、左右のウェイト、前後のウェイト、上下のウェイトを設定する操作子１１６をそれぞれに備え、それぞれに、ゲイン値の設定用の操作子と、遅延量の設定用の操作子とを備える。シェイプボリューム用の操作子１１６は、広がりを設定する操作子を備え、ゲイン値の設定用の操作子と、遅延量の設定用の操作子とを備える。

【0202】

出力状態表示ウィンドウ１１５は、複数の操作子１１６によって設定されたウェイト値およびシェイプ値によって実現される音の広がりおよび定位感を、グラフィカルに模式的に表示する。これにより、ユーザは、複数の操作子１１６によって設定した音の広がりおよび定位感を画像として容易に認識できる。

【0203】

ユーザは、この表示部９０９のＧＵＩ１００Ａを用いて、自分の再現したい音響パラメータ（ウェイト値および遅延量）を設定する。操作部９００は、ＧＵＩ１００Ａを用いた設定を受け付ける。操作部９００は、この設定内容（音響パラメータの各ウェイト値および各遅延量）を、ゲインとディレイの設定部９０１に出力する。

【0204】

ゲインとディレイの設定部９０１は、音響パラメータの各ウェイト値および各遅延量に基づいて、複数のスピーカＳＰ１－ＳＰ６４に対するゲイン値および遅延量を設定する。より具体的には、ゲインとディレイの設定部９０１は、次の処理を行う。

【0205】

ゲインとディレイの設定部９０１は、再生空間に配置されている複数のスピーカＳＰ１－ＳＰ６４の位置座標を取得する（Ｓ３２２）。位置座標は、例えば、再生空間の左右方向にｘ軸を設定し、再生空間の前後方向にｙ軸を設定し、上下方向にｚ軸を設定した座標系で表される。

【0206】

ゲインとディレイの設定部９０１は、各軸方向における複数のスピーカＳＰ１－ＳＰ６４の位置座標の最大値と最小値とを抽出する（Ｓ３２３）。

【0207】

ゲインとディレイの設定部９０１は、係数設定式を記憶している。係数設定式は、例えば、再生空間での所定方向への重み付けを設定するウェイト用の係数設定式と、再生空間での所定方向への重み付けを設定するシェイプ用の係数設定式を含む。

【0208】

ウェイト用の係数設定式は、ウェイト用のゲイン値の設定式とウェイト用の遅延量の設定式とを含む。シェイプ用の係数設定式は、シェイプ用のゲイン値の設定式とシェイプ用の遅延量の設定式とを含む。

【0209】

ウェイト用の係数設定式は、再生空間の前後方向の重み付けを設定する前後方向用の係数設定式、再生空間の左右方向の重み付けを設定する左右方向用の係数設定式、再生空間の上下方向の重み付けを設定する上下方向用の係数設定式を含む。

【0210】

シェイプ用の係数設定式は、再生空間の左右方向用の係数設定式を含む。

【0211】

ウェイト用のゲイン値の係数設定式は、例えば、設定されたウェイト値のゲイン値、抽出した位置座標の最大値と最小値、および、ゲイン値を設定するスピーカ（設定対象のスピーカ）の位置座標を組み合わせた一次関数であり、設定対象のスピーカの位置座標と位置座標の最小値との差に比例して、ゲイン値が決まる式である。

【0212】

ウェイト用の遅延量の係数設定式は、例えば、設定されたウェイト値の遅延量、抽出した位置座標の最大値と最小値、および、遅延量を設定するスピーカ（設定対象のスピーカ）の位置座標を組み合わせた一次関数であり、設定対象のスピーカの位置座標と位置座標の最小値との差に比例して、遅延量が決まる式である。

【0213】

シェイプ用のゲイン値の係数設定式は、例えば、設定されたシェイプ値のゲイン値、抽出した位置座標の最大値と最小値、および、ゲイン値を設定するスピーカ（設定対象のスピーカ）の位置座標を組み合わせた一次関数であり、設定対象のスピーカの位置座標と位置座標の最小値との差に比例して、ゲイン値が決まる式である。

【0214】

シェイプ用の遅延量の係数設定式は、例えば、設定されたシェイプ値の遅延量、抽出した位置座標の最大値と最小値、および、遅延量を設定するスピーカ（設定対象のスピーカ）の位置座標を組み合わせた一次関数であり、設定対象のスピーカの位置座標と位置座標の最小値との差に比例して、遅延量が決まる式である。

【0215】

ゲインとディレイの設定部９０１は、設定されたゲイン値および遅延量（音響パラメータ）、抽出した位置座標の最大値と最小値、および、係数設定式を用いて、設定対象のスピーカ毎に、ゲイン値および遅延量を算出する（Ｓ３２４）。

【0216】

このような処理を用いることによって、ゲインとディレイの設定部９０１は、再生空間に配置された複数のスピーカＳＰ１－ＳＰ６４のゲイン値および遅延量を、個々に手動で設定することなく、係数設定式によって自動的に算出して設定できる。

【0217】

ゲインとディレイの設定部９０１は、複数のスピーカＳＰ１－ＳＰ６４毎に設定したゲイン値を、複数のゲイン制御部９１０１－９１６４に出力する。ゲインとディレイの設定部９０１は、複数のスピーカＳＰ１－ＳＰ６４毎に設定した遅延量を、複数のディレイ制御部９２０１－９２６４に出力する。

【0218】

複数のゲイン制御部９１０１－９１６４には、それぞれに、加算器８０から複数のスピーカＳＰ１－ＳＰ６４に対応したスピーカ用信号Ｓａｔ１－Ｓａｔ６４が入力される。

【0219】

複数のゲイン制御部９１０１－９１６４は、それぞれに設定されたゲイン値を用いて、スピーカ用信号Ｓａｔ１－Ｓａｔ６４の信号レベルを制御し、複数のディレイ制御部９２０１－９２６４に出力する。例えば、ゲイン制御部９１０１は、ゲイン制御部９１０１に設定されたゲイン値を用いて、スピーカ用信号Ｓａｔ１の信号レベルを制御し、ディレイ制御部９２０１に出力する。同様に、ゲイン制御部９１０２－９１６４は、ゲイン制御部９１０２－９１６４にそれぞれ設定されたゲイン値を用いて、スピーカ用信号Ｓａｔ２－Ｓａｔ６４の信号レベルを制御し、ディレイ制御部９２０２－９２６４にそれぞれ出力する。

【0220】

複数のディレイ制御部９２０１－９２６４は、それぞれに設定された遅延量を用いて、複数のゲイン制御部９１０１－９１６４から入力された信号の信号レベルを制御し、複数のスピーカＳＰ１－ＳＰ６４に出力する。例えば、ディレイ制御部９２０１は、ディレイ制御部９２０１に設定された遅延量を用いて、ゲイン制御部９１０１から入力された信号の信号レベルを制御し、スピーカＳＰ１に出力する。同様に、ディレイ制御部９２０２－９２６４は、ディレイ制御部９２０２－９２６４にそれぞれ設定された遅延量を用いて、ゲイン制御部９１０２－９１６４から入力された信号の信号レベルを制御し、スピーカＳＰ２－ＳＰ６４にそれぞれ出力する。

【0221】

このような構成によって、音信号処理装置１０は、複数のスピーカに対して個々に煩雑な設定をユーザに強いることなく、設定した音響パラメータに対応した所望の音場を、初期反射音制御信号および残響音制御信号を用いて容易に実現できる。これにより、例えば、音信号処理装置１０は、再生空間内の所定位置に対してハース効果を得られる音場を、容易に実現できる。

【0222】

（出力制御による音場の実現例）
図２９（Ａ）、図２９（Ｂ）は、再生空間の後方に定位と広がりを持たせる場合の設定例を示す図である。図２９（Ａ）は、ゲイン値および遅延量の設定の一例を示す図であり、図２９（Ｂ）は、図２９（Ａ）の設定よる音の重み付けのイメージを表す図である。なお、図２９（Ａ）、図２９（Ｂ）では、説明を簡略化して分かり易くするように、１４個のスピーカＳＰ１－ＳＰ１４を配置した場合を示している。

【0223】

図２９（Ａ）、図２９（Ｂ）に示す態様では、音響パラメータとして、例えば、後方端のゲイン値および遅延量が設定される。ゲインとディレイの設定部９０１は、前方端のゲイン値および遅延量を、後方端のゲイン値および遅延量の逆符号の値に設定する。ゲインとディレイの設定部９０１は、１４個のスピーカＳＰ１－ＳＰ１４の位置座標の最大値および最小値を算出する。

【0224】

ゲインとディレイの設定部９０１は、後方端および前方端のゲイン値、１４個のスピーカＳＰ１－ＳＰ１４の位置座標の最大値および最小値、および、再生空間の前後方向の重み付けを設定する前後方向用の係数設定式（ゲイン値設定用）を用いて、１４個のスピーカＳＰ１－ＳＰ１４のゲイン値を算出する。

【0225】

また、ゲインとディレイの設定部９０１は、後方端および前方端の遅延量、１４個のスピーカＳＰ１－ＳＰ１４の位置座標の最大値および最小値、および、再生空間の前後方向の重み付けを設定する前後方向用の係数設定式（遅延量設定用）を用いて、１４個のスピーカＳＰ１－ＳＰ１４の遅延量を算出する。

【0226】

この処理によって、音信号処理装置１０は、図２９（Ａ）に示すように、再生空間の後方のスピーカほどゲイン値および遅延量が大きく、前方のスピーカほどゲイン値および遅延量が小さい音響パラメータを自動で容易に設定できる。これにより、音信号処理装置１０は、再生空間の後方に広がりがあり、響きが定位する音場（図２９（Ｂ）参照）を、容易に実現できる。

【0227】

なお、この説明では、前後方向の例を示したが、音信号処理装置１０は、左右方向、高さ方向（上下方向）についても、同様に、重み付けされた音場を実現できる。

【0228】

図３０（Ａ）、図３０（Ｂ）は、再生空間の横方向に音の広がりを持たせる場合の設定例を示す図である。図３０（Ａ）は、ゲイン値および遅延量の設定の一例を示す図であり、図３０（Ｂ）は、図３０（Ａ）の設定よる音の広がりのイメージを表す図である。なお、図３０（Ａ）、図３０（Ｂ）では、説明を簡略化して分かり易くするように、１４個のスピーカＳＰ１－ＳＰ１４を配置した場合を示している。

【0229】

図３０（Ａ）、図３０（Ｂ）に示す態様では、音響パラメータとして、例えば、音の広がりを数値化した値（広がり設定値）が設定される。ゲインとディレイの設定部９０１は、１４個のスピーカＳＰ１－ＳＰ１４の位置座標の最大値および最小値を算出する。

【0230】

ゲインとディレイの設定部９０１は、音の広がりを数値化した値、１４個のスピーカＳＰ１－ＳＰ１４の位置座標の最大値および最小値、および、シェイプ用の係数設定式（ゲイン値設定用）を用いて、１４個のスピーカＳＰ１－ＳＰ１４のゲイン値を算出する。

【0231】

また、ゲインとディレイの設定部９０１は、後方端および前方端の遅延量、１４個のスピーカＳＰ１－ＳＰ１４の位置座標の最大値および最小値、および、シェイプ用の係数設定式（遅延量設定用）を用いて、１４個のスピーカＳＰ１－ＳＰ１４の遅延量を算出する。

【0232】

この処理によって、音信号処理装置１０は、図３０（Ａ）に示すように、再生空間の横方向の両端に近いスピーカほどゲイン値および遅延量が大きく、横方向の中央に近いスピーカほどゲイン値および遅延量が小さい音響パラメータを自動で容易に設定できる。これにより、音信号処理装置１０は、再生空間の横方向に広がりがあり、響きが定位する音場（図３０（Ｂ）参照）を、容易に実現できる。

【0233】

なお、上述の音響パラメータの設定を行うことで、音信号処理装置１０は、再生空間の前後方向の重み付け、左右方向の重み付け、横方向の広がりだけでなく再生空間の高さ方向（上下方向）についての重み付けや広がりも実現できる。例えば、図３１は、高さ方向の広がりを持たせる場合の音の広がりのイメージを表す図である。

【0234】

音信号処理装置１０は、床面に近いスピーカＳＰＬ、ＳＰＲのゲイン値および遅延量よりも、天井側のスピーカＳＰＵのゲイン値および遅延量を大きくする。これにより、音信号処理装置１０は、再生空間の天井方向により広がりがあり、響きが定位する音場（図３１参照）を、容易に実現できる。

【0235】

また、上述の構成では、出力調整部９０は、出力信号Ｓｏ１－Ｓｏ６４を複数のスピーカＳＰ１－ＳＰ６４に出力する。しかしながら、音信号処理装置は、出力信号Ｓｏ１－Ｓｏ６４をバイノーラル処理して出力してもよい。

【0236】

図３２は、バイノーラル再生機能付き音信号処理装置の構成を示す機能ブロック図である。図３２に示すように、バイノーラル再生機能付き音信号処理装置１０Ａは、上述の音信号処理装置１０に対して、出力調整部９０Ａ、残響処理部９７、選択部９８、および、バイノーラル処理部９９を備える点で異なる。

【0237】

出力調整部９０Ａは、加算器８０から出力された複数のスピーカ用信号Ｓａｔ１－Ｓａｔ６４から、上述の出力調整部９０と同じ処理を用いて、複数の出力信号Ｓｏ１－Ｓｏ６４を生成する。

【0238】

出力調整部９０Ａは、出力対象を選択できる。出力対象の選択は、例えば、上述のＧＵＩを用いたユーザからの操作入力によって実行される。より具体的には、ＧＵＩは、スピーカ出力とバイノーラル出力とを選択可能な操作子を表示し、この操作子が操作されることによって、出力対象は選択される。

【0239】

スピーカ出力が選択された場合、出力調整部９０Ａは、複数の出力信号Ｓｏ１－Ｓｏ６４を複数のスピーカＳＰ１－ＳＰ６４にそれぞれ出力する（出力調整部９０と同じ処理）。バイノーラル出力が選択された場合、出力調整部９０Ａは、複数の出力信号Ｓｏ１－Ｓｏ６４を選択部９８に出力する。

【0240】

残響処理部９７には、複数の音源ＯＢＪ１－ＯＢＪ９６の音信号Ｓ１－Ｓ９６が入力される。残響処理部９７は、複数の音信号Ｓ１－Ｓ９６に対して、初期反射音制御信号および残響音制御信号を付加し、選択部９８に出力する。複数の音信号Ｓ１－Ｓ９６に対する初期反射音制御信号は、複数の音源ＯＢＪ１－ＯＢＪ９６の位置座標に基づいて設定される。残響処理部９７は、複数の残響処理後の音信号Ｓ１’－Ｓ９６’を選択部９８に出力する。

【0241】

選択部９８には、複数の出力信号Ｓｏ１－Ｓｏ６４と複数の残響処理後の音信号Ｓ１’－Ｓ９６’とが入力される。選択部９８は、例えば、上述のＧＵＩを用いたユーザからの操作入力によって、複数の出力信号Ｓｏ１－Ｓｏ６４と残響処理後の音信号Ｓ１’－Ｓ９６’を選択する。より具体的には、ＧＵＩは、音信号処理装置１０Ａの音響処理を施した音と、音源ＯＢＪ１－ＯＢＪ９６の位置座標に基づく仮想的な音響処理を施した音とを選択可能な操作子を表示し、この操作子が操作されることによって、出力対象は選択される。

【0242】

音信号処理装置１０Ａの音響処理を施した音が選択された場合、選択部９８は、複数の出力信号Ｓｏ１－Ｓｏ６４を選択し、バイノーラル処理部９９に出力する。音源ＯＢＪ１－ＯＢＪ９６の位置座標に基づく仮想的な音響処理を施した音が選択された場合、選択部９８は、複数の残響処理後の音信号Ｓ１’－Ｓ９６’を選択し、バイノーラル処理部９９に出力する。

【0243】

バイノーラル処理部９９は、入力された音信号にバイノーラル処理を施す。より具体的には、複数の出力信号Ｓｏ１－Ｓｏ６４が入力されれば、バイノーラル処理部９９は、複数の出力信号Ｓｏ１－Ｓｏ６４にバイノーラル処理を施す。複数の残響処理後の音信号Ｓ１’－Ｓ９６’が入力されれば、バイノーラル処理部９９は、複数の残響処理後の音信号Ｓ１’－Ｓ９６’にバイノーラル処理を施す。

【0244】

なお、バイノーラル処理は頭部伝達関数を用いるものであり、詳細な内容は既知であり、バイノーラル処理の詳細な説明は、省略する。

【0245】

バイノーラル処理部９９は、バイノーラル処理を施した２チャンネルの音信号を出力する。

【0246】

これにより、ユーザは、音信号処理装置１０Ａで生成した音と、音源ＯＢＪ１－ＯＢＪ９６の位置座標に基づく仮想的な残響処理を施した音を、バイノーラル再生によって聞くことができる。したがって、ユーザは、再生空間を物理的に構築しなくても、音信号処理装置１０Ａで施した音響処理が仮想空間の音響を再現できているかを、ヘッドフォン等を用いて容易に確認できる。音信号処理装置１０Ａで施した音響処理とは、例えば、上述の音源のグルーピング、初期反射音制御信号の設定、残響音制御信号の設定、出力制御の設定等である。そして、このように聞き比べられることによって、ユーザは、仮想空間の音響をより忠実に再現できるように、上述の音響処理の設定を調整できる。

【0247】

なお、バイノーラル再生は、ヘッドフォンに限るものではなく、ステレオスピーカ等で行ってもよい。

【0248】

本実施形態の説明は、すべての点で例示であって、制限的なものではない。本発明の範囲は、上述の実施形態ではなく、特許請求の範囲によって示される。さらに、本発明の範囲には、特許請求の範囲と均等の意味および範囲内でのすべての変更が含まれることが意図される。

【符号の説明】

【0249】

１０、１０Ａ：音信号処理装置
３０：領域設定部
４０：グルーピング部
４１：音源位置検出部
４２：領域判定部
５０：初期反射音制御信号生成部
５１：ＦＩＲフィルタ回路
５２：ＬＤｔａｐ回路
５３：加算処理部
６０：ミキサ
７０：残響音制御信号生成部
７１：ＰＥＱ
７２：ＦＩＲフィルタ回路
７３：分配器
８０：加算器
９０、９０Ａ：出力調整部
９１：ゲイン制御部
９２：ディレイ制御部
９７：残響処理部
９８：選択部
９９：バイノーラル処理部
１００、１００Ａ：ＧＵＩ
４００：マトリックスミキサ
５００：操作部
５０１：音色設定部
５０２：虚音源設定部
５１１－５１８：ＦＩＲフィルタ
５２１－５２８：ＬＤｔａｐ
７００：操作部
７０１：残響音用領域設定部
７０２：フィルタ係数設定部
７０３：残響音用再生スピーカ設定部
７２１－７２８：ＦＩＲフィルタ
９００：操作部
９０１：ゲインとディレイの設定部
９０９：表示部
５２０１：出力スピーカ設定部
５２０２：係数設定部
９１０１－９１６４：ゲイン制御部
９２０１－９２６４：ディレイ制御部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】

【図18】

【図19】

【図20】

【図21】

【図22】

【図23】

【図24】

【図25】

【図26】

【図27】

【図28】

【図29】

【図30】

【図31】

【図32】