特許 7524614 音信号処理方法、音信号処理装置および音信号処理プログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-07-22

(45)【発行日】2024-07-30

(54)【発明の名称】音信号処理方法、音信号処理装置および音信号処理プログラム

(51)【国際特許分類】

   G10K 15/10 20060101AFI20240723BHJP

   G10K 15/00 20060101ALI20240723BHJP

   H04R 3/00 20060101ALI20240723BHJP

   H04R 3/12 20060101ALI20240723BHJP

【ＦＩ】

G10K15/10

G10K15/00 L

H04R3/00 320

H04R3/12 Z

【請求項の数】 15

(21)【出願番号】P 2020096757

(22)【出願日】2020-06-03

(65)【公開番号】P2021189364

(43)【公開日】2021-12-13

【審査請求日】2023-04-20

(73)【特許権者】

【識別番号】000004075

【氏名又は名称】ヤマハ株式会社

(74)【代理人】

【識別番号】110000970

【氏名又は名称】弁理士法人 楓国際特許事務所

(72)【発明者】

【氏名】橋本 悌

(72)【発明者】

【氏名】渡辺 隆行

【審査官】冨澤 直樹

(56)【参考文献】

【文献】特開２０１５－００８３９５（ＪＰ，Ａ）

【文献】特開２０１３－２３８６４３（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ１０Ｋ １５／１０

Ｇ１０Ｋ １５／００

Ｈ０４Ｒ ３／００－３／１４

Ｈ０４Ｓ １／００－７／００

(57)【特許請求の範囲】

【請求項1】

音源の音信号を取得し、
互いに異なる複数の領域を有する所定の空間における前記音源の位置情報を取得し、
前記音源の位置情報に基づいて、前記複数の領域のうち前記音源が位置する領域を決定し、
前記音信号に、前記音源が位置する領域に対応する初期反射音のインパルス応答を畳み込んで初期反射音制御信号を生成し、
前記音信号に、残響音のインパルス応答を畳み込んで残響音制御信号を生成する、
音信号処理方法。

【請求項2】

前記残響音制御信号は、前記音源が位置する領域に対応する前記残響音のインパルス応答を畳み込んで生成する、
請求項１に記載の音信号処理方法。

【請求項3】

前記初期反射音および前記残響音のインパルス応答は、予め前記所定の空間における前記複数の領域のそれぞれで測定したインパルス応答である、
請求項１または請求項２に記載の音信号処理方法。

【請求項4】

前記初期反射音および前記残響音のインパルス応答は、予め前記所定の空間における前記複数の領域のそれぞれで、前記初期反射音制御信号および前記残響音制御信号を出力するスピーカ毎に測定する、
請求項３に記載の音信号処理方法。

【請求項5】

前記複数の領域は第１領域および第２領域を含み、
前記初期反射音および前記残響音のインパルス応答は、それぞれ前記第１領域に対応する第１インパルス応答および前記第２領域に対応する第２インパルス応答を含む、
請求項１乃至請求項４のいずれか１項に記載の音信号処理方法。

【請求項6】

前記第１インパルス応答から前記第２インパルス応答に切り替える際に、前記第１インパルス応答を畳み込む音信号と、前記第２インパルス応答を畳み込む音信号と、をクロスフェードする、
請求項５に記載の音信号処理方法。

【請求項7】

前記残響音のインパルス応答を畳み込む音信号は、無指向性マイクから取得する、
請求項１乃至請求項６のいずれか１項に記載の音信号処理方法。

【請求項8】

音源の音信号を取得する音信号取得部と、
互いに異なる複数の領域を有する所定の空間における前記音源の位置情報を取得する位置情報取得部と、
前記音源の位置情報に基づいて、前記複数の領域のうち前記音源が位置する領域を決定し、前記音信号が位置する領域に対応する初期反射音のインパルス応答を畳み込んで初期反射音制御信号を生成する初期反射音制御信号生成部と、
前記音信号に、残響音のインパルス応答を畳み込んで残響音制御信号を生成する残響音制御信号生成部と、
を備えた音信号処理装置。

【請求項9】

前記残響音制御信号生成部は、前記音源が位置する領域に対応する前記残響音のインパルス応答を畳み込んで前記残響音制御信号を生成する、
請求項８に記載の音信号処理装置。

【請求項10】

前記初期反射音および前記残響音のインパルス応答は、予め前記所定の空間における前記複数の領域のそれぞれで測定したインパルス応答である、
請求項８または請求項９に記載の音信号処理装置。

【請求項11】

前記インパルス応答は、予め前記所定の空間における前記複数の領域のそれぞれで、前記初期反射音制御信号および前記残響音制御信号を出力するスピーカ毎に測定する、
請求項１０に記載の音信号処理装置。

【請求項12】

前記複数の領域は第１領域および第２領域を含み、
前記初期反射音および前記残響音のインパルス応答は、それぞれ前記第１領域に対応する第１インパルス応答および前記第２領域に対応する第２インパルス応答を含む、
請求項８乃至請求項１１のいずれか１項に記載の音信号処理装置。

【請求項13】

前記第１インパルス応答から前記第２インパルス応答に切り替える際に、前記第１インパルス応答を畳み込む音信号と、前記第２インパルス応答を畳み込む音信号と、をクロスフェードするクロスフェード処理部を備えた
請求項１２に記載の音信号処理装置。

【請求項14】

前記音信号取得部は、前記残響音のインパルス応答を畳み込む音信号を、無指向性マイクから入力する、
請求項８乃至請求項１３のいずれか１項に記載の音信号処理装置。

【請求項15】

音源の音信号を取得し、
互いに異なる複数の領域を有する所定の空間における前記音源の位置情報を取得し、
前記音源の位置情報に基づいて、前記複数の領域のうち前記音源が位置する領域を決定し、
前記音信号に、前記音源が位置する領域に対応する初期反射音のインパルス応答を畳み込んで初期反射音制御信号を生成し、
前記音信号に、残響音のインパルス応答を畳み込んで残響音制御信号を生成する、
処理を音信号処理装置に実行させる音信号処理プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

この発明の一実施形態は、取得した音信号に対して処理を行なう音信号処理方法、音信号処理装置および音信号処理プログラムに関する。

【背景技術】

【0002】

コンサートホール等の施設では、様々なジャンルの音楽が演奏されたり、講演等のスピーチが行なわれたりする。このような施設は、多様な音響特性（例えば残響特性）が求められる。例えば、演奏では比較的長い残響が求められ、スピーチでは比較的短い残響が求められる。

【0003】

しかし、ホール内の残響特性を物理的に変化させるには、例えば天井を移動させる等して音響空間の大きさを変化させる必要があり、非常に大がかりな設備が必要であった。

【0004】

そこで、例えば特許文献１に示すような音場制御装置は、マイクで取得した音をＦＩＲ（Finite Impulse Response）フィルタで処理することにより残響音を生成し、ホール内に設置されたスピーカから当該残響音を出力することで、音場を支援する処理を行なっている。

【先行技術文献】

【特許文献】

【0005】

【文献】特開平６－２８４４９３号公報

【発明の概要】

【発明が解決しようとする課題】

【0006】

しかし、残響音を付与するだけでは定位感がぼやける。近時、より明瞭な音像定位と豊かな空間の拡がりを実現することが望まれている。

【0007】

そこで、この発明の一実施形態は、より豊かな音響空間を制御する音信号処理方法および音信号処理装置を提供することを目的とする。

【課題を解決するための手段】

【0008】

音信号処理方法は、音源の音信号を取得し、前記音信号に、前記音源の場所に応じた初期反射音のインパルス応答を畳み込んで初期反射音制御信号を生成し、前記音信号に、残響音のインパルス応答を畳み込んで残響音制御信号を生成する。

【発明の効果】

【0009】

音信号処理方法は、より明瞭な音像定位および豊かな空間の拡がりを実現することができる。

【図面の簡単な説明】

【0010】

【図1】実施形態１の空間を模式的に示した透過斜視図である。

【図2】実施形態１の音場支援システムの構成を示すブロック図である。

【図3】音信号処理装置の動作を示すフローチャートである。

【図4】室６２、スピーカ５１Ａ～スピーカ５１Ｊ、および音源６５の関係を模式的に示した平面図である。

【図5】図５（Ａ）は、フィルタ係数に用いるインパルス応答の時間波形における音の種類の分類例を示す模式図であり、図５（Ｂ）は、ＦＩＲフィルタ２４Ａに設定するフィルタ係数の時間波形を示す模式図である。

【図6】図６（Ａ）は、ＦＩＲフィルタ２４Ｂに設定するインパルス応答を示す模式図であり、図６（Ｂ）は、ＦＩＲフィルタ２４Ｂに設定するフィルタ係数の時間波形を示す模式図である。

【図7】空間６２０と室６２との関係を模式的に示した平面図である。

【図8】ＦＩＲフィルタ２４Ａの機能的構成を示すブロック図である。

【図9】変形例１に係る音信号処理部１０の構成を示すブロック図である。

【図10】変形例２に係る音信号処理部１０の構成を示すブロック図である。

【発明を実施するための形態】

【0011】

図１は、空間を構成する室６２を模式的に示した透過斜視図である。図２は、音場支援システム１の構成を示すブロック図である。

【0012】

室６２は、概ね直方体形状の空間を構成する。音源６５は、室６２のうち前方のステージ６０上に存在する。室６２の後方はリスナの座る観客席に相当する。音源６５は、例えば声、歌唱音、アコースティック楽器、エレキ楽器、または電子楽器等である。

【0013】

なお、室６２の形状、および音源の配置等は、図１の例に限らない。本発明の音信号処理方法および音信号処理装置は、どの様な形状の空間であっても所望の音場を提供でき、従来よりもより明瞭な音像定位および豊かな空間の拡がりを実現することができる。

【0014】

音場支援システム１は、室６２内に、指向性マイク１１Ａ、指向性マイク１１Ｂ、指向性マイク１１Ｃ、無指向性マイク１２Ａ、無指向性マイク１２Ｂ、無指向性マイク１２Ｃ、スピーカ５１Ａ～スピーカ５１Ｊ、スピーカ６１Ａ～スピーカ６１Ｆを備える。

【0015】

スピーカ５１Ａ～スピーカ５１Ｊは、壁面に設定されている。スピーカ５１Ａ～スピーカ５１Ｊは、比較的指向性の高いスピーカであり、主に観客席に向けて音を出力する。スピーカ５１Ａ～スピーカ５１Ｊは、初期反射音を再現した初期反射音制御信号を出力する。また、スピーカ５１Ａ～スピーカ５１Ｊは、音源の直接音を再現した直接音制御信号を出力する
スピーカ６１Ａ～スピーカ６１Ｆは、天井に設置されている。スピーカ６１Ａ～スピーカ６１Ｆは、比較的指向性の低いスピーカであり、室６２の全体に音を出力する。スピーカ６１Ａ～スピーカ６１Ｆは、残響音を再現した残響音制御信号を出力する。また、スピーカ６１Ａ～スピーカ６１Ｆは、音源の直接音を再現した直接音制御信号を出力する。なお、スピーカの数は、図１に示す数に限らない。

【0016】

指向性マイク１１Ａ、指向性マイク１１Ｂ、および指向性マイク１１Ｃは、主に、ステージ上の音源６５の音を収音する。図１に示す様に、指向性マイク１１Ａは、観客席から見てステージ６０の左側の領域１１０Ａの音を収音する。指向性マイク１１Ｂは、観客席から見てステージ６０の中央の領域１１０Ｂの音を収音する。指向性マイク１１Ｃは、観客席から見てステージ６０の右側の領域１１０Ｃの音を収音する。

【0017】

ただし、音源６５の音は、ライン入力してもよい。ライン入力とは、楽器等の音源から出力される音をマイクで収音して入力するのではなく、音源に接続されたオーディオケーブル等から音信号を入力することである。あるいは、音源６５の音は、話者または歌唱者等の演者の音声または歌唱音をハンドマイク、スタンドマイク、ピンマイク等から入力してもよい。音源の音は、高いＳＮ比で収音することが好ましい。

【0018】

無指向性マイク１２Ａ、無指向性マイク１２Ｂ、および無指向性マイク１２Ｃは、天井に設置される。無指向性マイク１２Ａ、無指向性マイク１２Ｂ、および無指向性マイク１２Ｃは、音源６５の直接音および室６２内の反射音等を含む、室６２内の全体の音を収音する。図１に示す指向性マイクおよび無指向性マイクの数はそれぞれ３つである。ただし、マイクの数は、図１に示す例に限らない。また、マイクおよびスピーカの設置位置は、図１に示す例に限るものではない。

【0019】

図２において、音場支援システム１は、図１に示した構成に加えて、音信号処理部１０と、メモリ３１と、を備えている。音信号処理部１０は、主にＣＰＵおよびＤＳＰ（Digital Signal Processor）から構成される。音信号処理部１０は、機能的に、音信号取得部２１、ゲイン調整部２２、ミキサ２３、パニング処理部２３Ｄ、ＦＩＲ（Finite Impulse Response）フィルタ２４Ａ、ＦＩＲフィルタ２４Ｂ、レベル設定部２５Ａ、レベル設定部２５Ｂ、出力信号生成部２６、出力部２７、遅延調整部２８、位置情報取得部２９、インパルス応答取得部１５１、およびレベルバランス調整部１５２を備える。音信号処理部１０は、本発明の音信号処理装置の一例である。

【0020】

音信号処理部１０を構成するＣＰＵは、メモリ３１に記憶されている動作用プログラムを読み出して、各構成を制御する。ＣＰＵは、該動作用プログラムにより、機能的に、インパルス応答取得部１５１およびレベルバランス調整部１５２を構成する。なお、動作用プログラムは、メモリ３１に記憶されている必要はない。ＣＰＵは、例えば不図示のサーバから都度、動作用プログラムをダウンロードしてもよい。

【0021】

図３は、音信号処理部１０の動作を示すフローチャートである。まず、音信号取得部２１は、音信号を取得する（Ｓ１１）。音信号取得部２１は、指向性マイク１１Ａ、指向性マイク１１Ｂ、指向性マイク１１Ｃ、無指向性マイク１２Ａ、無指向性マイク１２Ｂ、および無指向性マイク１２Ｃから音信号を取得する。あるいは、音信号取得部２１は、エレキ楽器または電子楽器等から音信号をライン入力してもよい。また、音信号取得部２１は、ピンマイク等の楽器または演者に直接設置されたマイクから音信号を入力してもよい。音信号取得部２１は、アナログ信号を取得した場合には、デジタル信号に変換して出力する。

【0022】

ゲイン調整部２２は、音信号取得部２１で取得した音信号のゲインを調整する。ゲイン調整部２２は、例えば、音源６５に近い位置の指向性マイクのゲインを高く設定する。なお、ゲイン調整部２２は、本発明において必須の構成ではない。

【0023】

ミキサ２３は、ゲイン調整部２２でゲイン調整した音信号をミキシングする。また、ミキサ２３は、ミキシングした音信号を複数の信号処理系統に分配する。ミキサ２３は、分配した音信号をパニング処理部２３Ｄ、ＦＩＲフィルタ２４Ａ、およびＦＩＲフィルタ２４Ｂに出力する。

【0024】

例えば、ミキサ２３は、指向性マイク１１Ａ、指向性マイク１１Ｂ、および指向性マイク１１Ｃから取得した音信号をスピーカ５１Ａ～スピーカ５１Ｊに合わせて、１０個の信号処理系統に分配する。あるいは、ミキサ２３は、ライン入力した音信号をスピーカ５１Ａ～スピーカ５１Ｊに合わせて、１０個の信号処理系統に分配してもよい。

【0025】

また、ミキサ２３は、無指向性マイク１２Ａ、無指向性マイク１２Ｂ、および無指向性マイク１２Ｃから取得した音信号をスピーカ６１Ａ～スピーカ６１Ｆに合わせて、６つの信号処理系統に分配する。

【0026】

ミキサ２３は、１０個の信号処理系統にミキシングした音信号を、それぞれＦＩＲフィルタ２４Ａに出力する。また、ミキサ２３は、６つの信号処理系統にミキシングした音信号をＦＩＲフィルタ２４Ｂに出力する。

【0027】

以後、ＦＩＲフィルタ２４Ｂに出力する６つの信号処理系統は、第１系統または残響音系統と称し、ＦＩＲフィルタ２４Ａに出力する１０の信号処理系統は、第２系統または初期反射音系統と称する。また、パニング処理部２３Ｄに出力する１０の信号処理系統は、第３系統または直接音系統と称する。ＦＩＲフィルタ２４Ａは、初期反射音制御信号生成部に対応し、ＦＩＲフィルタ２４Ｂは、残響音制御信号生成部に対応する。パニング処理部２３Ｄは、直接音制御信号生成部に対応する。

【0028】

なお、分配の態様は、上記例に限らない。例えば、無指向性マイク１２Ａ、無指向性マイク１２Ｂ、および無指向性マイク１２Ｃから取得した音信号は、直接音系統または初期反射音系統に分配してもよい。また、ライン入力した音信号を残響音系統に分配してもよい。また、ライン入力した音信号と、無指向性マイク１２Ａ、無指向性マイク１２Ｂ、および無指向性マイク１２Ｃから取得した音信号と、をミキシングして直接音系統または初期反射音系統に分配してもよい。

【0029】

なお、ミキサ２３は、ＥＭＲ（Electronic Microphone Rotator）の機能を備えていてもよい。ＥＭＲは、固定されたマイクとスピーカとの間の伝達関数を時間的に変化させることで、フィードバックループの周波数特性を平坦化する手法である。ＥＭＲは、マイクと信号処理系統の接続関係を時々刻々と切り換える機能である。ミキサ２３は、指向性マイク１１Ａ、指向性マイク１１Ｂ、および指向性マイク１１Ｃから取得した音信号の出力先を切り換えるようにしてパニング処理部２３ＤおよびＦＩＲフィルタ２４Ａに出力する。あるいは、ミキサ２３は、無指向性マイク１２Ａ、無指向性マイク１２Ｂ、および無指向性マイク１２Ｃから取得した音信号の出力先を切り換えるようにしてＦＩＲフィルタ２４Ｂに出力する。これにより、ミキサ２３は、室６２においてスピーカからマイクに至る音響帰還系の周波数特性を平坦化できる。また、ミキサ２３は、ハウリングに対する安定性を確保することができる。

【0030】

次に、パニング処理部２３Ｄは、音源６５の位置に応じて、直接音系統のそれぞれの音信号の音量を制御する（Ｓ１２）。これにより、パニング処理部２３Ｄは、直接音制御信号を生成する。

【0031】

図４は、室６２、スピーカ５１Ａ～スピーカ５１Ｊ、および音源６５の関係を模式的に示した平面図である。図４の例では、音源６５は、観客席から向かってステージの右側の場所に位置する。パニング処理部２３Ｄは、音源６５の位置に音像が定位する様に、直接音系統のそれぞれの音信号の音量を制御する。

【0032】

パニング処理部２３Ｄは、位置情報取得部２９から音源６５の位置情報を取得する。位置情報は、室６２のある位置を基準とした２次元または３次元の座標を示す情報である。音源６５の位置情報は、例えばＢｌｕｅｔｏｏｔｈ（登録商標）等の電波を送受信するビーコンおよびタグで取得できる。室６２は、予め少なくとも３つのビーコンを設置している。音源６５は、タグを備える。つまり、演者または楽器は、タグを取り付ける。各ビーコンは、タグに電波を送受信する。各ビーコンは、電波を送信してから受信するまでの時間差に基づいて、タグとの距離を計測する。位置情報取得部２９は、ビーコンの位置情報を予め取得しておけば、少なくとも３つのビーコンからタグまでの距離をそれぞれ測定することで、タグの位置を一意に求めることができる。

【0033】

位置情報取得部２９は、この様にして測定したタグの位置情報を取得することで、音源６５の位置情報を取得する。また、位置情報取得部２９は、スピーカ５１Ａ～スピーカ５１Ｊ、およびスピーカ６１Ａ～スピーカ６１Ｆのそれぞれの位置情報を予め取得する。

【0034】

パニング処理部２３Ｄは、取得した位置情報およびスピーカ５１Ａ～スピーカ５１Ｊ、およびスピーカ６１Ａ～スピーカ６１Ｆの位置情報に基づいて、音源６５の位置に音像が定位する様にスピーカ５１Ａ～スピーカ５１Ｊ、およびスピーカ６１Ａ～スピーカ６１Fに出力するそれぞれの音信号の音量を制御することで、直接音制御信号を生成する。

【0035】

パニング処理部２３Ｄは、音源６５と、スピーカ５１Ａ～スピーカ５１Ｊ、およびスピーカ６１Ａ～スピーカ６１Ｆのそれぞれのスピーカとの距離に応じて音量を制御する。例えば、パニング処理部２３Ｄは、音源６５の位置に近いスピーカに出力する音信号の音量を大きくし、音源６５の位置から遠いスピーカに出力する音信号の音量を小さくする。これにより、パニング処理部２３Ｄは、音源６５の音像を所定の位置に定位させることができる。例えば、図４の例では、パニング処理部２３Ｄは、音源６５に近い３つのスピーカ５１Ｆ、５１Ｇ、および５１Ｈに出力する音信号の音量を大きく、他のスピーカの音量を小さくする。これにより、音源６５の音像は、観客席から向かってステージの右側に定位する。

【0036】

仮に、音源６５がステージの左側に移動すると、パニング処理部２３Ｄは、移動した音源６５の位置情報に基づいて、スピーカ５１Ａ～スピーカ５１Ｊ、スピーカ６１Ａ～スピーカ６１Ｆに出力するそれぞれの音信号の音量を変更する。例えば、パニング処理部２３Ｄは、スピーカ５１Ａ、５１Ｂ、および５１Ｆに出力する音信号の音量を大きく、他のスピーカの音量を小さくする。これにより、音源６５の音像は、観客席から向かってステージの左側に定位する。

【0037】

以上の様にして、音信号処理部１０は、ミキサ２３およびパニング処理部２３Ｄにより、分配処理部を実現する。

【0038】

次に、インパルス応答取得部１５１は、ＦＩＲフィルタ２４ＡおよびＦＩＲフィルタ２４Ｂのフィルタ係数をそれぞれ設定する（Ｓ１３）。

【0039】

ここで、フィルタ係数に設定するインパルス応答データについて説明する。図５（Ａ）は、フィルタ係数に用いるインパルス応答の時間波形における音の種類の分類例を示す模式図であり、図５（Ｂ）は、ＦＩＲフィルタ２４Ａに設定するフィルタ係数の時間波形を示す模式図である。図６（Ａ）、図６（Ｂ）は、ＦＩＲフィルタ２４Ｂに設定するフィルタ係数の時間波形を示す模式図である。

【0040】

図５（Ａ）に示すように、インパルス応答は、時間軸上に並ぶ、直接音、初期反射音、および残響音に区別できる。そして、ＦＩＲフィルタ２４Ａに設定するフィルタ係数は、図５（Ｂ）に示すように、インパルス応答における直接音および残響音を除いた初期反射音の部分によって設定される。ＦＩＲフィルタ２４Ｂに設定するフィルタ係数は、図６（Ａ）に示すように、インパルス応答における直接音および初期反射音を除いた残響音によって設定される。なお、ＦＩＲフィルタ２４Ｂは、図６（Ｂ）に示すように、インパルス応答における直接音を除いた初期反射音と残響音によって設定されていてもよい。

【0041】

インパルス応答のデータは、メモリ３１に記憶されている。インパルス応答取得部１５１は、メモリ３１からインパルス応答のデータを取得する。ただし、インパルス応答のデータは、メモリ３１に記憶されている必要はない。インパルス応答取得部１５１は、インパルス応答のデータを、例えば、不図示のサーバ等から都度ダウンロードしてもよい。

【0042】

インパルス応答取得部１５１は、予め初期反射音だけ切り出されたインパルス応答のデータを取得して、ＦＩＲフィルタ２４Ａに設定してもよい。あるいは、インパルス応答取得部１５１は、直接音、初期反射音、および残響音の含まれたインパルス応答のデータを取得して、初期反射音だけを切り出してＦＩＲフィルタ２４Ａに設定してもよい。同様に、インパルス応答取得部１５１は、残響音のみを用いる場合には、予め残響音だけ切り出されたインパルス応答のデータを取得して、ＦＩＲフィルタ２４Ｂに設定してもよい。あるいは、インパルス応答取得部１５１は、直接音、初期反射音、および残響音の含まれたインパルス応答のデータを取得して、残響音だけを切り出してＦＩＲフィルタ２４Ｂに設定してもよい。

【0043】

ＦＩＲフィルタ２４Ａは、入力した音信号に、初期反射音のインパルス応答のデータを畳み込むことで、所定の空間の初期反射音を再現した初期反射音制御信号を生成する（Ｓ１４）。また、ＦＩＲフィルタ２４Ｂは、入力した音信号に、残響音のインパルス応答のデータを畳み込むことで、所定の空間の残響音を再現した残響音制御信号を生成する（Ｓ１４）。

【0044】

図７は、空間６２０と室６２との関係を模式的に示した平面図である。図７に示す様に、インパルス応答のデータは、音場を再現する対象となるコンサートホールまたは教会等の所定の空間６２０で予め測定する。例えば、インパルス応答のデータは、ステージ上の所定の位置でテスト音（パルス音）を発し、空間６２０に設置した複数のマイクでそれぞれテスト音を収音することにより測定する。

【0045】

本実施形態では、インパルス応答のデータは、ステージ６０の左側の領域１１０Ａでテスト音を発した場合のインパルス応答、ステージ６０の中央の領域１１０Ｂでテスト音を発した場合のインパルス応答、およびステージ６０の右側の領域１１０Ｃでテスト音を発した場合のインパルス応答を測定する。

【0046】

初期反射音のインパルス応答のデータは、壁面の近傍に設置した複数の指向性マイク５１０Ａ～５１０Ｊを用いて測定する。壁面の近傍に設置した指向性マイクを用いる場合、インパルス応答のデータは、信号処理系統毎に別々の指向性マイクで測定する。例えば、図７に示す様に、ステージ６０に向かって右後方に設置されたスピーカ５１Ｊに対応する信号処理系統に対して、インパルス応答のデータは、ステージ６０に向かって右後方の壁面の近傍に設置した指向性マイク５１０Ｊで測定する。

【0047】

インパルス応答のデータは、領域１１０Ａ、領域１１０Ｂ、および領域１１０Ｃの３つの音源の系統に対して、それぞれ指向性マイク５１０Ａ～５１０Ｊの１０系統で測定する。すなわち、インパルス応答のデータは、指向性マイク５１０Ａ～５１０Ｊで測定された１０個のインパルス応答を音源の位置に応じて、３つ測定する。以下、領域１１０Ａの音源で測定された１０個のインパルス応答を第１インパルス応答、領域１１０Ｂの音源で測定された１０個のインパルス応答を第２インパルス応答、領域１１０Ｃの音源で測定された１０個のインパルス応答を第３インパルス応答と称する。領域１１０Ａ、領域１１０Ｂ、および領域１１０Ｃの３つの系統はそれぞれ室６２における指向性マイク１１Ａ、指向性マイク１１Ｂ、および指向性マイク１１Ｃに対応し、指向性マイク５１０Ａ～５１０Ｊの１０系統は、スピーカ５１Ａ～５１Ｊに対応する。

【0048】

図８は、ＦＩＲフィルタ２４Ａの機能的構成を示すブロック図である。図８に示すように、ミキサ２３は、指向性マイク１１Ａ、指向性マイク１１Ｂ、および指向性マイク１１Ｃで取得した音信号を、それぞれ１０個の系統の音信号に分配する。ＦＩＲフィルタ２４Ａは、第１インパルス応答、第２インパルス応答、および第３インパルス応答を、ミキサ２３から分配された音信号に畳み込む。

【0049】

ＦＩＲフィルタ２４Ａは、音源６５が領域１１０Ａ内に位置する場合に、第１インパルス応答に対応する１０個のＦＩＲフィルタＬＡ～ＦＩＲフィルタＬＪでフィルタ処理を行う。同様に、ＦＩＲフィルタ２４Ａは、音源６５が領域１１０Ｂ内に位置する場合に、第２インパルス応答に対応する１０個のＦＩＲフィルタＣＡ～ＦＩＲフィルタＣＪでフィルタ処理を行う。ＦＩＲフィルタ２４Ａは、音源６５が領域１１０Ｃ内に位置する場合に、第３インパルス応答に対応する１０個のＦＩＲフィルタＲＡ～ＦＩＲフィルタＲＪでフィルタ処理を行う。

【0050】

ＦＩＲフィルタ２４Ａは、この様にして、３×１０系統の初期反射音制御信号を生成する。ＦＩＲフィルタ２４Ｂは、３×６系統の残響音制御信号を生成する。

【0051】

なお、残響音は、音の到来方向の定まらない反射音である。したがって、残響音のインパルス応答のデータは、初期反射音に比べると音源の位置の変化による変化は小さい。したがって、残響音のインパルス応答のデータは、上記指向性マイク５１０Ａ～５１０Ｊではなく、別の無指向性マイクを用いて測定してもよい。また、ＦＩＲフィルタ２４Ｂは、無指向性マイク１２Ａ、無指向性マイク１２Ｂ、および無指向性マイク１２Ｃで取得した音信号をミキシングした音信号に、同じ１つのインパルス応答のデータを畳み込んで、残響音制御信号を生成してもよい。

【0052】

レベル設定部２５Ａは、初期反射音制御信号のレベル調整を行なう。レベル設定部２５Ｂは、残響音制御信号のレベル調整を行なう。レベルバランス調整部１５２は、パニング処理部２３Ｄ、レベル設定部２５Ａおよびレベル設定部２５Ｂのレベル調整量を設定する（Ｓ１５）。レベルバランス調整部１５２は、直接音制御信号、初期反射音制御信号および残響音制御信号のそれぞれのレベルを参照し、これらの信号のレベルバランスを整える。例えば、レベルバランス調整部１５２は、直接音制御信号のうち時間的に最後のレベルと、初期反射音制御信号のうち時間的に最初の成分のレベルバランスを整える。また、レベルバランス調整部１５２は、初期反射音制御信号のうち時間的に最後の成分のレベルと、残響音制御信号のうち時間的に最初の成分のレベルとのバランスを整える。あるいは、レベルバランス調整部１５２は、初期反射音制御信号のうち時間的に後半部分となる複数成分のパワーと、残響音制御信号のうち時間的に前半部分となる成分のパワーとのバランスを整えてもよい。これにより、レベルバランス調整部１５２は、直接音制御信号、初期反射音制御信号および残響音制御信号の音を個別に制御し、適用する空間に合わせて、適切なバランスに制御することができる。

【0053】

遅延調整部２８は、任意のマイクと複数のスピーカとの距離に応じて、遅延時間を調整する（Ｓ１６）。例えば、遅延調整部２８は、複数のスピーカにおいて、指向性マイク１１Ｂとスピーカとの距離が短い順に、遅延時間を小さく設定する。或いは、遅延調整部２８は、音場を再現する空間６２０でのインパルス応答を測定する音源とマイクの位置から遅延時間を調整する。例えば、ＦＩＲフィルタ２４Ａにおいて、スピーカ５１Ｊに空間６２０内に設置した指向性マイク５１０Ｊで測定したインパルス応答データを畳み込む場合、遅延調整部２８におけるスピーカ５１Ｊの遅延時間は、空間６２０の指向性マイク５１０Ｊと音源６５の距離に相当する遅延時間を設定する。これにより、初期反射音制御信号および残響音制御信号は、直接音よりも遅れてリスナに到達し、明瞭な音像定位と豊かな空間の拡がりを実現する。

【0054】

なお、音信号処理部１０は、直接音制御信号に遅延調整を行わないことが好ましい。仮に、遅延調整により音像定位を制御する場合、音源６５の位置が短時間の間に大きく変化すると、複数のスピーカから出力された音同士で位相干渉を起こす。音信号処理部１０は、直接音制御信号に遅延調整を行わないことで、音源６５の位置が短時間に大きく変化した場合でも、位相干渉を起こすことなく、音源６５の音色を維持することができる。 出力信号生成部２６は、直接音制御信号、初期反射音制御信号および残響音制御信号をミキシングして出力信号を生成する（Ｓ１７）。なお、出力信号生成部２６は、ミキシングの時に各信号のゲイン調整および周波数特性の調整等を行なってもよい。

【0055】

出力部２７は、出力信号生成部２６から出力される出力信号をアナログ信号に変換する。また、出力部２７は、アナログ信号を増幅する。出力部２７は、増幅したアナログ信号を対応するスピーカに出力する（Ｓ１８）。

【0056】

以上の構成により、音信号処理部１０は、音信号を取得し、取得した音信号に、音源の位置に応じた初期反射音のインパルス応答を畳み込んで初期反射音制御信号を生成する。また、音信号処理部１０は、取得した音信号に、音源の場所に応じた残響音のインパルス応答を畳み込んで残響音制御信号を生成する。

【0057】

例えば、図７の例では、音源６５は、ステージ６０の領域１１０Ｃに存在する。この場合、初期反射音制御信号は、図８に示すＦＩＲフィルタＲＡ～ＲＪで初期反射音制御信号が生成される。仮に、音源６５がステージ６０の領域１１０Ｂに移動すると、初期反射音制御信号は、図８に示すＦＩＲフィルタＣＡ～ＣＪで生成される。また、仮に、音源６５がステージ６０の領域１１０Ａに移動すると、初期反射音制御信号は、図８に示すＦＩＲフィルタＬＡ～ＬＪで生成される。この様に、音信号処理部１０は、音源の位置に応じてＦＩＲフィルタのフィルタ係数を変更することで、従来よりも、より自然な音像の定位感と空間の拡がりを実現することができる。

【0058】

ただし、指向性マイク１１Ａ～Ｃ、無指向性マイク１２Ａ～Ｃから取得した音信号から初期反射音制御信号および残響音制御信号を生成してもよい。例えば、図７の例では、音源６５は、ステージ６０の右側に存在する。この場合、指向性マイク１１Ｃで取得した音信号のレベルが高くなる。したがって、初期反射音制御信号は、図８に示すＦＩＲフィルタＲＡ～ＲＪで生成される初期反射音制御信号のレベルが優位になる。仮に、音源６５がステージ６０の中央に移動すると、指向性マイク１１Ｂで取得した音信号のレベルが高くなる。したがって、初期反射音制御信号は、図８に示すＦＩＲフィルタＣＡ～ＣＪで生成される初期反射音制御信号のレベルが優位になる。また、仮に、音源６５がステージ６０の左側に移動すると、指向性マイク１１Ｃで取得した音信号のレベルが高くなる。したがって、初期反射音制御信号は、図８に示すＦＩＲフィルタＬＡ～ＬＪで生成される初期反射音制御信号のレベルが優位になる。すなわち、音信号処理部１０は、音源の位置を検出することなく、音源の位置に応じてＦＩＲフィルタのフィルタ係数を変更することができる。この様に、音信号処理部１０は、音源の位置に応じてＦＩＲフィルタのフィルタ係数を変更することで、従来よりも、より自然な初期反射音の定位感と響きを再現することができる。

【0059】

図９は、変形例１に係る音信号処理部１０の構成を示すブロック図である。図９のインパルス応答取得部１５１は、位置情報取得部２９から音源６５の位置情報を取得する。 インパルス応答取得部１５１は、取得した位置情報に基づいて、ＦＩＲフィルタ２４ＡおよびＦＩＲフィルタ２４Ｂに設定するフィルタ係数をインパルス応答のデータから取得する。図７に示した様に、インパルス応答のデータは、音源の位置に応じて複数取得する。図７の例では、インパルス応答のデータは、第１インパルス応答、第２インパルス応答、および第３インパルス応答を有する。それぞれのインパルス応答は、それぞれの音源の位置情報に対応付けられている。

【0060】

インパルス応答取得部１５１は、取得した音源の位置情報に対応するインパルス応答のデータを取得する。例えば、インパルス応答取得部１５１は、音源６５の位置がステージ６０の左側である場合、第１インパルス応答のデータをメモリ３１から読み出し、ＦＩＲフィルタ２４Ａに設定する。インパルス応答取得部１５１は、音源６５の位置がステージ６０の中央である場合、第２インパルス応答のデータをメモリ３１から読み出し、ＦＩＲフィルタ２４Ａに設定する。インパルス応答取得部１５１は、音源６５の位置がステージ６０の右側である場合、第３インパルス応答のデータをメモリ３１から読み出し、ＦＩＲフィルタ２４Ａに設定する。

【0061】

この様に、図９の例では、音信号処理部１０は、音源の位置情報に基づいて、ＦＩＲフィルタ２４Ａに設定するフィルタ係数を変更する。

【0062】

なお、インパルス応答のデータは、図７の例の様に、３つに限らない。例えば、インパルス応答取得部１５１は、さらに多数の位置毎にインパルス応答のデータを取得することで、より自然な音像の定位感と空間の拡がりを実現することができる。

【0063】

図１０は、変形例２に係る音信号処理部１０の構成を示すブロック図である。図１０の音信号処理部１０は、ゲイン調整部２２およびミキサ２３に変えて、マトリクスミキサ２３Ｍを備えている。

【0064】

マトリクスミキサ２３Ｍは、指向性マイク１１Ａ、指向性マイク１１Ｂ、指向性マイク１１Ｃ、無指向性マイク１２Ａ、無指向性マイク１２Ｂ、および無指向性マイク１２Ｃで取得した音信号をそれぞれ所定のレベルでミキシングしてＦＩＲフィルタ２４ＡおよびＦＩＲフィルタ２４Ｂに分配する。

【0065】

マトリクスミキサ２３Ｍは、位置情報取得部２９で取得した音源の位置情報に基づいて、ＦＩＲフィルタ２４ＡおよびＦＩＲフィルタ２４Ｂに分配する音信号のレベルを制御する。

【0066】

例えば、音源６５の位置がステージ６０の領域１１０Ｂ内にある場合、マトリクスミキサ２３Ｍは、ＦＩＲフィルタＣＡ～ＦＩＲフィルタＣＪに出力する音信号のレベルを高くする。仮に、音源６５の位置がステージ６０の領域１１０Ａ内に移動した場合、マトリクスミキサ２３Ｍは、ＦＩＲフィルタＬＡ～ＦＩＲフィルタＬＪに出力する音信号のレベルを高くする。この様にして、マトリクスミキサ２３Ｍは、音源の位置に応じて、各マイクから各系統に出力する音信号のレベルを調整することで、ＦＩＲフィルタのフィルタ係数を変更することができる。

【0067】

なお、音源６５が、図７で示した領域１１０Ａ、領域１１０Ｂ、および領域１１０Ｃをまたがって移動する場合、マトリクスミキサ２３Ｍは、音信号をクロスフェードしてＦＩＲフィルタを変更することが好ましい。例えば、音源６５が、領域１１０Ａから領域１１０Ｂに移動する場合、マトリクスミキサ２３Ｍは、指向性マイク１１ＡからＦＩＲフィルタＬＡ～ＦＩＲフィルタＬＪに出力する音信号のレベルを徐々に低くして、指向性マイク１１ＢからＦＩＲフィルタＣＡ～ＦＩＲフィルタＣＪに出力する音信号のレベルを徐々に高くする。この場合、マトリクスミキサ２３Ｍは、クロスフェード処理部に対応する。

【0068】

すなわち、音信号処理部１０は、第１インパルス応答から第２インパルス応答に切り替える際に、第１インパルス応答を畳み込む音信号と、第２インパルス応答を畳み込む音信号と、をクロスフェードする。

【0069】

これにより、音信号処理部１０は、さらに滑らかで自然な音源の移動感を演出することができる。

【0070】

なお、無指向性マイク１２Ａ、無指向性マイク１２Ｂ、および無指向性マイク１２Ｃは、音源６５の直接音および室６２内の反射音等を含む、室６２内の全体の音を収音する。したがって、音信号処理部１０が、無指向性マイク１２Ａ、無指向性マイク１２Ｂ、および無指向性マイク１２Ｃで取得した音信号を用いて残響音制御信号を生成すれば、ステージの音も観客席の音も同じ残響が再現される。よって、例えば演者の音でも観客の拍手の音でも同じ残響が再現され、演者と観客は一体感を得ることができる。

【0071】

また、初期反射音は、空間内を多重反射した残響音に比べて、反射回数が少ない。このため、初期反射音のエネルギーは、残響音のエネルギーよりも高い。したがって、初期反射音制御信号を出力するスピーカは、１個あたりのレベルを高くすることで、初期反射音が持つ主観的な印象付けの効果を向上させることができ、初期反射音の制御性を高めることができる。

【0072】

また、初期反射音制御信号を出力するスピーカは、個数を少なくすることで、過剰な拡散音エネルギーの上昇を抑えることができる。すなわち、初期反射音制御信号による室内の残響延長を抑制でき、初期反射音の制御性を高めることができる。

【0073】

初期反射音制御信号を出力するスピーカは、観客に近い位置である室内の側方に設置することで、初期反射音を観客に届けるのに制御し易く、初期反射音の制御性を高めることができる。また、残響音制御信号を出力するスピーカは、室内の天井に設置することで、観客の位置による残響音の差を抑制できる。

【0074】

本実施形態の説明は、すべての点で例示であって、制限的なものではない。本発明の範囲は、上述の実施形態ではなく、特許請求の範囲によって示される。さらに、本発明の範囲には、特許請求の範囲と均等の意味および範囲内でのすべての変更が含まれることが意図される。

【符号の説明】

【0075】

１…音場支援システム
１０…音信号処理部
１１Ａ，１１Ｂ，１１Ｃ…指向性マイク
１２Ａ，１２Ｂ，１２Ｃ…無指向性マイク
２１…音信号取得部
２２…ゲイン調整部
２３…ミキサ
２３Ｍ…マトリクスミキサ
２４Ａ，２４Ｂ…ＦＩＲフィルタ
２５Ａ，２５Ｂ…レベル設定部
２６…出力信号生成部
２７…出力部
２８…遅延調整部
２９…位置情報取得部
３１…メモリ
５１Ａ～５１Ｊ…スピーカ
６０…ステージ
６１Ａ～６１Ｆ…スピーカ
６２…室
６５…音源
１５１…インパルス応答取得部
１５２…レベルバランス調整部
５１０Ａ～５１０Ｊ…指向性マイク
６２０…空間

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】