特許 7524613 音信号処理方法、音信号処理装置および音信号処理プログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-07-22

(45)【発行日】2024-07-30

(54)【発明の名称】音信号処理方法、音信号処理装置および音信号処理プログラム

(51)【国際特許分類】

   G10K 15/12 20060101AFI20240723BHJP

   G10K 15/00 20060101ALI20240723BHJP

   H04R 3/12 20060101ALI20240723BHJP

   H04R 3/00 20060101ALI20240723BHJP

【ＦＩ】

G10K15/12

G10K15/00 L

H04R3/12 Z

H04R3/00 320

【請求項の数】 9

(21)【出願番号】P 2020096756

(22)【出願日】2020-06-03

(65)【公開番号】P2021189363

(43)【公開日】2021-12-13

【審査請求日】2023-04-20

(73)【特許権者】

【識別番号】000004075

【氏名又は名称】ヤマハ株式会社

(74)【代理人】

【識別番号】110000970

【氏名又は名称】弁理士法人 楓国際特許事務所

(72)【発明者】

【氏名】橋本 悌

(72)【発明者】

【氏名】渡辺 隆行

【審査官】冨澤 直樹

(56)【参考文献】

【文献】特開２０１６－０９０７９４（ＪＰ，Ａ）

【文献】特開２０１５－００８３９５（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ１０Ｋ １５／１２

Ｇ１０Ｋ １５／００

Ｈ０４Ｒ ３／００－３／１４

Ｈ０４Ｓ １／００－７／００

(57)【特許請求の範囲】

【請求項1】

音信号を入力し、
前記音信号から初期反射音制御信号および残響音制御信号をそれぞれ生成し、
前記音信号の音量を制御して複数に分配して直接音制御信号を生成し、
前記直接音制御信号、前記初期反射音制御信号、および前記残響音制御信号をミキシングして出力信号を生成する、
音信号処理方法であって、
予め所定の空間で測定された初期反射音および残響音のインパルス応答を取得し、
前記初期反射音のインパルス応答を前記音信号に畳み込んで前記初期反射音制御信号を生成し、
前記残響音のインパルス応答を前記音信号に畳み込んで前記残響音制御信号を生成し、
前記残響音のインパルス応答を畳み込む音信号を、無指向性マイクから入力する、
音信号処理方法。

【請求項2】

前記音信号をライン入力する、
請求項１に記載の音信号処理方法。

【請求項3】

前記音信号を、演者に設置されたマイクから入力する、
請求項１または請求項２に記載の音信号処理方法。

【請求項4】

前記マイクは、指向性マイクを含む、
請求項３に記載の音信号処理方法。

【請求項5】

音信号を取得する音信号取得部と、
前記音信号から初期反射音制御信号を生成する初期反射音制御信号生成部と、
前記音信号から残響音制御信号を生成する残響音制御信号生成部と、
前記音信号の音量を制御して複数に分配することで直接音制御信号を生成する直接音制御信号生成部と、
前記直接音制御信号、前記初期反射音制御信号および前記残響音制御信号をミキシングして出力信号を生成する出力信号生成部と、
を備えた音信号処理装置であって、
前記初期反射音制御信号生成部および前記残響音制御信号生成部は、
予め所定の空間で測定された初期反射音および残響音のインパルス応答を取得し、
前記初期反射音のインパルス応答を前記音信号に畳み込んで前記初期反射音制御信号を生成し、
前記残響音のインパルス応答を前記音信号に畳み込んで前記残響音制御信号を生成し、
前記音信号取得部は、前記残響音のインパルス応答を畳み込む音信号を、無指向性マイクから入力する、
音信号処理装置。

【請求項6】

前記音信号取得部は、前記音信号をライン入力する、
請求項５に記載の音信号処理装置。

【請求項7】

前記音信号取得部は、前記音信号を、演者に設置されたマイクから入力する、
請求項５または請求項６に記載の音信号処理装置。

【請求項8】

前記マイクは、指向性マイクを含む、
請求項７に記載の音信号処理装置。

【請求項9】

音信号を取得し、
前記音信号から初期反射音制御信号および残響音制御信号をそれぞれ生成し、
前記音信号の音量を制御して複数に分配して直接音制御信号を生成し、
前記直接音制御信号、前記初期反射音制御信号および前記残響音制御信号をミキシングして出力信号を生成する、
処理を音信号処理装置に実行させる音信号処理プログラムであって、
前記音信号処理装置に、
予め所定の空間で測定された初期反射音および残響音のインパルス応答を取得し、
前記初期反射音のインパルス応答を前記音信号に畳み込んで前記初期反射音制御信号を生成し、
前記残響音のインパルス応答を前記音信号に畳み込んで前記残響音制御信号を生成し、
前記残響音のインパルス応答を畳み込む音信号を、無指向性マイクから入力する、
処理を実行させる音信号処理プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

この発明の一実施形態は、取得した音信号に対して処理を行なう音信号処理方法、音信号処理装置および音信号処理プログラムに関する。

【背景技術】

【0002】

コンサートホール等の施設では、様々なジャンルの音楽が演奏されたり、講演等のスピーチが行なわれたりする。このような施設は、多様な音響特性（例えば残響特性）が求められる。例えば、演奏では比較的長い残響が求められ、スピーチでは比較的短い残響が求められる。

【0003】

しかし、ホール内の残響特性を物理的に変化させるには、例えば天井を移動させる等して音響空間の大きさを変化させる必要があり、非常に大がかりな設備が必要であった。

【0004】

そこで、例えば特許文献１に示すような音場制御装置は、マイクで取得した音をＦＩＲ（Finite Impulse Response）フィルタで処理することにより残響音を生成し、ホール内に設置されたスピーカから当該残響音を出力することで、音場を支援する処理を行なっている。

【先行技術文献】

【特許文献】

【0005】

【文献】特開平６－２８４４９３号公報

【発明の概要】

【発明が解決しようとする課題】

【0006】

しかし、残響音を付与するだけでは定位感がぼやける。近時、より明瞭な音像定位と豊かな空間の拡がりを実現することが望まれている。

【0007】

そこで、この発明の一実施形態は、より豊かな音響空間を制御する音信号処理方法および音信号処理装置を提供することを目的とする。

【課題を解決するための手段】

【0008】

音信号処理方法は、音信号を入力し、前記音信号から初期反射音制御信号および残響音制御信号をそれぞれ生成し、前記音信号の音量を制御して複数に分配して直接音制御信号を生成し、前記直接音制御信号、前記初期反射音制御信号および前記残響音制御信号をミキシングして出力信号を生成する。

【発明の効果】

【0009】

音信号処理方法は、より明瞭な音像定位および豊かな空間の拡がりを実現することができる。

【図面の簡単な説明】

【0010】

【図1】実施形態１の空間を模式的に示した透過斜視図である。

【図2】実施形態１の音場支援システムの構成を示すブロック図である。

【図3】音信号処理装置の動作を示すフローチャートである。

【図4】室６２、スピーカ５１Ａ～スピーカ５１Ｊ、および音源６５の関係を模式的に示した平面図である。

【図5】図５（Ａ）は、フィルタ係数に用いるインパルス応答の時間波形における音の種類の分類例を示す模式図であり、図５（Ｂ）は、ＦＩＲフィルタ２４Ａに設定するフィルタ係数の時間波形を示す模式図である。

【図6】図６（Ａ）は、ＦＩＲフィルタ２４Ｂに設定するインパルス応答を示す模式図であり、図６（Ｂ）は、ＦＩＲフィルタ２４Ｂに設定するフィルタ係数の時間波形を示す模式図である。

【図7】空間６２０と室６２との関係を模式的に示した平面図である。

【発明を実施するための形態】

【0011】

図１は、空間を構成する室６２を模式的に示した透過斜視図である。図２は、音場支援システム１の構成を示すブロック図である。

【0012】

室６２は、概ね直方体形状の空間を構成する。音源６５は、室６２のうち前方のステージ６０上に存在する。室６２の後方はリスナの座る観客席に相当する。音源６５は、例えば声、歌唱音、アコースティック楽器、エレキ楽器、または電子楽器等である。

【0013】

なお、室６２の形状、および音源の配置等は、図１の例に限らない。本発明の音信号処理方法および音信号処理装置は、どの様な形状の空間であっても所望の音場を提供でき、従来よりもより豊かな音像および空間の拡がりを実現することができる。

【0014】

音場支援システム１は、室６２内に、指向性マイク１１Ａ、指向性マイク１１Ｂ、指向性マイク１１Ｃ、無指向性マイク１２Ａ、無指向性マイク１２Ｂ、無指向性マイク１２Ｃ、スピーカ５１Ａ～スピーカ５１Ｊ、スピーカ６１Ａ～スピーカ６１Ｆを備える。

【0015】

スピーカ５１Ａ～スピーカ５１Ｊは、壁面に設定されている。スピーカ５１Ａ～スピーカ５１Ｊは、比較的指向性の高いスピーカであり、主に観客席に向けて音を出力する。スピーカ５１Ａ～スピーカ５１Ｊは、初期反射音を再現した初期反射音制御信号を出力する。また、スピーカ５１Ａ～スピーカ５１Ｊは、音源の直接音を再現した直接音制御信号を出力する。

【0016】

スピーカ６１Ａ～スピーカ６１Ｆは、天井に設置されている。スピーカ６１Ａ～スピーカ６１Ｆは、比較的指向性の低いスピーカであり、室６２の全体に音を出力する。スピーカ６１Ａ～スピーカ６１Ｆは、残響音を再現した残響音制御信号を出力する。また、スピーカ６１Ａ～スピーカ６１Ｆは、音源の直接音を再現した直接音制御信号を出力する。なお、スピーカの数は、図１に示す数に限らない。

【0017】

指向性マイク１１Ａ、指向性マイク１１Ｂ、および指向性マイク１１Ｃは、主に、ステージ上の音源６５の音を収音する。ただし、図２に示す様に、音源６５の音は、ライン入力してもよい。ライン入力とは、楽器等の音源から出力される音をマイクで収音して入力するのではなく、音源に接続されたオーディオケーブル等から音信号を入力することである。あるいは、音源６５の音は、話者または歌唱者等の演者の音声または歌唱音をハンドマイク、スタンドマイク、ピンマイク等から入力してもよい。音源の音は、高いＳＮ比で収音することが好ましい。

【0018】

無指向性マイク１２Ａ、無指向性マイク１２Ｂ、および無指向性マイク１２Ｃは、天井に設置される。無指向性マイク１２Ａ、無指向性マイク１２Ｂ、および無指向性マイク１２Ｃは、音源６５の直接音および室６２内の反射音等を含む、室６２内の全体の音を収音する。図１に示す指向性マイクおよび無指向性マイクの数はそれぞれ３つである。ただし、マイクの数は、図１に示す例に限らない。また、マイクおよびスピーカの設置位置は、図１に示す例に限るものではない。

【0019】

図２において、音場支援システム１は、図１に示した構成に加えて、音信号処理部１０と、メモリ３１と、を備えている。音信号処理部１０は、主にＣＰＵおよびＤＳＰ（Digital Signal Processor）から構成される。音信号処理部１０は、機能的に、音信号取得部２１、ゲイン調整部２２、ミキサ２３、パニング処理部２３Ｄ、ＦＩＲ（Finite Impulse Response）フィルタ２４Ａ、ＦＩＲフィルタ２４Ｂ、レベル設定部２５Ａ、レベル設定部２５Ｂ、出力信号生成部２６、出力部２７、遅延調整部２８、位置情報取得部２９、インパルス応答取得部１５１、およびレベルバランス調整部１５２を備える。音信号処理部１０は、本発明の音信号処理装置の一例である。

【0020】

音信号処理部１０を構成するＣＰＵは、メモリ３１に記憶されている動作用プログラムを読み出して、各構成を制御する。ＣＰＵは、該動作用プログラムにより、機能的に、位置情報取得部２９、インパルス応答取得部１５１、およびレベルバランス調整部１５２を構成する。なお、動作用プログラムは、メモリ３１に記憶されている必要はない。ＣＰＵは、例えば不図示のサーバから都度、動作用プログラムをダウンロードしてもよい。

【0021】

図３は、音信号処理部１０の動作を示すフローチャートである。まず、音信号取得部２１は、音信号を取得する（Ｓ１１）。音信号取得部２１は、指向性マイク１１Ａ、指向性マイク１１Ｂ、指向性マイク１１Ｃ、無指向性マイク１２Ａ、無指向性マイク１２Ｂ、および無指向性マイク１２Ｃから音信号を取得する。あるいは、音信号取得部２１は、エレキ楽器または電子楽器等から音信号をライン入力してもよい。また、音信号取得部２１は、ピンマイク等の楽器または演者に直接設置されたマイクから音信号を入力してもよい。音信号取得部２１は、アナログ信号を取得した場合には、デジタル信号に変換して出力する。

【0022】

ゲイン調整部２２は、音信号取得部２１で取得した音信号のゲインを調整する。ゲイン調整部２２は、例えば、音源６５に近い位置の指向性マイクのゲインを高く設定する。なお、ゲイン調整部２２は、本発明において必須の構成ではない。

【0023】

ミキサ２３は、ゲイン調整部２２でゲイン調整した音信号をミキシングする。また、ミキサ２３は、ミキシングした音信号を複数の信号処理系統に分配する。

【0024】

ミキサ２３は、分配した音信号をパニング処理部２３Ｄ、ＦＩＲフィルタ２４Ａ、およびＦＩＲフィルタ２４Ｂに出力する。

【0025】

例えば、ミキサ２３は、指向性マイク１１Ａ、指向性マイク１１Ｂ、および指向性マイク１１Ｃから取得した音信号をスピーカ５１Ａ～スピーカ５１Ｊに合わせて、１０個の信号処理系統に分配する。あるいは、ミキサ２３は、ライン入力した音信号をスピーカ５１Ａ～スピーカ５１Ｊに合わせて、１０個の信号処理系統に分配してもよい。

【0026】

また、ミキサ２３は、無指向性マイク１２Ａ、無指向性マイク１２Ｂ、および無指向性マイク１２Ｃから取得した音信号をスピーカ６１Ａ～スピーカ６１Ｆに合わせて、６つの信号処理系統に分配する。

【0027】

ミキサ２３は、１０個の信号処理系統にミキシングした音信号を、それぞれパニング処理部２３ＤおよびＦＩＲフィルタ２４Ａに出力する。また、ミキサ２３は、６つの信号処理系統にミキシングした音信号をＦＩＲフィルタ２４Ｂに出力する。

【0028】

以後、ＦＩＲフィルタ２４Ｂに出力する６つの信号処理系統は、第１系統または残響音系統と称し、ＦＩＲフィルタ２４Ａに出力する１０の信号処理系統は、第２系統または初期反射音系統と称する。また、パニング処理部２３Ｄに出力する１０の信号処理系統は、第３系統または直接音系統と称する。ＦＩＲフィルタ２４Ａは、初期反射音制御信号生成部に対応し、ＦＩＲフィルタ２４Ｂは、残響音制御信号生成部に対応する。パニング処理部２３Ｄは、直接音制御信号生成部に対応する。

【0029】

なお、分配の態様は、上記例に限らない。例えば、無指向性マイク１２Ａ、無指向性マイク１２Ｂ、および無指向性マイク１２Ｃから取得した音信号は、直接音系統または初期反射音系統に分配してもよい。また、ライン入力した音信号を残響音系統に分配してもよい。また、ライン入力した音信号と、無指向性マイク１２Ａ、無指向性マイク１２Ｂ、および無指向性マイク１２Ｃから取得した音信号と、をミキシングして直接音系統または初期反射音系統に分配してもよい。

【0030】

なお、ミキサ２３は、ＥＭＲ（Electronic Microphone Rotator）の機能を備えていてもよい。ＥＭＲは、固定されたマイクとスピーカとの間の伝達関数を時間的に変化させることで、フィードバックループの周波数特性を平坦化する手法である。ＥＭＲは、マイクと信号処理系統の接続関係を時々刻々と切り換える機能である。ミキサ２３は、指向性マイク１１Ａ、指向性マイク１１Ｂ、および指向性マイク１１Ｃから取得した音信号の出力先を切り換えるようにしてパニング処理部２３ＤおよびＦＩＲフィルタ２４Ａに出力する。あるいは、ミキサ２３は、無指向性マイク１２Ａ、無指向性マイク１２Ｂ、および無指向性マイク１２Ｃから取得した音信号の出力先を切り換えるようにしてＦＩＲフィルタ２４Ｂに出力する。これにより、ミキサ２３は、室６２においてスピーカからマイクに至る音響帰還系の周波数特性を平坦化できる。また、ミキサ２３は、ハウリングに対する安定性を確保することができる。

【0031】

次に、パニング処理部２３Ｄは、音源６５の位置に応じて、直接音系統のそれぞれの音信号の音量を制御する（Ｓ１２）。これにより、パニング処理部２３Ｄは、直接音制御信号を生成する。

【0032】

図４は、室６２、スピーカ５１Ａ～スピーカ５１Ｊ、および音源６５の関係を模式的に示した平面図である。図４の例では、音源６５は、観客席から向かってステージの右側の場所に位置する。パニング処理部２３Ｄは、音源６５の位置に音像が定位する様に、直接音系統のそれぞれの音信号の音量を制御する。

【0033】

パニング処理部２３Ｄは、位置情報取得部２９から音源６５の位置情報を取得する。位置情報は、室６２のある位置を基準とした２次元または３次元の座標を示す情報である。音源６５の位置情報は、例えばＢｌｕｅｔｏｏｔｈ（登録商標）等の電波を送受信するビーコンおよびタグで取得できる。室６２は、予め少なくとも３つのビーコンを設置している。音源６５は、タグを備える。つまり、演者または楽器は、タグを取り付ける。各ビーコンは、タグに電波を送受信する。各ビーコンは、電波を送信してから受信するまでの時間差に基づいて、タグとの距離を計測する。位置情報取得部２９は、ビーコンの位置情報を予め取得しておけば、少なくとも３つのビーコンからタグまでの距離をそれぞれ測定することで、タグの位置を一意に求めることができる。

【0034】

位置情報取得部２９は、この様にして測定したタグの位置情報を取得することで、音源６５の位置情報を取得する。また、位置情報取得部２９は、スピーカ５１Ａ～スピーカ５１Ｊ、およびスピーカ６１Ａ～スピーカ６１Ｆのそれぞれの位置情報を予め取得する。

【0035】

パニング処理部２３Ｄは、取得した位置情報およびスピーカ５１Ａ～スピーカ５１Ｊ、およびスピーカ６１Ａ～スピーカ６１Ｆの位置情報に基づいて、音源６５の位置に音像が定位する様にスピーカ５１Ａ～スピーカ５１Ｊ、およびスピーカ６１Ａ～スピーカ６１Fに出力するそれぞれの音信号の音量を制御することで、直接音制御信号を生成する。

【0036】

パニング処理部２３Ｄは、音源６５と、スピーカ５１Ａ～スピーカ５１Ｊ、およびスピーカ６１Ａ～スピーカ６１Ｆのそれぞれのスピーカとの距離に応じて音量を制御する。例えば、パニング処理部２３Ｄは、音源６５の位置に近いスピーカに出力する音信号の音量を大きくし、音源６５の位置から遠いスピーカに出力する音信号の音量を小さくする。これにより、パニング処理部２３Ｄは、音源６５の音像を所定の位置に定位させることができる。例えば、図４の例では、パニング処理部２３Ｄは、音源６５に近い３つのスピーカ５１Ｆ、５１Ｇ、および５１Ｈに出力する音信号の音量を大きく、他のスピーカの音量を小さくする。これにより、音源６５の音像は、観客席から向かってステージの右側に定位する。

【0037】

仮に、音源６５がステージの左側に移動すると、パニング処理部２３Ｄは、移動した音源６５の位置情報に基づいて、スピーカ５１Ａ～スピーカ５１Ｊ、スピーカ６１Ａ～スピーカ６１Ｆに出力するそれぞれの音信号の音量を変更する。例えば、パニング処理部２３Ｄは、スピーカ５１Ａ、５１Ｂ、および５１Ｆに出力する音信号の音量を大きく、他のスピーカの音量を小さくする。これにより、音源６５の音像は、観客席から向かってステージの左側に定位する。

【0038】

以上の様にして、音信号処理部１０は、ミキサ２３およびパニング処理部２３Ｄにより、本発明の分配処理部を実現する。

【0039】

次に、ＦＩＲフィルタ２４ＡおよびＦＩＲフィルタ２４Ｂは、間接音生成処理を行う（Ｓ１３）。間接音生成処理は、初期反射音を再現した初期反射音制御信号および残響音を再現した残響音制御信号をそれぞれ個別に生成する処理である。ＦＩＲフィルタ２４ＡおよびＦＩＲフィルタ２４Ｂは、本発明の間接音生成部に対応する。

【0040】

まず、インパルス応答取得部１５１は、ＦＩＲフィルタ２４ＡおよびＦＩＲフィルタ２４Ｂのフィルタ係数をそれぞれ設定する。ここで、フィルタ係数に設定するインパルス応答データについて説明する。図５（Ａ）は、フィルタ係数に用いるインパルス応答の時間波形における音の種類の分類例を示す模式図であり、図５（Ｂ）は、ＦＩＲフィルタ２４Ａに設定するフィルタ係数の時間波形を示す模式図である。図６（Ａ）、図６（Ｂ）は、ＦＩＲフィルタ２４Ｂに設定するフィルタ係数の時間波形を示す模式図である。

【0041】

図５（Ａ）に示すように、インパルス応答は、時間軸上に並ぶ、直接音、初期反射音、および、残響音に区別できる。そして、ＦＩＲフィルタ２４Ａに設定するフィルタ係数は、図５（Ｂ）に示すように、インパルス応答における直接音および残響音を除いた初期反射音の部分によって設定される。ＦＩＲフィルタ２４Ｂに設定するフィルタ係数は、図６（Ａ）に示すように、インパルス応答における直接音および初期反射音を除いた残響音によって設定される。なお、ＦＩＲフィルタ２４Ｂは、図６（Ｂ）に示すように、インパルス応答における直接音を除いた初期反射音と残響音によって設定されていてもよい。

【0042】

インパルス応答のデータは、メモリ３１に記憶されている。インパルス応答取得部１５１は、メモリ３１からインパルス応答のデータを取得する。ただし、インパルス応答のデータは、メモリ３１に記憶されている必要はない。インパルス応答取得部１５１は、インパルス応答のデータを、例えば、不図示のサーバ等から都度ダウンロードしてもよい。

【0043】

インパルス応答取得部１５１は、予め初期反射音だけ切り出されたインパルス応答のデータを取得して、ＦＩＲフィルタ２４Ａに設定してもよい。あるいは、インパルス応答取得部１５１は、直接音、初期反射音、および残響音の含まれたインパルス応答のデータを取得して、初期反射音だけを切り出してＦＩＲフィルタ２４Ａに設定してもよい。同様に、インパルス応答取得部１５１は、残響音のみを用いる場合には、予め残響音だけ切り出されたインパルス応答のデータを取得して、ＦＩＲフィルタ２４Ｂに設定してもよい。あるいは、インパルス応答取得部１５１は、直接音、初期反射音、および残響音の含まれたインパルス応答のデータを取得して、残響音だけを切り出してＦＩＲフィルタ２４Ｂに設定してもよい。

【0044】

図７は、空間６２０と室６２との関係を模式的に示した平面図である。図７に示す様に、インパルス応答のデータは、音場を再現する対象となるコンサートホールまたは教会等の所定の空間６２０で予め測定する。例えば、インパルス応答のデータは、音源６５の位置でテスト音（パルス音）を発し、マイクで収音することにより測定する。

【0045】

インパルス応答のデータは、空間６２０のどの位置で取得してもよい。ただし、初期反射音のインパルス応答のデータは、壁面の近傍に設置した指向性マイクを用いて測定することが好ましい。初期反射音は、到来方向の明確な反射音である。したがって、インパルス応答のデータは、壁面の近傍に設置した指向性マイクで測定することで、対象の空間の反射音データを緻密に取得することができる。一方で、残響音は、音の到来方向の定まらない反射音である。したがって、残響音のインパルス応答のデータは、上記壁面の近傍に設置した指向性マイクで測定してもよいし、初期反射音とは別の無指向性マイクを用いて測定してもよい。

【0046】

ＦＩＲフィルタ２４Ａは、第２系統の１０個の音信号に、それぞれ異なるインパルス応答のデータを畳み込む。なお、複数の信号処理系統がある場合、ＦＩＲフィルタ２４ＡおよびＦＩＲフィルタ２４Ｂは、信号処理系統毎に設けてもよい。例えば、ＦＩＲフィルタ２４Ａは、１０個、備えていてもよい。

【0047】

上記の様に、壁面の近傍に設置した指向性マイクを用いる場合、インパルス応答のデータは、信号処理系統毎に別々の指向性マイクで測定する。例えば、図７に示す様に、ステージ６０に向かって右後方に設置されたスピーカ５１Ｊに対応する信号処理系統に対して、インパルス応答のデータは、ステージ６０に向かって右後方の壁面の近傍に設置した指向性マイク５１０Ｊで測定する。

【0048】

ＦＩＲフィルタ２４Ａは、第２系統のそれぞれの音信号にインパルス応答のデータを畳み込む。ＦＩＲフィルタ２４Ｂは、第１系統のそれぞれの音信号にインパルス応答のデータを畳み込む。

【0049】

ＦＩＲフィルタ２４Ａは、入力した音信号に、設定された初期反射音のインパルス応答のデータを畳み込むことで、所定の空間の初期反射音を再現した初期反射音制御信号を生成する。ＦＩＲフィルタ２４Ｂは、入力した音信号に、設定された残響音のインパルス応答のデータを畳み込むことで、所定の空間の残響音を再現した残響音制御信号を生成する。

【0050】

レベル設定部２５Ａは、初期反射音制御信号のレベル調整を行なう。レベル設定部２５Ｂは、残響音制御信号のレベル調整を行なう。レベルバランス調整部１５２は、パニング処理部２３Ｄ、レベル設定部２５Ａ、およびレベル設定部２５Ｂのレベル調整量を設定する。レベルバランス調整部１５２は、直接音制御信号、初期反射音制御信号、および残響音制御信号のそれぞれのレベルを参照し、これらの信号のレベルバランスを整える。例えば、レベルバランス調整部１５２は、直接音制御信号のうち時間的に最後のレベルと、初期反射音制御信号のうち時間的に最初の成分のレベルバランスを整える。また、レベルバランス調整部１５２は、初期反射音制御信号のうち時間的に最後の成分のレベルと、残響音制御信号のうち時間的に最初の成分のレベルとのバランスを整える。あるいは、レベルバランス調整部１５２は、初期反射音制御信号のうち時間的に後半部分となる複数成分のパワーと、残響音制御信号のうち時間的に前半部分となる成分のパワーとのバランスを整えてもよい。これにより、レベルバランス調整部１５２は、直接音制御信号、初期反射音制御信号、および残響音制御信号の音を個別に制御し、適用する空間に合わせて、適切なバランスに制御することができる。

【0051】

遅延調整部２８は、任意のマイクと複数のスピーカとの距離に応じて、遅延時間を調整する。例えば、遅延調整部２８は、複数のスピーカにおいて、指向性マイク１１Bとスピーカとの距離が短い順に、遅延時間を小さく設定する。或いは、遅延調整部２８は、音場を再現する空間６２０でのインパルス応答を測定する音源とマイクの位置から遅延時間を調整する。例えば、ＦＩＲフィルタ２４Ａにおいて、スピーカ５１Ｊに空間６２０内に設置した指向性マイク５１０Ｊで測定したインパルス応答データを畳み込む場合、遅延調整部２８におけるスピーカ５１Ｊの遅延時間は、空間６２０の指向性マイク５１０Ｊと音源６５の距離に相当する遅延時間を設定する。これにより、初期反射音制御信号および残響音制御信号は、直接音制御信号よりも遅れてリスナに到達し、明瞭な音像定位と豊かな空間の拡がりを実現する。

【0052】

なお、音信号処理部１０は、直接音制御信号に遅延調整を行わないことが好ましい。仮に、遅延調整により音像定位を制御する場合、音源６５の位置が短時間の間に大きく変化すると、複数のスピーカから出力された音同士で位相干渉を起こす。音信号処理部１０は、直接音制御信号に遅延調整を行わないことで、音源６５の位置が短時間に大きく変化した場合でも、位相干渉を起こすことなく、音源６５の音色を維持することができる。

【0053】

次に、出力信号生成部２６は、直接音制御信号、初期反射音制御信号、および残響音制御信号をミキシングして出力信号を生成する（Ｓ１４）。なお、出力信号生成部２６は、ミキシングの時に各信号のゲイン調整および周波数特性の調整等を行なってもよい。

【0054】

出力部２７は、出力信号生成部２６から出力される出力信号をアナログ信号に変換する。また、出力部２７は、アナログ信号を増幅する。出力部２７は、増幅したアナログ信号を対応するスピーカに出力する（Ｓ１５）。

【0055】

以上の構成により、音信号処理部１０は、音信号を取得し、該音信号の音量を制御して複数に分配し、該音信号から直接音制御信号、初期反射音制御信号および残響音制御信号をそれぞれ生成し、分配した音信号、直接音制御信号、初期反射音制御信号および残響音制御信号をミキシングして出力信号を生成する。これにより、音信号処理部１０は、従来よりも明瞭な音像定位と豊かな空間の拡がりを実現する。

【0056】

特に、音信号処理部１０は、音源の位置情報に基づいて複数のスピーカに分配する音信号の音量を制御することで音源の定位を実現するため、スピーカの数および配置等の再生環境に依存せずに、リアルタイムに明瞭な音像を、広範囲にわたって均一に定位させることができる。

【0057】

また、音信号処理部１０は、直接音制御信号に加えて初期反射音制御信号および残響音制御信号を複数のスピーカから出力する。これにより、観客は、直接音制御信号に加えて初期反射音制御信号および残響音制御信号を聴くことになる。よって、観客は、直接音制御信号の出力される特定のスピーカにのみ注意を傾けることがない。したがって、スピーカの数が少なく、スピーカ間の距離が広い場合であっても、特定のスピーカにのみ音像が定位することがない。

【0058】

なお、無指向性マイク１２Ａ、無指向性マイク１２Ｂ、および無指向性マイク１２Ｃは、音源６５の直接音および室６２内の反射音等を含む、室６２内の全体の音を収音する。したがって、音信号処理部１０が、無指向性マイク１２Ａ、無指向性マイク１２Ｂ、および無指向性マイク１２Ｃで取得した音信号を用いて残響音制御信号を生成すれば、ステージの音も観客席の音も同じ残響が再現される。よって、例えば演者の音でも観客の拍手の音でも同じ残響が再現され、観客は一体感を得ることができる。

【0059】

また、初期反射音は、空間内を多重反射した残響音に比べて、反射回数が少ない。このため、初期反射音のエネルギーは、残響音のエネルギーよりも高い。したがって、初期反射音制御信号を出力するスピーカは、１個あたりのレベルを高くすることで、初期反射音が持つ主観的な印象付けの効果を向上させることができ、初期反射音の制御性を高めることができる。

【0060】

また、初期反射音制御信号を出力するスピーカは、個数を少なくすることで、過剰な拡散音エネルギーの上昇を抑えることができる。すなわち、初期反射音制御信号による室内の残響延長を抑制でき、初期反射音の制御性を高めることができる。

【0061】

直接音制御信号および初期反射音制御信号を出力するスピーカは、観客に近い位置である室内の側方に設置することで、直接音および初期反射音を観客に届けるのに制御し易く、初期反射音の制御性を高めることができる。また、残響音制御信号を出力するスピーカは、室内の天井に設置することで、観客の位置による残響音の差を抑制できる。

【0062】

本実施形態の説明は、すべての点で例示であって、制限的なものではない。本発明の範囲は、上述の実施形態ではなく、特許請求の範囲によって示される。さらに、本発明の範囲には、特許請求の範囲と均等の意味および範囲内でのすべての変更が含まれることが意図される。

【符号の説明】

【0063】

１…音場支援システム
１０…音信号処理部
１１Ａ，１１Ｂ，１１Ｃ…指向性マイク
１２Ａ，１２Ｂ，１２Ｃ…無指向性マイク
２１…音信号取得部
２２…ゲイン調整部
２３…ミキサ
２３Ｄ…パニング処理部
２４Ａ，２４Ｂ…ＦＩＲフィルタ
２５Ａ，２５Ｂ…レベル設定部
２６…出力信号生成部
２７…出力部
２８…遅延調整部
２９…位置情報取得部
３１…メモリ
５１Ａ～５１Ｊ…スピーカ
６０…ステージ
６１Ａ～６１Ｆ…スピーカ
６２…室
６５…音源
１５１…インパルス応答取得部
１５２…レベルバランス調整部
５１０Ｊ…指向性マイク
６２０…空間

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】