特許 6983583 音響処理装置、音響処理システム、音響処理方法、及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6983583

(24)【登録日】2021年11月26日

(45)【発行日】2021年12月17日

(54)【発明の名称】音響処理装置、音響処理システム、音響処理方法、及びプログラム

(51)【国際特許分類】

   H04R 3/00 20060101AFI20211206BHJP

   H04R 29/00 20060101ALI20211206BHJP

【ＦＩ】

   H04R3/00 320

   H04R29/00 320

【請求項の数】18

【全頁数】27

(21)【出願番号】特願2017-166105(P2017-166105)

(22)【出願日】2017年8月30日

(65)【公開番号】特開2019-47220(P2019-47220A)

(43)【公開日】2019年3月22日

【審査請求日】2020年8月28日

(73)【特許権者】

【識別番号】000001007

【氏名又は名称】キヤノン株式会社

(74)【代理人】

【識別番号】100126240

【弁理士】

【氏名又は名称】阿部 琢磨

(74)【代理人】

【識別番号】100124442

【弁理士】

【氏名又は名称】黒岩 創吾

(72)【発明者】

【氏名】田中 克昌

【審査官】 大石 剛

(56)【参考文献】

【文献】 特開２０１０−２７８９１８（ＪＰ，Ａ）

【文献】 特開２０１３−０７８０１０（ＪＰ，Ａ）

【文献】 戸上 真人 Masahito TOGAMI，人間共生ロボット“ＥＭＩＥＷ”の聴覚機能 Auditory Ability of Human-Symbiotic robots "EMIEW"，ＡＩチャレンジ研究会（第２２回） ＳＩＧ−Ｃｈａｌｌｅｎｇｅ−０５２２ Proceedings of the 22nd Meeting of Special Interest Group on AI Challenges，日本，社団法人人工知能学会ＡＩチャレンジ研究会 Special Interest Group on AI Challenges Japanese Society for Artificial Intelligence，2006年

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｈ０４Ｒ ３／００

Ｈ０４Ｒ ２９／００

(57)【特許請求の範囲】

【請求項1】

マイクロフォンの状態を検出する検出手段と、
複数のマイクロフォンによる収音による収音信号に基づく音響信号であって、特定位置で聞こえるべき音響信号を生成する生成手段が前記音響信号の生成に用いるパラメータを、前記検出手段により検出された前記複数のマイクロフォンの少なくとも何れかの状態が変化した場合に、当該変化の後の前記複数のマイクロフォンの状態と前記特定位置とに基づいて決定する決定手段とを有し、
前記決定手段は、前記検出手段により検出された状態が変化した対象のマイクロフォンの当該変化の前の収音領域と当該変化の後の収音領域とが重ならない場合に、前記対象のマイクロフォンに対応するチャネルの収音信号が前記生成手段による前記音響信号の生成に用いられないように前記パラメータを決定することを特徴とする音響処理装置。

【請求項2】

前記決定手段は、前記検出手段により検出された前記複数のマイクロフォンの少なくとも何れかの状態が変化した場合に、当該変化の前の前記複数のマイクロフォンの状態と当該変化の後の前記複数のマイクロフォンの状態とに基づいて前記パラメータを決定することを特徴とする請求項１に記載の音響処理装置。

【請求項3】

前記検出手段は、マイクロフォンの位置及び向きの少なくとも何れかを前記状態として検出し、
前記決定手段は、前記複数のマイクロフォンの位置及び向きに基づいて前記パラメータを決定することを特徴とする請求項１又は２に記載の音響処理装置。

【請求項4】

前記決定手段により決定される前記パラメータは、前記生成手段による前記音響信号の生成における複数の収音信号の合成比率に関するパラメータを含むことを特徴とする請求項１乃至３の何れか１項に記載の音響処理装置。

【請求項5】

前記対象のマイクロフォンの収音領域は、前記対象のマイクロフォンの位置、向き及び指向性に応じて決まる領域であることを特徴とする請求項１乃至４のいずれか１項に記載の音響処理装置。

【請求項6】

前記決定手段は、前記検出手段により検出された前記複数のマイクロフォンのうちの第１マイクロフォン及び第２マイクロフォンの状態が変化した場合に、当該変化の前の前記第１マイクロフォンの収音領域と当該変化の後の前記第２マイクロフォンの収音領域とが重なるか否かに基づいて、前記パラメータを決定することを特徴とする請求項１乃至５の何れか１項に記載の音響処理装置。

【請求項7】

前記第１マイクロフォンと前記第２マイクロフォンとは、同一の機器に実装されており、且つ互いに異なる方向に指向性を有することを特徴とする請求項６に記載の音響処理装置。

【請求項8】

前記決定手段により決定される前記パラメータを用いて前記音響信号を生成する前記生成手段を有することを特徴とする請求項１乃至７の何れか１項に記載の音響処理装置。

【請求項9】

前記決定手段により決定される前記パラメータを、前記生成手段を有する装置へ出力する出力手段を有することを特徴とする請求項１乃至８の何れか１項に記載の音響処理装置。

【請求項10】

前記生成手段により生成される音響信号と共に再生される映像に対応する視点を示す視点情報を取得する取得手段を有し、
前記決定手段は、前記取得手段により取得される視点情報に基づいて前記パラメータを決定することを特徴とする請求項１乃至９の何れか１項に記載の音響処理装置。

【請求項11】

前記決定手段は、前記取得手段により取得される視点情報が示す視点の移動経路における始点位置、終点位置、及び前記検出手段により検出された状態が変化した対象のマイクロフォンに応じて決まる位置の何れかに対応する音響信号が前記生成手段により生成されるように、前記パラメータを決定することを特徴とする請求項１０に記載の音響処理装置。

【請求項12】

前記検出手段により検出された状態が変化した対象のマイクロフォンの状態を補正する制御を行う制御手段を有することを特徴とする請求項１乃至１１の何れか１項に記載の音響処理装置。

【請求項13】

請求項１乃至１２の何れか１項に記載の音響処理装置と、
前記複数のマイクロフォンと、
前記複数のマイクロフォンに設置されるセンサであって、ＧＰＳセンサ、ジャイロセンサ、加速度センサ及び重力センサの少なくとも何れかを含む複数のセンサとを有し、
前記検出手段は、前記複数のセンサにより取得される情報に基づいてマイクロフォンの状態を検出することを特徴とする音響処理システム。

【請求項14】

請求項１乃至１２の何れか１項に記載の音響処理装置と、
デイジーチェーン接続される複数の信号処理装置であって、それぞれの信号処理装置が前記複数のマイクロフォンのうちの対応するマイクロフォンにより収音された収音信号に対して信号処理を行う複数の信号処理装置を有し、
前記生成手段は、前記複数の信号処理装置による信号処理の結果に応じた収音信号を、前記決定手段により決定される前記パラメータを用いて合成することで、前記音響信号を生成することを特徴とする音響処理システム。

【請求項15】

音響処理システムが実行する音響処理方法であって、
マイクロフォンの状態を検出する検出工程と、
複数のマイクロフォンによる収音による収音信号に基づく音響信号であって、特定位置で聞こえるべき音響信号を生成するために用いられるパラメータを、前記複数のマイクロフォンの少なくとも何れかの状態が変化した場合に、当該変化の後の前記複数のマイクロフォンの状態に基づいて決定する決定工程と、
前記決定工程において決定された前記パラメータを用いて複数の収音信号を合成することで前記音響信号を生成する生成工程とを有し、
前記決定工程は、前記検出工程において検出された状態が変化した対象のマイクロフォンの当該変化の前の収音領域と当該変化の後の収音領域とが重ならない場合に、前記対象のマイクロフォンに対応するチャネルの収音信号が前記生成工程において前記音響信号の生成に用いられないように前記パラメータを決定することを特徴とする音響処理方法。

【請求項16】

前記決定工程においては、前記検出工程において検出された前記複数のマイクロフォンの少なくとも何れかの状態が変化した場合に、当該変化の前の前記複数のマイクロフォンの状態と当該変化の後の前記複数のマイクロフォンの状態とに基づいて前記パラメータが決定されることを特徴とする請求項１５に記載の音響処理方法。

【請求項17】

前記検出工程においては、マイクロフォンの設置の位置及び向きの少なくとも何れかの状態が検出され、
前記決定工程においては、前記複数のマイクロフォンの設置の位置及び向きに基づいて前記パラメータが決定されることを特徴とする請求項１５又は１６に記載の音響処理方法。

【請求項18】

コンピュータを、請求項１乃至１２の何れか１項に記載の音響処理装置の各手段として動作させるためのプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、複数のマイクロフォンによる収音に基づいて音響信号を生成する技術に関する。

【背景技術】

【0002】

イベント会場などの収音対象空間に複数のマイクロフォンを設置し、当該複数のマイクロフォンにより収音された複数チャネルの収音信号からマルチチャネル再生用の音響信号（例えば２２．２チャネルサラウンド）を生成する技術がある。具体的には、複数のマイクロフォンの設置位置や特性などを予め記録しておき、その記録内容に応じた合成パラメータを用いて複数チャネルの収音信号を合成することで、マルチチャネル再生環境における各スピーカに再生させる音響信号が生成される。

【0003】

特許文献１には、設置された複数のマイクロフォンに対する音の到来方向と音源の位置情報とに基づいて各マイクロフォンの位置や向きを自動で推定する方法が記載されている。

【先行技術文献】

【特許文献】

【0004】

【特許文献1】特開２０１４−１７５９９６号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

しかしながら、従来の技術では、マイクロフォンの状態が変化した場合に、複数のマイクロフォンによる収音に基づいて生成される音響信号が、適切な音を再生可能な音響信号ではなくなる虞がある。

【0006】

例えば、設置されたマイクロフォンの位置が変化した場合に、変化前の位置に応じた合成パラメータを用いて収音信号を合成することで音響信号が生成されると、当該音響信号に基づいて再生される音の聞こえる方向が所望の方向とは異なってしまう虞がある。

【0007】

本発明は上記の課題に鑑みてなされたものであり、マイクロフォンの状態が変化した場合においても、複数のマイクロフォンによる収音に基づいて適切な音を再生可能な音響信号を生成できるようにすることを目的とする。

【課題を解決するための手段】

【0008】

上述した課題を解決するために、本発明に係る音響処理装置は、例えば以下の構成を有する。すなわち、マイクロフォンの状態を検出する検出手段と、複数のマイクロフォンによる収音による収音信号に基づく音響信号であって、特定位置で聞こえるべき音響信号を生成する生成手段が前記音響信号の生成に用いるパラメータを、前記検出手段により検出された前記複数のマイクロフォンの少なくとも何れかの状態が変化した場合に、当該変化の後の前記複数のマイクロフォンの状態と前記特定位置とに基づいて決定する決定手段とを有し、前記決定手段は、前記検出手段により検出された状態が変化した対象のマイクロフォンの当該変化の前の収音領域と当該変化の後の収音領域とが重ならない場合に、前記対象のマイクロフォンに対応するチャネルの収音信号が前記生成手段による前記音響信号の生成に用いられないように前記パラメータを決定する。

【発明の効果】

【0009】

本発明によれば、マイクロフォンの状態が変化した場合においても、複数のマイクロフォンによる収音に基づいて適切な音を再生可能な音響信号を生成することができる。

【図面の簡単な説明】

【0010】

【図1】音響処理システム１０の概略構成について説明するための図である。

【図2】音響処理システム１０の機能構成について説明するための図である。

【図3】マイクロフォンと処理装置１３０のハードウェア構成について説明するための図である。

【図4】音響処理システム１０の別の構成例について説明するための図である。

【図5】処理装置１３０による動作の流れについて説明するためのフローチャートである。

【図6】処理装置１３０によるキャリブレーションに関する処理について説明するためのフローチャートである。

【図7】処理装置１３０による音響信号生成に関する処理について説明するためのフローチャートである。

【図8】プリアンプによる収音領域算出に関する処理について説明するためのフローチャートである。

【図9】マイクロフォンの収音領域について説明するための図である。

【図10】処理装置１３０による収音領域の比較に関する処理について説明するためのフローチャートである。

【図11】処理装置１３０によるパラメータの設定に関する処理について説明するためのフローチャートである。

【図12】変化前のマイクロフォンの状態の例について説明するための図である。

【図13】変化後のマイクロフォンの状態の例について説明するための図である。

【図14】処理装置１３０によるパラメータの設定に関する処理について説明するためのフローチャートである。

【図15】マイクロフォンの役割を交換する場合の例について説明するための図である。

【図16】処理装置１３０によるカメラパスに応じた音響信号の生成について説明するためのフローチャートである。

【図17】処理装置１３０のユーザインタフェースについて説明するための図である。

【図18】音響処理システム１０によるマイクロフォンの状態を補正する処理について説明するためのフローチャートである。

【図19】処理装置１３０のユーザインタフェースについて説明するための図である。

【図20】音響処理システム１０において伝送されるデータの構造について説明するための図である。

【発明を実施するための形態】

【0011】

以下、本発明の実施形態について図面を参照して説明する。

【0012】

［システム構成］
図１は、音響処理システム１０の構成の概略を示す図である。音響処理システム１０は、レコーダ１０１、レコーダ１０４、マイクロフォン１０５−１２０、プリアンプ２００−２１５、及び処理装置１３０を有する。本実施形態において、複数のマイクロフォン１０５−１２０を特に区別しない場合には単にマイクロフォンと記載し、複数のプリアンプ２００−２１５を特に区別しない場合には単にプリアンプと記載する。

【0013】

本実施形態において複数のマイクロフォン１０５−１２０は、収音対象の空間である競技場内のフィールド１００の周囲に設置されており、フィールド１００におけるサッカーの試合に関する音や、スタジアムの観客席（スタンド）の音を収音する。なお、複数のマイクロフォンは複数の位置において収音を行えるように設置されていればよく、フィールド１００の周囲全体にわたって設置されていなくてもよい。また、収音対象の空間は競技場に限らず、例えばライブステージなどであってもよい。

【0014】

マイクロフォン１０５−１２０にはそれぞれプリアンプが接続されており、各マイクロフォンによる収音に基づく収音信号が対応するプリアンプに出力される。プリアンプ２００−２１５のそれぞれは、マイクロフォン１０５−１２０のうちの対応するマイクロフォンにより収音された収音信号に対して信号処理を行い、処理済みのデータをレコーダ１０１又はレコーダ１０４に送信する。プリアンプによる信号処理は、具体的には、リミッタ処理、コンプレッサ処理及びＡ／Ｄ変換などである。レコーダ１０１及びレコーダ１０４はプリアンプ２００−２１５から受信したデータを記録し、処理装置１３０はレコーダ１０１及びレコーダ１０４により記録されたデータを取得して音響信号の生成などを行う。

【0015】

図１に示すように、複数のプリアンプ２００−２０７はディジタルオーディオインタフェースを介してデイジーチェーン接続されており、プリアンプ２００及びプリアンプ２０７はレコーダ１０１に接続されている。すなわち、プリアンプ２００−２０７及びレコーダ１０１はリング型のネットワークを構成する。このような構成のもと、プリアンプ２００−２０６はそれぞれ隣のプリアンプにデータを出力し、各プリンアンプからレコーダ１０１へ送信されるデータは何れもプリアンプ２０７を経由してレコーダ１０１に入力される。同様に、レコーダ１０１から各プリアンプに送信される制御データは、何れもプリアンプ２００を経由してリレー方式で伝送される。

【0016】

プリアンプ２００−２０７及びレコーダ１０１の間のディジタルオーディオ伝送にはＳｔａｎｄａｒｄ ＡＥＳ １０−１９９１として定義されているＭＡＤＩ（Ｍｕｌｔｉｃｈａｎｎｅｌ Ａｕｄｉｏ Ｄｉｇｉｔａｌ Ｉｎｔｅｒｆａｃｅ）が用いられる。ただし、データの伝送方式はこれに限定されない。

【0017】

プリアンプ２００−２０７をデイジーチェーン接続することにより、レコーダ１０１と各プリアンプとを直接接続する場合と比べて、使用する接続ケーブルの合計の長さを短くすることができる。その結果、システムのコストを低減することができ、且つ設置の容易性を向上することができる。

【0018】

また、プリアンプ２０８−２１５及びレコーダ１０４も、上記のプリアンプ２００−２０７及びレコーダ１０１と同様に、デイジーチェーン接続されている。なお、プリアンプ２００−２１５のすべてが１つのリング型ネットワークに含まれるように接続してもよい。この場合、レコーダ１０１及びレコーダ１０４の何れか一方のみが音響処理システム１０に含まれていてもよい。

【0019】

次に、図１に概略を示した音響処理システム１０の機能構成の詳細について、図２を用いて説明する。図２においては、マイク１１３−１１９、プリアンプ２０８−２１５及びレコーダ１０４について省略しているが、その構成は図２に示すマイクロフォン１０５−１１２、プリアンプ２００−２０７及びレコーダ１０１と同様である。

【0020】

マイクロフォン１０５は、前方収音マイク３０３、後方収音マイク３０４、前方位置センサ３０５、及び後方位置センサ３０６を有する。前方収音マイク３０３は、指向性を有するマイクであり、マイクロフォン１０５の前方の音を収音する。後方収音マイク３０４は、指向性を有するマイクであり、マイクロフォン１０５の後方の音を収音する。本実施形態に係る音響処理システムにおいては、前方収音マイク３０３が競技場のフィールド方向の音を収音し、後方収音マイク３０４が観客席の方向の音を収音するように、マイクロフォン１０５が設置される。なお、前方収音マイク３０３と後方収音マイク３０４とは、指向性の方向だけでなく収音距離や収音角度なども異なっていてもよい。前方収音マイク３０３及び後方収音マイク３０４により収音された収音信号は、プリアンプ２００のコンプレッサ／リミッタ処理部４００に出力される。

【0021】

本実施形態では、マイクロフォン１０５が前方と後方の音を収音するものとするが、これに限らず、例えば右方向と左方向の音を収音してもよい。また、マイクロフォン１０５は上記のような所定方向とその反対方向の音とに限らない複数の異なる方向の音を収音してもよい。さらに、マイクロフォン１０５が備えるマイクは単一であってもよいし、無指向性のマイクであってもよい。

【0022】

前方位置センサ３０５は、マイクロフォン１０５の前方先端付近に設置されており、設置位置の座標情報を取得する。後方位置センサ３０６は、マイクロフォン１０５の後方先端付近に設置されており、設置位置の座標情報を取得する。座標情報の取得方法としては、例えばＧＰＳ（Ｇｌｏｂａｌ Ｐｏｓｉｔｉｏｎｉｎｇ Ｓｙｓｔｅｍ）を用いることができる。前方位置センサ３０５及び後方位置センサ３０６により取得される座標情報は、マイクロフォン１０５の位置及び向きを特定するための情報となる。これらの座標は、プリアンプ２００の領域算出部４０２に出力される。

【0023】

なお、マイクロフォン１０５に設置されるセンサはマイクロフォン１０５の位置及び向きを特定するための情報を取得できればよく、その構成は上記のものに限定されない。例えば、マイクロフォン１０５には前方先端と後方先端に限らず任意の位置に複数のＧＰＳセンサが設置されていてもよいし、ＧＰＳセンサに限らずジャイロセンサや重力センサ、加速度センサなどが設置されていてもよい。また、マイクロフォン１０５が無指向性のマイクを備える場合などには、マイクロフォン１０５の向きを特定する情報は取得できなくてもよい。また、マイクロフォン１０５は、別のマイクロフォンに対する相対位置や相対方向を取得するために、当該別のマイクロフォンとの間で赤外線などを介した通信を行ってもよい。

【0024】

図３（ａ）は、マイクロフォン１０５の物理的な構成例を示している。上述の構成要素に加えて、マイクロフォン１０５は、スタンド３００、風防３０１、及びグリップ３０２を有する。なお、マイクロフォン１０６−１１２の構成も、マイクロフォン１０５の構成と同様である。

【0025】

プリアンプ２００は、コンプレッサ／リミッタ処理部４００、コーデック処理部４０１、領域算出部４０２、メタデータ算出部４０３、ＭＡＤＩエンコード部４０４、ＭＡＤＩインタフェース４０５を有する。コンプレッサ／リミッタ処理部４００は、マイクロフォン１０５から入力された収音信号に対して、音の強弱の差を縮小するコンプレッサ処理や、音量のピークを抑制するリミッタ処理などを実行する。コーデック処理部４０１は、コンプレッサ／リミッタ処理部４００により処理されたアナログ信号をディジタルデータに変換するＡ／Ｄ変換処理を実行する。

【0026】

領域算出部４０２は、前方位置センサ３０５及び後方位置センサ３０６から入力されたマイクロフォン１０５の座標情報とマイクロフォン１０５の特性とに基づいて、マイクロフォン１０５の収音領域を算出する。収音領域とは、マイクロフォン１０５が所定の感度で音を収音することができる領域であり、マイクロフォンの位置、向き及び指向性に応じて決まる領域である。マイクロフォンの特性及び収音領域の詳細については後述する。メタデータ算出部４０３は、領域算出部４０２が算出したマイクロフォン１０５の収音領域を示すメタデータを生成する。

【0027】

ＭＡＤＩエンコード部４０４は、コーデック処理部４０１により生成された音響データとメタデータ算出部４０３により生成メタデータを多重化し、ＭＡＤＩインタフェース４０５に出力する。ＭＡＤＩインタフェース４０５は、ＭＡＤＩエンコード部４０４から取得したデータとレコーダ１０１が有するＭＡＤＩインタフェース４０５から入力されたデータとに基づくデータを、プリアンプ２０１が有するＭＡＤＩインタフェース４０５へ出力する。

【0028】

なお、プリアンプ２０１−２０７の構成も、プリアンプ２００と同様である。ただし、プリアンプ２０１−２０６のＭＡＤＩインタフェース４０５には、隣接するプリアンプのＭＡＤＩインタフェース４０５からデータが入力される。また、プリアンプ２０７のＭＡＤＩインタフェース４０５は、レコーダ１０１のＭＡＤＩインタフェース４０５にデータを出力する。

【0029】

レコーダ１０１は、ＭＡＤＩエンコード部４０４、ＭＡＤＩインタフェース４０５、及びＭＡＤＩデコード部４０６を有する。ＭＡＤＩエンコード部４０４及びＭＡＤＩデコード部４０６の構成は、上述したプリアンプ２０１のものと同様である。ただし、レコーダ１０１のＭＡＤＩエンコード部４０４には処理装置１３０のチャネル制御部４１０から制御データが入力され、当該制御データがＭＡＤＩインタフェース４０５を介して各プリアンプに送信される。また、レコーダ１０１のＭＡＤＩインタフェース４０５は、プリアンプ２０７のＭＡＤＩインタフェース４０５から入力されたデータをＭＡＤＩデコード部４０６に出力する。

【0030】

ＭＡＤＩデコード部４０６は、レコーダ１０１のＭＡＤＩインタフェース４０５から取得したデータを音響データとメタデータに分離し、処理装置１３０の蓄積部４０７に記録する。なお、音響データとメタデータを保持する保持部をレコーダ１０１が備えていてもよい。

【0031】

処理装置１３０は、蓄積部４０７、領域比較部４０８、音響生成部４０９、及びチャネル制御部４１０を有する。蓄積部４０７は、マイク情報４５０、キャリブレーション結果４５１、メタデータ４５２、音響データ４５３、カメラパス情報４５４などを蓄積する。

【0032】

マイク情報４５０は、マイクロフォン１０５−１１９の構成に関する情報である。キャリブレーション結果４５１は、マイクロフォン１０５−１１９の設置時に測定された各マイクロフォンの位置や向きに関する情報である。メタデータ４５２は、レコーダ１０１及びレコーダ１０４のＭＡＤＩデコード部４０６により記録されるメタデータである。音響データ４５３は、レコーダ１０１及びレコーダ１０４のＭＡＤＩデコード部４０６により記録される音響データである。カメラパス情報４５４は、音響処理システム１０により生成される音響信号と共に再生される映像の撮影位置や撮影方向に関する情報である。

【0033】

領域比較部４０８は、マイク情報４５０とキャリブレーション結果４５１に基づいて特定される各マイクロフォンの設置時の収音領域と、メタデータ４５２に基づいて特定される各マイクロフォンの収音領域とを比較する。領域比較部４０８はこの比較により、設置されたマイクロフォンの位置や向きが変化したことを検出し、検出結果をチャネル制御部４１０に出力する。

【0034】

音響生成部４０９は、チャネル制御部４１０から取得した合成パラメータやカメラパス情報４５４を用いて音響データ４５３を合成することで、マルチチャネル音響信号を生成する。生成された音響信号は、例えば５．１チャネルや２２．２チャネルサラウンドの再生環境を構成するスピーカ（不図示）などに出力される。音響生成部４０９による音響データの生成は、音響信号の編集を行うユーザ（以降、編集ユーザ）による操作に応じて実行される。

【0035】

チャネル制御部４１０は、マイク情報４５０及び領域比較部４０８から取得した検出情報に基づいて合成パラメータを決定し、決定したパラメータを音響生成部４０９に出力する。また、チャネル制御部４１０は、プリアンプ２００−２１５やマイクロフォン１０５−１１９を制御するための制御データを、レコーダ１０１及びレコーダ１０４のＭＡＤＩエンコード部４０４へ出力する。チャネル制御部４１０による情報の出力は、音響処理システム１０を管理するユーザ（以降、管理ユーザ）による操作に応じて実行される。なお、音響信号の編集を行う編集ユーザと音響処理システム１０を管理する管理ユーザは、同一であってもよいし異なっていてもよい。

【0036】

図３（ｂ）は、処理装置１３０のハードウェア構成例を示している。なお、プリアンプ２００−２１５やレコーダ１０１及びレコーダ１０４の構成も処理装置１３０と同様である。処理装置１３０は、ＣＰＵ３１１、ＲＡＭ３１２、ＲＯＭ３１３、入力部３１４、外部インタフェース３１５、及び出力部３１６を有する。

【0037】

ＣＰＵ３１１は、ＲＡＭ３１２やＲＯＭ３１３に格納されているコンピュータプログラムやデータを用いて処理装置１３０の全体を制御し、図２に示した処理装置１３０の各構成要素を実現する。なお、処理装置１３０がＣＰＵ３１１とは異なる専用の１又は複数のハードウェアを有し、ＣＰＵ３１１による処理の少なくとも一部を専用のハードウェアが行ってもよい。専用のハードウェアの例としては、ＡＳＩＣ（特定用途向け集積回路）、ＦＰＧＡ（フィールドプログラマブルゲートアレイ）、およびＤＳＰ（デジタルシグナルプロセッサ）などがある。ＲＡＭ３１２は、ＲＯＭ３１３から読みだされたコンピュータプログラムやデータ、及び外部インタフェース３１５を介して外部から供給されるデータなどを一時的に記憶する。ＲＯＭ３１３は、変更を必要としないコンピュータプログラムやデータを保持する。

【0038】

入力部３１４は、例えば操作ボタン、ジョグダイヤル、タッチパネル、キーボード、及びマウスなどで構成され、ユーザによる操作を受け付けて各種の指示をＣＰＵ３１１に入力する。外部インタフェース３１５は、レコーダ１０１やスピーカ（不図示）などの外部の装置と通信を行う。外部の装置との通信はＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）ケーブルやオーディオケーブルなどを用いて有線で行われてもよいし、アンテナを介して無線で行われてもよい。出力部３１６は、例えば、ディスプレイなどの表示部やスピーカなどの音声出力部で構成され、ユーザが処理装置１３０を操作するためのＧＵＩ（Ｇｒａｐｈｉｃａｌ Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ）を表示したりガイド音声を出力したりする。

【0039】

以上、音響処理システム１０の構成について説明した。なお、音響処理システム１０に含まれる各装置の構成は上記で説明したものに限らない。例えば、処理装置１３０とレコーダ１０１やレコーダ１０４が一体となって構成されていてもよい。また、音響生成部４０９が処理装置１３０とは別の生成装置として構成されていてもよい。この場合には、チャネル制御部４１０により決定されたパラメータを処理装置１３０が生成装置の音響生成部４０９へ出力し、音響生成部４０９は入力されたパラメータに基づいて音響信号の生成を行う。

【0040】

また、音響処理システム１０は、図１に示すように、複数のマイクロフォン１０５−１２０にそれぞれ対応する複数のプリアンプ２００−２１５を有する。このように、複数のプリアンプが収音信号に対する信号処理を分散して行うことにより、単一のプリアンプの処理量が大きくなるのを抑制できる。ただし、図４に示す音響処理システム２０のように、マイクロフォンの数よりもプリアンプの数が少なくてもよい。

【0041】

音響処理システム２０においては、マイクロフォン１０５−１１２により収音された収音信号がアナログ伝送によりプリアンプ１０２に出力される。そしてプリアンプ１０２は、入力された収音信号に信号処理を行い、複数チャネルの収音信号としてまとめてレコーダ１０１へ出力する。プリアンプ１０３も同様に、マイク１１３−１２０により収音された収音信号に対して信号処理を行い、複数チャネルの収音信号としてレコーダ１０４へ出力する。このような音響処理システム２０を用いても、本実施形態を実現することができる。

【0042】

［動作フロー］
図５を用いて、処理装置１３０の動作の流れについて説明する。図５に示す処理は、マイクロフォン１０５−１２０などの音響処理システム１０に含まれる各装置が設置され、音響処理システム１０の動作を開始させるためのユーザによる操作を処理装置１３０が受け付けたタイミングで開始される。動作開始のための操作は、例えば収音の対象となる試合の開始前の準備期間に行われる。そして、収音対象の試合が終了した後などに行われる終了操作を処理装置１３０が受け付けたタイミングで、図５の処理が終了する。ただし、図５に示す処理の開始タイミングや終了タイミングは上記タイミングに限定されない。なお、本実施形態では収音と音響信号の生成が平行してリアルタイムに行われる場合を中心に説明する。

【0043】

図５に示す処理は、ＣＰＵ３１１がＲＯＭ３１３に格納されたプログラムをＲＡＭ３１２に展開して実行することで実現される。なお、図５に示す処理の少なくとも一部を、ＣＰＵ３１１とは異なる専用の１又は複数のハードウェアにより実現してもよい。

【0044】

Ｓ５０１において、処理装置１３０は、設置されたマイクロフォンの調整（キャリブレーション）に関する処理を実行する。Ｓ５０１の処理の詳細は、図６を用いて後述する。Ｓ５０２において、処理装置１３０は、収音信号に基づく音響信号の生成に関する処理を実行する。Ｓ５０２の処理の詳細は、図７を用いて後述する。Ｓ５０２の処理が終了すると、処理装置１３０は図５の処理フローを終了する。

【0045】

図５の処理フローが実行されることにより、音響処理システム１０は、マルチチャネル音響信号を生成する。具体的には、複数のマイクロフォン１０５−１２０による収音に基づく複数チャネルの収音信号を、各マイクロフォンの設置位置や設置方向に応じたパラメータを用いて合成することで、音響信号を生成する。そして、生成された音響信号が適切な再生環境において再生されることで、例えば収音対象の空間であるフィールド１００内の特定位置における音の聞こえ方を再現するようなことができる。

【0046】

なお、例えば競技場において収音が行われる場合には、選手やボールとマイクロフォンとの接触や、強風などの悪天候により、設置されたマイクロフォンの位置及び向きが変化してしまう場合がある。このような場合に、変化後に収音された収音信号に対して、変化前のマイクロフォンの位置及び向きに応じたパラメータを用いて合成処理を行うと、適切な音を再生可能な音響信号が生成されないことが考えられる。具体的には、フィールド１００内の選手がいない方向から選手の声が聞こえてくるような聞こえ方になってしまうことが考えられる。

【0047】

そこで、本実施形態に係る音響処理システム１０は、マイクロフォンの状態の変化を検出し、検出結果に応じてパラメータを再決定して収音信号の合成処理を行うことで、適切な音を再生可能な音響信号を生成する。また、音響処理システム１０は、変化前のマイクロフォンの状態と変化後のマイクロフォンの状態とに基づいてパラメータを決定する。これにより、変化後のマイクロフォンの状態のみに基づいてパラメータを決定する場合と比べて、より適切な音を再生可能な音響信号を生成できる。ただし、音響処理システム１０は、変化後のマイクロフォンの状態のみに基づいてパラメータを決定してもよい。

【0048】

［キャリブレーション］
次に図６を用いて、図５のＳ５０１の処理の詳細について説明する。Ｓ６０において、処理装置１３０は、マイクロフォン１０５−１２０の設置情報をマイク情報４５０の一部として蓄積部４０７に格納する。設置情報とは、各マイクロフォンの目標となる設置位置や設置方向を示す情報である。設置情報は管理ユーザによる操作に基づいて設定されてもよいし、自動で設定されてもよい。なお、蓄積部４０７に格納されるマイク情報４５０には、設置情報に加えて、各マイクロフォンの指向性などの特性に関する情報が含まれてもよい。この特性に関する情報も、Ｓ６０において設置情報と同様に格納されてもよい。

【0049】

Ｓ６１において、処理装置１３０は、キャリブレーションの対象とするマイクロフォンを選択する。Ｓ６２において、処理装置１３０は、Ｓ６１において選択されたマイクロフォンに対応するメタデータを蓄積部４０７から読み出す。ここで読みだされるメタデータは、マイクロフォンの前方位置センサ３０５及び後方位置センサ３０６が取得した座標情報とマイクロフォンの特性とに基づいてプリアンプの領域算出部４０２により算出された収音領域を示すデータである。Ｓ６３において、処理装置１３０は、Ｓ６１において選択されたマイクロフォンの収音領域を、Ｓ６２において読みだされたメタデータに基づいて特定する。

【0050】

Ｓ６４において、処理装置１３０は、マイク情報４５０とＳ６３において特定された収音領域とを参照し、Ｓ６１において選択されたマイクロフォンの調整が必要であるか否かを判定する。例えば、選択されたマイクロフォンについてマイク情報４５０から特定される目標となる収音領域とＳ６３において特定された実際の収音領域との差が閾値より大きい場合に、調整が必要と判定されてＳ６５へ進む。一方、調整が必要でないと判定された場合、処理装置１３０は、Ｓ６３における収音領域の特定結果をキャリブレーション結果４５１として蓄積部４０７に格納し、Ｓ６７へ進む。なお、調整の要否の判定の方法はこれに限らない。例えば処理装置１３０は、目標となる収音領域と実際の収音領域とを示す画像を表示し、それに応じて管理ユーザにより入力された操作に基づいて、調整の要否を判定してもよい。また、収音領域の特定は必須ではなく、マイクロフォンの位置や方向から調整の要否が判定されてもよい。

【0051】

Ｓ６５において、処理装置１３０は、マイクロフォンの調整指示を出力する。調整指示は例えば、調整すべきマイクを示す情報や必要な調整量を示す情報である。処理装置１３０は、調整指示を画像や音声により管理ユーザに対して出力してもよいし、管理ユーザとは異なるマイクロフォン設置担当者に対して出力してもよい。Ｓ６６において、処理装置１３０は、マイクロフォンの調整の完了に関する操作を受け付け、Ｓ６２に戻る。

【0052】

Ｓ６７において、処理装置１３０は、音響処理システム１０内のすべてのマイクロフォンについて調整が完了したか否かを判定する。すべてのマイクロフォンについて調整が完了したと判定された場合、図６の処理フローを終了する。一方、完了していない場合はＳ６１に戻り、未調整のマイクが新たに選択される。上述した図６の処理フローが実行されることにより、適切なマイクロフォンの設置状態が実現される。

【0053】

［音響信号生成］
次に図７を用いて、図５のＳ５０２の処理の詳細について説明する。Ｓ７０において、領域比較部４０８は、収音領域の確認の対象とするマイクロフォンを選択する。Ｓ７１及びＳ７２において、領域比較部４０８は、図６を用いて説明したＳ６２及びＳ６３の処理と同様の処理により、Ｓ７０において選択されたマイクロフォンの収音領域を特定する。

【0054】

Ｓ７３において、領域比較部４０８は、Ｓ７２において特定されたマイクロフォンの収音領域と、キャリブレーション結果４５１が示す当該マイクロフォンの収音領域とを比較する。Ｓ７２において特定される収音領域は、前方位置センサ３０５及び後方位置センサ３０６により取得される最新の座標情報に応じた収音領域であり、キャリブレーション結果４５１が示す収音領域は、Ｓ５０１の処理が終了した時点における収音領域である。Ｓ７３の処理の詳細については図１０を用いて後述する。Ｓ７４において、領域比較部４０８は、Ｓ７３において比較した収音領域の差が所定の範囲内であるか否かを判定する。収音領域の差が所定の範囲内である場合にはＳ７６に進み、所定の範囲外である場合にはＳ７５に進む。なお、領域比較部４０８は、収音領域の差を判定する代わりに、キャリブレーション時と比較したマイクロフォンの位置や向きの差が所定の範囲内であるか否かを判定してもよい。

【0055】

Ｓ７５において、チャネル制御部４１０は、設置されたマイクロフォンの状態の変化が領域比較部４０８により検出されたと判断し、音響信号生成に用いられるパラメータの再設定に関する処理を行う。Ｓ７５の処理の詳細については図１１を用いて後述する。再設定処理が終了すると、Ｓ７６に進む。

【0056】

Ｓ７６において、音響生成部４０９は、蓄積部４０７に格納された音響データ４５３に基づいて音響信号を生成する。ここで音響データ４５３は、複数のマイクロフォン１０５−１２０による収音信号に対する複数のプリアンプ２００−２１５による信号処理の結果に応じた複数チャネルの収音信号により構成される。音響生成部４０９は、Ｓ７５において設定されるパラメータを用いて、複数チャネルの収音信号のうち１以上のチャネルの収音信号を合成することで、音響信号を生成する。なお、Ｓ７５の再設定処理が実行されていない場合、音響生成部４０９は、初期設定に基づくパラメータを用いて音響信号を生成する。初期設定に基づくパラメータは、Ｓ５０１の処理が行われた後にマイク情報４５０やキャリブレーション結果４５１、カメラパス情報４５４などに基づいて設定されるパラメータである。このパラメータは、Ｓ６０において設定される設置情報に応じたマイクロフォン１０５−１２０の配置に適合したパラメータとなる。

【0057】

Ｓ７７において、チャネル制御部４１０は、音響信号の生成を継続するか否かを判定する。例えば、チャネル制御部４１０は、音響信号の生成の終了に関する操作を受け付けた場合に、生成を継続しないと判定し、図７の処理フローを終了する。一方、音響信号の生成を継続すると判定された場合には、Ｓ７０に戻り、新たなマイクロフォンが選択される。

【0058】

Ｓ７０におけるマイクロフォンの選択においては、例えばマイクロフォン１０５からマイクロフォン１２０まで順番に選択され、すべてのマイクロフォンについてＳ７１からＳ７６までの処理が行われた後には、再度マイクロフォン１０５が選択される。ただし、Ｓ７０におけるマイクロフォンの選択方法はこれに限らない。

【0059】

上述した図７の処理フローが実行されることにより、収音中に継続的にマイクロフォンの収音領域が確認され、マイクロフォンの状態の変化に応じて設定されたパラメータを用いて音響信号が生成される。

【0060】

［収音領域算出］
次に図８を用いて、プリアンプがマイクロフォンの収音領域を算出する処理について説明する。収音領域は、マイクロフォンが所定の感度で音を収音することができる領域である。プリアンプによって算出された収音領域がメタデータとして蓄積部４０７へ伝送されることで、上述したＳ６２及びＳ６３の処理において処理装置１３０はマイクロフォンの収音領域を特定することができる。

【0061】

図８に示す処理は、音響処理システム１０の動作が開始された後にプリアンプ２００−２１５のそれぞれにより定期的に実行される。ただし、図８の処理のタイミングはこれに限らず、例えば前方位置センサ３０５や後方位置センサ３０６からプリアンプの領域算出部４０２に座標情報が入力されたタイミングで図８の処理が開始されてもよい。図８に示す処理は、プリアンプが有するＣＰＵ３１１がＲＯＭ３１３に格納されたプログラムをＲＡＭ３１２に展開して実行することで実現される。なお、図８に示す処理の少なくとも一部を、ＣＰＵ３１１とは異なる専用の１又は複数のハードウェアにより実現してもよい。

【0062】

Ｓ８０において、領域算出部４０２は、対応するマイクロフォンの前方位置センサ３０５から座標情報を取得する。Ｓ８１において、領域算出部４０２は、対応するマイクロフォンの後方位置センサ３０６から座標情報を取得する。Ｓ８２において、領域算出部４０２は、Ｓ８０及びＳ８１において取得された座標情報に基づいて方向ベクトルを算出する。

【0063】

Ｓ８３において、領域算出部４０２は、Ｓ８２において算出された方向ベクトルに基づいて、対応するマイクロフォンの方向を取得する。本実施形態においてマイクロフォンの方向とは、そのマイクロフォンが指向性を有する方向である。後方位置センサ３０６に対する前方位置センサ３０５の方向が前方収音マイク３０３の方向となり、前方位置センサ３０５に対する後方位置センサ３０６の方向が後方収音マイク３０４の方向となる。

【0064】

Ｓ８４において、領域算出部４０２は、対応するマイクロフォンの特性を示す情報を取得する。マイクロフォンの特性とは、マイクロフォンの収音距離と収音角度を含む情報である。なお、領域算出部４０２は、マイクロフォンの特性を示す情報を当該マイクロフォンから直接取得してもよいし、ユーザによる操作などに基づいて予めプリアンプに設定された情報を読み出してもよい。Ｓ８５において、領域算出部４０２は、Ｓ８０及びＳ８１において取得した座標情報、Ｓ８３において取得した方向、及びＳ８４において取得した特性に基づいて、対応するマイクロフォンの収音領域を算出し、図８の処理フローを終了する。

【0065】

図９（ａ）は、ＸＹＺ空間のＹ軸方向（水平方向）の視点におけるマイクロフォンとその収音領域の例を示している。また、図９（ｂ）はＺ軸方向の視点における例を示している。図９（ａ）のＸＺ平面上において、前方位置センサ３０５の座標は（Ｘ１，Ｚ１）であり、後方位置センサ３０６の座標は（Ｘ２，Ｚ２）であり、Ｓ８３において算出される方向ベクトルは（Ｘ１−Ｘ２， Ｚ１−Ｚ２）で表現される。同様に、図９（ｂ）において、前方位置センサ３０５の座標は（Ｘ１，Ｙ１）であり、後方位置センサ３０６の座標は（Ｘ２，Ｙ２）であり、Ｓ８３において算出される方向ベクトルは（Ｘ１−Ｘ２， Ｙ１−Ｙ２）で表現される。また、前方収音マイク３０３の収音距離は図９（ｂ）及び図９（ｃ）に示す収音距離Ｌ９０であり、収音角度は角度θである。収音距離Ｌ９０及び角度θは、マイクロフォンの種別や設定に応じて定まる。なお、図９には前方収音マイク３０３の収音領域のみを示しているが、マイクロフォンにおける逆側には後方収音マイク３０４の収音領域が存在する。

【0066】

［動作：収音領域比較］
次に図１０を用いて、図７のＳ７３の処理の詳細について説明する。Ｓ１０００において、領域比較部４０８は、キャリブレーション結果４５１からマイクロフォンのキャリブレーション時の収音領域を特定する。Ｓ１００１において、領域比較部４０８は、Ｓ７２においてメタデータ４５２から特定された収音領域とＳ１０００においてキャリブレーション結果４５１から特定された収音領域との重複領域を算出する。

【0067】

Ｓ１００２において、領域比較部４０８は、閾値の設定モードを確認する。設定モードは、例えば管理ユーザによる操作に応じて決定される。ユーザが閾値を設定するモードとなっている場合にはＳ１００３に進み、システム内部の変数を用いて自動で閾値を設定するモードとなっている場合にはＳ１００４に進む。Ｓ１００３において、領域比較部４０８は、ユーザによる入力操作に基づいて閾値を取得する。一方Ｓ１００４において、領域比較部４０８は、システム内部に保持されている変数に基づいて閾値を取得する。

【0068】

Ｓ１００５において、領域比較部４０８は、Ｓ１００１において算出された重複領域の大きさと、Ｓ１００３またはＳ１００４において取得された閾値とを比較する。Ｓ１００６において、領域比較部４０８は、重複領域より閾値が大きいか否かを判定し、閾値の方が大きい場合はＳ１００７に進み、閾値地の方が小さい場合はＳ１００８に進む。

【0069】

Ｓ１００７において、領域比較部４０８は、メタデータ４５２から特定された収音領域とキャリブレーション結果４５１から特定された収音領域との差が所定の範囲外であると判断し、図１０の処理フローを終了する。一方Ｓ１００８において、領域比較部４０８は、収音領域の差が所定の範囲内であると判断し、図１０の処理フローを終了する。

【0070】

［パラメータ再設定処理］
次に図１１を用いて、図７のＳ７５の処理の詳細について説明する。Ｓ７５の処理は、複数のマイクロフォン１０５−１２０の少なくとも何れかの状態の変化が領域比較部４０８により検出された場合に実行される処理である。Ｓ１１００において、チャネル制御部４１０は、状態変化が検出された対象のマイクロフォンのキャリブレーション時の収音領域、すなわち状態変化の前の収音領域を、キャリブレーション結果４５１から取得する。

【0071】

Ｓ１１０１において、チャネル制御部４１０は、対象のマイクロフォンの変化前の収音領域と他のマイクロフォンの収音領域との重複領域を算出する。なお、他のマイクロフォンの状態も変化している場合には、チャネル制御部４１０は、対象のマイクロフォンの当該変化前の収音領域と他のマイクロフォンの当該変化後の収音領域との重複領域を算出する。

【0072】

Ｓ１１０２において、チャネル制御部４１０は、状態変化により対象のマイクロフォンの収音領域から外れてしまった領域のうち他のマイクロフォンを代用して収音可能な領域を、Ｓ１１０１において算出した重複領域に基づいて決定する。Ｓ１１０３において、チャネル制御部４１０は、蓄積部４０７に格納されているカメラパス情報４５４に基づいて、マルチチャネル音響信号を生成するために収音が必要な領域を決定する。例えば、カメラパス情報４５４が示す撮影位置が競技場内であり、その撮影位置に対応する音響信号が生成される場合、チャネル制御部４１０は、撮影位置から所定の距離内の領域を収音が必要な領域と決定する。

【0073】

Ｓ１１０４において、チャネル制御部４１０は、Ｓ１１０３において決定された領域にＳ１１０２において決定された代用可能な領域が含まれるか否かを判定する。代用可能な領域が含まれると判定された場合はＳ１１０５に進み、そうでなければＳ１１０６に進む。

【0074】

Ｓ１１０５において、チャネル制御部４１０は、対象のマイクロフォンが状態変化の前に収音していた領域の音の少なくとも一部が、他のマイクロフォンにより収音された音を代用して構成されるように、パラメータを再設定する。ここで設定されるパラメータには、例えば音響信号の生成における複数チャネルの収音信号の合成比率に関するパラメータが含まれる。ただしパラメータの内容はこれに限らず、位相補正や振幅補正に関するパラメータが含まれていてもよい。

【0075】

一方Ｓ１１０６において、チャネル制御部４１０は、他のマイクロフォンによる代用を行わずに音響信号が生成されるように、パラメータを設定する。例えば、対象のマイクロフォンが存在しないものとして他のマイクロフォンによる収音信号から音響信号が生成されるように、パラメータが設定される。また例えば、状態変化前の収音領域に関わらず、変化後の各マイクロフォンの収音領域に応じたパラメータが設定される。

【0076】

Ｓ１１０５又はＳ１１０６においてパラメータの再設定が行われると、図１１の処理フローを終了する。上述した図１１の処理フローを実行することにより、チャネル制御部４１０は、状態変化の前の複数のマイクロフォンの状態と当該変化の後の複数のマイクロフォンの状態とに基づいて、音響信号生成に用いられるパラメータを決定することができる。これにより、マイクロフォンの状態が変化した場合にも、生成される音響信号を用いて再生される音の聞こえ方が大きく変化することを抑制できる。

【0077】

なお、チャネル制御部４１０は、収音領域の特定結果を用いずにマイクロフォンの変化前後の位置や向きに基づいてパラメータを決定してもよい。この場合、状態変化前の対象のマイクロフォンと位置及び向きが近い他のマイクロフォンを代用するようにパラメータが決定されてもよい。

【0078】

［状態変化の例］
ここで図１２及び図１３を用いて、マイクロフォンの状態変化の例を説明する。図１２は、マイクロフォン１０９−１１６とそれらの設置時の収音領域１２０９−１２１６を示している。一方図１３は、図１２に示す状態から、マイクロフォン１１６の向きが何らかの原因で変化した状態を示している。マイクロフォン１１６の収音領域は収音領域１２１６から収音領域１３１６に変化している。

【0079】

ここで、マイクロフォン１１５の変化前の収音領域１２１６とマイクロフォン１１５の収音領域１２１５とは重複領域１３１５において重なっている。そのため処理装置１３０は、収音信号の合成に関するパラメータを再設定することで、マイクロフォン１１５による収音信号をマイクロフォン１１６による収音信号の一部として代用する。これにより、あたかもマイクロフォン１１６が収音領域１３１６と重複領域１３１５の両方の音を収音しているかのように扱って音響信号を生成することができ、状態変化の前との音の聞こえ方の変化が小さくなるような音響信号を生成できる。

【0080】

なお図１３の例では、マイクロフォン１１６の変化前の収音領域１２１６と変化後の収音領域１３１６とが重なる部分が大きいため、処理装置１３０は、変化後においてもマイクロフォン１１６に対応するチャネルの収音信号を用いて音響信号を生成する。一方、処理装置１３０は、状態の変化が検出された対象のマイクロフォン１１６に対応するチャネルの収音信号を音響信号の生成に用いるか否かを、マイクロフォン１１６の変化前の状態と変化後の状態とに基づいて決定してもよい。

【0081】

例えばチャネル制御部４１０は、マイクロフォン１１６の変化前の収音領域１２１６と変化後の収音領域１３１６とが重ならない場合に、マイクロフォン１１６に対応するチャネルの収音信号が音響信号の生成に用いられないようにパラメータを設定してもよい。具体的には、チャネル制御部４１０は、複数チャネルの収音信号の合成におけるマイクロフォン１１６に対応するチャネルの合成比率を０としてもよい。すなわち、チャネル制御部４１０により設定されるパラメータは、状態の変化が検出された対象のマイクロフォン１１６に対応するチャネルの収音信号を音響信号の生成に用いるか否かを表す。なお、変化前の収音領域と変化後の収音領域が重なるか否かによる判断に限らず、重なる領域の大きさや、マイクロフォンの変化前の方向と変化後の方向との関係などに基づいて、当該マイクロフォンによる収音信号を用いるか否かが判断されてもよい。

【0082】

マイクロフォン１１６の収音領域が変化前と変化後で大きく変わる場合には、収音される音も大きく異なってしまう。そのため、マイクロフォン１１６による収音信号を用いず、他のマイクロフォンによる収音信号から音響信号を生成することで、より適切な音を再生可能な音響信号を生成できる。

【0083】

［前方マイクと後方マイクの切り替え］
次に図１４を用いて、マイクロフォンの状態変化に応じて前方収音マイク３０３と後方収音マイク３０４を切り替える場合の動作について説明する。図１４の処理は、図７のＳ７５において行われる図１１に示す処理の変形例であり、図１１のＳ１１００とＳ１１０１の処理の間にＳ１４００からＳ１４０３の処理が挿入される。以下では、図１１の処理との差分について説明する。

【0084】

Ｓ１４００において、チャネル制御部４１０は、蓄積部４０７に格納されたマイク情報４５０に基づいて、対応関係にある前方収音マイク３０３と後方収音マイク３０４を特定する。具体的には、同一の機器であるマイクロフォンに実装されており、且つ互いに異なる方向に指向性を有する前方収音マイク３０３と後方収音マイク３０４とが特定される。

【0085】

Ｓ１４０１において、チャネル制御部４１０は、状態変化が検出された対象のマイクロフォンについて、変化前の前方収音マイク３０３の収音領域と変化後の後方収音マイク３０４の収音領域との重複領域を算出する。Ｓ１４０２において、チャネル制御部４１０は、前方収音マイク３０３と後方収音マイク３０４との役割を交換可能か否か判定する。例えば、Ｓ１４０１において算出された重複領域の大きさが閾値以上であった場合に、交換可能であると判定され、Ｓ１４０３に進む。一方、交換可能でないと判定された場合はＳ１１０１に進み、以降は図１１で説明したものと同様の処理が行われる。なおチャネル制御部４１０は、収音領域の特定結果を用いずに、状態変化前後の前方収音マイク３０３と後方収音マイク３０４の向きに基づいて、役割の交換が可能か否かを判定してもよい。

【0086】

Ｓ１４０３において、チャネル制御部４１０は、対象のマイクロフォンについて前方収音マイク３０３と後方収音マイク３０４との役割を交換させる。具体的には、チャネル制御部４１０は、前方収音マイク３０３が状態変化の前に収音していた領域の音の少なくとも一部が、後方収音マイク３０４により収音された音を代用して構成されるように、音響信号の生成に用いられるパラメータを再設定する。また同様に、チャネル制御部４１０は、後方収音マイク３０４が状態変化の前に収音していた領域の音の少なくとも一部が、前方収音マイク３０３により収音された音を代用して構成されるように、音響信号の生成に用いられるパラメータを再設定する。そして図１４の処理フローを終了する。

【0087】

［マイク交換の例］
ここで図１５を用いて、マイクロフォンの役割を交換する例を説明する。図１５は、マイクロフォン１１６の向きが逆向きに変化した状態を示している。マイクロフォン１１６の前方収音マイク３０３の収音領域は収音領域１２１６から収音領域１５１８に変化し、後方収音マイク３０４の収音領域は収音領域１５１７から収音領域１５１６に変化している。

【0088】

収音領域１２１６と収音領域１５１６とは多くの部分が重なっており、同様に収音領域１５１７と収音領域１５１８とは多くの部分が重なっている。そのため処理装置１３０は、収音信号の合成に関するパラメータを再設定することで、前方収音マイク３０３の役割と後方収音マイク３０４の役割とを交換させる。その結果、処理装置１３０は、フィールド１００の音を生成する場合には後方収音マイク３０４により収音された音を用い、観客席の音を生成する場合には前方収音マイク３０３により収音された音を用いることになる。

【0089】

なお、ここでは前方収音マイク３０３と後方収音マイク３０４との役割を交換させる場合について説明したが、これに限らず、筐体が異なる複数のマイクロフォンの役割が交換されてもよい。例えば、マイクロフォン１１５の位置とマイクロフォン１１６の位置が入れ替わってしまった場合に、これらのマイクロフォンの役割を交換させてもよい。このように、処理装置１３０は、複数のマイクロフォンの状態の変化が検出された場合に、当該変化の前の一方のマイクロフォンの収音領域と当該変化の後の他方のマイクロフォンの収音領域とが重なるか否かに基づいて、パラメータを決定してもよい。これにより、複数のマイクロフォンの位置や向きが入れ替わってしまった場合においても、生成される音響信号を用いて再生される音の聞こえ方の変化を抑制することができる。

【0090】

［カメラパスに応じた音響信号生成］
本実施形態において処理装置１３０は、カメラパス情報４５４に基づいて音響信号の生成を行う。具体的には、処理装置１３０は、音響生成部４０９により生成される音響信号と共に再生される映像に対応する視点（撮影位置及び撮影方向）を示す視点情報を、蓄積部４０７に格納されたカメラパス情報４５４から取得する。そして処理装置１３０は、音響信号の生成に用いるパラメータを、取得した視点情報及び上述したマイクロフォンの状態などに基づいて決定する。これにより処理装置１３０は、例えば競技場内に設置された複数のカメラを切り替えて撮影が行われる場合や、カメラを移動させながら撮影が行われる場合に、撮影位置に追従するような音響信号など、映像に適した音響信号を生成することができる。そして、生成された音響信号が適切な再生環境において再生されることで、例えば撮影位置における音の聞こえ方を再現することができる。

【0091】

ここで図１６を用いて、カメラパス（カメラの視点の移動経路）に応じた音響信号を生成するための処理装置１３０の動作について説明する。図１６の処理は、図７のＳ７６における音響信号の生成処理において実行される。Ｓ１７００において音響生成部４０９は、カメラパス情報４５４から視点情報を取得する。ここで取得される視点情報は、例えば使用するカメラの切り替え順序や切り替え時刻を記したものであり、視点の移動経路を示す。

【0092】

Ｓ１７０１において、音響生成部４０９は、マイク情報４５０などに基づいて、各カメラと各マイクロフォンの位置関係を特定する。なお、位置関係の特定はＳ５０１におけるキャリブレーション時に行われてもよい。Ｓ１７０２において、処理装置１３０は各マイクロフォンの設置状況を確認する。例えばあるマイクロフォンについて検出された状態変化の変化量が閾値より大きい場合には、当該マイクロフォンの設置状況が異常であると判断される。一方、状態変化が検出されていない場合や変化量が閾値より小さい場合には、当該マイクロフォンの設置状況が正常であると判断される。

【0093】

Ｓ１７０３において、処理装置１３０は、Ｓ１７００において取得された視点情報及びＳ１７０１において特定されたカメラとマイクの位置関係から、映像に応じた音響信号の生成に必要なマイクロフォンを特定する。そして処理装置１３０は、特定されたマイクロフォンすべての設置状況が正常であるか否かを判定する。特定されたマイクロフォンが全ての設置状況が正常である場合はＳ１７０４に進み、少なくとも１つのマイクロフォンの設置状況が異常である場合はＳ１７０５に進む。

【0094】

Ｓ１７０４において、処理装置１３０は、カメラパスに追従する位置の音を再現するような音響信号が生成されるように、パラメータを決定して収音信号の合成を行う。

【0095】

Ｓ１７０５において、処理装置１３０は、ユーザによる操作に応じて設定されるパス設定モードを確認する。パス設定モードには、以下の５つのモードが含まれる。
（１）カメラパスが開始する位置（始点位置）に対応する音響信号を生成するモード
（２）カメラパスが終了する位置（終点位置）に対応する音響信号を生成するモード
（３）ユーザによる指定に応じたカメラパス上の任意の固定位置に対応する音響信号を生成するモード
（４）設置状況が正常であるマイクロフォン付近の位置に対応する音響信号を生成するモード
（５）カメラパスの始点位置から設置状況が異常であるマイクロフォン付近の手前までの間のみ、カメラパスに追従する位置の音響信号を生成するモード
設定されたモードが（１）、（２）、及び（３）のモードの何れかである場合にはＳ１７０６に進み、（４）又は（５）のモードである場合にはＳ１７０７に進む。Ｓ１７０６及びＳ１７０７において、処理装置１３０は、モードに応じた音響信号が生成されるように、パラメータを設定して収音信号の合成を行う。

【0096】

以上のように、処理装置１３０は、カメラパスの始点位置、終点位置、及び状態の変化が検出された対象のマイクロフォンに応じて決まる位置などに対応する音響信号が音響生成部４０９により生成されるように、音響信号の生成に用いるパラメータを決定する。これにより、映像に適合した臨場感の高い音を再生可能な音響信号を生成できる。

【0097】

なお、音響生成部４０９により生成される音響信号と共に再生される映像は、カメラにより撮影された映像そのものに限らない。例えば、複数の方向から複数のカメラにより撮影された映像を合成することで、カメラの存在しない仮想的な視点に対応する映像である仮想視点映像を生成する技術がある。この技術によって、ユーザが任意に指定した視点に対応する映像が生成され、その映像が音響信号と共に再生されてもよい。この場合には、ユーザにより指定された視点に関する情報がカメラパス情報４５４として使用される。そして処理装置１３０は、ユーザにより指定された視点の移動経路であるカメラパスに応じた音響信号、すなわち指定された視点の位置における聞こえ方を再現するための音響信号を生成する。なお、仮想的な視点はユーザにより指定されるものに限らず、映像を生成するシステムにより自動で決定されてもよい。

【0098】

［ユーザインタフェース］
図１６では、カメラパスに応じた位置に対応する音響信号が生成される場合について説明したが、これに限らず、処理装置１３０はユーザによる指定に応じた位置に対応する音響信号を生成してもよい。この場合に使用されるユーザインタフェースの例について、図１７を用いて説明する。本実施形態では、処理装置１３０が有するタッチパネルに図１７の画像が表示されるものとする。

【0099】

状態表示１６０５―１６２０は、マイクロフォン１０５―１２０の状態を示すものである。各マイクロフォンの状態表示は、設置状況１６６０と使用状況１６６１で構成される。設置状況１６６０については、「正常」であるか「異常」であるかが、上述したマイクロフォンの状態変化の検出結果に応じて表示される。使用状況１６６１については、ユーザによる指定に応じた音響信号の生成に使用される場合は「使用」と表示され、使用されない場合は「不使用」と表示される。

【0100】

マイクアイコン１６２５―１６４０がユーザによりタッチされると、処理装置１３０は、状態表示１６０５―１６２０の表示と非表示を切り替える。また、タッチパネル上でタッチしたままスライドする操作が行われると、処理装置１３０は、操作に応じたマイクパスを設定する。例えば、ユーザがマイクアイコン１６３２、マイクアイコン１６３０、マイクアイコン１６２９、及びマイクアイコン１６３６を順にスライド操作で指定すると、マイクパス１６５０が設定される。

【0101】

マイクパス１６５０が設定されると、処理装置１３０は、マイクパス１６５０上を移動する位置に対応する音響信号を生成する。なお、図１７ではマイクロフォンを経由するようなマイクパス１６５０が設定されているが、これに限らず、マイクロフォンが存在しない位置を指定することも可能である。

【0102】

［マイク状態の自動補正］
上述のように、処理装置１３０は、マイクロフォンの状態の変化が検出された場合、音響信号生成に用いるパラメータを再設定することで、再生される音の聞こえ方の変化を抑制する。しかしながら、マイクロフォンを変化前の状態に戻すことができれば、より適切な音を再生可能な音響信号を生成することができる。以下では、音響処理システム１０が、状態の変化が検出された対象のマイクロフォンの状態を補正する制御を行う場合について説明を行う。

【0103】

図１８は、マイクロフォン状態を補正する動作の流れを示す。ここではマイクロフォン１０５の状態の変化が検出されるものとする。図１８の左側の処理は処理装置１３０が実行する処理であり、右側の処理はマイクロフォン１０５が実行する処理である。

【0104】

Ｓ１９０２において、処理装置１３０は、マイクロフォン１０５の状態が変化したことを検出する。Ｓ１９０３において、処理装置１３０は、マイク情報４５０を参照して、マイクロフォン１０５がモータなどの動力を持つかを確認する。ここでは、マイクロフォン１０５が動力を持つ場合について示す。動力を持たない場合は、図１８の処理フローを終了し、上述したようにパラメータの再設定により対処される
Ｓ１９０４において、処理装置１３０は、マイクロフォン１０５に対して復帰指示を通知する。Ｓ１９０５において、マイクロフォン１０５は、設置時のキャリブレーションの情報を取得する。具体的には、蓄積部４０７に格納されているキャリブレーション結果４５１のうち、マイクロフォン１０５に対応する情報を、チャネル制御部４１０からＭＡＤＩインタフェース４０５を介して受信する。Ｓ１９０６において、マイクロフォン１０５は、その時点における音響信号の生成にマイクロフォン１０５による収音信号が使用されているか否かを示す使用状態の情報を取得する。使用状態の情報の取得方法も、Ｓ１９０５におけるキャリブレーションの情報の取得方法と同一である。

【0105】

Ｓ１９０７において、マイクロフォン１０５は、マイクロフォン１０５が使用中であるか否かを使用状態の情報に基づいて判定する。使用中の場合、マイクロフォン１０５は状態の補正をすることが出来ない旨を処理装置１３０に通知し、Ｓ１９０８に進む。一方、使用中でない場合、Ｓ１９０９に進む。Ｓ１９０８において、処理装置１３０は、マイクロフォン１０５から補正不可の通知を受けとる。そして図１８の処理フローを終了する。なお、処理装置１３０は、マイクロフォン１０５が補正不可の場合に、マイクロフォン１０５による収音信号を使用しないように制御を行ってもよい。

【0106】

Ｓ１９０９において、マイクロフォン１０５は、前方位置センサ３０５及び後方位置センサ３０６を用いて座標情報を取得する。Ｓ１９１０において、マイクロフォン１０５は、Ｓ１９０５において取得したキャリブレーションの情報と、Ｓ１９０９において取得した座標情報から、変化前の状態に戻すために必要な補正方向及び補正量を算出する。そしてマイクロフォン１０５は、モータなどの動力を使用して状態の補正を行う。

【0107】

Ｓ１９１１において、マイクロフォン１０５は、補正が正しく完了したかを判定する。判定の結果、再調整が必要な場合にはＳ１９０９に戻る。一方、補正が完了したと判定された場合はＳ１９１２に進む。Ｓ１９１２において、マイクロフォン１０５は、補正を完了したことを処理装置１３０に通知する。Ｓ１９１３において、処理装置１３０は、補正が完了したことについての通知を受け、図１８の処理フローを終了する。

【0108】

図１９は、音響処理システム１０がマイクロフォンの状態を補正する機能を有する場合のユーザインタフェースの例を示す。図１７に示すものとの差分として、状態表示１６０９内に設置状況１６６０と使用状況１６６１に加えて、状態の補正を指示するためのボタン（補正ボタン１８００）が表示される。補正ボタン１８００がユーザによりタッチされた場合には、図１８を用いて説明したＳ１９０４以降の処理が実行される。

【0109】

以上のように、音響処理システム１０は、マイクロフォンの状態の変化を検出し、マイクロフォンが補正に必要な動力を有する場合には自動で状態の補正を行う。これにより、ユーザによる補正の手間を削減しつつ、適切な音を再生可能な音響信号を生成できる状態に音響処理システムを復帰させることができる。

【0110】

［送受信インタフェース］
本実施形態においては、プリアンプ間の通信やプリアンプとレコーダとの間の通信にＭＡＤＩインタフェースを用いる場合を中心に説明した。ＭＡＤＩインタフェースを用いると、マイクロフォンによる収音信号と収音領域などを示すメタデータとを合わせて伝送することができ、配線の増加を抑制できる。

【0111】

図２０は、ＭＡＤＩインタフェースにより伝送されるデータの例を示したものである。伝送単位である１フレームは５６チャネルで構成され、各チャネルにはマイクロフォンによる収音信号が格納される。また、各チャネルには収音信号が格納されない部分、例えばステータスビット２０００が存在する。複数チャネルや複数フレームのステータスビット２０００を用いることで、プリアンプから出力されるメタデータやチャネル制御部４１０からプリアンプへ送信される制御情報を伝送することができる。なお、音響処理システム１０はＭＡＤＩインタフェースとは異なるインタフェースによりデータを伝送してもよい。

【0112】

以上説明したように、本実施形態に係る処理装置１３０は、マイクロフォンの状態の変化を検出する。また処理装置１３０は、複数のマイクロフォンによる収音に基づく複数チャネルの収音信号のうち１以上のチャネルの収音信号に基づいて音響信号を生成する音響生成部４０９が音響信号の生成に用いるパラメータを決定する。このパラメータの決定において、処理装置１３０は、複数のマイクロフォンの少なくとも何れかの状態の変化が検出された場合には、当該変化の後の複数のマイクロフォンの状態に基づいてパラメータを決定する。このような構成によれば、マイクロフォンの状態が変化した場合における、複数のマイクロフォンによる収音に基づいて生成される音響信号を用いて再生される音の聞こえ方の変化を抑制することができる。

【0113】

なお本実施形態では、処理装置１３０が、マイクロフォンの設置の位置及び向きの少なくとも何れかの変化を当該マイクロフォンの状態の変化として検出するものとした。そしてマイクロフォンの状態の変化は、複数のセンサにより取得される情報に基づいて検出されるものとした。また、処理装置１３０が、変化前の複数のマイクロフォンの設置の位置及び向きと変化後の複数のマイクロフォンの設置の位置及び向きとに基づいて、音響信号の生成に用いるパラメータを決定する場合を中心に説明した。

【0114】

ただしこれに限らず、例えば処理装置１３０は、マイクロフォンの向きを検出せずに、マイクロフォンの位置の検出結果のみに基づいて合成パラメータを決定してもよい。具体的には、検出された位置の変化量が閾値以上であるマイクロフォンにより収音される収音信号が音響信号の生成に用いられないようにパラメータが決定されてもよい。マイクロフォンの位置の変化のみが検出されるような場合には、マイクロフォンに設置されるセンサは単一であってもよい。同様に、処理装置１３０は、マイクロフォンの位置を検出せずに、マイクロフォンの方向の検出結果のみに基づいて合成パラメータを決定してもよい。

【0115】

また例えば、処理装置１３０は、設置されたマイクロフォンの電源がＯＦＦになったことやマイクロフォンの故障などを、当該マイクロフォンの状態の変化として検出してもよい。また例えば、処理装置１３０は、複数のマイクロフォンによる収音信号を比較し、他のマイクロフォンと特徴が大きく異なる収音信号を出力しているマイクロフォンがある場合に、当該マイクロフォンの状態が変化したと判断してもよい。

【0116】

また、本実施形態では、音響処理システム１０が収音と並行して音響信号の生成を行う場合を中心に説明したが、これに限らず、例えば競技場における試合中に収音された収音信号を蓄積しておき、試合後に音響信号の生成を行ってもよい。この場合、音響処理システム１０は、収音中にマイクロフォンの状態の変化が検出されたタイミングを記録しておく。そして音響処理システム１０は、記録された情報を音響信号の生成時に使用して、音響信号の各時間区間に対応する合成パラメータを決定してもよい。

【0117】

本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ等）によっても実現可能である。また、そのプログラムをコンピュータにより読み取り可能な記録媒体に記録して提供してもよい。

【符号の説明】

【0118】

１０ 音響処理システム
１０５−１２０ マイクロフォン
２００−２１５ プリアンプ
１３０ 処理装置
１０９ 音響生成部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】

【図18】

【図19】

【図20】