特許 6191572 収録システム、収録方法およびプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6191572

(24)【登録日】2017年8月18日

(45)【発行日】2017年9月6日

(54)【発明の名称】収録システム、収録方法およびプログラム

(51)【国際特許分類】

   H04R 3/00 20060101AFI20170828BHJP

【ＦＩ】

   H04R3/00

   H04R3/00 320

【請求項の数】8

【全頁数】18

(21)【出願番号】特願2014-198056(P2014-198056)

(22)【出願日】2014年9月29日

(65)【公開番号】特開2015-100103(P2015-100103A)

(43)【公開日】2015年5月28日

【審査請求日】2016年2月17日

(31)【優先権主張番号】特願2013-215708(P2013-215708)

(32)【優先日】2013年10月16日

(33)【優先権主張国】JP

(73)【特許権者】

【識別番号】000004075

【氏名又は名称】ヤマハ株式会社

(74)【代理人】

【識別番号】100125689

【弁理士】

【氏名又は名称】大林 章

(74)【代理人】

【識別番号】100121108

【弁理士】

【氏名又は名称】高橋 太朗

(72)【発明者】

【氏名】高橋 祐

(72)【発明者】

【氏名】近藤 多伸

(72)【発明者】

【氏名】田邑 元一

【審査官】 下林 義明

(56)【参考文献】

【文献】 米国特許出願公開第２００９／００６８９４３（ＵＳ，Ａ１）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｈ０４Ｒ ３／００ − ３／１４

Ｈ０４Ｈ ６０／０４

(57)【特許請求の範囲】

【請求項1】

音響を表す音響データを生成する収録手段と、前記収録手段が生成した音響データを編集する編集手段とを各々が含む複数の端末装置と、
前記編集手段による編集後の音響データを前記各端末装置から取得し、前記各音響データを同期させる同期処理と当該同期処理の実行後の複数の音響データを混合する混合処理とを実行する音響処理手段と
を具備する収録システム。

【請求項2】

前記複数の端末装置の各々における前記編集手段は、他端末から取得した情報を利用して前記音響データを編集する
請求項１の収録システム。

【請求項3】

前記複数の端末装置の各々は、前記各端末装置の前記編集手段による音響データの編集に適用される制御変数を示す制御変数情報を含む管理情報を記憶し、前記複数の端末装置の何れかにおいて制御変数が変化すると、前記管理情報を、他端末との間の通信により、当該変化を反映した内容に更新する
請求項１の収録システム。

【請求項4】

音響を表す音響データを生成する収録手段を各々が含む複数の端末装置と、
前記収録手段による収録後の音響データを前記各端末装置から取得し、前記各音響データを同期させる同期処理と当該同期処理の実行後の複数の音響データを混合する混合処理とを実行する音響処理手段とを具備し、
前記複数の端末装置の各々は、前記各端末装置における音響データの録音状態を示す録音状態情報を含む管理情報を記憶し、前記複数の端末装置の何れかにおいて録音状態が変化すると、前記管理情報を、他端末との間の通信により、当該変化を反映した内容に更新する
収録システム。

【請求項5】

前記複数の端末装置の各々は、前記管理情報を表示する表示手段を具備する
請求項３または請求項４の収録システム。

【請求項6】

音響処理装置が、音響を表す音響データを生成する収録手段と、前記収録手段が生成した音響データを編集する編集手段とを各々が含む複数の端末装置から、前記編集手段による編集後の音響データを取得し、前記各音響データを同期させる同期処理と当該同期処理の実行後の複数の音響データを混合する混合処理とを実行する
収録方法。

【請求項7】

音響処理装置が、音響を表す音響データを生成する収録手段を各々が含む複数の端末装置から、前記収録手段による収録後の音響データを取得し、前記各音響データを同期させる同期処理と当該同期処理の実行後の複数の音響データを混合する混合処理とを実行し、
前記複数の端末装置の各々が、前記各端末装置における音響データの録音状態を示す録音状態情報を含む管理情報を記憶し、前記複数の端末装置の何れかにおいて録音状態が変化すると、前記管理情報を、他端末との間の通信により、当該変化を反映した内容に更新する
収録方法。

【請求項8】

コンピュータを、
音響を表す音響データを生成する収録手段と、前記収録手段が生成した音響データを編集する編集手段とを各々が含む複数の端末装置から、前記編集手段による編集後の音響データを取得し、前記各音響データを同期させる同期処理と当該同期処理の実行後の複数の音響データを混合する混合処理とを実行する音響処理手段
として機能させるプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、音響を収音する技術に関する。

【背景技術】

【0002】

音響空間内に位置する歌唱者や楽器等の複数の発音源から放射された音響を複数の収音装置で収音したうえで混合するマルチチャネルの収録システムが例えば特許文献１に開示されている。特許文献１の技術によれば、臨場感がある音場を受聴者に知覚させ得る音響信号を生成することが可能である。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２００３−２５０２００号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

しかし、特許文献１の技術では、音響空間内の発音源の総数に応じた多数の収音装置を具備する大規模な収録システムが必要である。以上の事情を考慮して、本発明は、収録システムの構成を簡素化することを目的とする。

【課題を解決するための手段】

【0005】

以上の課題を解決するために、本発明の収録システムは、音響空間内に位置する可搬型の複数の端末装置であって、音響を表す音響データを生成する収録手段を各々が含む複数の端末装置と、収音手段による収録後の音響データを各端末装置から取得し、各音響データを同期させる同期処理と同期処理の実行後の複数の音響データを混合する混合処理とを実行する音響処理手段とを具備する。以上の構成では、音響データの生成が各端末装置にて実行され、各端末装置での収録後の音響データについて同期処理および混合処理が実行される。したがって、多数の収音装置が接続された従来の収録システムと比較して全体構成が簡素化（小規模化）されるという利点がある。

【0006】

本発明の好適な態様において、複数の端末装置の各々は、収録手段が生成した音響データを編集する編集手段を含み、音響処理手段は、編集手段による編集後の音響データを各端末装置から取得する。以上の構成によれば、音響データの生成および編集が各端末装置にて実行され、各端末装置での編集後の音響データについて同期処理および混合処理が実行される。したがって、多数の収音装置が接続された従来の収録システムと比較して全体構成が簡素化されるという前述の効果は格別に顕著である。

【0007】

本発明の好適な態様において、音響処理手段は、複数の端末装置の各々と通信網を介して通信可能な音響処理装置に設置され、各端末装置から通信網を介して受信した音響データについて同期処理と混合処理とを実行する。以上の構成では、通信網を介して各端末装置と通信する音響処理装置が、各端末装置から受信した音響データについて同期処理と混合処理とを実行するから、各端末装置は同期処理と混合処理とを実行する必要がない。したがって、端末装置の構成が簡素化されるという利点がある。ただし、複数の端末装置のうち何れかが、自装置で生成された音響データと他端末から受信した音響データとについて同期処理と混合処理とを実行する構成（音響処理装置の機能を端末装置に搭載した構成）も採用される。

【0008】

本発明の好適な態様において、複数の端末装置の各々は、他端末との間で近距離無線通信が可能であり、編集手段は、他端末から近距離無線通信で取得した情報を利用して音響データを編集する。以上の態様では、各端末装置の相互間の近距離無線通信で授受される情報が各端末装置での音響データの編集に適用されるから、各端末装置における収音状態の関係を加味した編集が実現される。

【0009】

本発明の好適な態様において、複数の端末装置の各々は、他端末との間で近距離無線通信が可能であり、他端末から近距離無線通信で送信された指示に応じて、収録手段が生成した音響データの記録を開始する。以上の態様では、各端末装置の相互間の近距離無線通信で授受される指示に応じて各端末装置での音響データの記録が開始されるから、各端末装置の音響データを容易に同期させる（あるいは同期処理を不要とする）ことが可能である。

【0010】

以上の各態様に係る収録システムは、収録に専用されるDSP（Digital Signal Processor）等のハードウェア（電子回路）によって実現されるほか、CPU（Central Processing Unit）等の汎用の演算処理装置とプログラムとの協働によっても実現される。本発明のプログラムは、コンピュータが読取可能な記録媒体に格納された形態で提供されてコンピュータにインストールされ得る。記録媒体は、例えば非一過性（non-transitory）の記録媒体であり、CD-ROM等の光学式記録媒体（光ディスク）が好例であるが、半導体記録媒体や磁気記録媒体等の公知の任意の形式の記録媒体を包含し得る。本発明のプログラムは、例えば通信網を介した配信の形態で提供されてコンピュータにインストールされ得る。また、本発明は、以上に説明した各態様に係る収録システムの動作方法（収録方法）としても特定される。

【図面の簡単な説明】

【0011】

【図1】本発明の実施形態に係る収録システムの構成図である。

【図2】収録システムの概略的な動作の説明図である。

【図3】制御処理のフローチャートである。

【図4】記録処理のフローチャートである。

【図5】管理情報の模式図である。

【図6】第１処理のフローチャートである。

【図7】第２処理のフローチャートである。

【図8】確認画面の模式図である。

【図9】記録後処理のフローチャートである。

【図10】変形例の動作の説明図である。

【発明を実施するための形態】

【0012】

図１は、本発明の好適な実施形態に係る収録システム１００の構成図である。本実施形態の収録システム１００は、収録スタジオや演奏ホール等の音響空間内に位置するＫ個（Ｋは２以上の自然数）の発音源Ｓ[1]〜Ｓ[K]から放射された音響を収録する音響システムである。音響空間内の各発音源Ｓ[k]（ｋ＝１〜Ｋ）は、任意の楽曲（以下「対象楽曲」という）の相異なる演奏パートの音響（歌唱音や楽音）を放射する歌唱者や楽器である。すなわち、本実施形態の収録システム１００は、複数の演奏パートで構成される対象楽曲の演奏音の収録に利用される。図１に例示される通り、収録システム１００は、音響空間内の相異なる発音源Ｓ[k]に対応するＫ個の端末装置１２[1]〜１２[K]と音響処理装置１４とを具備する。本実施形態の音響処理装置１４は、例えばウェブサーバ等のサーバ装置で実現される。各端末装置１２[k]は、例えば移動通信網やインターネット等の通信網１６を介して音響処理装置１４と相互に通信する通信端末である。例えば携帯電話機やスマートフォンやタブレット端末が端末装置１２[k]として好適に利用される。

【0013】

任意の１個の端末装置１２[1]について図１に代表的に例示される通り、各端末装置１２[k]は、制御装置２１と記憶装置２２と通信装置２３と通信装置２４と表示装置２５と入力装置２６と収音装置２７と放音装置２８とを具備するコンピュータシステムで実現される。制御装置２１は、記憶装置２２に記憶されたプログラムを実行することで各種の制御処理および演算処理を実行する演算処理装置（CPU）である。記憶装置２２（例えば半導体記録媒体）は、制御装置２１が実行するプログラムや制御装置２１が使用する各種のデータを記憶する。

【0014】

通信装置２３は、通信網１６を介して音響処理装置１４と通信する。通信装置２３と通信網１６との間の通信は無線通信である。通信装置２４は、音響空間内の他の端末装置１２[k]との間で近距離無線通信（通信網１６を利用しない通信）を実行する。例えばBluetooth（登録商標）やWi-Fi（登録商標）等の近距離無線通信が通信装置２４による通信方式として好適に採用される。以上の通り、通信装置２３と通信装置２４とは相異なる方式の通信を実行する。

【0015】

表示装置２５（例えば液晶表示パネル）は、制御装置２１から指示された画像を表示する。入力装置２６は、端末装置１２[k]に対する利用者からの指示を受付ける操作機器であり、例えば利用者が操作する複数の操作子を含んで構成される。なお、表示装置２５と一体に構成されたタッチパネルを入力装置２６として利用することも可能である。放音装置（例えばスピーカやヘッドホン）２８は、制御装置２１から指示された音響を放射する。

【0016】

端末装置１２[k]の収音装置２７は、音響空間内の周囲の音響の収音により音響データＸA[k]を生成する。音響データＸA[k]は、音響の時間波形を表現する数値列である。端末装置１２[k]は、収音装置２７が発音源Ｓ[k]に接近した状態（オンマイク）で保持される。したがって、音響データＸA[k]で表現される音響は、発音源Ｓ[k]から放射された音響を優勢に包含するが、他の発音源Ｓから放射されて端末装置１２[k]の収音装置２７に到達した音響（かぶり音）も含有する。なお、収音装置２７による収音直後のアナログの音響信号をデジタルの音響データＸA[k]に変換するＡ/Ｄ変換器の図示は便宜的に省略した。制御装置２１は、収音装置２７が生成した音響データＸA[k]の編集（加工）で音響データＸB[k]を生成する。

【0017】

図１の音響処理装置１４は、各端末装置１２が生成するＫ系統（Ｋチャネル）の音響データＸB[1]〜ＸB[K]から音響データＹを生成する信号処理装置であり、制御装置３１と記憶装置３２と通信装置３３とを具備するコンピュータシステムで実現される。なお、相互に別体に構成された複数の装置（例えば通信網１６を介して相互に通信する複数のサーバ装置）で音響処理装置１４を実現することも可能である。

【0018】

制御装置３１は、記憶装置３２に記憶されたプログラムを実行することで各種の制御処理および演算処理を実行する演算処理装置である。例えば制御装置３１は、各端末装置１２が生成するＫ系統（Ｋチャネル）の音響データＸB[1]〜ＸB[K]の混合（ミキシング）で音響データＹを生成する。記憶装置３２は、制御装置３１が実行するプログラムや制御装置３１が使用する各種のデータを記憶する。例えば半導体記録媒体や磁気記録媒体等の公知の記録媒体または複数の記録媒体の組合せが記憶装置３２として採用され得る。なお、音響処理装置１４とは別体の外部装置（例えばサーバ装置）に記憶装置３２を設置し、音響処理装置１４が通信網１６を介して外部装置の記憶装置３２に対する情報の書込や読出を実行する構成も採用され得る。通信装置３３は、通信網１６を介して各端末装置１２[k]と通信する。

【0019】

図２は、本実施形態の収録システム１００の概略的な動作の説明図である。図２から理解される通り、収音装置２７による音響データＸA[k]の生成と音響データＸA[k]の編集（音響データＸB[k]の生成）とが各端末装置１２[k]にて並列に実行される。音響処理装置１４は、編集後の音響データＸB[k]（ＸB[1]〜ＸB[K]）を各端末装置１２[k]から取得し、同期処理と混合処理とを実行する。同期処理は、各音響データＸB[k]で表現される音響の時系列が時間軸上で相互に同期する（すなわち各音響データＸB[k]で表現される音響の拍点が時間軸上で合致する）ように各音響データＸB[k]を調整する信号処理である。また、混合処理は、同期処理の実行後のＫ個の音響データＸB[1]〜ＸB[K]を混合（加重加算）することで音響データＹを生成する信号処理である。音響処理装置１４が生成した音響データＹが各端末装置１２[k]に送信され、放音装置２８に供給されることで音響として放射される。したがって、複数の演奏パートの楽音が相互に同期する対象楽曲の演奏音が放音装置２８から放射される。

【0020】

任意の１個の端末装置１２[k]は、図３の制御処理ＳAと図４の記録処理ＳBとを実行する。図３の制御処理ＳAは、音響データＸA[k]に関連する全般的な処理であり、図４の記録処理ＳBは、音響データＸA[k]を記憶装置２２に格納する処理である。制御処理ＳAと記録処理ＳBとは、例えば入力装置２６に対する利用者からの指示を契機として開始されて相互に並列に実行される。なお、以下の説明では１個の端末装置１２[k]に着目するが、実際にはＫ個の端末装置１２[1]〜１２[K]の各々で同様の処理が実行される。

【0021】

＜制御処理ＳA＞
制御処理ＳAには管理情報Ａが利用される。管理情報Ａは、各端末装置１２[k]の記憶装置２２に格納される。本実施形態の管理情報Ａは、図５に例示される通り、音響データＸA[k]の収録に使用される端末装置１２[k]毎に端末情報Ｄが登録されたデータテーブルである。端末情報Ｄは、端末識別情報ＤAと録音状態情報ＤBと制御変数情報ＤCとを含んで構成される。端末識別情報ＤAは、端末装置１２[k]を識別するための情報である。録音状態情報ＤBは、音響データＸA[k]の録音状態を表す情報である。本実施形態の録音状態情報ＤBは、収音装置２７が生成する音響データＸA[k]の音量を指定する。したがって、録音状態情報ＤBは、発音源Ｓ[k]が放射する音響に応じて刻々と更新される。また、制御変数情報ＤCは、音響データＸA[k]の編集に適用される変数の数値を指定する。本実施形態の制御変数情報ＤCは、音響データＸA[k]の録音レベル（ゲイン）を指定する。各端末装置１２[k]の記憶装置２２に格納された管理情報Ａは、以下に詳述する通り、通信装置２４による近距離無線通信で随時に更新されてＫ個の端末装置１２[1]〜１２[K]にわたり相互に同様の内容に維持される。

【0022】

図３の制御処理ＳAを開始すると、端末装置１２[k]の制御装置２１は、自装置での録音状態を通知するための状態通知を、通信装置２４から他の(K-1)個の端末装置１２（以下「他端末」という）に送信する（ＳA1）。状態通知には端末装置１２[k]の端末識別情報ＤAと録音状態情報ＤBとが包含される。状態通知は、各端末装置１２[k]の相互間で授受される。

【0023】

制御装置２１は、他端末との通信が切断されたか否かを判定する（ＳA2）。例えば制御装置２１は、最後に状態通知を受信してから所定の時間が経過した他端末（すなわち、状態通知を送信しない状態が所定の時間にわたり継続した他端末）について通信が切断されたと判定する。他端末との通信が切断された場合（ＳA2：YES）、端末装置１２[k]の制御装置２１は、記憶装置２２の管理情報Ａを更新する（ＳA3）。具体的には、制御装置２１は、通信が切断された他端末の端末情報Ｄ（端末識別情報ＤA，録音状態情報ＤB，制御変数情報ＤC）を管理情報Ａから削除する。他方、他端末との通信の切断が発生していない場合（ＳA2：NO）、管理情報Ａの更新（ＳA3）は実行されない。

【0024】

制御装置２１は、端末装置１２[k]の入力装置２６に対する利用者からの指示を受付けたか否かを判定する（ＳA4）。利用者からの指示を受付けた場合（ＳA4：YES）、制御装置２１は、利用者からの指示に応じた第１処理を実行する（ＳA5）。他方、入力装置２６に対する指示を受付けない場合（ＳA4：NO）、制御装置２１は、第１処理ＳA5を実行せずに、他端末から送信された指示（通知や要求）を通信装置２４が受信したか否かを判定する（ＳA6）。他端末からの指示を受信した場合（ＳA6：YES）、制御装置２１は、他端末からの指示に応じた第２処理を実行する（ＳA7）。他方、他端末からの指示を受信しない場合（ＳA6：NO）、制御装置２１は、第２処理ＳA7を実行せずに、処理をステップＳA1に移行して以上の処理（ＳA1〜ＳA7）を反復する。

【0025】

＜記録処理ＳB＞
図４の記録処理ＳBには録音中フラグＦ1と録音停止フラグＦ2とが利用される。録音中フラグＦ1は、収音装置２７から供給される音響データＸA[k]を記憶装置２２に格納する動作（以下「録音動作」という）が実行されているか否かを表す情報である。具体的には、録音動作の実行中には録音中フラグＦ1が有効状態（ON）に設定される。他方、録音停止フラグＦ2は、録音動作を停止すべき場合（例えば録音動作の停止が指示された場合）に有効状態（ON）に設定される。

【0026】

記録処理ＳBを開始すると、端末装置１２[k]の制御装置２１は、録音中フラグＦ1が有効状態（ON）であるか否かを判定する（ＳB1）。録音中フラグＦ1が有効状態である場合（ＳB1：YES）、制御装置２１は、収音装置２７から供給される音響データＸA[k]を記憶装置２２に格納する録音動作を実行する（ＳB2）。他方、録音中フラグＦ1が無効状態（OFF）である場合（ＳB1：NO）、制御装置２１は、録音動作を実行せずに、録音停止フラグＦ2が有効状態（ON）であるか否かを判定する（ＳB3）。録音停止フラグＦ2が有効状態である場合（ＳB3：YES）、制御装置２１は、現時点までの録音動作で記憶装置２２に格納された音響データＸA[k]を確定する動作（以下「確定動作」という）を実行する（ＳB4）。確定動作は、例えば、識別情報ＱAと録音識別情報ＱBとを音響データＸA[k]に付加してファイルを確定する処理である。識別情報ＱAは、音響データＸA[k]を識別するための符号（例えばファイル名）であり、端末装置１２[k]毎に利用者からの指示に応じて設定される。録音識別情報ＱBは、対象楽曲の録音を識別するための符号（例えば録音日時）である。すなわち、共通の音響空間で相互に並列に（すなわち１回の録音で）生成されたＫ個の音響データＸA[1]〜ＸA[K]には共通の録音識別情報ＱBが付加される。以上の処理を実行すると、制御装置２１は、録音停止フラグＦ2を無効状態（OFF）に変更する（ＳB5）。録音停止フラグＦ2が無効状態である場合（ＳB3：NO）、音響データＸA[k]の確定動作（ＳB4）や録音停止フラグＦ2の変更（ＳB5）は実行されない。以上に説明した記録処理ＳBが順次に反復される。

【0027】

＜第１処理ＳA5／第２処理ＳA7＞
図６は、入力装置２６に対する利用者からの指示を受付けた場合（ＳA4：YES）に端末装置１２[k]の制御装置２１が実行する第１処理ＳA5のフローチャートである。利用者は、端末装置１２[k]の入力装置２６を適宜に操作することで複数の動作（接続開始，録音動作の開始，録音動作の停止，変数調整，処理終了）の何れかを指示することが可能である。第１処理ＳA5を開始すると、制御装置２１は、利用者からの指示の内容を判別し（ＳC1）、指示の内容に応じた処理を実行する。第１処理ＳA5では、端末装置１２[k]に対する利用者からの指示に応じて他端末に対する指示（接続要求，録音開始要求，記録停止要求，変数調整通知）が送信される。図７は、他端末からの指示を受信した場合（ＳA6：YES）に端末装置１２[k]の制御装置２１が実行する第２処理ＳA7のフローチャートである。第２処理ＳA7を開始すると、制御装置２１は、通信装置２４が他端末から受信した指示の内容を判別し（ＳD1）、指示の内容に応じた処理を実行する。各端末装置１２[k]は、自装置の入力装置２６に対する利用者からの指示と他端末からの指示との双方を受付け得る。

【0028】

制御処理ＳAおよび記録処理ＳBの開始を指示した各端末装置１２[k]の利用者は、対象楽曲の録音に先立ち、入力装置２６を適宜に操作することで端末装置１２[k]に接続開始を指示する。接続開始の指示は、各端末装置１２[k]を音響データＸA[k]の収録機器として他端末に認識させるための指示である。接続開始が利用者から指示された場合、端末装置１２[k]の制御装置２１は、図６に例示される通り、自装置（端末装置１２[k]）の端末情報Ｄを特定するとともに（ＳC11）、端末情報Ｄを含む管理情報Ａを生成して記憶装置２２に格納する（ＳC12）。また、制御装置２１は、接続要求を通信装置２４から各他端末に送信する（ＳC13）。接続要求には、ステップＳC11で取得した端末情報Ｄ（端末識別情報ＤA，録音状態情報ＤB，制御変数情報ＤC）が包含される。

【0029】

以上の手順で他端末から送信された接続要求を受信した場合、端末装置１２[k]の制御装置２１は、図７に例示される通り、他端末から受信した接続要求に包含される端末情報Ｄを取得し（ＳD11）、記憶装置２２に記憶された管理情報Ａに他端末の端末情報Ｄを追加する（ＳD12）。そして、制御装置２１は、更新後の管理情報Ａを表象する図８の確認画面Ｇを表示装置２５に表示させる（ＳD13）。図８から理解される通り、確認画面Ｇは、端末装置１２[k]毎の端末情報Ｄを利用者に提示する画像である。すなわち、端末装置１２[k]毎に端末識別情報ＤAと録音状態情報ＤBと制御変数情報ＤCとが表示装置２５に表示される。音響空間内の任意の各端末装置１２[k]の相互間で接続要求が授受される結果、各端末装置１２[k]の端末情報Ｄを含む管理情報Ａが生成され、管理情報Ａに応じた確認画面Ｇが各端末装置１２[k]の表示装置２５に表示される。したがって、各端末装置１２[k]の利用者は、確認画面Ｇを視認することで、各端末装置１２[k]の録音状態情報ＤBと制御変数情報ＤCとを把握することが可能である。

【0030】

図３を参照して説明した通り、各端末装置１２[k]は、端末識別情報ＤAと録音状態情報ＤBとを含む状態通知（ＳA1）を他端末から受信する。状態通知を他端末から受信した場合、端末装置１２[k]の制御装置２１は、図７に例示される通り、端末識別情報ＤAと録音状態情報ＤBとを状態通知から取得し（ＳD15）、管理情報Ａおよび確認画面Ｇを録音状態情報ＤBに応じて更新する（ＳD16，ＳD17）。具体的には、管理情報Ａのうち状態通知の端末識別情報ＤAに対応する録音状態情報ＤBが、今回の状態通知の録音状態情報ＤBに更新される。状態通知の送信（ＳA1）はＫ個の端末装置１２[1]〜１２[K]の各々にて反復されるから、各端末装置１２[k]の管理情報Ａは、他端末の録音状態情報ＤBを反映した内容に随時に更新される。したがって、確認画面Ｇに表示される録音状態情報ＤBは刻々と変動する。録音状態情報ＤBの時間変化（数値の時系列）を記憶装置２２に記憶することも可能である。

【0031】

任意の端末装置１２[k]の入力装置２６に対して利用者が録音動作の開始を指示した場合、端末装置１２[k]の制御装置２１は、図６に例示される通り、録音中フラグＦ1が有効状態（ON）であるか否かを判定する（ＳC21）。録音中フラグＦ1が無効状態である場合（ＳC21：NO）、制御装置２１は、識別情報ＱAを生成するとともに（ＳC22）、録音識別情報ＱBを生成する（ＳC23）。識別情報ＱAは、例えば利用者からの指示に応じて生成され、録音識別情報ＱBは例えば録音日時に応じて設定される。識別情報ＱAおよび録音識別情報ＱBは記憶装置２２に格納される。制御装置２１は、録音中フラグＦ1を有効状態に変更し（ＳC24）、録音開始要求（録音動作の開始の要求）を通信装置２４から各他端末に送信する（ＳC25）。録音開始要求は、ステップＳC23で生成した録音識別情報ＱBを包含する。他方、録音中フラグＦ1が既に有効状態である場合（ＳC21：YES）、制御装置２１は、以上の各処理（ＳC22からＳC25）を実行せずに第１処理ＳA5を終了する。

【0032】

以上の手順で他端末から送信された録音開始要求を受信した場合、端末装置１２[k]の制御装置２１は、図７に例示される通り、録音中フラグＦ1が有効状態であるか否かを判定する（ＳD21）。録音中フラグＦ1が無効状態である場合（ＳD21：NO）、制御装置２１は、例えば利用者からの指示に応じて識別情報ＱAを生成するとともに（ＳD22）、録音開始要求に包含される録音識別情報ＱBを取得する（ＳD23）。識別情報ＱAおよび録音識別情報ＱBは記憶装置２２に格納される。制御装置２１は、録音中フラグＦ1を有効状態に変更する（ＳD24）。他方、録音中フラグＦ1が既に有効状態である場合（ＳD21：YES）、制御装置２１は、以上の各処理（ＳD22からＳD24）を実行せずに第２処理ＳA7を終了する。以上の説明から理解される通り、任意の１個の端末装置１２[k]に対する録音動作の開始の指示を契機として各他端末の録音中フラグＦ1が有効状態に設定されることで、発音源Ｓ[k]からの音響に応じた音響データＸA[k]を生成する録音動作（ＳB2）がＫ個の端末装置１２[1]〜１２[K]にて並列に開始される。

【0033】

任意の端末装置１２[k]の入力装置２６に対して利用者が録音動作の停止を指示した場合、端末装置１２[k]の制御装置２１は、図６に例示される通り、録音中フラグＦ1が有効状態であるか否かを判定する（ＳC31）。録音中フラグＦ1が有効状態である場合（ＳC31：YES）、すなわち録音動作の実行中である場合、制御装置２１は、録音中フラグＦ1を無効状態に変更するとともに（ＳC32）、録音停止フラグＦ2を有効状態に変更する（ＳC33）。したがって、直後の記録処理ＳBでは確定動作（ＳB4）が実行されて録音動作が停止する。記録処理ＳBの確定動作では、記憶装置２２に格納された識別情報ＱAと録音識別情報ＱBとが音響データＸA[k]に付加される。制御装置２１は、録音停止要求（録音動作の停止の要求）を通信装置２４から各他端末に送信する（ＳC34）。そして、制御装置２１は、確定動作の実行後の音響データＸA[k]の編集を含む記録後処理を実行（ＳC35）して第１処理ＳA5を終了する。記録後処理の具体的な内容については後述する。他方、録音中フラグＦ1が無効状態である場合（ＳC31：NO）、制御装置２１は、以上の各処理（ＳC32からＳC35）を実行せずに第１処理ＳA5を終了する。

【0034】

以上の手順で他端末から送信された録音停止要求を受信した場合、端末装置１２[k]の制御装置２１は、図７に例示される通り、録音中フラグＦ1が有効状態であるか否かを判定する（ＳD31）。録音中フラグＦ1が有効状態である場合（ＳD31：YES）、制御装置２１は、録音中フラグＦ1を無効状態に変更するとともに（ＳD32）、録音停止フラグＦ2を有効状態に変更する（ＳD33）。したがって、直後の記録処理ＳBでは、録音停止要求を受信した各端末装置１２[k]においても確定動作（ＳB4）が実行されて録音動作が停止する。確定動作では、記憶装置２２に格納された識別情報ＱAと録音識別情報ＱBとが音響データＸA[k]に付加される。制御装置２１は、確定動作の実行後の音響データＸA[k]の編集を含む記録後処理を実行（ＳD35）して第２処理ＳA7を終了する。記録後処理の具体的な内容については後述する。他方、録音中フラグＦ1が無効状態である場合（ＳD31：NO）、制御装置２１は、以上の各処理（ＳD32からＳD35）を実行せずに第２処理ＳA7を終了する。

【0035】

利用者は、制御変数情報ＤC（録音レベル）の変更（変数調整）を、入力装置２６に対する操作で端末装置１２[k]に指示することが可能である。変数調整が利用者から指示された場合、制御装置２１は、図６に例示される通り、制御変数情報ＤCの数値を入力装置２６に対する利用者からの指示に応じて変更する（ＳC41）。そして、制御装置２１は、変数調整通知を通信装置２４から各他端末に送信する（ＳC42）。変数調整通知は、端末装置１２[k]の端末識別情報ＤAと利用者による調整後の制御変数情報ＤCとを包含する。

【0036】

他方、以上の手順で他端末から送信された変数調整通知を受信した場合、端末装置１２[k]の制御装置２１は、図７に例示される通り、端末識別情報ＤAと制御変数情報ＤCとを変数調整通知から取得し（ＳD41）、管理情報Ａおよび確認画面Ｇを制御変数情報ＤCに応じて更新する（ＳD42，ＳD43）。具体的には、管理情報Ａおよび確認画面Ｇにおいて変数調整通知の端末識別情報ＤAに対応する制御変数情報ＤCが、今回の変数調整通知から取得された調整後の制御変数情報ＤCに更新される。したがって、各端末装置１２[k]における制御変数情報ＤCの設定値を各利用者が実時間的に確認することが可能である。

【0037】

任意の端末装置１２[k]の入力装置２６に対して利用者が処理終了を指示した場合、端末装置１２[k]の制御装置２１は、制御処理ＳAと記録処理ＳBとを終了する。以上が、制御処理ＳAにて実行される第１処理ＳA5および第２処理ＳA7の具体例である。

【0038】

＜記録後処理＞
図９は、第１処理ＳA5および第２処理ＳA7にて録音動作の停止時に実行される記録後処理（ＳC35，ＳD35）のフローチャートである。図９では、記録後処理に並行して音響処理装置１４の制御装置３１が実行する処理が併記されている。

【0039】

記録後処理を開始すると、各端末装置１２[k]の制御装置２１は、記憶装置２２に記憶された音響データＸA[k]（確定動作による確定後の音響データＸA[k]）に対する編集処理で音響データＸB[k]を生成する（ＳE1）。音響データＸA[k]の編集処理には、管理情報Ａで規定される他端末の録音状態情報ＤBや制御変数情報ＤCが適用される。例えば、制御装置２１は、各他端末の録音状態情報ＤBが示す音量の平均値に近付くように音響データＸA[k]の音量を調整する。また、制御装置２１は、端末装置１２[k]の利用者が入力装置２６に指示した制御変数情報ＤC（録音レベル）に応じて音響データＸA[k]の振幅を調整する。なお、管理情報Ａが指定する各端末装置１２[k]の制御変数情報ＤCの平均値をゲインとして音響データＸA[k]の振幅を調整することも可能である。また、制御装置２１は、音響データＸA[k]に対して各種の音響効果（例えば残響効果）を付与する。以上の説明から理解される通り、各端末装置１２[k]の制御装置２１は、収音装置２７が生成した音響データＸA[k]を編集する要素（編集手段）として機能する。

【0040】

端末装置１２[k]の制御装置２１は、音響データＸA[k]に対する編集処理で生成した音響データＸB[k]を通信装置２３から音響処理装置１４に送信する（ＳE2）。音響処理装置１４に送信される音響データＸB[k]には録音識別情報ＱBが付加される。各端末装置１２[k]が以上の動作を実行することで、相異なる発音源Ｓ[k]に対応するＫ個の音響データＸB[1]〜ＸB[K]が音響処理装置１４に送信される。

【0041】

音響処理装置１４の制御装置３１は、通信装置３３が各端末装置１２[k]から受信した編集後の音響データＸB[k]を取得して記憶装置３２に格納する（ＳF1）。制御装置３１は、相互に対応する音響データＸB[1]〜ＸB[K]に対する音響処理で音響データＹを生成する（ＳF2，ＳF3）。各端末装置１２[k]からの送信時に付加された録音識別情報ＱBが共通するＫ個の音響データ（すなわち、共通の音響空間内で相互に並列に生成されたＫ個の音響データ）ＸB[1]〜ＸB[K]を対象として音響処理が実行される。すなわち、音響空間や録音時期が相違する多数の音響データＸB[k]から、共通の録音に対応するＫ個の音響データＸB[1]〜ＸB[K]が録音識別情報ＱBにより判別される。本実施形態の音響処理は、図２を参照して前述した通り、同期処理ＳF2と混合処理ＳF3とを包含する。

【0042】

前述の通り、１個の端末装置１２[k]に対する録音動作の開始の指示を契機としてＫ個の端末装置１２[1]〜１２[K]における録音動作が開始されるが、実際に録音が開始される時刻は各端末装置１２[k]で相違する可能性がある。同期処理ＳF2は、各音響データＸB[k]が表す音響を時間軸上で相互に同期させる処理である。例えば、Ｋ個のうち任意の２個の各音響データＸB[k]の相互相関が最大となるように各音響データＸB[k]を調整する処理が同期処理ＳF2として好適である。また、各音響データＸB[k]の標本化周波数の誤差を補正することで各音響データＸB[k]を同期させることも可能である。なお、同期処理ＳF2における標本化周波数の誤差については、例えば宮部等，“非同期録音ブラインド同期のための線形位相補償の効率的最尤解探索”，日本音響学会 春期研究発表会講演集，p.733-736，2013にも開示されている。

【0043】

他方、混合処理ＳF3は、同期処理ＳF2の実行後のＫ個の音響データＸB[1]〜ＸB[K]を混合（ミキシング）することで音響データＹを生成する処理である。具体的には、録音状態に応じて自動的に音量を調整して混合する処理（オートミキシング）が好適に採用される。例えば、Ｋ個の音響データＸB[1]〜ＸB[K]の混合後の周波数特性（スペクトル）にて各周波数の成分値が均一化されるように各音響データＸB[k]の音量を調整する構成や、混合後の周波数特性を近似する直線の勾配が所定の範囲内の数値となるように各音響データＸB[k]の音量を調整する構成が好適である。なお、以上の例示では周波数特性に着目したが、ラウドネス特性（ISO 226）を基準として各音響データＸB[k]を混合することも可能である。各音響データＸB[k]の混合には、例えばD.Dugan,"Automatic microphone mixing", J.Audio Eng. Soc, vol. 23, no.6, p.442-449, 1975や、J. Scott, et al., "AUTOMATIC MULTI-TRACK MIXING USING LINEAR DYNAMICAL SYSTEMS", Proc. SMC 2011にも開示されたオートミキシング技術も採用され得る。以上の説明から理解される通り、音響処理装置１４の制御装置３１は、各端末装置１２[k]から取得したＫ個の音響データＸB[1]〜ＸB[K]について同期処理ＳF2と混合処理ＳF3とを実行する要素（音響処理手段）として機能する。音響処理で生成された音響データＹは記憶装置３２に格納される。なお、同期処理ＳF2を省略することも可能である。

【0044】

他方、音響データＸB[k]を送信（ＳE2）した各端末装置１２[k]の制御装置２１は、音響処理の完了／未了を音響処理装置１４に照会するとともに照会結果を取得する（ＳE3）。音響処理装置１４に対する照会（ＳE3）は、音響処理の完了が音響処理装置１４から通知されるまで所定の時間毎に反復される（ＳE4：NO）。音響処理の完了が音響処理装置１４から通知されると（ＳE4：YES）、端末装置１２[k]の制御装置２１は、音響処理後の音響データＹを音響処理装置１４に対して要求する（ＳE5）。端末装置１２[k]からの要求を受信した音響処理装置１４の制御装置３１は、前述の音響処理（ＳF2，ＳF3）で生成した音響データＹを端末装置１２[k]に送信する（ＳF4）。端末装置１２[k]の制御装置２１は、通信装置２３が音響処理装置１４から受信した音響データＹを取得して記憶装置２２に格納する（ＳE6）。そして、制御装置２１は、記憶装置２２に記憶された音響データＹを放音装置２８に供給する（ＳE7）。したがって、Ｋ個の発音源Ｓ[1]〜Ｓ[K]が放射した音響の混合音（対象楽曲の演奏音）が放音装置２８から再生される。

【0045】

以上に説明した通り、本実施形態では、各発音源Ｓ[k]の音響の収音（音響データＸA[k]の生成）と音響データＸA[k]の編集処理とが各端末装置１２[k]にて実行されたうえで、各端末装置１２[k]で生成された音響データＸB[k]を集約する音響処理（同期処理ＳF2および混合処理ＳF3）が実行される。したがって、収録システム１００の全体構成が簡素化（小規模化）されるという利点がある。例えば、特許文献１の技術では、収音チャネル数の最大値（音響空間内の発音源の総数の最大値）に対応した個数の収音装置を具備する大規模な収録システムが必要であるが、第１実施形態では、音響空間内の発音源Ｓ[k]の総数に応じた個数の端末装置１２[k]を用意すれば対象楽曲の収録を実現できる。また、各端末装置１２[k]には、携帯電話機やスマートフォン等の広範に普及した通信端末を利用できるという利点もある。

【0046】

本実施形態では、各端末装置１２[k]が他端末から取得した情報（録音状態情報ＤBや制御変数情報ＤC）を利用して音響データＸA[k]の編集処理が実行される。したがって、各発音源Ｓ[k]の音響の関係を加味した音響データＸB[k]を生成できるという利点がある。しかも、各端末装置１２[k]での編集処理に利用される情報は近距離無線通信で授受されるから、例えば各端末装置１２[k]が相互に有線通信する構成と比較して、各端末装置１２[k]の設置の位置や姿勢の自由度が高い（各発音源Ｓ[k]に対して自由な位置や姿勢に配置できる）という利点がある。

【0047】

また、任意の１個の端末装置１２[k]から各他端末に送信される指示（録音動作の開始また停止の指示）に応じて音響データＸA[k]の録音動作が開始または停止されるから、Ｋ個の端末装置１２[1]〜１２[K]に対して各利用者が一斉に録音動作の開始や停止を指示するといった煩雑な作業が不要であるという利点もある。

【0048】

＜変形例＞
前述の形態は多様に変形され得る。具体的な変形の態様を以下に例示する。以下の例示から任意に選択された２以上の態様を適宜に併合することも可能である。

【0049】

（１）前述の形態では、各音響データＸB[k]に対する音響処理を各端末装置１２とは別個の音響処理装置１４（サーバ装置）が実行したが、任意の１個の端末装置１２[k]（以下「対象端末装置１２[k]」という）が前述の形態における音響処理装置１４の機能を実現することも可能である。すなわち、対象端末装置１２[k]は、通信装置２４が他端末から受信した音響データＸBと自装置で生成した音響データＸB[k]とに対して音響処理（同期処理ＳF2，混合処理ＳF3）を実行することで音響データＹを生成し、音響データＹを自装置の放音装置２８に供給するとともに通信装置２４から各他端末に送信する。以上の構成によれば、音響処理装置１４と各端末装置１２[k]との間の通信（音響データＸB[k]や音響データＹの授受）が不要であるから、通信網１６の処理負荷（通信トラヒック）が軽減されるという利点がある。他方、前述の形態のように各端末装置１２[k]とは別個の音響処理装置１４が音響処理を実行する構成によれば、各端末装置１２[k]に音響処理の機能を搭載する必要がない（したがって各端末装置１２[k]には高度な演算性能が要求されない）という利点がある。以上の説明から理解される通り、音響データＸB[k]に対する音響処理（同期処理ＳF2および混合処理ＳF3）を実行する要素（音響処理手段）が音響処理装置１４（サーバ装置）および端末装置１２[k]の何れに設置されるかは本発明において不問である。

【0050】

（２）編集処理に関する情報を各端末装置１２[k]の相互間で授受することも可能である。例えば、任意の１個の端末装置１２[k]に対して利用者が指示した情報を端末装置１２[k]から各他端末に送信して共有することで、編集処理の種類や内容（編集処理に適用される変数の数値）をＫ個の端末装置１２[1]〜１２[K]にわたり共通化することが可能である。

【0051】

（３）編集処理（ＳE1）や音響処理（ＳF2，ＳF3）の内容は以上の例示に限定されない。例えば、音響データＸB[k]の特定の区間を他のデータに置換する処理を編集処理として実行することも可能である。また、Ｋ個の音響データＸB[1]〜ＸB[K]に対する信号処理で任意のチャネル数（例えば５.１ch）の音響データＹを生成する処理を混合処理ＳF3として実行することも可能である。マルチチャネルの音響データＹを生成する場合、各端末装置１２[k]の位置に発音源Ｓ[k]の音像が定位するように音響データＹの各チャネルが生成される。端末装置１２[k]の位置の検出には、例えば端末装置１２[k]に搭載されたＧＰＳ（Global Positioning System）が利用される。

【0052】

（４）前述の形態では、各発音源Ｓ[k]の音響の収音（音響データＸA[k]の生成）と音響データＸA[k]の編集処理とを各端末装置１２[k]にて実行したが、音響データＸA[k]の編集処理は省略され得る。すなわち、収音装置２７が生成した音響データＸA[k]を、同期処理ＳFおよび混合処理ＳFの対象となる音響データＸB[k]として、各端末装置１２[k]が音響処理装置１４に送信することも可能である。また、前述の形態において端末装置１２[k]の制御装置２１が実行する編集処理の一部または全部を、音響処理装置１４の制御装置３１が実行する構成も採用され得る。

【0053】

（５）前述の形態では、制御処理ＳAおよび記録処理ＳBを実行することでＫ個の端末装置１２[1]〜１２[K]にわたり並列的に録音動作を開始および停止させたが、制御処理ＳAおよび記録処理ＳBは省略され得る。すなわち、Ｋ個の端末装置１２[1]〜１２[K]の各々に対して各利用者が録音動作の開始および停止を個別に指示することも可能である。なお、例えば掛け声等の特定の合図の時点で各利用者が録音動作の開始および停止を自身の端末装置１２[k]に指示すれば、複数の音響データＸB[1]〜ＸB[K]にわたり時間軸上の始点や終点を概略的には合致させることが可能であるが、制御処理ＳAや記録処理ＳBを実行する前述の形態と比較すると、各音響データＸB[k]の時間軸上のずれが顕著となる可能性がある。以上の傾向を考慮すると、制御処理ＳAおよび記録処理ＳBを省略した構成では、各音響データＸB[k]の時間軸上のずれが顕著である場合に好適な同期処理を、前述の形態で例示した同期処理とともに（または当該同期処理に代えて）実行する構成が好適である。各音響データＸB[k]のずれが顕著である場合の同期処理としては、例えば、P, Misra, et al., "Efficient Cross-Correlation Via Sparse Representation In Sensor Networks", IPSN 2012に記載された方法（ダウンサンプリングと相互相関とを利用した位置合わせ）が好適に採用される。

【0054】

（６）各発音源Ｓ[k]から離間した位置（例えばＫ個の発音源Ｓ[1]〜Ｓ[K]が位置する舞台から離間した観客席）に設置された収音装置（以下「参照用収音装置」という）でＫ個の発音源Ｓ[1]〜Ｓ[K]からの音響の混合音を収音し、参照用収音装置による収音結果を混合処理に適用することも可能である。例えば、参照用収音装置が収音した混合音から各発音源Ｓ[k]の音量比を推定し、Ｋ個の音響データＸB[1]〜ＸB[K]を各発音源Ｓ[k]の音量比で混合する構成が採用される。参照用収音装置には、前述の形態の端末装置１２[k]と同様に、携帯電話機やスマートフォン等の通信端末が好適に利用される。また、参照用収音装置が収音した音響の音響データを、各端末装置１２から送信されたＫ個の音響データＸB[1]〜ＸB[K]に混合することで、音響処理装置１４が音響データＹを生成することも可能である。以上の構成によれば、音響空間内の全体的な雰囲気や残響音等の効果を音響データＹに付加することが可能である。

【0055】

（７）音響データＸA[k]や音響データＸB[k]の形式（音響符号化方式）は任意である。また、音響データＸA[k]や音響データＸB[k]の形式を適宜に変更することも可能である。例えば、第１動作モードでは、圧縮率が高い音響符号化方式（例えばMP3形式）の音響データＸB[k]を音響処理装置１４に送信することで音響データＹを生成し、第２動作モードでは、圧縮率が低い音響符号化方式（例えばWAV形式）の音響データＸB[k]を音響処理装置１４に送信することで音響データＹを生成する。以上の構成によれば、例えば、対象楽曲の演奏音の試聴時には第１動作モードを利用し、試聴結果が良好である場合に最終的な音響データＹを生成するために第２モードを利用するといった対応が可能である。第１動作モードでは音響データＸB[k]のデータ量の削減により効率的な通信が実現され、第２動作モードでは高音質な音響データＹを生成できる。また、通信環境に応じて音響データＸA[k]や音響データＸB[k]の形式を変更することも可能である。例えば、4G（4th Generation）やLTE（Long Term Evolution）等の通信方式のもとでは圧縮率が高い音響符号化方式（例えばMP3形式）の音響データＸB[k]を端末装置１２[k]から音響処理装置１４に送信し、Wi-Fi等の通式方式を利用可能な環境では圧縮率が低い音響符号化方式（例えばWAV形式）の音響データＸB[k]を端末装置１２[k]から音響処理装置１４に送信する。

【0056】

（８）前述の形態では、録音識別情報ＱBが共通するＫ個の音響データＸB[1]〜ＸB[K]について音響処理（同期処理ＳF2および混合処理ＳF3）を実行したが、音響処理の対象となる音響データＸB[k]を利用者が任意に選択する構成も採用される。例えば、複数回にわたる対象楽曲の演奏の各々について各演奏パートの音響データＸB[k]を各端末装置１２[k]から音響処理装置１４に送信し、対象楽曲の演奏パート毎に、相異なる演奏で記録された複数の音響データＸB[k]のうち端末装置１２[k]の利用者が選択した音響データＸB[k]を抽出して、音響処理装置１４の制御装置３１が同期処理ＳF2および混合処理ＳF3を実行する。以上の構成によれば、複数回のうち最良の演奏の音響データＸB[k]を演奏パート毎に組合せた対象楽曲の演奏音を生成できるという利点がある。なお、以上のようにＫ個の音響データＸB[1]〜ＸB[K]を選択的に音響データＹの生成に利用する構成では、音響データＹの生成に適用される音響データＸB[k]の総数が、録音動作に使用された端末装置１２[k]の総数Ｋを下回り得る。

【0057】

（９）前述の形態では、各端末装置１２[k]の録音状態情報ＤB（音響データＸA[k]の音量）を確認画面Ｇに表示する構成を例示したが、各端末装置１２[k]の録音状態を利用者に報知する方法は以上の例示に限定されない。例えば、任意の１個の端末装置１２[k]から状態通知を受信できない状況が所定の時間にわたり継続した場合や、録音状態情報ＤBが表す音量が所定の時間にわたり継続して閾値を下回る場合（オンマイクの録音状態が維持されていないと推定される場合）に各端末装置１２[k]から利用者に異常を報知する構成が採用される。異常の報知の方法は任意であるが、例えば音声や画像で報知する方法のほか、端末装置１２[k]に搭載された撮像用の照明装置（例えば被写体を照明するＬＥＤ）を点灯させる方法が採用される。また、任意の１個の端末装置１２[k]の電池残量が所定値を下回る場合に通信装置２４から各他端末に通知する構成や、目標の発音源Ｓ[k]以外からの到来音（かぶり音）の音量が大きい場合に端末装置[k]の利用者に報知するとともに通信装置２４から各他端末に通知する構成も好適である。

【0058】

（１０）録音動作で生成される音響データＸA[k]のうち入力装置２６に対する利用者からの指示に応じた時点を指定する情報（以下「補助情報」という）を記録動作の実行中に随時に付加することも可能である。例えば、録音動作（制御処理ＳAおよび記録処理ＳB）の実行中の任意の時点で利用者が入力装置２６を操作した場合に、端末装置１２[k]の制御装置２１は、音響データＸA[k]の当該時点に補助情報を付加する。例えば、発音源Ｓ[k]の音響のうち音楽的な問題がある区間（例えば演奏を間違えた区間）の始点および終点に補助情報が付加される。以上の構成によれば、音響データＸA[k]（音響データＸB[k]）のうち補助情報で規定される区間を他の演奏に置換したり、音響データＸA[k]のうち演奏が適切でない区間を演奏後に確認したりすることが可能である。また、利用者が指定した文字列（コメント）を補助情報に含ませて利用者が事後的に確認できる構成も好適である。

【0059】

（１１）以上の形態では音響の収録を例示したが、音響とともに画像（典型的には動画像）を収録することも可能である。例えば、各端末装置１２[k]に搭載された撮像装置により発音源Ｓ[k]や周囲の画像が撮影される。また、各端末装置１２[k]で撮影された画像を、例えば動画配信サイトから不特定の端末に配信することも可能である。具体的には、各端末装置１２[k]で撮影された画像を素材（いわゆるＶＪ（Video Jockey）素材）として時間軸上で相互に連結した動画像を、音響処理後の音響データＹの音響とともに配信する構成が好適である。また、録音状態情報ＤBや制御変数情報ＤCの時間変化を画像に重畳して表示させることも可能である。

【0060】

また、図１０に例示される通り、端末装置１２[k1]（ｋ1＝１〜Ｋ）で収録された動画像に画像データＺとともに包含される音響データＸB[k1]と、端末装置１２[k2]（ｋ2≠ｋ1）で生成された音響データＸB[k2]とを混合処理ＳF3の対象とすることも可能である。例えば、音響データＸB[k1]の混合比（ゲイン）を０付近の数値に設定するとともに音響データＸB[k2]の混合比を１付近の数値に設定したうえで音響データＸB[k1]と音響データＸB[k2]とを混合処理ＳF3にて混合（加重加算）することで、音響データＸB[k1]を音響データＸB[k2]に置換した動画像が生成される。例えば、通信端末１２[k1]（例えばスマートフォンやビデオカメラ）と比較して高性能な収音装置２７を具備するＰＡ用の音響機器を端末装置１２[k2]として利用すれば、端末装置１２[k1]で収録された動画像の音響（比較的に低品質な音響）を、端末装置１２[k2]で収録された高品質な音響に置換した動画像を生成することが可能である。例えば演奏会等のイベントの観覧者が自身の端末装置１２[k1]を利用して動画像を収録し、当該イベントの主催者が高性能な端末装置１２[k2]を利用するという状況が想定される。

【0061】

（１２）音響処理措置１４が生成した音響データＹの再生音を聴取しながら端末装置１２[k]の利用者が対象楽曲の演奏パートを演奏し、演奏音を端末装置１２[k]にて収録および編集した音響データＸB[k]を、収録済の音響データＸB[k]（すなわち既存の音響データＹの生成に利用された音響データＸB[k]）の代わりに利用して混合処理ＳF3を実行することで、音響処理装置１４が新規な音響データＹを生成することも可能である。なお、以上の説明では音響データＸB[k]の差替を例示したが、既存の音響データＸB[k]とは別個の演奏パートの音響を収録および編集した音響データＸB[k]を、収録済のＫ個の音響データＸB[1]〜ＸB[K]に追加して混合処理ＳF3を実行することで新規な音響データＹを生成すること（演奏パートの追加）も可能である。

【0062】

（１３）前述の形態では、発音源Ｓ[k]が放射した音響の波形を表す音響データＸA[k]（ＸB[k]）を例示したが、音響データＸA[k]の形式は以上の例示に限定されない。例えばMIDI（Musical Instrument Digital Interface）規格に準拠した電子楽器を発音源Ｓ[k]として利用した構成では、音響の音高と発音/消音とを時系列に指定するMIDI形式の時系列データが音響データＸA[k]として生成される。以上の説明から理解される通り、前述の形態における収音装置２７やMIDI楽器等の電子楽器は、音響を表す音響データＸA[k]を生成する要素（収録手段）として包括的に表現される。

【0063】

（１４）前述の形態では、発音源Ｓ[k]と端末装置１２[k]とが１対１に対応する場合を例示したが、発音源Ｓ[k]と端末装置１２[k]との対応関係は以上の例示に限定されない。例えば、複数の発音源Ｓ[k]について１個の端末装置１２[k]を配置した構成や、１個の発音源Ｓ[k]について複数の端末装置１２[k]を配置した構成も採用され得る。

【0064】

（１５）前述の形態では、Ｋ個の端末装置１２[1]〜１２[K]（発音源Ｓ[1]〜Ｓ[K]）が共通の音響空間内に位置する場合を例示したが、Ｋ個のうちの一部の端末装置１２[k]が他端末とは別個の空間に所在する場合にも本発明を適用することが可能である。例えば、相異なる音響空間内に位置する複数の端末装置１２[k]が相互に通信する（例えば通信網１６を介して通信する）ことで、各端末装置１２[k]にて並列的に録音動作を実行することが可能である。

【0065】

（１６）前述の形態では、端末装置１２[k]の通信装置２３と通信装置２４とで通信方式を相違させた構成を例示したが、端末装置１２[k]と音響処理装置１４との間の通信方式と各端末装置１２[k]の相互間の通信方式とを共通させることも可能である。例えば、各端末装置１２[k]と音響処理装置１４との間で前述の形態と同様に通信網１６を介した通信を実行し、かつ、複数の端末装置１２[k]の相互間でも通信網１６を介した通信を実行する構成が採用される。また、各端末装置１２[k]の相互間で前述の形態と同様に近距離無線通信を実行し、各端末装置１２[k]と音響処理装置１４との間でも近距離無線通信を実行する構成も採用され得る。したがって、通信装置２３と通信装置２４とを端末装置１２[k]が別個に具備する構成は必須ではなく、音響処理装置１４に対する通信と他の端末装置１２[k]に対する通信とに単一の通信装置を利用することも可能である。

【符号の説明】

【0066】

１００……収録システム、１２[k]（１２[1]〜１２[K]）……端末装置、１４……音響処理装置、１６……通信網、２１……制御装置、２２……記憶装置、２３……通信装置、２４……通信装置、２５……表示装置、２６……入力装置、２７……収音装置、２８……放音装置、３１……制御装置、３２……記憶装置、３３……通信装置、Ｓ[k]（Ｓ[1]〜Ｓ[K]）……発音源、ＸA[k]（ＸA[1]〜ＸA[K]），ＸB[k]（ＸB[1]〜ＸB[K]），Ｙ……音響データ。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】