特許 7439433 表示制御方法、表示制御装置およびプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-02-19

(45)【発行日】2024-02-28

(54)【発明の名称】表示制御方法、表示制御装置およびプログラム

(51)【国際特許分類】

   G10L 21/10 20130101AFI20240220BHJP

   G10L 21/0308 20130101ALI20240220BHJP

【ＦＩ】

G10L21/10

G10L21/0308 Z

【請求項の数】 9

(21)【出願番号】P 2019177966

(22)【出願日】2019-09-27

(65)【公開番号】P2021056319

(43)【公開日】2021-04-08

【審査請求日】2022-07-21

(73)【特許権者】

【識別番号】000004075

【氏名又は名称】ヤマハ株式会社

(74)【代理人】

【識別番号】100125689

【弁理士】

【氏名又は名称】大林 章

(74)【代理人】

【識別番号】100128598

【弁理士】

【氏名又は名称】高田 聖一

(74)【代理人】

【識別番号】100121108

【弁理士】

【氏名又は名称】高橋 太朗

(72)【発明者】

【氏名】水野 賀文

(72)【発明者】

【氏名】高橋 祐

(72)【発明者】

【氏名】近藤 多伸

(72)【発明者】

【氏名】石塚 健治

【審査官】菊池 智紀

(56)【参考文献】

【文献】特開２０１３－０６６０７９（ＪＰ，Ａ）

【文献】特開２００６－３３７４１５（ＪＰ，Ａ）

【文献】特開２０１９－１５９０１２（ＪＰ，Ａ）

【文献】特開平０６－１０２８７７（ＪＰ，Ａ）

【文献】特表２００６－５１００１７（ＪＰ，Ａ）

【文献】国際公開第２００８／１３３０９７（ＷＯ，Ａ１）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ１０Ｌ ２１／０２－２５／９３

Ｈ０４Ｒ ３／００

Ｇ１０Ｈ １／００－７／１２

(57)【特許請求の範囲】

【請求項1】

相異なる複数の音源の各々について、
当該音源からの音を収音した音信号の時間軸上における波形の概形を表す観測包絡線と、
前記観測包絡線における当該音源からの音に対する他の音源からの被り音の混合比と、
前記観測包絡線における当該音源からの音の時間軸上における波形の概形を表す出力包絡線と
を取得し、
前記複数の音源のうち第１音源以外の１以上の第２音源の各々について、
前記第１音源の観測包絡線における当該第２音源からの被り音のレベルを表す第１画像を、前記複数の音源の各々について取得した前記混合比および前記出力包絡線に応じて、表示装置に表示させる
コンピュータにより実現される表示制御方法。

【請求項2】

相異なる複数の音源の各々について、
当該音源からの音を収音した音信号の時間軸上における波形の概形を表す観測包絡線と、
前記観測包絡線における当該音源からの音に対する他の音源からの被り音の混合比と、
前記観測包絡線における当該音源からの音の時間軸上における波形の概形を表す出力包絡線と
を取得し、
前記複数の音源のうち第１音源以外の１以上の第２音源の各々について、
当該第２音源の観測包絡線における前記第１音源からの被り音のレベルを表す第２画像を、前記複数の音源の各々について取得した前記混合比および前記出力包絡線に応じて、表示装置に表示させる
コンピュータにより実現される表示制御方法。

【請求項3】

前記複数の音源の各々について、当該音源からの音と他の音源からの被り音との混合比を配列した第３画像を、前記表示装置に表示させる
請求項１または請求項２の表示制御方法。

【請求項4】

前記複数の音源のうち一の音源について、
前記一の音源の観測包絡線のレベルと、当該一の音源の出力包絡線のレベルとを表す第４画像を、前記表示装置に表示させる
請求項１から請求項３の何れかの表示制御方法。

【請求項5】

前記観測包絡線における１個のレベルが算定される単位期間毎に、当該単位期間における前記観測包絡線のレベルと、当該単位期間における前記出力包絡線のレベルとを、表示装置に表示させる
請求項４の表示制御方法。

【請求項6】

相異なる複数の音源の各々について、
当該音源からの音を収音した音信号の時間軸上における波形の概形を表す観測包絡線と、
前記観測包絡線における当該音源からの音に対する他の音源からの被り音の混合比と、
前記観測包絡線における当該音源からの音の時間軸上における波形の概形を表す出力包絡線と
を取得する推定処理部と、
前記複数の音源のうち第１音源以外の１以上の第２音源の各々について、
前記第１音源の観測包絡線における当該第２音源からの被り音のレベルを表す第１画像を、前記複数の音源の各々について取得した前記混合比および前記出力包絡線に応じて、表示装置に表示させる表示制御部と
を具備する表示制御装置。

【請求項7】

相異なる複数の音源の各々について、
当該音源からの音を収音した音信号の時間軸上における波形の概形を表す観測包絡線と、
前記観測包絡線における当該音源からの音に対する他の音源からの被り音の混合比と、
前記観測包絡線における当該音源からの音の時間軸上における波形の概形を表す出力包絡線と
を取得する推定処理部と、
前記複数の音源のうち第１音源以外の１以上の第２音源の各々について、
当該第２音源の観測包絡線における前記第１音源からの被り音のレベルを表す第２画像を、前記複数の音源の各々について取得した前記混合比および前記出力包絡線に応じて、表示装置に表示させる表示制御部と
を具備する表示制御装置。

【請求項8】

相異なる複数の音源の各々について、
当該音源からの音を収音した音信号の時間軸上における波形の概形を表す観測包絡線と、
前記観測包絡線における当該音源からの音に対する他の音源からの被り音の混合比と、
前記観測包絡線における当該音源からの音の時間軸上における波形の概形を表す出力包絡線と
を取得する推定処理部、および、
前記複数の音源のうち第１音源以外の１以上の第２音源の各々について、
前記第１音源の観測包絡線における当該第２音源からの被り音のレベルを表す第１画像を、前記複数の音源の各々について取得した前記混合比および前記出力包絡線に応じて、表示装置に表示させる表示制御部
としてコンピュータを機能させるプログラム。

【請求項9】

相異なる複数の音源の各々について、
当該音源からの音を収音した音信号の時間軸上における波形の概形を表す観測包絡線と、
前記観測包絡線における当該音源からの音に対する他の音源からの被り音の混合比と、
前記観測包絡線における当該音源からの音の時間軸上における波形の概形を表す出力包絡線と
を取得する推定処理部、および、
前記複数の音源のうち第１音源以外の１以上の第２音源の各々について、
当該第２音源の観測包絡線における前記第１音源からの被り音のレベルを表す第２画像を、前記複数の音源の各々について取得した前記混合比および前記出力包絡線に応じて、表示装置に表示させる表示制御部
としてコンピュータを機能させるプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、例えば楽器等の音源からの音を収音した音信号を処理する技術に関する。

【背景技術】

【0002】

例えば複数の楽器の演奏音を収録する場面では、楽器毎に別個の収音機器が設置される場合がある。収音機器により収音される音には、当該収音機器が設置された楽器からの音が優勢に含まれるが、当該楽器以外の楽器から到達する音（いわゆる被り音）も含まれる。特許文献１には、複数の音源の相互間で発生する被り音の伝達特性を推定し、収音機器により収音される音から他の音源からの被り音を除去する構成が開示されている。

【先行技術文献】

【特許文献】

【0003】

【文献】特開２０１３－６６０７９号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

例えばミキシング等を含む音楽制作の場面では、利用者は、各収音機器が収音した音に対する被り音の影響を考慮する必要がある。しかし、特許文献１の技術では、各音源からの音に対する被り音の影響を利用者が把握することはできない。以上の事情を考慮して、本開示のひとつの態様は、各音源からの音に対する他の音源からの被り音の影響を視覚的に把握できるようにすることを目的とする。

【課題を解決するための手段】

【0005】

本開示のひとつの態様に係る表示制御方法は、相異なる複数の音源の各々について、当該音源からの音を収音した音信号の概形を表す観測包絡線と、前記観測包絡線における当該音源からの音に対する他の音源からの被り音の混合比と、前記観測包絡線における当該音源からの音の概形を表す出力包絡線とを取得し、前記複数の音源のうち第１音源以外の１以上の第２音源の各々について、前記第１音源の観測包絡線における当該第２音源からの被り音のレベルを表す第１画像を、前記複数の音源の各々について取得した前記混合比および前記出力包絡線に応じて、表示装置に表示させる。

【0006】

本開示の他の態様に係る表示制御方法は、相異なる複数の音源の各々について、当該音源からの音を収音した音信号の概形を表す観測包絡線と、前記観測包絡線における当該音源からの音に対する他の音源からの被り音の混合比と、前記観測包絡線における当該音源からの音の概形を表す出力包絡線とを取得し、前記複数の音源のうち第１音源以外の１以上の第２音源の各々について、当該第２音源の観測包絡線における前記第１音源からの被り音のレベルを表す第２画像を、前記複数の音源の各々について取得した前記混合比および前記出力包絡線に応じて、表示装置に表示させる。

【0007】

本開示のひとつの態様に係る表示制御装置は、相異なる複数の音源の各々について、当該音源からの音を収音した音信号の概形を表す観測包絡線と、前記観測包絡線における当該音源からの音に対する他の音源からの被り音の混合比と、前記観測包絡線における当該音源からの音の概形を表す出力包絡線とを取得する推定処理部と、前記複数の音源のうち第１音源以外の１以上の第２音源の各々について、前記第１音源の観測包絡線における当該第２音源からの被り音のレベルを表す第１画像を、前記複数の音源の各々について取得した前記混合比および前記出力包絡線に応じて、表示装置に表示させる表示制御部とを具備する。

【0008】

本開示のひとつの態様に係る表示制御装置は、相異なる複数の音源の各々について、当該音源からの音を収音した音信号の概形を表す観測包絡線と、前記観測包絡線における当該音源からの音に対する他の音源からの被り音の混合比と、前記観測包絡線における当該音源からの音の概形を表す出力包絡線とを取得する推定処理部と、前記複数の音源のうち第１音源以外の１以上の第２音源の各々について、当該第２音源の観測包絡線における前記第１音源からの被り音のレベルを表す第２画像を、前記複数の音源の各々について取得した前記混合比および前記出力包絡線に応じて、表示装置に表示させる表示制御部とを具備する。

【0009】

本開示のひとつの態様に係るプログラムは、相異なる複数の音源の各々について、当該音源からの音を収音した音信号の概形を表す観測包絡線と、前記観測包絡線における当該音源からの音に対する他の音源からの被り音の混合比と、前記観測包絡線における当該音源からの音の概形を表す出力包絡線とを取得する推定処理部、および、前記複数の音源のうち第１音源以外の１以上の第２音源の各々について、前記第１音源の観測包絡線における当該第２音源からの被り音のレベルを表す第１画像を、前記複数の音源の各々について取得した前記混合比および前記出力包絡線に応じて、表示装置に表示させる表示制御部としてコンピュータを機能させる。

【0010】

本開示の他の態様に係るプログラムは、相異なる複数の音源の各々について、当該音源からの音を収音した音信号の概形を表す観測包絡線と、前記観測包絡線における当該音源からの音に対する他の音源からの被り音の混合比と、前記観測包絡線における当該音源からの音の概形を表す出力包絡線とを取得する推定処理部、および、前記複数の音源のうち第１音源以外の１以上の第２音源の各々について、当該第２音源の観測包絡線における前記第１音源からの被り音のレベルを表す第２画像を、前記複数の音源の各々について取得した前記混合比および前記出力包絡線に応じて、表示装置に表示させる表示制御部としてコンピュータを機能させる。

【図面の簡単な説明】

【0011】

【図1】音響処理システムの構成を例示するブロック図である。

【図2】音響処理装置の構成を例示するブロック図である。

【図3】制御装置の機能的な構成を例示するブロック図である。

【図4】観測包絡線の説明図である。

【図5】推定処理部による推定処理の説明図である。

【図6】推定処理の具体的な手順を例示するフローチャートである。

【図7】学習処理の具体的な手順を例示するフローチャートである。

【図8】解析画像の模式図である。

【図9】解析画像の模式図である。

【図10】解析画像の模式図である。

【図11】解析画像の模式図である。

【図12】音響処理装置の全体的な動作の手順を例示するフローチャートである。

【図13】第２実施形態における推定処理の説明図である。

【図14】第３実施形態における推定処理の説明図である。

【図15】変形例における解析画像の模式図である。

【発明を実施するための形態】

【0012】

Ａ：第１実施形態
図１は、本開示の第１実施形態に係る音響処理システム１００の構成を例示するブロック図である。音響処理システム１００は、Ｎ個（Ｎは２以上の自然数）の音源Ｓ[1]～Ｓ[N]から発生する音響を収音および処理する音楽制作用の録音システムである。各音源Ｓ[n]（ｎ＝１～Ｎ）は、例えば演奏により発音する楽器である。例えばドラムセットを構成する複数の打楽器（例えばシンバル，キックドラム，スネアドラム，ハイハットおよびフロアタム等）の各々が音源Ｓ[n]に相当する。Ｎ個の音源Ｓ[1]～Ｓ[N]は、ひとつの音響空間内に相互に近接して設置される。なお、２個以上の楽器の組合せを音源Ｓ[n]としてもよい。

【0013】

音響処理システム１００は、Ｎ個の収音装置Ｄ[1]～Ｄ[N]と音響処理装置１０と再生装置２０とを具備する。各収音装置Ｄ[n]は、有線または無線により音響処理装置１０に接続される。再生装置２０も同様に、有線または無線により音響処理装置１０に接続される。なお、音響処理装置１０と再生装置２０とを一体に構成してもよい。

【0014】

Ｎ個の収音装置Ｄ[1]～Ｄ[N]の各々は、Ｎ個の音源Ｓ[1]～Ｓ[N]の何れかに対応する。すなわち、Ｎ個の収音装置Ｄ[1]～Ｄ[N]とＮ個の音源Ｓ[1]～Ｓ[N]とは１対１に対応する。各収音装置Ｄ[n]は、周囲の音を収音するマイクロホンである。例えば、収音装置Ｄ[n]は、音源Ｓ[n]に指向する指向性のマイクロホンである。収音装置Ｄ[n]は、周囲の音の波形を表す音信号Ａ[n]を生成する。Ｎチャネルの音信号Ａ[1]～Ａ[N]が音響処理装置１０に並列に供給される。

【0015】

各収音装置Ｄ[n]は、音源Ｓ[n]から発生した音（以下「目的音」という）の収音を目的として音源Ｓ[n]の近傍に設置される。したがって、収音装置Ｄ[n]には音源Ｓ[n]からの目的音が優勢に到達する。ただし、各音源Ｓ[n]は相互に近接して設置されるから、各収音装置Ｄ[n]には、当該収音装置Ｄ[n]に対応する音源Ｓ[n]以外の音源Ｓ[n']（ｎ'＝１～Ｎ，ｎ'≠ｎ）から発生した音（以下「被り音」という）も到達する。すなわち、収音装置Ｄ[n]が生成する音信号Ａ[n]は、音源Ｓ[n]から到達する目的音の成分を優勢に含むほか、当該音源Ｓ[n]の周囲に位置する他の音源Ｓ[n']から到達する被り音（spill，bleed，leakage）の成分も含む。なお、各音信号Ａ[n]をアナログからデジタルに変換するＡ/Ｄ変換器の図示は便宜的に省略した。

【0016】

音響処理装置１０は、Ｎチャネルの音信号Ａ[1]～Ａ[N]を処理するためのコンピュータシステムである。具体的には、音響処理装置１０は、Ｎチャネルの音信号Ａ[1]～Ａ[N]に対する音響処理により複数のチャネルの音信号Ｂを生成する。再生装置２０は、音信号Ｂが表す音を再生する。具体的には、再生装置２０は、音信号Ｂをデジタルからアナログに変換するＤ/Ａ変換器と、音信号Ｂを増幅する増幅器と、音信号Ｂに応じた音響を放音する放音装置とを具備する。

【0017】

図２は、音響処理装置１０の構成を例示するブロック図である。音響処理装置１０は、制御装置１１と記憶装置１２と表示装置１３と操作装置１４と通信装置１５とを具備するコンピュータシステムで実現される。なお、音響処理装置１０は、単体の装置で実現されるほか、相互に別体で構成された複数の装置（すなわちシステム）でも実現される。

【0018】

制御装置１１は、音響処理装置１０の各要素を制御する単数または複数のプロセッサで構成される。例えば、制御装置１１は、ＣＰＵ（Central Processing Unit）、ＳＰＵ（Sound Processing Unit）、ＤＳＰ（Digital Signal Processor）、ＦＰＧＡ（Field Programmable Gate Array）、またはＡＳＩＣ（Application Specific Integrated Circuit）等の１種類以上のプロセッサで構成される。通信装置１５は、Ｎ個の収音装置Ｄ[1]～Ｄ[N]および再生装置２０との間で通信する。例えば、通信装置１５は、各収音装置Ｄ[n]が接続される入力ポートと、再生装置２０が接続される出力ポートとを具備する。

【0019】

表示装置１３は、制御装置１１から指示された画像を表示する。表示装置１３は、例えば液晶表示パネルまたは有機ＥＬ表示パネルである。操作装置１４は、利用者による操作を受付ける。操作装置１４は、例えば表示装置１３の表示面に対する接触を検知するタッチパネル、または、利用者が操作する操作子である。

【0020】

記憶装置１２は、制御装置１１が実行するプログラムと制御装置１１が使用するデータとを記憶する単数または複数のメモリである。具体的には、記憶装置１２は、推定処理プログラムＰ1と学習処理プログラムＰ2と表示制御プログラムＰ3と音響処理プログラムＰ4とを記憶する。記憶装置１２は、例えば磁気記録媒体または半導体記録媒体等の公知の記録媒体で構成される。なお、複数種の記録媒体の組合せにより記憶装置１２を構成してもよい。また、音響処理装置１０に着脱可能な可搬型の記録媒体、または、音響処理装置１０が通信可能な外部記録媒体（例えばオンラインストレージ）を、記憶装置１２として利用してもよい。

【0021】

図３は、音響処理装置１０の機能的な構成を例示するブロック図である。制御装置１１は、記憶装置１２に記憶されたプログラムを実行することで複数の機能（推定処理部３１，学習処理部３２，表示制御部３３，音響処理部３４）を実現する。制御装置１１が実現する各機能について以下に詳述する。

【0022】

[１]推定処理部３１
制御装置１１は、推定処理プログラムＰ1を実行することで推定処理部３１として機能する。推定処理部３１は、Ｎチャネルの音信号Ａ[1]～Ａ[N]を解析する。具体的には、推定処理部３１は、包絡線取得部３１１と信号処理部３１２とを具備する。

【0023】

包絡線取得部３１１は、Ｎチャネルの音信号Ａ[1]～Ａ[N]の各々について観測包絡線Ｅx[n]（Ｅx[1]～Ｅx[N]）を生成する。各音信号Ａ[n]の観測包絡線Ｅx[n]は、時間軸上における当該音信号Ａ[n]の波形の概形（エンベロープ）を表す時間領域の信号である。

【0024】

図４は、観測包絡線Ｅx[n]の説明図である。時間軸上の所定長の期間（以下「解析期間」という）Ｔa毎にＮチャネルの観測包絡線Ｅx[1]～Ｅx[N]が生成される。各解析期間Ｔaは、時間軸上のＭ個（Ｍは２以上の自然数）の単位期間Ｔu[1]～Ｔu[M]で構成される。各単位期間Ｔu[m]（ｍ＝１～Ｍ）は、音信号Ａ[n]を構成する信号値（サンプル）のＵ個分に相当する時間長の期間である。包絡線取得部３１１は、単位期間Ｔu[m]毎に観測包絡線Ｅx[n]のレベルｘ[n,m]を音信号Ａ[n]から算定する。１個の解析期間Ｔaにおける第ｎチャネルの観測包絡線Ｅx[n]は、当該解析期間Ｔa内のＭ個のレベルｘ[n,1]～ｘ[n,M]の時系列で表現される。観測包絡線Ｅx[n]における任意の１個のレベルｘ[n,m]は、例えば以下の数式(1)で表現される。

【数1】

【0025】

数式(1)の記号ａ[n,u]は、単位期間Ｔu[m]内における第ｎチャネルの音信号Ａ[n]を構成するＵ個の信号値ａ[n,1]～ａ[n,U]のうち第ｕ番目（ｕ＝１～Ｕ）の１個の信号値を意味する。数式(1)から理解される通り、観測包絡線Ｅx[n]の各レベルｘ[n,m]は、音信号Ａ[n]の２乗平均平方根（ＲＭＳ：Root Mean Square）に相当する非負の実効値である。以上の説明から理解される通り、包絡線取得部３１１は、Ｎチャネルの各々について、単位期間Ｔu[m]毎にレベルｘ[n,m]を生成し、当該レベルｘ[n,m]のＭ個分の時系列（レベルｘ[n,1]～ｘ[n,M]）を観測包絡線Ｅx[n]とする。すなわち、各チャネルの観測包絡線Ｅx[n]は、Ｍ個のレベルｘ[n,1]～ｘ[n,M]を要素とするＭ次元ベクトルで表現される。

【0026】

図５は、推定処理部３１の動作の説明図である。以上に説明した観測包絡線Ｅx[n]が、Ｎチャネルの音信号Ａ[1]～Ａ[N]の各々について生成される。したがって、Ｎ個の観測包絡線Ｅx[1]～Ｅx[N]を縦方向に配列したＮ行Ｍ列の非負行列（以下「観測行列」という）Ｘが解析期間Ｔa毎に生成される。観測行列Ｘにおける第ｎ行第ｍ列の要素は、第ｎチャネルの観測包絡線Ｅx[n]における第ｍ番目のレベルｘ[n,m]である。なお、以下の各図面においては、音信号Ａ[n]のチャネルの総数Ｎが３である場合が例示されている。

【0027】

図３の信号処理部３１２は、Ｎチャネルの観測包絡線Ｅx[1]～Ｅx[N]からＮチャネルの出力包絡線Ｅy[1]～Ｅy[N]を生成する。図５に例示される通り、観測包絡線Ｅx[n]に対応する出力包絡線Ｅy[n]は、当該観測包絡線Ｅx[n]における音源Ｓ[n]からの目的音を強調（理想的には抽出）した時間領域信号である。すなわち、出力包絡線Ｅy[n]においては、音源Ｓ[n]以外の各音源Ｓ[n']からの被り音のレベルが低減（理想的には除去）される。以上の説明から理解される通り、出力包絡線Ｅy[n]は、音源Ｓ[n]から発生した目的音のレベルの時間的な変化を表す。したがって、第１実施形態によれば、各音源Ｓ[n]からの目的音のレベルの時間的な変化を利用者が正確に把握できるという利点がある。

【0028】

信号処理部３１２は、各解析期間ＴaにおけるＮチャネルの観測包絡線Ｅx[1]～Ｅx[N]から当該解析期間ＴaにおけるＮチャネルの出力包絡線Ｅy[1]～Ｅy[N]を生成する。すなわち、Ｎチャネルの出力包絡線Ｅy[1]～Ｅy[N]は解析期間Ｔa毎に生成される。１個の解析期間Ｔaにおける第ｎチャネルの出力包絡線Ｅy[n]は、当該解析期間Ｔa内の相異なる単位期間Ｔu[m]に対応するＭ個のレベルｙ[n,1]～ｙ[n,M]の時系列で表現される。すなわち、各出力包絡線Ｅy[n]は、Ｍ個のレベルｙ[n,1]～ｙ[n,M]を要素とするＭ次元ベクトルで表現される。信号処理部３１２が生成するＮチャネルの出力包絡線Ｅy[1]～Ｅy[N]は、Ｎ行Ｍ列の非負行列（以下「係数行列」という）Ｙを構成する。係数行列Ｙ（アクティベーション行列）における第ｎ行第ｍ列の要素は、出力包絡線Ｅy[n]における第ｍ番目のレベルｙ[n,m]である。

【0029】

１個の解析期間Ｔaにおいて、信号処理部３１２は、既知の混合行列Ｑ（基底行列）を利用した非負値行列因子分解（ＮＭＦ：Non-negative Matrix Factorization）により、観測行列Ｘから係数行列Ｙを生成する。混合行列Ｑは、複数の混合比ｑ[n1,n2]（ｎ1＝１～Ｎ，ｎ2＝１～Ｎ）を配列したＮ行Ｎ列の正方行列である。混合行列Ｑは、機械学習により事前に生成されたうえで記憶装置１２に記憶される。混合行列Ｑの対角要素である各混合比ｑ[n,n]（ｎ1＝ｎ2＝ｎ）は、基準値（具体的には１）に設定される。

【0030】

各観測包絡線Ｅx[n]は以下の数式(2)で表現される。

Ｅx[n]≒ｑ[n,1]Ｅy[1]＋ｑ[n,2]Ｅy[2]＋…＋ｑ[n,N]Ｅy[N] (2)

すなわち、観測包絡線Ｅx[n]に対応するＮ個の混合比ｑ[n,1]～ｑ[n,N]は、当該観測包絡線Ｅx[n]をＮチャネルの出力包絡線Ｅy[1]～Ｅy[N]の加重和で近似的に表現した場合における各出力包絡線Ｅy[n]の加重値に相当する。

【0031】

すなわち、混合行列Ｑの各混合比ｑ[n1,n2]は、観測包絡線Ｅx[n1]において音源Ｓ[n2]からの被り音が混合された度合を表す指標である。混合比ｑ[n1,n2]は、収音装置Ｄ[n1]に対して音源Ｓ[n2]から到達する被り音の到達率（ないし減衰率）に関する指標とも換言される。具体的には、混合比ｑ[n1,n2]は、収音装置Ｄ[n1]が音源Ｓ[n1]から収音した目的音の音量を１（基準値）とした場合に、当該収音装置Ｄ[n1]が他の音源Ｓ[n2]から収音した被り音の音量の比率である。したがって、混合比ｑ[n1,n2]と出力包絡線Ｅy[n2]のレベルｙ[n2,m]との積ｑ[n1,n2]ｙ[n2,m]は、音源Ｓ[n2]から収音装置Ｄ[n1]に到達する被り音の音量に相当する。

【0032】

例えば、図５の混合行列Ｑにおける混合比ｑ[1,2]は０.１であるから、観測包絡線Ｅx[1]においては、音源Ｓ[1]からの目的音に対して音源Ｓ[2]からの被り音が０.１の割合で混合されていることを意味する。また、混合比ｑ[1,3]は０.２であるから、観測包絡線Ｅx[1]においては、音源Ｓ[1]からの目的音に対して音源Ｓ[3]からの被り音が０.２の割合で混合されていることを意味する。同様に、例えば混合比[3,1]は０.２であるから、観測包絡線Ｅx[3]においては、音源Ｓ[3]からの目的音に対して音源Ｓ[1]からの被り音が０.２の割合で混合されていることを意味する。すなわち、混合比ｑ[n1,n2]が大きいほど、音源Ｓ[n2]から収音装置Ｄ[n1]に到達する被り音が大きいことを意味する。

【0033】

第１実施形態の信号処理部３１２は、混合行列Ｑと係数行列Ｙとの積ＱＹが観測行列Ｘに近付くように係数行列Ｙを反復的に更新する。例えば、信号処理部３１２は、観測行列Ｘと積ＱＹとの距離を表す評価関数Ｆ(X|QY)が最小となるように係数行列Ｙを算定する。評価関数Ｆ(X|QY)は、例えばユークリッド距離，ＫＬ（Kullback-Leibler）ダイバージェンス，板倉齋藤距離，またはβダイバージェンス等の任意の距離規範である。

【0034】

Ｎ個の音源Ｓ[1]～Ｓ[N]のうち任意の２個の音源Ｓ[k1]および音源Ｓ[k2]に着目する（ｋ1＝１～Ｎ，ｋ2＝１～Ｎ，ｋ1≠ｋ2）。Ｎチャネルの観測包絡線Ｅx[1]～Ｅx[N]は、観測包絡線Ｅx[k1]と観測包絡線Ｅx[k2]とを含む。観測包絡線Ｅx[k1]は、音源Ｓ[k1]からの目的音を収音した音信号Ａ[k1]の概形である。観測包絡線Ｅx[k1]は「第１観測包絡線」の一例であり、音源Ｓ[k1]は「第１音源」の一例であり、音信号Ａ[k1]は「第１音信号」の一例である。他方、観測包絡線Ｅx[k2]は、音源Ｓ[k2]からの目的音を収音した音信号Ａ[k2]の概形である。観測包絡線Ｅx[k2]は「第２観測包絡線」の一例であり、音源Ｓ[k2]は「第２音源」の一例であり、音信号Ａ[k2]は「第２音信号」の一例である。

【0035】

混合行列Ｑは、混合比ｑ[k1,k2]と混合比ｑ[k2,k1]とを含む。混合比ｑ[k1,k2]は、観測包絡線Ｅx[k1]における音源Ｓ[k2]からの被り音の混合比であり、混合比ｑ[k2,k1]は、観測包絡線Ｅx[k2]における音源Ｓ[k1]からの被り音の混合比である。Ｎチャネルの出力包絡線Ｅy[1]～Ｅy[N]は、出力包絡線Ｅy[k1]と出力包絡線Ｅy[k2]とを含む。出力包絡線Ｅy[k1]は、「第１出力包絡線」の一例であり、観測包絡線Ｅx[k1]における音源Ｓ[k1]からの目的音の概形を表す信号を意味する。他方、出力包絡線Ｅy[k2]は、「第２出力包絡線」の一例であり、観測包絡線Ｅx[k2]における音源Ｓ[k2]からの目的音の概形を表す信号を意味する。

【0036】

図６は、制御装置１１が係数行列Ｙを生成する処理（以下「推定処理」という）Ｓaの具体的な手順を例示するフローチャートである。推定処理Ｓaは、操作装置１４に対する利用者からの指示を契機として開始され、Ｎ個の音源Ｓ[1]～Ｓ[N]による発音に並行して実行される。例えば、音響処理システム１００の利用者は、音源Ｓ[n]としての楽器を演奏する。複数の利用者による演奏に並行して推定処理Ｓaが実行される。推定処理Ｓaは、解析期間Ｔa毎に実行される。

【0037】

推定処理Ｓaを開始すると、包絡線取得部３１１は、Ｎチャネルの音信号Ａ[1]～Ａ[N]からＮチャネルの観測包絡線Ｅx[1]～Ｅx[N]（すなわち観測行列Ｘ）を生成する（Ｓa1）。具体的には、包絡線取得部３１１は、前掲の数式(1)の演算により各観測包絡線Ｅx[n]におけるレベルｘ[n,m]を算定する。

【0038】

信号処理部３１２は、係数行列Ｙを初期化する（Ｓa2）。例えば、信号処理部３１２は、直前の解析期間Ｔaにおける観測行列Ｘを現在の解析期間Ｔaにおける係数行列Ｙの初期値として設定する。なお、係数行列Ｙの初期化の方法は以上の例示に限定されない。例えば、信号処理部３１２は、現在の解析期間Ｔaについて生成した観測行列Ｘを、現在の解析期間Ｔaにおける係数行列Ｙの初期値として設定してもよい。また、信号処理部３１２は、直前の解析期間Ｔaにおける観測行列Ｘまたは係数行列Ｙの各要素に乱数を加算した行列を、現在の解析期間Ｔaにおける係数行列Ｙの初期値として設定してもよい。

【0039】

信号処理部３１２は、既知の混合行列Ｑと現在の係数行列Ｙとの積ＱＹと、現在の解析期間Ｔaの観測行列Ｘとの距離を表す評価関数Ｆ(X|QY)を算定する（Ｓa3）。信号処理部３１２は、所定の終了条件が成立したか否かを判定する（Ｓa4）。終了条件は、例えば評価関数Ｆ(X|QY)が所定の閾値を下回ること、または、係数行列Ｙを更新した回数が所定の閾値に到達したことである。

【0040】

終了条件が成立していない場合（Ｓa4：NO）、信号処理部３１２は、評価関数Ｆ(X|QY)が減少するように係数行列Ｙを更新する（Ｓa5）。終了条件が成立するまで（Ｓa4：YES）、評価関数Ｆ(X|QY)の算定（Ｓa3）と係数行列Ｙの更新（Ｓa5）とが反復される。係数行列Ｙは、終了条件が成立した段階（Ｓa4：YES）の数値で確定される。

【0041】

Ｎチャネルの観測包絡線Ｅx[1]～Ｅx[N]の生成（Ｓa1）と複数の出力包絡線Ｅy[1]～Ｅy[N]の生成（Ｓa2～Ｓa5）とは、Ｎ個の音源Ｓ[1]～Ｓ[N]からの収音に並行して解析期間Ｔa毎に実行される。

【0042】

以上の説明から理解される通り、第１実施形態においては、各音信号Ａ[n]の概形を表す観測包絡線Ｅx[n]に対する処理で出力包絡線Ｅy[n]が生成されるから、各音信号Ａ[n]を解析する構成と比較して、音源Ｓ[n]毎の目的音（出力包絡線Ｅy[n]）のレベルを推定する推定処理Ｓaの負荷を軽減することが可能である。

【0043】

［２］学習処理部３２
図３に例示される通り、制御装置１１は、学習処理プログラムＰ2を実行することで学習処理部３２として機能する。学習処理部３２は、推定処理Ｓaに使用される混合行列Ｑを生成する。混合行列Ｑは、推定処理Ｓaの実行前の任意の時点において生成（ないし訓練）される。具体的には、初期的な混合行列Ｑが新規に生成されるほか、生成済の混合行列Ｑが訓練（再訓練）される。学習処理部３２は、包絡線取得部３２１と信号処理部３２２とを具備する。

【0044】

包絡線取得部３２１は、訓練用に準備されたＮチャネルの音信号Ａ[1]～Ａ[N]の各々について観測包絡線Ｅx[n]（Ｅx[1]～Ｅx[N]）を生成する。訓練用の音信号Ａ[n]の時間長は、Ｍ個の単位期間Ｔu[1]～Ｔu[M]の時間長（すなわち解析期間Ｔaの時間長）に相当する。すなわち、Ｎチャネルの観測包絡線Ｅx[1]～Ｅx[N]を含むＮ行Ｍ列の観測行列Ｘが生成される。包絡線取得部３２１による動作は包絡線取得部３１１による動作と同様である。

【0045】

信号処理部３２２は、解析期間ＴaにおけるＮチャネルの観測包絡線Ｅx[1]～Ｅx[N]から混合行列ＱとＮチャネルの出力包絡線Ｅy[1]～Ｅy[N]とを生成する。すなわち、観測行列Ｘから混合行列Ｑと係数行列Ｙとが生成される。Ｎチャネルの観測包絡線Ｅx[1]～Ｅx[N]を利用して混合行列Ｑを更新する処理を１エポックとして、所定の終了条件が成立するまで当該エポックを複数回にわたり反復することで、推定処理Ｓaに使用される混合行列Ｑが確定される。終了条件は、前述の推定処理Ｓaの終了条件とは相違してよい。信号処理部３２２が生成した混合行列Ｑは記憶装置１２に記憶される。

【0046】

信号処理部３２２は、非負値行列因子分解により観測行列Ｘから混合行列Ｑと係数行列Ｙとを生成する。すなわち、信号処理部３２２は、エポック毎に、混合行列Ｑと係数行列Ｙとの積ＱＹが観測行列Ｘに近付くように係数行列Ｙを更新する。信号処理部３２２は、係数行列Ｙの更新を複数のエポックにわたり反復し、観測行列Ｘと積ＱＹとの距離を表す評価関数Ｆ(X|QY)が徐々に減少するように係数行列Ｙを算定する。

【0047】

図７は、制御装置１１が混合行列Ｑを生成（すなわち訓練）する処理（以下「学習処理」という）Ｓbの具体的な手順を例示するフローチャートである。学習処理Ｓbは、操作装置１４に対する利用者からの指示を契機として開始される。例えば、推定処理Ｓaが実行される正式な演奏の開始前（例えばリハーサル）に音源Ｓ[n]としての楽器を演奏者が演奏する。音響処理システム１００の利用者は、演奏音を収音することで訓練用のＮチャネルの音信号Ａ[1]～Ａ[N]を取得する。

【0048】

なお、音源Ｓ[n]の位置、収音装置Ｄ[n]の位置、または音源Ｓ[n]と収音装置Ｄ[n]の相対的な位置関係等の収音条件が変化すると、各収音装置Ｄ[n]に他の音源Ｓ[n']から到達する被り音の程度も変化する。したがって、収音条件が変更されるたびに、利用者からの指示に応じて学習処理Ｓbが実行されることで混合行列Ｑが更新される。

【0049】

なお、各楽器の演奏に並行した推定処理Ｓaの実行中に収音条件の変化または推定結果の誤差に気付いた場合、利用者は、音響処理システム１００に対して混合行列Ｑの再訓練を指示する。音響処理システム１００は、利用者からの指示に応じて、現時点の混合行列Ｑを利用した推定処理Ｓaを実行しながら、現在の演奏を収録することで訓練用の音信号Ａ[n]を取得する。学習処理部３２は、訓練用の音信号Ａ[n]を利用した学習処理Ｓbにより混合行列Ｑを再訓練する。推定処理部３１は、再訓練後の混合行列Ｑを、以後の演奏に対する推定処理Ｓaに利用する。すなわち、演奏の途中で混合行列Ｑが更新される。

【0050】

学習処理Ｓbを開始すると、包絡線取得部３２１は、訓練用のＮチャネルの音信号Ａ[1]～Ａ[N]からＮチャネルの観測包絡線Ｅx[1]～Ｅx[N]を生成する（Ｓb1）。具体的には、包絡線取得部３２１は、前掲の数式(1)の演算により各観測包絡線Ｅx[n]におけるレベルｘ[n,m]を算定する。

【0051】

信号処理部３２２は、混合行列Ｑおよび係数行列Ｙを初期化する（Ｓb2）。例えば、信号処理部３２２は、対角要素（ｑ[n,n]）を１に設定し、対角要素以外の各要素を乱数に設定する。なお、混合行列Ｑの初期化の方法は以上の例示に限定されない。例えば、過去の学習処理Ｓbで生成された混合行列Ｑを、今回の学習処理Ｓbにおける初期的な混合行列Ｑとして再訓練してもよい。また、信号処理部３２２は、例えば観測行列Ｘを係数行列Ｙの初期値として設定する。なお、係数行列Ｙの初期化の方法は以上の例示に限定されない。例えば、過去の学習処理Ｓbにおいて今回と同じ音信号Ａ[n]が利用される場合、信号処理部３２２は、その学習処理Ｓbにより生成した係数行列Ｙを、今回の学習処理Ｓbにおける係数行列Ｙの初期値としてもよい。また、信号処理部３２２は、以上に例示した観測行列Ｘまたは係数行列Ｙの各要素に乱数を加算した行列を、現在の解析期間Ｔaにおける係数行列Ｙの初期値として設定してもよい。

【0052】

信号処理部３２２は、混合行列Ｑと係数行列Ｙとの積ＱＹと、現在の解析期間Ｔaの観測行列Ｘとの距離を表す評価関数Ｆ(X|QY)を算定する（Ｓb3）。信号処理部３２２は、所定の終了条件が成立したか否かを判定する（Ｓb4）。学習処理Ｓbの終了条件は、例えば、評価関数Ｆ(X|QY)が所定の閾値を下回ること、または、係数行列Ｙを更新した回数が所定の閾値に到達したことである。

【0053】

終了条件が成立していない場合（Ｓb4：NO）、信号処理部３２２は、評価関数Ｆ(X|QY)が減少するように混合行列Ｑおよび係数行列Ｙを更新する（Ｓb5）。混合行列Ｑおよび係数行列Ｙの更新（Ｓb5）と評価関数Ｆ(X|QY)の算定（Ｓb3）とを１エポックとして、終了条件が成立するまで（Ｓb4：YES）、当該エポックが反復される。混合行列Ｑは、終了条件が成立した段階（Ｓb4：YES）の数値で確定される。

【0054】

以上の説明から理解される通り、第１実施形態においては、各観測包絡線Ｅx[n]における他の音源Ｓ[n']からの被り音の混合比ｑ[n,n']を含む混合行列Ｑが、訓練用のＮチャネルの観測包絡線Ｅx[1]～Ｅx[N]から事前に生成される。混合行列Ｑは、各音源Ｓ[n]に対応する音信号Ａ[n]に他の音源Ｓ[n']からの被り音が含まれる度合（音被りの度合）を表す。ここでは、音信号Ａ[n]の概形を表す観測包絡線Ｅx[n]が処理されるから、音信号Ａ[n]を処理する構成と比較して、混合行列Ｑを生成する学習処理Ｓbの負荷を軽減することが可能である。

【0055】

なお、推定処理Ｓaと学習処理Ｓbとの相違点は、推定処理Ｓaでは混合行列Ｑが固定されるのに対して学習処理Ｓbでは混合行列Ｑが係数行列Ｙとともに更新される点である。すなわち、混合行列Ｑの更新の有無以外の点については推定処理Ｓaと学習処理Ｓbとは共通する。したがって、学習処理部３２の機能を推定処理部３１として利用してもよい。すなわち、学習処理部３２による学習処理Ｓbにおいて混合行列Ｑを固定し、かつ、単位期間Ｔu[m]のＭ個分にわたる観測包絡線Ｅx[n]を纏めて処理することで推定処理Ｓaが実現される。前述の例示では、推定処理部３１と学習処理部３２とを別個の要素として説明したが、推定処理部３１と学習処理部３２とを１個の要素として音響処理装置１０に搭載してもよい。

【0056】

［３］表示制御部３３
図３に例示される通り、制御装置１１は、表示制御プログラムＰ3を実行することで表示制御部３３として機能する。表示制御部３３は、推定処理Ｓaまたは学習処理Ｓbによる処理の結果を表す画像（以下「解析画像」という）Ｚを表示装置１３に表示させる。具体的には、表示制御部３３は、複数の解析画像Ｚ（Ｚa～Ｚd）の何れかを、例えば操作装置１４に対する利用者からの指示に応じて表示装置１３に表示させる。表示装置１３による解析画像Ｚの表示は、操作装置１４に対する利用者からの指示を契機として開始され、Ｎ個の音源Ｓ[1]～Ｓ[N]による発音に並行して実行される。すなわち、音響処理システム１００の利用者は、Ｎ個の音源Ｓ[1]～Ｓ[N]による発音（例えば楽器の演奏）に並行して実時間的に解析画像Ｚを視認することが可能である。なお、解析画像Ｚにおける各数値は、例えばデシベル値で表示される。

【0057】

［３Ａ］解析画像Ｚa
図８は、解析画像Ｚaの模式図である。解析画像Ｚaは、相異なるチャネル（CH）に対応するＮ個の単位画像Ｇa[1]～Ｇa[N]を含む。各単位画像Ｇa[n]は、音量を表す画像である。具体的には、各単位画像Ｇa[n]は、最小値Ｌminを表す下端と最大値Ｌmaxを表す上端とにわたる帯状の画像である。最小値Ｌminは無音（－∞ｄＢ）を意味する。なお、解析画像Ｚaは「第４画像」の一例である。

【0058】

任意の１個の音源Ｓ[n]に対応する単位画像Ｇa[n]は、時間軸上の１個の時点における観測包絡線Ｅx[n]のレベルｘ[n,m]と出力包絡線Ｅy[n]のレベルｙ[n,m]とを表す画像である。具体的には、各単位画像Ｇa[n]は、範囲Ｒaと範囲Ｒbとを含む。範囲Ｒaと範囲Ｒbとは相異なる態様で表示される。なお、本明細書において画像の「態様」とは、観察者が視覚的に弁別可能な画像の性状を意味する。例えば、色の３属性である色相（色調）、彩度および明度（階調）のほか、サイズおよび画像内容（例えば模様または形状）も、「態様」の概念に包含される。

【0059】

単位画像Ｇa[n]における範囲Ｒaの上端は、出力包絡線Ｅy[n,m]のレベルｙ[n,m]を表す。他方、範囲Ｒbの上端は、観測包絡線Ｅx[n]のレベルｘ[n,m]を表す。したがって、範囲Ｒaは、収音装置Ｄ[n]が音源Ｓ[n]から収音した目的音のレベルを意味し、範囲Ｒbは、収音装置Ｄ[n]が他の(N-1)個の音源Ｓ[n']から収音した被り音によるレベルの増加比を意味する。収音装置Ｄ[n]に対する目的音および被り音のレベルは時間的に変動するから、各単位画像Ｇa[n]は、時間の経過（具体的には演奏の進行）とともに刻々と変化する。

【0060】

以上の説明から理解される通り、利用者は、解析画像Ｚaを視認することで、収音装置Ｄ[n]に到達する目的音に対する被り音の程度を、収音装置Ｄ[n]毎（チャネル毎）に視覚的に比較することが可能である。例えば図８に例示された解析画像Ｚaからは、収音装置Ｄ[1]には目的音と同等のレベルの被り音が到達し、収音装置Ｄ[2]には目的音よりも充分に小さいレベルの被り音が到達していることを把握できる。そして、収音装置Ｄ[n]に対する被り音の程度が大きい場合、利用者は、当該収音装置Ｄ[n]の位置または方向を調整できる。収音装置Ｄ[n]の調整後には前述の学習処理Ｓbが実行される。

【0061】

［３Ｂ］解析画像Ｚb
図９は、解析画像Ｚbの模式図である。解析画像Ｚbは、相異なるチャネル（CH）に対応するＮ個の単位画像Ｇb［1］～Ｇb［N］を含む。各チャネルは音源Ｓ[n]に対応するから、Ｎ個の単位画像Ｇb[1]～Ｇb[N]は、相異なる音源Ｓ[n]に対応する画像とも換言される。各単位画像Ｇb［n］は、単位画像Ｇa［n］と同様に、最小値Ｌminを表す下端と最大値Ｌmaxを表す上端とにわたる帯状の画像である。なお、解析画像Ｚbは「第１画像」の一例である。

【0062】

利用者は、操作装置１４を適宜に操作することでＮ個の音源Ｓ[1]～Ｓ[N]の何れかを選択できる。Ｎ個の音源Ｓ[1]～Ｓ[N]のうち利用者が選択した１個の音源Ｓ[n]を以下では第１音源Ｓ[k1]と表記し、第１音源Ｓ[k1]以外の(N-1)個の音源Ｓ[n]を以下では第２音源Ｓ[k2]と表記する。図９においては、音源Ｓ[1]が第１音源Ｓ[k1]として選択され、音源Ｓ[2]および音源Ｓ[3]の各々が第２音源Ｓ[k2]である場合が例示されている。Ｎ個の単位画像Ｇb[1]～Ｇb[N]のうち第１音源Ｓ[k1]に対応する単位画像Ｇb[k1]の態様は、解析画像Ｚaにおける単位画像Ｇa[n]と同様である。すなわち、単位画像Ｇb[k1]は、観測包絡線Ｅx[k1]のレベルｘ[k1,m]と出力包絡線Ｅy[k1]のレベルｙ[k1,m]とを表す。

【0063】

Ｎ個の単位画像Ｇb[1]～Ｇb[N]のうち各第２音源Ｓ[k2]に対応する単位画像Ｇb[k2]は、第１音源Ｓ[k1]の観測包絡線Ｅx[k1]における当該第２音源Ｓ[k2]からの被り音のレベル（以下「被り量」という）Ｌb[k2]を表す。被り量Ｌb[k2]は、第２音源Ｓ[k2]から収音装置Ｄ[k1]に到達する被り音のレベルを意味する。具体的には、単位画像Ｇb[k2]には範囲Ｒbが表示される。単位画像Ｇb[k2]における範囲Ｒbの上端が、被り量Ｌb[k2]を意味する。表示制御部３３は、混合行列Ｑにおける混合比ｑ[k1,k2]と出力包絡線Ｅy[k2]のレベルｙ[k2,m]とを乗算することで被り量Ｌb[k2]（Ｌb[k2]＝ｑ[k1,k2]ｙ[k2,m]）を算定する。

【0064】

例えば、図９における被り量Ｌb[2]は、収音装置Ｄ[1]に対する音源Ｓ[2]からの被り音のレベルを意味し、混合行列Ｑにおける混合比ｑ[1,2]と出力包絡線Ｅy[2]のレベルｙ[2,m]とを乗算することで算定される（Ｌb[2]＝ｑ[1,2]ｙ[2,m]）。また、図９における被り量Ｌb[3]は、収音装置Ｄ[1]に対する音源Ｓ[3]からの被り音のレベルを意味し、混合行列Ｑにおける混合比ｑ[1,3]と出力包絡線Ｅy[3]のレベルｙ[3,m]とを乗算することで算定される（Ｌb[3]＝ｑ[1,3]ｙ[3,m]）。

【0065】

以上の説明から理解される通り、(N-1)個の第２音源Ｓ[k2]にわたる被り量Ｌb[k2]の合計は、当該(N-1)個の第２音源Ｓ[k2]から収音装置Ｄ[k1]に到達する被り音の合計レベル（すなわち単位画像Ｇb[k1]の範囲Ｒb）に相当する。収音装置Ｄ[k1]に対する被り音のレベルは時間的に変動するから、単位画像Ｇb[k1]および各単位画像Ｇb[k2]は、時間の経過（具体的には演奏の進行）とともに刻々と変化する。

【0066】

以上の説明から理解される通り、利用者は、解析画像Ｚbを視認することで、第１音源Ｓ[k1]からの目的音を収音した音信号Ａ[k1]に対して各第２音源Ｓ[k2]からの被り音が影響する度合を視覚的に把握できる。例えば、図９に例示された解析画像Ｚbからは、収音装置Ｄ[1]に対して音源Ｓ[2]から到達する被り音のレベルが、音源Ｓ[3]から到達する被り音のレベルを上回ることを把握できる。そして、第２音源Ｓ[k2]からの被り音の程度が大きい場合、利用者は、第２音源Ｓ[k2]からの被り音が低減されるように、各収音装置Ｄ[n]の位置または方向を調整できる。収音装置Ｄ[n]の調整後には前述の学習処理Ｓbが実行される。

【0067】

［３Ｃ］解析画像Ｚc
図１０は、解析画像Ｚcの模式図である。解析画像Ｚcは、相異なるチャネル（CH）に対応するＮ個の単位画像Ｇc［1］～Ｇc［N］を含む。Ｎ個の単位画像Ｇc[1]～Ｇc[N]は、相異なる音源Ｓ[n]に対応する画像とも換言される。各単位画像Ｇc［n］は、単位画像Ｇa［n］と同様に、最小値Ｌminを表す下端と最大値Ｌmaxを表す上端とにわたる帯状の画像である。なお、解析画像Ｚcは「第２画像」の一例である。

【0068】

利用者は、操作装置１４を適宜に操作することでＮ個の音源Ｓ[1]～Ｓ[N]の何れかを第１音源Ｓ[k1]として選択できる。Ｎ個の音源Ｓ[1]～Ｓ[N]のうち第１音源Ｓ[k1]以外の(N-1)個の音源Ｓ[n]は第２音源Ｓ[k2]である。図１０においては、音源Ｓ[2]が第１音源Ｓ[k1]として選択され、音源Ｓ[1]および音源Ｓ[3]の各々が第２音源Ｓ[k2]である場合が例示されている。Ｎ個の単位画像Ｇc[1]～Ｇc[N]のうち第１音源Ｓ[k1]に対応する単位画像Ｇc[k1]の態様は、解析画像Ｚaにおける単位画像Ｇa[n]と同様である。すなわち、単位画像Ｇc[k1]は、観測包絡線Ｅx[k1]のレベルｘ[k1,m]と出力包絡線Ｅy[k1]のレベルｙ[k1,m]とを表す。

【0069】

Ｎ個の単位画像Ｇc[1]～Ｇc[N]のうち各第２音源Ｓ[k2]に対応する単位画像Ｇc[k2]は、当該第２音源Ｓ[k2]の観測包絡線Ｅx[k2]における第１音源Ｓ[k1]からの被り量Ｌc[k1]を表す。被り量Ｌc[k2]は、第１音源Ｓ[k1]から各収音装置Ｄ[k2]に到達する被り音のレベルを意味する。具体的には、単位画像Ｇc[k2]には範囲Ｒbが表示される。単位画像Ｇc[k2]における範囲Ｒbの上端が、被り量Ｌc[k2]を意味する。表示制御部３３は、混合行列Ｑにおける混合比ｑ[k2,k1]と出力包絡線Ｅy[k1]のレベルｙ[k1,m]とを乗算することで被り量Ｌc[k2]（Ｌc[k2]＝ｑ[k2,k1]ｙ[k1,m]）を算定する。

【0070】

例えば、図１０における被り量Ｌc[1]は、収音装置Ｄ[1]に対する音源Ｓ[2]からの被り音のレベルを意味し、混合行列Ｑにおける混合比ｑ[1,2]と出力包絡線Ｅy[2]のレベルｙ[2,m]とを乗算することで算定される（Ｌc[1]＝ｑ[1,2]ｙ[2,m]）。また、図１０における被り量Ｌc[3]は、収音装置Ｄ[3]に対する音源Ｓ[2]からの被り音のレベルを意味し、混合行列Ｑにおける混合比ｑ[3,2]と出力包絡線Ｅy[2]のレベルｙ[2,m]とを乗算することで算定される（Ｌc[3]＝ｑ[3,2]ｙ[2,m]）。

【0071】

収音装置Ｄ[k1]に対する被り音のレベルは時間的に変動するから、単位画像Ｇc[k1]および各単位画像Ｇc[k2]は、時間の経過（具体的には演奏の進行）とともに刻々と変化する。

【0072】

以上の説明から理解される通り、利用者は、解析画像Ｚcを視認することで、各第２音源Ｓ[k2]からの目的音を収音した音信号Ａ[k2]に対して第１音源Ｓ[k1]からの被り音が影響する度合を視覚的に把握できる。例えば、図１０に例示された解析画像Ｚcからは、収音装置Ｄ[1]に対して音源Ｓ[2]から到達する被り音のレベルが、収音装置Ｄ[3]に対して音源Ｓ[2]から到達する被り音のレベルを下回ることを把握できる。

【0073】

［３Ｄ］解析画像Ｚd
図１１は、解析画像Ｚdの模式図である。解析画像Ｚdは、混合行列Ｑを表す画像である。具体的には、解析画像Ｚdは、混合行列Ｑと同様にＮ行Ｎ列に行列状に配列されたＮ²個の単位画像Ｇd[1,1]～Ｇd[N,N]を含む。

【0074】

解析画像Ｚdにおける任意の１個の単位画像Ｇd[n1,n2]は、混合行列Ｑにおける第ｎ1行第ｎ2列に位置する混合比ｑ[n1,n2]を表す。具体的には、単位画像Ｇd[n1,n2]は、混合比ｑ[n1,n2]に応じた態様（例えば色相または明度）で表示される。例えば、混合比ｑ[n1,n2]が大きいほど単位画像Ｇd[n1,n2]が長波長側の色相で表示される構成、または、混合比ｑ[n1,n2]が大きいほど単位画像Ｇd[n1,n2]が高明度（淡い階調）で表示される構成が想定される。すなわち、解析画像Ｚdは、Ｎ個の音源Ｓ[1]～Ｓ[N]の各々について、当該音源Ｓ[n]からの目的音と他の音源Ｓ[n']からの被り音との混合比ｑ[n,n']を配列した画像である。解析画像Ｚdは「第３画像」の一例である。

【0075】

以上の説明から理解される通り、利用者は、Ｎ個の音源Ｓ[1]～Ｓ[N]のうち任意の２個の音源（Ｓ[n]，Ｓ[n']）の組合せについて、音源Ｓ[n]が音源Ｓ[n']に影響する度合を視覚的に把握できる。

【0076】

［４］音響処理部３４
図３に例示される通り、制御装置１１は、音響処理プログラムＰ4を実行することで音響処理部３４として機能する。音響処理部３４は、Ｎチャネルの音信号Ａ[1]～Ａ[N]の各々に対して音響処理を実行することで音信号Ｂ[n]（Ｂ[1]～Ｂ[N]）を生成する。具体的には、音響処理部３４は、推定処理部３１が生成した出力包絡線Ｅy[n]のレベルｙ[n,m]に応じた音響処理を、音信号Ａ[n]に対して実行する。出力包絡線Ｅy[n]は、前述の通り、音信号Ａ[n]における音源Ｓ[n]からの目的音の概形を表す包絡線である。具体的には、音響処理部３４は、出力包絡線Ｅy[n]のレベルｙ[n,m]に応じて音信号Ａ[n]に設定された複数の処理期間Ｈの各々について音響処理を実行する。

【0077】

音響処理部３４は、Ｎチャネルの音信号Ｂ[1]～Ｂ[N]から音信号Ｂを生成する。具体的には、音響処理部３４は、Ｎチャネルの音信号Ｂ[1]～Ｂ[N]の各々に係数を乗算したうえでＮチャネル分を混合することで音信号Ｂを生成する。各音信号Ｂ[n]の係数（すなわち加重値）は、例えば操作装置１４に対する利用者からの指示に応じて設定される。

【0078】

図１２は、音響処理装置１０の制御装置１１が実行する全体的な動作を例示するフローチャートである。例えばＮ個の音源Ｓ[1]～Ｓ[N]の発音に並行して、解析期間Ｔa毎に図１２の処理が実行される。

【0079】

制御装置１１（推定処理部３１）は、前述の推定処理Ｓaにより、Ｎチャネルの観測包絡線Ｅx[1]～Ｅx[N]と、混合行列Ｑとから、Ｎチャネルの出力包絡線Ｅy[1]～Ｅy[N]を生成する（Ｓ1）。具体的には、制御装置１１は、第１に、Ｎチャネルの音信号Ａ[1]～Ａ[N]から観測包絡線Ｅx[1]～Ｅx[N]を生成する。第２に、制御装置１１は、Ｎチャネルの出力包絡線Ｅy[1]～Ｅy[N]を図６の推定処理Ｓaにより生成する。

【0080】

制御装置１１（表示制御部３３）は、解析画像Ｚを表示装置１３に表示させる（Ｓ2）。例えば、制御装置１１は、Ｎチャネルの観測包絡線Ｅx[1]～Ｅx[N]とＮチャネルの出力包絡線Ｅy[1]～Ｅy[N]とに応じた解析画像Ｚaを表示装置１３に表示させる。また、制御装置１１は、混合行列ＱとＮチャネルの出力包絡線Ｅy[1]～Ｅy[N]とに応じた解析画像Ｚbまたは解析画像Ｚcを表示装置１３に表示させる。制御装置１１は、混合行列Ｑに応じた解析画像Ｚdを表示装置１３に表示させる。解析画像Ｚは解析期間Ｔa毎に順次に更新される。

【0081】

制御装置１１（音響処理部３４）は、Ｎチャネルの音信号Ａ[1]～Ａ[N]の各々に対して出力包絡線Ｅy[n]のレベルｙ[n,m]に応じた音響処理を実行する（Ｓ3）。具体的には、制御装置１１は、出力包絡線Ｅy[n]のレベルｙ[n,m]に応じて音信号Ａ[n]に設定される各処理期間Ｈについて音響処理を実行する。

【0082】

以上に説明した通り、第１実施形態においては、観測包絡線Ｅx[n]における音源Ｓ[n]からの目的音の概形を表す出力包絡線Ｅy[n]のレベルｙ[n,m]に応じた音響処理が音信号Ａ[n]に対して実行されるから、音信号Ａ[n]に含まれる被り音の影響を低減して適切な音響処理を音信号Ａ[n]に対して実行することが可能である。

【0083】

Ｂ：第２実施形態
第２実施形態について説明する。なお、以下に例示する各形態において機能が第１実施形態と同様である要素については、第１実施形態の説明で使用した符号を流用して各々の詳細な説明を適宜に省略する。

【0084】

第１実施形態においては、複数の単位期間Ｔu[m]（Ｔu[1]～Ｔu[M]）を含む解析期間Ｔa毎に推定処理Ｓaが実行される。第２実施形態においては、単位期間Ｔu[m]毎に推定処理Ｓaが実行される。すなわち、第２実施形態は、第１実施形態における１個の解析期間Ｔaに含まれる単位期間Ｔu[m]の個数Ｍを１に限定した形態である。

【0085】

図１３は、第２実施形態における推定処理Ｓaの説明図である。第２実施形態においては、時間軸上の単位期間Ｔu[i]毎（ｉは自然数）毎にＮチャネルのレベルｘ[1,i]～ｘ[N,i]が生成される。観測行列Ｘは、１個の単位期間Ｔu[i]に対応するＮチャネルのレベルｘ[1,i]～ｘ[N,i]を縦方向に配列したＮ行１列の非負行列である。したがって、複数の単位期間Ｔu[i]にわたる観測行列Ｘの時系列が、Ｎチャネルの観測包絡線Ｅx[1]～Ｅx[N]に相当する。すなわち、第ｎチャネルの観測包絡線Ｅx[n]は、複数の単位期間Ｔu[i]にわたるレベルｘ[n,i]の時系列で表現される。同様に、係数行列Ｙは、１個の単位期間Ｔu[i]に対応するＮチャネルのレベルｙ[1,i]～ｙ[N,i]を縦方向に配列したＮ行１列の非負行列である。したがって、複数の単位期間Ｔu[i]にわたる係数行列Ｙの時系列が、Ｎチャネルの出力包絡線Ｅy[1]～Ｅy[N]に相当する。混合行列Ｑは、第１実施形態と同様に、複数の混合比ｑ[n1,n2]を配列したＮ行Ｎ列の正方行列である。

【0086】

第１実施形態においては、Ｍ個の単位期間Ｔu[1]～Ｔu[M]を含む解析期間Ｔa毎に図６の推定処理Ｓaが実行される。第２実施形態においては、単位期間Ｔu[i]毎に推定処理Ｓaが実行される。すなわち、Ｎ個の音源Ｓ[1]～Ｓ[N]による発音に並行して実時間的に推定処理Ｓaが実行される。なお、推定処理Ｓaの内容は第１実施形態と同様である。他方、学習処理Ｓbは、第１実施形態と同様に、Ｍ個の単位期間Ｔu[1]～Ｔu[m]を含むう１個の解析期間Ｔaについて実行される。すなわち、第２実施形態においては、推定処理Ｓaが単位期間Ｔu[i]毎のレベルｙ[n,i]を算定するリアルタイム処理であるのに対し、学習処理Ｓbは、複数の単位期間Ｔu[1]～Ｔu[M]にわたる出力包絡線Ｅy[n]を算定するノンリアルタイム処理である。

【0087】

以上の説明から理解される通り、第２実施形態によれば、Ｎ個の音源Ｓ[1]～Ｓ[N]による発音に対する出力包絡線Ｅy[n]の遅延が低減される。すなわち、Ｎ個の音源Ｓ[1]～Ｓ[N]による発音に並行して実時間的に各出力包絡線Ｅy[n]を生成できる。

【0088】

図１２に例示した処理（Ｓ1～Ｓ3）は、単位期間Ｔu[i]毎に実行される。したがって、制御装置１１（表示制御部３３）は、表示装置１３に表示された解析画像Ｚ（Ｚa，Ｚb，Ｚc，Ｚd）を単位期間Ｔu[i]毎に更新する（Ｓ2）。すなわち、解析画像Ｚは、Ｎ個の音源Ｓ[1]～Ｓ[N]による発音に並行して実時間的に更新される。以上の説明から理解される通り、第２実施形態によれば、Ｎ個の音源Ｓ[1]～Ｓ[N]の発音に対して遅延なく解析画像Ｚが更新される。したがって、利用者は、各チャネルにおける被り音の変化を実時間的に視認できる。例えば、解析画像Ｚaにおいては、１個の単位期間Ｔu[i]における観測包絡線Ｅx[n]のレベルｘ[n,i]と出力包絡線Ｅy[n]のレベルｙ[n,i]とがチャネル毎に表示装置１３に表示され、当該解析画像Ｚaが単位期間Ｔu[i]毎に順次に更新される。

【0089】

また、制御装置１１（音響処理部３４）は、音信号Ａ[n]に対する音響処理を単位期間Ｔu[i]毎に実行する（Ｓ3）。したがって、Ｎ個の音源Ｓ[1]～Ｓ[N]の発音に対して遅延なく各音信号Ａ[n]を処理できる。

【0090】

Ｃ：第３実施形態
図１４は、第３実施形態における推定処理Ｓaの説明図である。第１実施形態の推定処理部３１における包絡線取得部３１１は、相異なる音源Ｓ[n]に対応するＮチャネルの観測包絡線Ｅx[1]～Ｅx[N]を生成する。第３実施形態の包絡線取得部３１１は、相異なる周波数帯域に対応する３系統の観測包絡線Ｅx[n]（Ｅx[n]_L，Ｅx[n]_M，Ｅx[n]_H）をチャネル毎に生成する。観測包絡線Ｅx[n]_Lは低周波数帯域に対応し、観測包絡線Ｅx[n]_Mは中周波数帯域に対応し、観測包絡線Ｅx[n]_Hは高周波数帯域に対応する。低周波数帯域は中周波数帯域の低域側に位置し、高周波数帯域は中周波数帯域の高域側に位置する。具体的には、低周波数帯域は中周波数帯域の下端値を下回る周波数帯域であり、高周波数帯域は中周波数帯域の上端値を上回る周波数帯域である。なお、観測包絡線Ｅx[n]が算定される周波数帯域の総数は３に限定されず任意である。なお、低周波数帯域と中周波数帯域と高周波数帯域とは、部分的に相互に重複してもよい。

【0091】

包絡線取得部３１１は、各音信号Ａ[n]を低周波数帯域と中周波数帯域と高周波数帯域の３個の周波数帯域に分割し、第１実施形態と同様の方法により周波数帯域毎に観測包絡線Ｅx[n]（Ｅx[n]_L，Ｅx[n]_M，Ｅx[n]_H）生成する。以上の説明から理解される通り、観測行列Ｘは、３系統の観測包絡線Ｅx[n]（Ｅx[n]_L，Ｅx[n]_M，Ｅx[n]_H）をＮチャネルにわたり配列した３Ｎ行Ｍ列の非負行列である。また、混合行列Ｑは、相異なる周波数帯域に対応する３個の要素をＮチャネルにわたり配列した３Ｎ行３Ｎ列の正方行列である。

【0092】

信号処理部３１２は、相異なる周波数帯域に対応する３系統の出力包絡線Ｅy[n]（Ｅy[n]_L，Ｅy[n]_M，Ｅy[n]_H）をＮチャネルの各々について生成する。出力包絡線Ｅy[n]_Lは低周波数帯域に対応し、出力包絡線Ｅy[n]_Mは中周波数帯域に対応し、出力包絡線Ｅy[n]_Hは高周波数帯域に対応する。したがって、係数行列Ｙは、３系統の出力包絡線Ｅy[n]（Ｅy[n]_L，Ｅy[n]_M，Ｅy[n]_H）をＮチャネルにわたり配列した３Ｎ行Ｍ列の非負行列である。信号処理部３１２は、既知の混合行列Ｑを利用した非負値行列因子分解により、観測行列Ｘから係数行列Ｙを生成する。

【0093】

以上の説明では推定処理Ｓaに着目したが、学習処理Ｓbについても同様である。具体的には、学習処理部３２の包絡線取得部３２１は、相異なる周波数帯域に対応する３系統の観測包絡線Ｅx[n]（Ｅx[n]_L，Ｅx[n]_M，Ｅx[n]_H）をＮチャネルの各々の音信号Ａ[n]から生成する。すなわち、包絡線取得部３２１は、３系統の観測包絡線Ｅx[n]（Ｅx[n]_L，Ｅx[n]_M，Ｅx[n]_H）をＮチャネルにわたり配列した３Ｎ行Ｎ列の観測行列Ｘを生成する。混合行列Ｑは、相異なる周波数帯域に対応する３個の要素をＮチャネルにわたり配列した９行９列の正方行列である。係数行列Ｙは、相異なる周波数帯域に対応する３系統の出力包絡線Ｅy[n]（Ｅy[n]_L，Ｅy[n]_M，Ｅy[n]_H）をＮチャネルにわたり配列した３Ｎ行Ｎ列の非負行列である。信号処理部３２２は、非負値行列因子分解により観測行列Ｘから混合行列Ｑと係数行列Ｙとを生成する。

【0094】

第３実施形態においても第１実施形態と同様の効果が実現される。また、第３実施形態においては、各チャネルの観測包絡線Ｅx[n]および出力包絡線Ｅy[n]が複数の周波数帯域に分離されるから、音源Ｓ[n]の目的音を高精度に反映した観測包絡線Ｅx[n]および出力包絡線Ｅy[n]を生成できるという利点がある。なお、図１４においては第１実施形態を基礎とした構成を例示したが、単位期間Ｔu[i]毎に推定処理Ｓaを実行する第２実施形態にも、第３実施形態の構成は同様に適用される。

【0095】

Ｄ：変形例
以上に例示した各態様に付加される具体的な変形の態様を以下に例示する。以下の例示から任意に選択された２以上の態様を、相互に矛盾しない範囲で適宜に併合してもよい。

【0096】

（１）前述の各形態では、前掲の数式(1)の演算により各音信号Ａ[n]の観測包絡線Ｅx[n]を生成したが、包絡線取得部３１１または包絡線取得部３２１が観測包絡線Ｅx[n]を生成する方法は以上の例示に限定されない。例えば、音信号Ａ[n]の正側の各ピークから経時的に減衰する曲線または直線により観測包絡線Ｅx[n]を構成してもよい。また、音信号Ａ[n]の正側の成分を平滑化することで観測包絡線Ｅx[N]を生成してもよい。

【0097】

（２）前述の各形態では、音響処理装置１０の包絡線取得部３１１および包絡線取得部３２１が各音信号Ａ[n]から観測包絡線Ｅx[n]を生成したが、外部装置で生成された観測包絡線Ｅx[n]を包絡線取得部３１１または包絡線取得部３２１が受信してもよい。すなわち、包絡線取得部３１１または包絡線取得部３２１は、音信号Ａ[n]に対する処理で観測包絡線Ｅx[n]を生成する要素と、外部装置により生成された観測包絡線Ｅx[n]を受信する要素との双方を含む。

【0098】

（３）前述の各形態では非負値行列因子分解を例示したが、Ｎチャネルの観測包絡線Ｅx[1]～Ｅx[N]からＮチャネルの出力包絡線Ｅy[1]～Ｅy[N]を生成するための方法は以上の例示に限定されない。例えば、非負拘束最小２乗法（ＮＮＬＳ：Non-Negative Least Squares）を利用して各出力包絡線Ｅy[n]を生成してもよい。すなわち、混合行列Ｑと係数行列Ｙとにより観測行列Ｘを近似する任意の最適化手法が利用される。

【0099】

（４）前述の各形態では、時間軸上の１個の時点における観測包絡線Ｅx[n]のレベルｘ[n,m]と出力包絡線Ｅy[n]のレベルｙ[n,m]とを表す解析画像Ｚaを例示したが、解析画像Ｚaの内容は以上の例示に限定されない。例えば、図１５に例示される通り、観測包絡線Ｅx[n]と出力包絡線Ｅy[n]とを共通の時間軸のもとで配置した解析画像Ｚaを表示制御部３３が表示装置１３に表示させてもよい。観測包絡線Ｅx[n]と出力包絡線Ｅy[n]との差分が、音源Ｓ[n]以外の音源Ｓ[n']から収音装置Ｄ[n]に到達した被り音の音量に相当する。以上の例示から理解される通り、解析画像Ｚa（第４画像）は、音源Ｓ[n]と観測包絡線Ｅx[n]のレベルｘ[n,m]と当該音源Ｓ[n]の出力包絡線Ｅy[n]のレベルｙ[n,m]とを表す画像として包括的に表現される。

【0100】

（５）携帯電話機またはスマートフォン等の端末装置との間で通信するサーバ装置により音響処理装置１０を実現してもよい。例えば、音響処理装置１０は、端末装置から受信したＮチャネルの音信号Ａ[1]～Ａ[N]に対する推定処理Ｓaまたは学習処理Ｓbにより、Ｎチャネルの出力包絡線Ｅy[1]～Ｅy[N]を生成する。なお、Ｎチャネルの観測包絡線Ｅx[1]～Ｅx[N]が端末装置から送信される構成では、包絡線取得部３１１または包絡線取得部３２１がＮチャネルの観測包絡線Ｅx[1]～Ｅx[N]を端末装置から受信する。

【0101】

音響処理装置１０の表示制御部３３は、Ｎチャネルの観測包絡線Ｅx[1]～Ｅx[N]と混合行列ＱとＮチャネルの出力包絡線Ｅy[1]～Ｅy[N]に応じた解析画像Ｚを表す画像データを生成し、当該画像データを端末装置に送信することで当該解析画像Ｚを端末装置に表示させる。音響処理装置１０の音響処理部３４は、各音信号Ａ[n]に対する音響処理で生成した音信号Ｂを端末装置に送信する。

【0102】

（６）前述の各形態においては、推定処理部３１と学習処理部３２と表示制御部３３と音響処理部３４とを具備する音響処理装置１０を例示したが、音響処理装置１０の一部の要素を省略してもよい。例えば、外部装置により生成された混合行列Ｑが音響処理装置１０に供給される構成では学習処理部３２が省略される。表示制御部３３および音響処理部３４の一方または双方を省略してもよい。また、混合行列Ｑを生成する学習処理部３２を具備する装置は、機械学習装置とも換言される。解析画像Ｚを表示させる表示制御部３３を具備する装置は、表示制御装置とも換言される。

【0103】

（７）以上に例示した音響処理装置１０の機能は、前述の通り、制御装置１１を構成する単数または複数のプロセッサと記憶装置１２に記憶されたプログラム（Ｐ1～Ｐ4）との協働により実現される。本開示に係るプログラムは、コンピュータが読取可能な記録媒体に格納された形態で提供されてコンピュータにインストールされ得る。記録媒体は、例えば非一過性（non-transitory）の記録媒体であり、ＣＤ-ＲＯＭ等の光学式記録媒体（光ディスク）が好例であるが、半導体記録媒体または磁気記録媒体等の公知の任意の形式の記録媒体も包含される。なお、非一過性の記録媒体とは、一過性の伝搬信号（transitory, propagating signal）を除く任意の記録媒体を含み、揮発性の記録媒体も除外されない。また、配信装置が通信網を介してプログラムを配信する構成では、当該配信装置においてプログラムを記憶する記憶装置が、前述の非一過性の記録媒体に相当する。

【0104】

Ｅ：付記
以上に例示した形態から、例えば以下の構成が把握される。

【0105】

本開示のひとつの態様（態様１）に係る表示制御方法は、相異なる複数の音源の各々について、当該音源からの音を収音した音信号の概形を表す観測包絡線と、前記観測包絡線における当該音源からの音に対する他の音源からの被り音の混合比と、前記観測包絡線における当該音源からの音の概形を表す出力包絡線とを取得し、前記複数の音源のうち第１音源以外の１以上の第２音源の各々について、前記第１音源の観測包絡線における当該第２音源からの被り音のレベルを表す第１画像を、前記複数の音源の各々について取得した前記混合比および前記出力包絡線に応じて、表示装置に表示させる。

【0106】

以上の態様では、各第２音源について、第１音源の観測包絡線における第２音源からの被り音のレベルを表す第１画像が、表示装置に表示される。したがって、第１音源からの音を収音した音信号に対して各第２音源からの被り音が影響する度合を利用者が視覚的に把握できる。

【0107】

なお、「観測包絡線の取得」は、音信号に対する信号処理で観測包絡線を生成する動作と、他装置により生成された観測包絡線を受信する動作との双方を含む。「混合比の取得」および「出力包絡線の取得」についても同様に、信号処理により生成する動作と他装置から受信する動作との双方を含む。また、「観測包絡線における音源からの音の概形を表す出力包絡線」とは、観測包絡線における音源以外の音源からの被り音が抑圧（理想的には除去）された包絡線を意味する。

【0108】

本開示のひとつの態様（態様２）に係る表示制御方法は、相異なる複数の音源の各々について、当該音源からの音を収音した音信号の概形を表す観測包絡線と、前記観測包絡線における当該音源からの音に対する他の音源からの被り音の混合比と、前記観測包絡線における当該音源からの音の概形を表す出力包絡線とを取得し、前記複数の音源のうち第１音源以外の１以上の第２音源の各々について、当該第２音源の観測包絡線における前記第１音源からの被り音のレベルを表す第２画像を、前記複数の音源の各々について取得した前記混合比および前記出力包絡線に応じて、表示装置に表示させる。

【0109】

以上の態様では、各第２音源について、当該第２音源の観測包絡線における第１音源からの被り音のレベルを表す第２画像が、表示装置に表示される。したがって、各第２音源からの音を収音した音信号に対して第１音源からの被り音が影響する度合を利用者が視覚的に把握できる。

【0110】

態様１または態様２の具体例（態様３）において、前記複数の音源の各々について、当該音源からの音と他の音源からの被り音との混合比を配列した第３画像を、前記表示装置に表示させる。以上の態様では、複数の音源の各々について、当該音源からの音と他の音源からの被り音との混合比を配列した第３画像が表示される。したがって、複数の音源のうち任意の２個の音源の組合せについて、当該組合せの一方の音源が他方の音源に影響する度合を、利用者が視覚的に把握できる。

【0111】

態様１から態様３の何れかの具体例（態様４）において、前記複数の音源のうち一の音源について、前記一の音源の観測包絡線のレベルと、当該一の音源の出力包絡線のレベルとを表す第４画像を、前記表示装置に表示させる。以上の態様では、複数の音源のうち一の音源について観測包絡線のレベルと出力包絡線のレベルとを表す第４画像が表示される。したがって、一の音源からの音のレベルと他の音源からの被り音のレベルとを視覚的に比較することが可能である。

【0112】

態様４の具体例（態様５）において、前記観測包絡線における１個のレベルが算定される単位期間毎に、当該単位期間における前記観測包絡線のレベルと、当該単位期間における前記出力包絡線のレベルとを、表示装置に表示させる。以上の態様によれば、音源による発音に対して遅延なく、第１観測包絡線のレベルと第１出力包絡線のレベルとの関係を利用者が視認できる。

【0113】

本開示のひとつの態様に係る表示制御装置は、以上に例示した各態様の表示制御方法を実行する。また、本開示のひとつの態様に係るプログラムは、以上に例示した各態様の表示制御方法をコンピュータに実行させる。

【符号の説明】

【0114】

１００…音響処理システム、１０…音響処理装置、２０…再生装置、Ｄ[n]（Ｄ[1]～Ｄ[N]）…収音装置、１１…制御装置、１２…記憶装置、１３…表示装置、１４…操作装置、１５…通信装置、３１…推定処理部、３１１…包絡線取得部、３１２…信号処理部、３２…学習処理部、３２１…包絡線取得部、３２２…信号処理部、３３…表示制御部、３４…音響処理部、Ｚ（Ｚa，Ｚb，Ｚc，Ｚd）…解析画像。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】