特許 7604845 音響処理システム、音響処理方法およびプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-12-16

(45)【発行日】2024-12-24

(54)【発明の名称】音響処理システム、音響処理方法およびプログラム

(51)【国際特許分類】

   G10H 1/00 20060101AFI20241217BHJP

   G10G 1/00 20060101ALI20241217BHJP

【ＦＩ】

G10H1/00 102Z

G10G1/00

【請求項の数】 10

(21)【出願番号】P 2020185740

(22)【出願日】2020-11-06

(65)【公開番号】P2022075147

(43)【公開日】2022-05-18

【審査請求日】2023-09-21

(73)【特許権者】

【識別番号】000004075

【氏名又は名称】ヤマハ株式会社

(74)【代理人】

【識別番号】110003177

【氏名又は名称】弁理士法人旺知国際特許事務所

(72)【発明者】

【氏名】前澤 陽

(72)【発明者】

【氏名】磯崎 善政

【審査官】土井 悠生

(56)【参考文献】

【文献】国際公開第２０１８／０１６６３８（ＷＯ，Ａ１）

【文献】特開２０１３－００３２０５（ＪＰ，Ａ）

【文献】特開２０１８－０６３２９５（ＪＰ，Ａ）

【文献】特開２０１４－０５６２３２（ＪＰ，Ａ）

【文献】特開２００４－２５８５６４（ＪＰ，Ａ）

【文献】特開２００９－２１６８７３（ＪＰ，Ａ）

【文献】特開２０１０－１３４７９０（ＪＰ，Ａ）

【文献】特開２０１７－２０７６１５（ＪＰ，Ａ）

【文献】国際公開第２０１９／０５８９４２（ＷＯ，Ａ１）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ１０Ｈ １／００－７／１２

Ｇ１０Ｇ １／００－７／０２

(57)【特許請求の範囲】

【請求項1】

第１音源の音響と第２音源の音響とを収録した音響信号を解析する解析処理を実行する音響解析部であって、前記解析処理は、前記音響信号に前記第１音源の音響成分が含まれる確度の指標である発音指標の時系列を特定する第１処理と、前記第１音源の音響成分に関する音高の時系列を特定する処理とを含む音響解析部と、
前記発音指標の時系列と前記音高の時系列とを共通の時間軸のもとで表示装置に表示させる表示制御部と
を具備し、
前記第１処理は、
前記音響信号の強度に応じた第１指標を算定する処理と、
前記第２音源について音符毎の発音強度を指定する演奏データから、前記第２音源の音響成分の強度に応じた第２指標を算定する処理と、
前記第１指標から第２指標を減算する処理とを含み、
前記発音指標は、前記減算の結果に応じた指標である
音響処理システム。

【請求項2】

前記第２指標を算定する処理には、利用者からの指示に応じて設定された第１変数が適用され、
前記第１変数に応じて前記第２指標が変化する
請求項１の音響処理システム。

【請求項3】

第１音源の音響を収録した音響信号を解析する解析処理を実行する音響解析部であって、前記解析処理は、前記音響信号に前記第１音源の音響成分が含まれる確度の指標である発音指標の時系列を特定する第１処理と、前記第１音源の音響成分が存在する発音期間を特定する第２処理と、前記第１音源の音響成分に関する音高の時系列を特定する処理とを含む音響解析部と、
前記発音指標の時系列と前記発音期間と前記音高の時系列とを共通の時間軸のもとで表示装置に表示させる表示制御部と
を具備し、
前記第２処理には、利用者からの指示に応じて設定された第２変数が適用され、
前記第２変数に応じて前記発音期間が変化する
音響処理システム。

【請求項4】

第１音源の音響を収録した音響信号を解析する解析処理を実行する音響解析部であって、前記解析処理は、前記音響信号に前記第１音源の音響成分が含まれる確度の指標である発音指標の時系列を特定する第１処理と、前記第１音源の音響成分の音高の時系列を特定する第３処理とを含む音響解析部と、
前記発音指標の時系列と前記音高の時系列と前記音高が変化する時点である発音点とを共通の時間軸のもとで表示装置に表示させる表示制御部と
を具備し、
前記第３処理には、利用者からの指示に応じて設定された第３変数が適用され、
前記第３変数に応じて前記発音点の個数が変化する
音響処理システム。

【請求項5】

第１音源の音響と第２音源の音響とを収録した音響信号を解析する解析処理であって、前記音響信号に前記第１音源の音響成分が含まれる確度の指標である発音指標の時系列を特定する第１処理と、前記第１音源の音響成分に関する音高の時系列を特定する処理とを含む解析処理を実行し、
前記発音指標の時系列と前記音高の時系列とを共通の時間軸のもとで表示装置に表示し、
前記第１処理は、
前記音響信号の強度に応じた第１指標を算定する処理と、
前記第２音源について音符毎の発音強度を指定する演奏データから、前記第２音源の音響成分の強度に応じた第２指標を算定する処理と、
前記第１指標から第２指標を減算する処理とを含み、
前記発音指標は、前記減算の結果に応じた指標である
コンピュータシステムにより実現される音響処理方法。

【請求項6】

第１音源の音響を収録した音響信号を解析する解析処理であって、前記音響信号に前記第１音源の音響成分が含まれる確度の指標である発音指標の時系列を特定する第１処理と、前記第１音源の音響成分が存在する発音期間を特定する第２処理と、前記第１音源の音響成分に関する音高の時系列を特定する処理とを含む解析処理を実行し、
前記発音指標の時系列と前記発音期間と前記音高の時系列とを共通の時間軸のもとで表示装置に表示し、
前記第２処理には、利用者からの指示に応じて設定された第２変数が適用され、
前記第２変数に応じて前記発音期間が変化する
コンピュータシステムにより実現される音響処理方法。

【請求項7】

第１音源の音響を収録した音響信号を解析する解析処理であって、前記音響信号に前記第１音源の音響成分が含まれる確度の指標である発音指標の時系列を特定する第１処理と、前記第１音源の音響成分の音高の時系列を特定する第３処理とを含む解析処理を実行し、
前記発音指標の時系列と前記音高の時系列と前記音高が変化する時点である発音点とを共通の時間軸のもとで表示装置に表示し、
前記第３処理には、利用者からの指示に応じて設定された第３変数が適用され、
前記第３変数に応じて前記発音点の個数が変化する
コンピュータシステムにより実現される音響処理方法。

【請求項8】

第１音源の音響と第２音源の音響とを収録した音響信号を解析する解析処理を実行する音響解析部であって、前記解析処理は、前記音響信号に前記第１音源の音響成分が含まれる確度の指標である発音指標の時系列を特定する第１処理と、前記第１音源の音響成分に関する音高の時系列を特定する処理とを含む音響解析部、および、
前記発音指標の時系列と前記音高の時系列とを共通の時間軸のもとで表示装置に表示させる表示制御部、
としてコンピュータシステムを機能させるプログラムであって、
前記第１処理は、
前記音響信号の強度に応じた第１指標を算定する処理と、
前記第２音源について音符毎の発音強度を指定する演奏データから、前記第２音源の音響成分の強度に応じた第２指標を算定する処理と、
前記第１指標から第２指標を減算する処理とを含み、
前記発音指標は、前記減算の結果に応じた指標である
プログラム。

【請求項9】

第１音源の音響を収録した音響信号を解析する解析処理を実行する音響解析部であって、前記解析処理は、前記音響信号に前記第１音源の音響成分が含まれる確度の指標である発音指標の時系列を特定する第１処理と、前記第１音源の音響成分が存在する発音期間を特定する第２処理と、前記第１音源の音響成分に関する音高の時系列を特定する処理とを含む音響解析部、および、
前記発音指標の時系列と前記発音期間と前記音高の時系列とを共通の時間軸のもとで表示装置に表示させる表示制御部、
としてコンピュータシステムを機能させるプログラムであって、
前記第２処理には、利用者からの指示に応じて設定された第２変数が適用され、
前記第２変数に応じて前記発音期間が変化する
プログラム。

【請求項10】

第１音源の音響を収録した音響信号を解析する解析処理を実行する音響解析部であって、前記解析処理は、前記音響信号に前記第１音源の音響成分が含まれる確度の指標である発音指標の時系列を特定する第１処理と、前記第１音源の音響成分の音高の時系列を特定する第３処理とを含む音響解析部、および、
前記発音指標の時系列と前記音高の時系列と前記音高が変化する時点である発音点とを共通の時間軸のもとで表示装置に表示させる表示制御部、
としてコンピュータシステムを機能させるプログラムであって、
前記第３処理には、利用者からの指示に応じて設定された第３変数が適用され、
前記第３変数に応じて前記発音点の個数が変化する
プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、音響信号を解析する技術に関する。

【背景技術】

【0002】

楽曲の再生を演奏者による演奏に追従させる技術が従来から提案されている。例えば特許文献１には、楽曲の演奏により発音される楽音を表す音響信号の解析により楽曲内の演奏位置を推定し、推定結果に応じて楽曲の自動演奏を制御する技術が開示されている。

【先行技術文献】

【特許文献】

【0003】

【文献】特開２０１７－２０７６１５号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

演奏位置の推定には、音響信号との照合に利用される参照データを事前に用意する必要がある。参照データの生成には、事前の演奏により発音される楽音を表す参照信号の解析と、利用者からの指示に応じて解析結果を修正する処理とが必要である。以上の状況を背景として、参照データを生成する過程における参照信号の解析結果を利用者が容易に確認および修正するための技術の実現が要求されている。

【課題を解決するための手段】

【0005】

以上の課題を解決するために、本開示のひとつの態様に係る音響処理システムは、第１音源の音響を収録した音響信号を解析する解析処理を実行する音響解析部であって、前記解析処理は、前記音響信号に前記第１音源の音響成分が含まれる確度の指標である発音指標の時系列を特定する第１処理と、前記第１音源の音響成分に関する音高の時系列を特定する処理とを含む音響解析部と、前記発音指標の時系列と前記音高の時系列とを共通の時間軸のもとで表示装置に表示させる表示制御部とを具備する。

【0006】

本開示のひとつの態様に係る音響処理方法は、第１音源の音響を収録した音響信号を解析する解析処理であって、前記音響信号に前記第１音源の音響成分が含まれる確度の指標である発音指標の時系列を特定する第１処理と、前記第１音源の音響成分に関する音高の時系列を特定する処理とを含む解析処理を実行し、前記発音指標の時系列と前記音高の時系列とを共通の時間軸のもとで表示装置に表示させる。

【0007】

本開示のひとつの態様に係るプログラムは、第１音源の音響を収録した音響信号を解析する解析処理を実行する音響解析部であって、前記解析処理は、前記音響信号に前記第１音源の音響成分が含まれる確度の指標である発音指標の時系列を特定する第１処理と、前記第１音源の音響成分に関する音高の時系列を特定する処理とを含む音響解析部、および、前記発音指標の時系列と前記音高の時系列とを共通の時間軸のもとで表示装置に表示させる表示制御部、としてコンピュータシステムを機能させる。

【図面の簡単な説明】

【0008】

【図1】第１実施形態に係る再生システムの構成を例示するブロック図である。

【図2】楽曲データの模式図である。

【図3】操作装置の構成および状態の説明図である。

【図4】音響処理システムの機能的な構成を例示するブロック図である。

【図5】演奏装置による再生パートの再生と第１指示および第２指示との関係の説明図である。

【図6】再生制御処理の具体的な手順を例示するフローチャートである。

【図7】第２実施形態における操作装置の状態に関する説明図である。

【図8】第３実施形態における操作装置の状態に関する説明図である。

【図9】第４実施形態における音響処理システムの機能的な構成を例示するブロック図である。

【図10】編集処理部の動作の説明図である。

【図11】編集処理の具体的な手順を例示するフローチャートである。

【図12】第５実施形態における再生システムの構成を例示するブロック図である。

【図13】第５実施形態における音響処理システムの機能的な構成を例示するブロック図である。

【図14】音響解析部の具体的な構成を例示するブロック図である。

【図15】確認画面の模式図である。

【図16】確認画面が変化する様子を示す模式図である。

【図17】確認画面が変化する様子を示す模式図である。

【図18】確認画面が変化する様子を示す模式図である。

【図19】調整処理の具体的な手順を例示するフローチャートである。

【図20】変形例における確認画面の模式図である。

【発明を実施するための形態】

【0009】

Ａ：第１実施形態
図１は、第１実施形態に係る再生システム１００の構成を例示するブロック図である。再生システム１００は、利用者Ｕが所在する音響空間に設置される。利用者Ｕは、例えば弦楽器等の楽器８０を利用して楽曲の特定のパート（以下「演奏パート」という）を演奏する演奏者である。

【0010】

再生システム１００は、利用者Ｕによる演奏パートの演奏に並行して当該楽曲を再生するコンピュータシステムである。具体的には、再生システム１００は、楽曲を構成する複数のパートのうち演奏パート以外のパート（以下「再生パート」という）を再生する。演奏パートは、例えば楽曲の主旋律を構成する１以上のパートである。再生パートは、例えば楽曲の伴奏を構成する１以上のパートである。以上の説明から理解される通り、利用者Ｕによる演奏パートの演奏と再生システム１００による再生パートの再生とが並行に実行されることで楽曲の演奏が実現される。なお、演奏パートと再生パートとは、楽曲の共通のパートでもよい。また、演奏パートが楽曲の伴奏を構成し、再生パートが当該楽曲の主旋律を構成してもよい。

【0011】

再生システム１００は、音響処理システム１０と演奏装置２０とを具備する。音響処理システム１０と演奏装置２０とは別体で構成され、有線または無線により相互に通信する。なお、音響処理システム１０と演奏装置２０とを一体に構成してもよい。

【0012】

演奏装置２０は、音響処理システム１０による制御のもとで楽曲の再生パートを再生する再生装置である。具体的には、演奏装置２０は、再生パートの自動演奏を実行する自動演奏楽器である。例えば、利用者Ｕが演奏する楽器８０とは別種の自動演奏楽器（例えば自動演奏ピアノ）が演奏装置２０として利用される。以上の説明から理解される通り、自動演奏は、「再生」の一態様である。

【0013】

第１実施形態の演奏装置２０は、駆動機構２１と発音機構２２とを具備する。発音機構２２は、楽音を発生する機構である。具体的には、発音機構２２は、自然楽器の鍵盤楽器と同様に、鍵盤の各鍵の変位に連動して弦（発音源）を発音させる打弦機構を鍵毎に具備する。駆動機構２１は、発音機構２２を駆動することで楽曲の自動演奏を実行する。音響処理システム１０からの指示に応じて駆動機構２１が発音機構２２を駆動することで、再生パートの自動演奏が実現される。

【0014】

音響処理システム１０は、演奏装置２０による再生パートの再生を制御するコンピュータシステムであり、制御装置１１と記憶装置１２と収音装置１３と操作装置１４とを具備する。音響処理システム１０は、例えばスマートフォンまたはタブレット端末等の可搬型の端末装置、またはパーソナルコンピュータ等の可搬型または据置型の端末装置により実現される。なお、音響処理システム１０は、単体の装置で実現されるほか、相互に別体で構成された複数の装置でも実現される。

【0015】

制御装置１１は、音響処理システム１０の各要素を制御する単数または複数のプロセッサである。具体的には、例えばＣＰＵ（Central Processing Unit）、ＳＰＵ（Sound Processing Unit）、ＤＳＰ（Digital Signal Processor）、ＦＰＧＡ（Field Programmable Gate Array）、またはＡＳＩＣ（Application Specific Integrated Circuit）等の１種類以上のプロセッサにより、制御装置１１が構成される。

【0016】

記憶装置１２は、制御装置１１が実行するプログラムと制御装置１１が使用する各種のデータとを記憶する単数または複数のメモリである。記憶装置１２は、例えば磁気記録媒体もしくは半導体記録媒体等の公知の記録媒体、または、複数種の記録媒体の組合せで構成される。また、音響処理システム１０に対して着脱される可搬型の記録媒体、または通信網を介した書込または読出が可能な記録媒体（例えばクラウドストレージ）を、記憶装置１２として利用してもよい。

【0017】

記憶装置１２は、楽曲を構成する複数の音符の時系列を指定する楽曲データＤを楽曲毎に記憶する。図２は、楽曲データＤの模式図である。楽曲データＤは、参照データＤaと演奏データＤbとを含む。参照データＤaは、利用者Ｕが演奏する演奏パートの音符の時系列を指定する。具体的には、参照データＤaは、演奏パートの複数の音符の各々について音高と発音期間と発音強度（ベロシティ）とを指定する。他方、演奏データＤbは、演奏装置２０が再生する再生パートの音符の時系列を指定する。具体的には、演奏データＤbは、再生パートの複数の音符の各々について音高と発音期間と発音強度とを指定する。

【0018】

参照データＤaおよび演奏データＤbの各々は、例えば、楽音の発音または消音を指示する指示データと、指示データが指示する動作の時点を指定する時間データとが時系列に配列されたＭＩＤＩ（Musical Instrument Digital Interface）形式の時系列データである。指示データは、例えば音高と強度とを指定して発音または消音等の動作を指示する。時間データは、例えば相前後する指示データの間隔を指定する。指示データにより特定の音高の発音が指示されてから、当該指示データの後方の指示データにより当該音高の消音が指示されるまでの期間が、当該音高の音符に関する発音期間である。

【0019】

図１の収音装置１３は、利用者Ｕによる演奏で楽器８０から発音される楽音を収音し、当該楽音の波形を表す音響信号Ｚを生成する。例えばマイクロホンが収音装置１３として利用される。収音装置１３が生成した音響信号Ｚをアナログからデジタルに変換するＡ/Ｄ変換器の図示は便宜的に省略されている。なお、利用者Ｕは、収音装置１３に対して楽曲の演奏パートを歌唱してもよい。利用者Ｕが演奏パートを歌唱する場合、利用者Ｕが発音する歌唱音の波形を表す音響信号Ｚが、収音装置１３により生成される。以上の説明から理解される通り、「演奏」には、楽器８０を利用した狭義の演奏のほか、利用者Ｕによる楽曲の歌唱も包含される。

【0020】

なお、第１実施形態においては収音装置１３が音響処理システム１０に搭載された構成を例示するが、音響処理システム１０とは別体の収音装置１３を有線または無線により音響処理システム１０に接続してもよい。また、電気弦楽器等の電気楽器からの出力信号を音響信号Ｚとして音響処理システム１０が受信してもよい。以上の説明から理解される通り、収音装置１３は音響処理システム１０から省略されてもよい。

【0021】

操作装置１４は、利用者Ｕからの指示を受付ける入力機器である。図３に例示される通り、第１実施形態の操作装置１４は、利用者Ｕによる操作で移動する可動部１４１を具備する。可動部１４１は、利用者Ｕが足で操作可能な操作ペダルである。例えばペダル型のＭＩＤＩコントローラが操作装置１４として利用される。利用者Ｕは、楽器８０を両手で演奏しながら、当該演奏に並行した所望の時点で操作装置１４を操作することが可能である。なお、利用者Ｕによる接触を検知するタッチパネルを操作装置１４として利用してもよい。

【0022】

操作装置１４は、利用者Ｕによる操作に応じて解放状態および操作状態の一方から他方に遷移する。解放状態は、操作装置１４が利用者Ｕにより操作されていない状態である。具体的には、解放状態は、利用者Ｕが可動部１４１を踏込んでいない状態である。解放状態は、可動部１４１が位置Ｈ1にある状態とも表現される。他方、操作状態は、操作装置１４が利用者Ｕにより操作されている状態である。具体的には、操作状態は、利用者Ｕが可動部１４１を踏込んだ状態である。操作状態は、位置Ｈ1とは相違する位置Ｈ2に可動部１４１がある状態とも表現される。解放状態は「第１状態」の一例であり、操作状態は「第２状態」の一例である。

【0023】

図４は、音響処理システム１０の機能的な構成を例示するブロック図である。制御装置１１は、記憶装置１２に記憶されたプログラムを実行することで、演奏装置２０による再生パートの再生を制御するための複数の機能（演奏解析部３１、再生制御部３２および指示受付部３３）を実現する。

【0024】

演奏解析部３１は、収音装置１３から供給される音響信号Ｚを解析することで、楽曲内の演奏位置Ｘを推定する。演奏位置Ｘは、楽曲内において利用者Ｕが現に演奏している時点である。演奏位置Ｘの推定は、利用者Ｕによる演奏パートの演奏と演奏装置２０による再生パートの再生とに並行して反復的に実行される。すなわち、時間軸上の複数の時点の各々において演奏位置Ｘが推定される。演奏位置Ｘは、時間の経過とともに楽曲内の後方に移動する。

【0025】

具体的には、演奏解析部３１は、楽曲データＤの参照データＤaと音響信号Ｚとを相互に照合することで演奏位置Ｘを算定する。演奏解析部３１による演奏位置Ｘの推定には、公知の解析技術（スコアアライメント技術）が任意に採用され得る。例えば、特開２０１６－０９９５１２号公報に開示された解析技術が、演奏位置Ｘの推定に利用される。また、演奏解析部３１は、深層ニューラルネットワークまたは隠れマルコフモデル等の統計的推定モデルを利用して演奏位置Ｘを推定してもよい。

【0026】

再生制御部３２は、演奏データＤbが指定する各音符を演奏装置２０に再生させる。すなわち、再生制御部３２は、再生パートの自動演奏を演奏装置２０に実行させる。具体的には、再生制御部３２は、楽曲内において再生すべき位置（以下「再生位置」という）Ｙを経時的に後方に移動し、演奏データＤbのうち再生位置Ｙに対応する指示データを演奏装置２０に対して順次に供給する。すなわち、再生制御部３２は、演奏データＤbに含まれる各指示データを演奏装置２０に対して順次に供給するシーケンサとして機能する。再生制御部３２が演奏装置２０に再生パートを再生させる処理は、利用者Ｕによる演奏パートの演奏に並行して実行される。

【0027】

再生制御部３２は、演奏解析部３１による演奏位置Ｘの推定の結果に応じて、演奏装置２０による再生パートの再生を利用者Ｕによる楽曲の演奏に追従させる。すなわち、利用者Ｕによる演奏パートの演奏と同等のテンポで演奏装置２０による再生パートの自動演奏が進行する。例えば、再生制御部３２は、演奏位置Ｘの進行（すなわち利用者Ｕによる演奏速度）が速い場合には、再生位置Ｙの進行の速度（演奏装置２０による再生速度）を上昇させ、演奏位置Ｘの進行が遅い場合には再生位置Ｙの進行の速度を低下させる。すなわち、演奏位置Ｘの進行に同期するように、利用者Ｕによる演奏と同等の演奏速度で再生パートの自動演奏が実行される。したがって、利用者Ｕは、演奏装置２０が自分の演奏に合わせて再生パートを演奏しているような感覚で演奏パートを演奏できる。

【0028】

以上の通り、第１実施形態においては、再生パートの複数の音符の再生が利用者Ｕによる楽器８０の演奏に追従するから、利用者Ｕの意図（例えば演奏表現）または嗜好を、再生パートの再生に適切に反映させることが可能である。

【0029】

指示受付部３３は、第１指示Ｑ1および第２指示Ｑ2を利用者Ｕから受付ける。第１指示Ｑ1および第２指示Ｑ2は、操作装置１４に対する利用者Ｕの操作により発生する。第１指示Ｑ1は、演奏装置２０による再生パートの再生を一時的に停止させる指示である。第２指示Ｑ2は、第１指示Ｑ1により停止した再生パートの再生を再開させる指示である。

【0030】

具体的には、指示受付部３３は、利用者Ｕが操作装置１４を解放状態から操作状態に遷移させる操作を第１指示Ｑ1として受付ける。すなわち、利用者Ｕは、操作装置１４の可動部１４１を踏込むことで第１指示Ｑ1を音響処理システム１０に付与する。例えば、指示受付部３３は、可動部１４１が位置Ｈ1（解放状態）から位置Ｈ2（操作状態）に向けて移動を開始した時点を第１指示Ｑ1の時点として特定する。なお、位置Ｈ1から位置Ｈ2までの途中の位置に可動部１４１が到達した時点を指示受付部３３が第１指示Ｑ1の時点として特定する構成、または、可動部１４１が位置Ｈ2に到達した時点を指示受付部３３が第１指示Ｑ1の時点として特定する構成も想定される。

【0031】

また、指示受付部３３は、利用者Ｕが操作装置１４を操作状態から解放状態に遷移させる操作を第２指示Ｑ2として受付ける。すなわち、利用者Ｕは、操作装置１４の可動部１４１を踏込んだ状態から当該可動部１４１を解放することで、第２指示Ｑ2を音響処理システム１０に付与する。例えば、指示受付部３３は、可動部１４１が位置Ｈ2（操作状態）から位置Ｈ1（解放状態）に向けて移動を開始した時点を第２指示Ｑ2の時点として特定する。なお、位置Ｈ2から位置Ｈ1までの途中の位置に可動部１４１が到達した時点を指示受付部３３が第２指示Ｑ2の時点として特定する構成、または、可動部１４１が位置Ｈ1に到達した時点を指示受付部３３が第２指示Ｑ2の時点として特定する構成も想定される。

【0032】

利用者Ｕは、演奏パートの演奏中における任意の時点において第１指示Ｑ1および第２指示Ｑ2を付与できる。したがって、第１指示Ｑ1と第２指示Ｑ2との間隔は、利用者Ｕの意図に応じた可変長である。例えば、利用者Ｕは、楽曲内の休符期間の開始前に第１指示Ｑ1を付与し、利用者Ｕの所望の時間長の休符期間が経過した時点で第２指示Ｑ2を付与する。

【0033】

図５は、演奏装置２０による再生パートの再生と第１指示Ｑ1および第２指示Ｑ2との関係の説明図である。演奏データＤbが指定する各音符の発音期間と、演奏装置２０が実際に再生する各音符の発音期間とが、図５には併記されている。

【0034】

図５の音符Ｎ1は、演奏データＤbが指定する複数の音符のうち第１指示Ｑ1に対応する音符である。具体的には、音符Ｎ1は、再生パートの複数の音符のうち第１指示Ｑ1の時点で演奏装置２０が再生している音符である。再生制御部３２は、第１指示Ｑ1の発生後に、演奏データＤbが音符Ｎ1について指定する発音期間の終点まで、当該音符Ｎ1の再生を演奏装置２０に継続させる。例えば、再生制御部３２は、音符Ｎ1の発音期間の終点において、当該音符Ｎ1の消音を指示する指示データを演奏装置２０に供給する。以上の説明から理解される通り、音符Ｎ1の再生は、第１指示Ｑ1の時点で直ちに停止するのではなく、第１指示Ｑ1の発生後も演奏データＤbが指定する終点まで継続される。なお、音符Ｎ1は「第１音」の一例である。

【0035】

図５の音符Ｎ2は、演奏データＤbが指定する複数の音符のうち音符Ｎ1の直後の音符である。再生制御部３２は、音符Ｎ1の再生の停止後に、利用者Ｕによる第２指示Ｑ2を契機として、演奏装置２０に音符Ｎ2の再生を開始させる。すなわち、演奏データＤbが音符Ｎ2について指定する発音期間の始点の位置、および、演奏データＤbが指定する音符Ｎ1と音符Ｎ2との間隔の時間長とは無関係に、第２指示Ｑ2の発生を条件として音符Ｎ2の再生が開始される。具体的には、再生制御部３２は、指示受付部３３が第２指示Ｑ2を受付けた場合に、演奏データＤbにおける音符Ｎ2の指示データを演奏装置２０に供給する。したがって、第２指示Ｑ2の直後に音符Ｎ2の再生が開始される。なお、音符Ｎ2は「第２音」の一例である。

【0036】

図６は、制御装置１１が演奏装置２０を制御する動作（以下「再生制御処理」という）Ｓaの具体的な手順を例示するフローチャートである。利用者Ｕからの指示を契機として再生制御処理Ｓaが開始される。

【0037】

再生制御処理Ｓaが開始されると、制御装置１１は、待機データＷが有効状態にあるか否かを判定する（Ｓa1）。待機データＷは、第１指示Ｑ1により再生パートの再生が一時的に停止された状態であることを表すデータ（例えばフラグ）であり、記憶装置１２に記憶される。具体的には、待機データＷは、第１指示Ｑ1が発生した場合に有効状態（例えばＷ＝１）に設定され、第２指示Ｑ2が発生した場合に無効状態（例えばＷ＝０）に設定される。待機データＷは、再生パートの再生の再開を待機する状態を表すデータとも換言される。

【0038】

待機データＷが有効状態でない場合（Ｓa1：NO）、制御装置１１（演奏解析部３１）は、収音装置１３から供給される音響信号Ｚを解析することで演奏位置Ｘを推定する（Ｓa2）。制御装置１１（再生制御部３２）は、演奏位置Ｘの推定の結果に応じて、演奏装置２０による再生パートの再生を進行させる（Ｓa3）。すなわち、制御装置１１は、利用者Ｕによる演奏パートの演奏に追従するように演奏装置２０による再生パートの再生を制御する。

【0039】

制御装置１１（指示受付部３３）は、利用者Ｕから第１指示Ｑ1を受付けたか否かを判定する（Ｓa4）。第１指示Ｑ1を受付けた場合（Ｓa4：YES）、制御装置１１（再生制御部３２）は、第１指示Ｑ1の受付の時点で再生されている音符Ｎ1の再生を、演奏データＤbが指定する発音期間の終点まで演奏装置２０に継続させる（Ｓa5）。具体的には、制御装置１１は、第１指示Ｑ1が発生した時点と同等の速度（テンポ）で再生位置Ｙを進行させ、再生位置Ｙが音符Ｎ1の発音期間の終点に到達した場合に、当該音符Ｎ1の消音を表す指示データを演奏装置２０に供給する。以上の処理を実行すると、制御装置１１は、待機データＷを無効状態から有効状態（Ｗ＝１）に変更する（Ｓa6）。なお、ステップＳa5の実行前に待機データＷの更新（Ｓa6）が実行されてもよい。

【0040】

待機データＷが有効状態に設定されると、ステップＳa1における判定の結果が肯定となる。待機データＷが有効状態にある場合（Ｓa1：YES）、演奏位置Ｘの推定（Ｓa2）と再生パートの再生制御（Ｓa3）と音符Ｎ1に関する処理（Ｓa4－Ｓa6）とは実行されない。すなわち、利用者Ｕからの第１指示Ｑ1を契機として、演奏位置Ｘに連動した再生パートの再生制御は停止される。また、第１指示Ｑ1を受付けない場合（Ｓa4：NO）、音符Ｎ1に関する処理（Ｓa5，Ｓa6）は実行されない。

【0041】

制御装置１１（指示受付部３３）は、利用者Ｕから第２指示Ｑ2を受付けたか否かを判定する（Ｓa7）。第２指示Ｑ2を受付けた場合（Ｓa7：YES）、制御装置１１（再生制御部３２）は、音符Ｎ1の直後の音符Ｎ2を演奏装置２０に再生させる（Ｓa8）。具体的には、制御装置１１は、再生位置Ｙを音符Ｎ2の始点に更新する。すなわち、第１指示Ｑ1により停止された再生パートの再生が第２指示Ｑ2により再開される。制御装置１１は、待機データＷを有効状態から無効状態（Ｗ＝０）に変更する（Ｓa9）。前述の通り、待機データＷが無効状態に設定されると、ステップＳa1における判定の結果が否定となる。したがって、第２指示Ｑ2を契機として、演奏位置Ｘの推定（Ｓa2）と再生パートの再生制御（Ｓa3）とが再開される。なお、ステップＳa8の実行前に待機データＷの更新（Ｓa8）が実行されてもよい。

【0042】

制御装置１１は、演奏装置２０による再生パートの再生を終了するか否かを判定する（Ｓa10）。例えば、再生パートの終点まで再生が完了した場合、または利用者Ｕから終了が指示された場合に、制御装置１１は再生パートの再生を終了すると判定する。再生パートの再生を終了しない場合（Ｓa10：NO）、制御装置１１は、処理をステップＳa1に移行し、以上に例示した処理（Ｓa1－Ｓa9）を反復する。他方、再生パートの再生を終了すると制御装置１１が判定した場合（Ｓa10：YES）には、再生制御処理Ｓaが終了される。

【0043】

以上に説明した通り、第１実施形態においては、第１指示Ｑ1に対応する音符Ｎ1が再生され、かつ、音符Ｎ1の再生の停止後に、利用者Ｕによる第２指示Ｑ2を契機として、音符Ｎ1の直後の音符Ｎ2の再生が開始される。したがって、音符Ｎ1の再生と音符Ｎ2の再生との間隔（例えば楽曲内の休符期間の時間長）を、第１指示Ｑ1および第２指示Ｑ2の各時点に応じて変更できる。

【0044】

また、第１実施形態においては、第１指示Ｑ1の発生の時点において再生されている音符Ｎ1の再生が、第１指示Ｑ1の発生後も、演奏データＤbが指定する音符Ｎ1の終点まで継続される。したがって、第１指示Ｑ1の発生の時点で音符Ｎ1の再生が停止される構成と比較して、演奏データＤbの内容に応じて音符Ｎ1の再生を適切に継続させることが可能である。

【0045】

第１実施形態においては、利用者Ｕが操作装置１４を操作することで、音符Ｎ1と音符Ｎ2との間隔を利用者Ｕの意図または嗜好に応じた適切な時間長に変更できる。第１実施形態においては特に、操作装置１４を解放状態から操作状態に遷移させることで第１指示Ｑ1が発生し、当該操作状態が維持された後、第１指示Ｑ1の発生後における所望の時点で操作装置１４を操作状態から解放状態に遷移させることで第２指示Ｑ2が発生する。すなわち、操作状態を解放状態から操作状態に遷移させて再び解放状態に遷移させる一連の操作により、第１指示Ｑ1および第２指示Ｑ2が発生する。したがって、操作装置１４を解放状態から操作状態に遷移させる操作が第１指示Ｑ1および第２指示Ｑ2の各々について必要である構成と比較して、操作装置１４に対する利用者Ｕの操作が簡素化される。

【0046】

Ｂ：第２実施形態
第２実施形態を説明する。なお、以下に例示する各形態において機能が第１実施形態と同様である要素については、第１実施形態の説明で使用したのと同様の符号を流用して各々の詳細な説明を適宜に省略する。

【0047】

第１実施形態においては、第１指示Ｑ1が発生した場合に、第１指示Ｑ1の時点と同等の速度で再生位置Ｙを進行させ、再生位置Ｙが音符Ｎ1の終点に到達した場合に当該音符Ｎ1の再生を停止した。第２実施形態の再生制御部３２は、第１指示Ｑ1の発生後における再生位置Ｙの進行速度（すなわち再生パートの再生速度）を可動部１４１の操作速度Ｖ1に応じて可変に制御する。操作速度Ｖ1は、解放状態に対応する位置Ｈ1から操作状態に対応する位置Ｈ2に向けて可動部１４１が移動する速度である。例えば、可動部１４１が位置Ｈ1から位置Ｈ2に移動するまでの期間内に算定される複数の速度の平均値が操作速度Ｖ1である。

【0048】

図７は、第２実施形態における操作装置１４の状態に関する説明図である。図７に例示される通り、位置Ｈ1から位置Ｈ2に向けて可動部１４１が移動を開始する時点において指示受付部３３は第１指示Ｑ1を受付ける。再生制御部３２は、第１指示Ｑ1の発生後における再生位置Ｙの進行速度を可動部１４１の操作速度Ｖ1に応じて制御する。

【0049】

具体的には、再生制御部３２は、操作速度Ｖ1が速いほど再生位置Ｙの進行速度を上昇させる。例えば、図７に例示される通り、操作速度Ｖ1が速度Ｖ1_Hである場合の再生位置Ｙの進行速度は、操作速度Ｖ1が速度Ｖ1_L（Ｖ1_L＜Ｖ1_H）である場合の再生位置Ｙの進行速度を上回る。したがって、操作速度Ｖ1が速いほど、音符Ｎ1の継続長は短縮される。例えば、操作速度Ｖ1が速度Ｖ1_Hである場合の音符Ｎ1の継続長は、操作速度Ｖ1が速度Ｖ1_Lである場合の音符Ｎ1の継続長よりも短い。

【0050】

第２実施形態においても第１実施形態と同様の効果が実現される。第２実施形態においては、音符Ｎ1の継続長が操作速度Ｖ1に応じて制御されるから、音符Ｎ1の継続長を利用者Ｕが調整できるという利点がある。また、第２実施形態においては、第１指示Ｑ1および第２指示Ｑ2を付与するための操作装置１４が、音符Ｎ1の継続長の調整にも兼用される。したがって、第１指示Ｑ1および第２指示Ｑ2の付与と音符Ｎ1の継続長の調整との各々について利用者Ｕが別個の機器を操作する構成と比較して、利用者Ｕによる操作が簡素化されるという利点もある。

【0051】

Ｃ：第３実施形態
第１実施形態においては、第２指示Ｑ2の直後に音符Ｎ2の再生を開始した。第２実施形態においては、第２指示Ｑ2から音符Ｎ2の再生が開始されるまでの時間（以下「遅延時間」という）を操作速度Ｖ2に応じて可変に制御する。操作速度Ｖ2は、操作状態に対応する位置Ｈ2から解放状態に対応する位置Ｈ1に向けて可動部１４１が移動する速度である。例えば、可動部１４１が位置Ｈ2から位置Ｈ1に移動するまでの期間内に算定される複数の速度の平均値が操作速度Ｖ2である。

【0052】

図８は、第３実施形態における操作装置１４の状態に関する説明図である。図８に例示される通り、位置Ｈ2から位置Ｈ1に向けて可動部１４１が移動を開始する時点において指示受付部３３は第２指示Ｑ2を受付ける。再生制御部３２は、遅延時間を操作速度Ｖ2に応じて可変に制御する。

【0053】

具体的には、再生制御部３２は、操作速度Ｖ2が速いほど遅延時間を短縮させる。例えば、図８に例示される通り、操作速度Ｖ2が速度Ｖ2_Lである場合の遅延時間は、操作速度Ｖ2が速度Ｖ2_H（Ｖ2_H＞Ｖ2_L）である場合の遅延時間よりも長い。したがって、操作速度Ｖ2が遅いほど、音符Ｎ2の再生が開始される時点は時間軸上で後方の時点となる。

【0054】

第３実施形態においても第１実施形態と同様の効果が実現される。第３実施形態においては、音符Ｎ2の再生が開始される時点が操作速度Ｖ2に応じて制御されるから、再生パートの再開後の最初の音符Ｎ2の始点を、利用者Ｕが調整できるという利点がある。また、第３実施形態においては、第１指示Ｑ1および第２指示Ｑ2を付与するための操作装置１４が、音符Ｎ2の始点の調整にも兼用される。したがって、第１指示Ｑ1および第２指示Ｑ2の付与と音符Ｎ2の始点の調整との各々について利用者Ｕが別個の機器を操作する構成と比較して、利用者Ｕによる操作が簡素化されるという利点もある。なお、第２実施形態の構成を第３実施形態に適用してもよい。

【0055】

Ｄ：第４実施形態
図９は、第４実施形態における音響処理システム１０の機能的な構成を例示するブロック図である。第４実施形態の制御装置１１は、第１実施形態と同様の要素（演奏解析部３１、再生制御部３２および指示受付部３３）に加えて編集処理部３４としても機能する。編集処理部３４は、記憶装置１２に記憶された演奏データＤbを、利用者Ｕからの指示に応じて編集する。編集処理部３４以外の要素の動作は第１実施形態と同様である。したがって、第４実施形態においても第１実施形態と同様の効果が実現される。なお、第２実施形態または第３実施形態の構成を第４実施形態に適用してもよい。

【0056】

図１０は、編集処理部３４の動作の説明図である。図１０には、再生パートの演奏データＤbが指定する音符Ｎ1および音符Ｎ2が図示されている。前述の各形態と同様に、第１指示Ｑ1および第２指示Ｑ2は、利用者Ｕの任意の時点で発生する。したがって、演奏データＤbが指定する音符Ｎ2の始点と第２指示Ｑ2の時点との間には、時間差Ｌが発生する。編集処理部３４は、時間差Ｌが低減されるように演奏データＤbを編集する。

【0057】

図１１は、編集処理部３４が演奏データＤbを編集する処理（以下「編集処理」という）Ｓbの具体的な手順を例示するフローチャートである。例えば演奏装置２０による再生パートの再生（前述の再生制御処理Ｓa）が所定回にわたり反復されるたびに編集処理Ｓbが実行される。なお、利用者Ｕからの指示を契機として編集処理Ｓbが開始されてもよい。

【0058】

編集処理Ｓbが開始されると、編集処理部３４は、過去の所定回の再生制御処理Ｓaにおける時間差Ｌの散布度Δを算定する（Ｓb1）。散布度Δは、複数の時間差Ｌに関する散らばりの度合を表す統計量である。例えば、複数の時間差Ｌの分散、標準偏差または分布範囲等が散布度Δとして利用される。

【0059】

編集処理部３４は、散布度Δが閾値Δthを上回るか否かを判定する（Ｓb2）。散布度Δが閾値Δthを上回る場合には、音符Ｎ2の再生が再開されるまでの待機時間を、利用者Ｕが意識的に変動させながら楽曲の演奏を練習していると推定される。したがって、複数の時間差Ｌに応じて演奏データＤbを編集するのは妥当でない。他方、散布度Δが閾値Δthを下回る場合には、複数の時間差Ｌが、利用者Ｕの意図または嗜好に沿った数値（すなわち利用者Ｕに固有の好適値）であると推定される。

【0060】

以上の傾向を考慮して、編集処理部３４は、散布度Δが閾値Δthを下回る場合に（Ｓb2：NO）、複数の時間差Ｌに応じて演奏データＤbを編集する（Ｓb3－Ｓb4）。他方、散布度Δが閾値Δthを上回る場合（Ｓb2：YES）、編集処理部３４は、演奏データＤbの編集（Ｓb3，Ｓb4）を実行することなく編集処理Ｓbを終了する。

【0061】

演奏データＤbの編集において、編集処理部３４は、複数の時間差Ｌを平均することで平均時間差Ｌaを算定する（Ｓb3）。そして、編集処理部３４は、演奏データＤbが指定する音符Ｎ2の始点を平均時間差Ｌaだけ変化させる（Ｓb4）。例えば、平均時間差Ｌaが負数である場合、編集処理部３４は、演奏データＤbが指定する音符Ｎ2の始点を当該平均時間差Ｌaに相当する時間だけ前方に移動する。また、平均時間差Ｌaが正数である場合、編集処理部３４は、演奏データＤbが指定する音符Ｎ2の始点を当該平均時間差Ｌaに相当する時間だけ後方に移動する。すなわち、音符Ｎ2の直前の待機時間を利用者Ｕが充分に確保する傾向がある場合には、演奏データＤbが指定する音符Ｎ2の始点が後方に変更され、待機時間が短い傾向がある場合には、演奏データＤbが指定する音符Ｎ2の始点が前方に変更される。

【0062】

以上の説明から理解される通り、第４実施形態においては、利用者Ｕによる演奏パートの演奏における時間差Ｌに応じて演奏データＤbが編集される。したがって、各利用者Ｕに固有の傾向を演奏データＤbに反映させることが可能である。

【0063】

Ｅ：第５実施形態
図１２は、第５実施形態に係る再生システム１００の構成を例示するブロック図である。第５実施形態の音響処理システム１０は、第１実施形態の音響処理システム１０と同様の要素（制御装置１１，記憶装置１２，収音装置１３および操作装置１４）に加えて表示装置１５を具備する。表示装置１５は、制御装置１１から指示された画像を表示する。表示装置１５は、例えば液晶表示パネルまたは有機ＥＬ表示パネルである。

【0064】

利用者Ｕ1は、第１実施形態と同様に楽器８０を演奏する。楽器８０は、利用者Ｕ1による演奏で発音する弦楽器等の自然楽器である。他方、第５実施形態の演奏装置２０は、楽曲の再生パートの自動演奏を実行する再生装置として機能するほか、利用者Ｕ2による手動の演奏が可能な電子楽器としても機能する自動演奏楽器である。具体的には、演奏装置２０は、前述の各形態における演奏装置２０と同様に、駆動機構２１と発音機構２２とを具備する。

【0065】

利用者Ｕ2による手動の演奏は、例えば鍵盤の押鍵等、利用者Ｕ2の身体の動作による演奏である。利用者Ｕ2による演奏に連動して発音機構２２が動作することで、演奏装置２０から楽音が発音される。また、演奏装置２０は、利用者Ｕ2による演奏に並行して、当該演奏の指示を表す指示データｄを音響処理システム１０に対して順次に出力する。指示データｄは、例えば音高と発音強度とを指定して発音または消音等の動作を指定する。

【0066】

図１３は、第５実施形態における音響処理システム１０の機能的な構成を例示するブロック図である。第５実施形態の制御装置１１は、記憶装置１２に記憶されたプログラムを実行することで、第１実施形態と同様の要素（演奏解析部３１、再生制御部３２および指示受付部３３）に加えて、準備処理部３５および表示制御部３６として機能する。

【0067】

準備処理部３５は、再生制御処理Ｓaに利用される楽曲データＤ（参照データＤaおよび演奏データＤb）を生成する。具体的には、準備処理部３５は、利用者Ｕ1による楽器８０の演奏と利用者Ｕ2による演奏装置２０の演奏とに応じた楽曲データＤを生成する。表示制御部３６は、表示装置１５に各種の画像を表示させる。

【0068】

準備処理部３５は、第１収録部４１と第２収録部４２と音響解析部４３とを具備する。音響解析部４３は、再生制御処理Ｓaに利用される参照データＤaを生成する。具体的には、音響解析部４３は、再生制御処理Ｓaの開始前に調整処理Ｓc（図１５）を実行することで参照データＤaを生成する。音響解析部４３が生成した参照データＤaは記憶装置１２に記憶される。

【0069】

調整処理Ｓcの実行前の期間（以下「準備期間」という）において、利用者Ｕ1および利用者Ｕ2は楽曲を合奏する。具体的には、準備期間において、利用者Ｕ1は楽器８０により当該楽曲の演奏パートを演奏し、利用者Ｕ2は演奏装置２０により楽曲の再生パートを演奏する。調整処理Ｓcは、準備期間内において利用者Ｕ1および利用者Ｕ2が楽曲を演奏した結果を利用して参照データＤaを生成する処理である。なお、利用者Ｕ1は、収音装置１３に対して楽曲の演奏パートを歌唱してもよい。

【0070】

第１収録部４１は、準備期間内において収音装置１３が生成する音響信号Ｚを取得する。なお、準備期間内に第１収録部４１が取得する音響信号Ｚを以下では便宜的に「参照信号Ｚr」と表記する。第１収録部４１は、参照信号Ｚrを記憶装置１２に保存する。

【0071】

準備期間内においては、利用者Ｕ1による演奏で楽器８０から発音される楽音のほか、利用者Ｕ2による演奏で演奏装置２０から発音される楽音が、収音装置１３に到達する。したがって、参照信号Ｚrは、楽器８０の音響成分と演奏装置２０の音響成分とを含む音響信号である。なお、楽器８０は「第１音源」の一例であり、演奏装置２０は「第２音源」の一例である。利用者Ｕ1が演奏パートを歌唱する場合、当該利用者Ｕ1が「第１音源」に相当する。

【0072】

第２収録部４２は、準備期間内における演奏装置２０の演奏を表す演奏データＤbを取得する。具体的には、第２収録部４２は、利用者Ｕ2による演奏に応じて演奏装置２０から順次に供給される指示データｄと、相前後する指示データｄの間隔を指定する時間データとが時系列に配列されたＭＩＤＩ形式の演奏データＤbを生成する。第２収録部４２は、演奏データＤbを記憶装置１２に保存する。記憶装置１２に記憶された演奏データＤbは、前述の各形態において例示した通り、再生制御処理Ｓaに利用される。なお、第２収録部４２が取得した演奏データＤbを、第４実施形態に例示した編集処理部３４が編集してもよい。

【0073】

以上の説明から理解される通り、準備期間においては参照信号Ｚrと演奏データＤbとが記憶装置１２に保存される。音響解析部４３は、第１収録部４１が取得した参照信号Ｚrと第２収録部４２が取得した演奏データＤbとを利用した調整処理Ｓcにより参照データＤaを生成する。

【0074】

図１４は、音響解析部４３の具体的な構成を例示するブロック図である。図１４に例示される通り、音響解析部４３は、指標算定部５１と期間推定部５２と音高推定部５３と情報生成部５４とを具備する。なお、第５実施形態の操作装置１４は、調整処理Ｓcに適用される複数の変数（α，β，γ）の各々の数値に関する指示を利用者Ｕ（Ｕ1またはＵ2）から受付ける。すなわち、利用者Ｕは、操作装置１４を操作することで各変数の数値を設定または変更することが可能である。

【0075】

［指標算定部５１］
指標算定部５１は、発音指標Ｃ(t)を算定する。記号ｔは、時間軸上の１個の時点を意味する。すなわち、指標算定部５１は、時間軸上の相異なる時点ｔに対応する発音指標Ｃ(t)の時系列を特定する。発音指標Ｃ(t)は、参照信号Ｚrに楽器８０の音響成分が含まれる確度（尤度または確率）の指標である。すなわち、時間軸上の時点ｔにおいて楽器８０の音響成分が参照信号Ｚrに含まれる確度が高いほど、発音指標Ｃ(t)は大きい数値に設定される。第１実施形態の指標算定部５１は、第１解析部５１１と第２解析部５１２と第１演算部５１３と第２演算部５１４とを具備する。

【0076】

第１解析部５１１は、参照信号Ｚrを解析することで第１指標Ｂ1(t,n)を算定する。記号ｎは、Ｎ個の音高Ｐ1～ＰNのうちの何れか（ｎ＝１～Ｎ）を意味する。具体的には、第１解析部５１１は、相異なる音高Ｐnに対応するＮ個の第１指標Ｂ1(t,1)～Ｂ1(t,N)を時間軸上の時点ｔ毎に算定する。すなわち、第１解析部５１１は、第１指標Ｂ1(t,n)の時系列を算定する。

【0077】

音高Ｐnに対応する第１指標Ｂ1(t,n)は、演奏装置２０または楽器８０における当該音高Ｐnの音響成分が参照信号Ｚrに含まれる確度の指標であり、０以上かつ１以下の範囲内の数値に設定される。演奏装置２０および楽器８０の一方または双方について音高Ｐnの音響成分の強度が大きいほど、第１指標Ｂ1(t,n)は大きい数値に設定される。以上の説明から理解される通り、第１指標Ｂ1(t,n)は、参照信号Ｚrにおける各音高Ｐnの音響成分の強度に関する指標とも換言される。第１解析部５１１による第１指標Ｂ1(t,n)の算定には、公知の音響解析技術（特に音高推定技術）が任意に採用される。

【0078】

第２解析部５１２は、演奏データＤbを解析することで第２指標Ｂ2(t,n)を算定する。具体的には、第２解析部５１２は、相異なる音高Ｐnに対応するＮ個の第２指標Ｂ2(t,1)～Ｂ2(t,N)を時間軸上の時点ｔ毎に算定する。すなわち、第２解析部５１２は、第２指標Ｂ2(t,n)の時系列を算定する。

【0079】

音高Ｐnに対応する第２指標Ｂ2(t,n)は、演奏データＤbが時点ｔにおいて音高Ｐnの音符に指定する発音強度に応じた指標であり、０以上かつ１以下の範囲内の数値に設定される。演奏データＤbが音高Ｐnの音符に指定する発音強度が大きいほど、第２指標Ｂ2(t,n)は大きい数値となる。時点ｔに音高Ｐnの音符が存在しない場合、第２指標Ｂ2(t,n)は０に設定される。

【0080】

第２指標Ｂ2(t,n)の算定には、利用者Ｕからの指示に応じて設定された変数αが適用される。例えば、第２解析部５１２は、以下の数式(1)の演算により第２指標Ｂ2(t,n)を算定する。

【数1】

【0081】

数式(1)における記号ν(t,n)は、時間軸上の時点ｔにおいて演奏データＤbが音高Ｐnに指定する発音強度に対応する数値である。時間軸上の時点ｔが音高Ｐnの音符の発音期間内にある場合、強度ν(t,n)は、演奏データＤbが当該音符に指定する発音強度に設定される。他方、時間軸上の時点ｔが音高Ｐnの発音期間外にある場合、強度ν(t,n)は０に設定される。数式(1)の記号ｃは係数であり、所定の正数に設定される。

【0082】

数式(1)から理解される通り、変数αが小さい場合には、強度ν(t,n)が大きい数値でも、第２指標Ｂ2(t,n)は小さい数値に設定される。他方、変数αが大きい場合には、強度ν(t,n)が小さい数値でも、第２指標Ｂ2(t,n)は大きい数値に設定される。すなわち、変数αが小さいほど第２指標Ｂ2(t,n)は小さい数値になるという傾向がある。

【0083】

図１４の第１演算部５１３は、第１指標Ｂ1(t,n)から第２指標Ｂ2(t,n)を減算することで発音指標Ｅ(t,n)を算定する。発音指標Ｅ(t,n)は、楽器８０が発音する音高Ｐnの音響成分が時点ｔにおいて参照信号Ｚrに含まれる確度（尤度または確率）の指標である。具体的には、第１演算部５１３は、以下の数式(2)の演算により発音指標Ｅ(t,n)を算定する。

【数2】

【0084】

数式(2)のｍａｘ｛ａ，ｂ｝は、数値ａおよび数値ｂのうち大きい方を選択する演算を意味する。数式(2)から理解される通り、発音指標Ｅ(t,n)は、０以上かつ１以下の範囲内の数値である。楽器８０が発音する音高Ｐnの音響成分の強度が大きいほど、発音指標Ｅ(t,n)は大きい数値に設定される。すなわち、発音指標Ｅ(t,n)は、参照信号Ｚrにおける楽器８０の音響成分（音高Ｐn）の強度に関する指標とも換言される。

【0085】

前述の通り、第１指標Ｂ1(t,n)には、演奏装置２０および楽器８０の双方の音響成分が影響する。他方、第２指標Ｂ2(t,n)には、演奏装置２０の音響成分のみが影響する。したがって、数式(2)において第１指標Ｂ1(t,n)から第２指標Ｂ2(t,n)を減算する演算は、第１指標Ｂ1(t,n)から演奏装置２０の音響成分の影響を抑圧する処理に相当する。すなわち、発音指標Ｅ(t,n)は、参照信号Ｚrの音響成分のうち楽器８０の音響成分（音高Ｐn）の強度に関する指標に相当する。前述の通り、変数αが大きいほど、第２指標Ｂ2(t,n)は大きい数値に設定されるという傾向がある。したがって、変数αは、第１指標Ｂ1(t,n)から演奏装置２０の音響成分の影響を抑圧する度合を制御するための変数である。すなわち、変数αが大きいほど（第２指標Ｂ2(t,n)が大きいほど）、発音指標Ｅ(t,n)において演奏装置２０の音響成分の影響が抑圧される。

【0086】

第２演算部５１４は、第１演算部５１３が算定する発音指標Ｅ(t,n)から発音指標Ｃ(t)を算定する。具体的には、第２演算部５１４は、以下の数式(3)により発音指標Ｃ(t)を算定する。

【数3】

数式(3)から理解される通り、相異なる音高Ｐnに対応するＮ個の発音指標Ｅ(t,1)～Ｅ(t,N)の最大値が、時点ｔにおける発音指標Ｃ(t)として選択される。以上の説明から理解される通り、発音指標Ｃ(t)は、Ｎ個の音高Ｐ1～ＰNの何れかに対応する楽器８０の音響成分が参照信号Ｚrに含まれる確度の指標である。変数αの数値が大きいほど（第２指標Ｂ2(t,n)が大きいほど）、発音指標Ｃ(t)に対する演奏装置２０の音響成分の影響が抑圧される。すなわち、演奏装置２０の音響成分が優勢に存在する期間内の発音指標Ｃ(t)は小さい数値となる。他方、演奏装置２０の音響成分が存在しない期間内の発音指標Ｃ(t)は、変数αの数値が変更された場合でも殆ど変化しない。

【0087】

［期間推定部５２］
図１４の期間推定部５２は、時間軸上において楽器８０の音響成分が存在する期間（以下「演奏期間」という）を推定する。具体的には、期間推定部５２は、指標算定部５１が算定する発音指標Ｃ(t)を利用して有音指標Ｇ(t)を算定する。有音指標Ｇ(t)は、時点ｔにおいて楽器８０の音響成分が存在するか否か（有音／無音）を示す指標である。楽器８０の音響成分が存在する時点ｔの有音指標Ｇ(t)は数値ｇ1（例えばｇ1＝１）に設定され、楽器８０の音響成分が存在しない時点ｔの有音指標Ｇ(t)は数値ｇ0（例えばｇ0＝０）に設定される。有音指標Ｇ(t)が数値ｇ1である１以上の時点ｔで構成される期間が演奏期間に相当する。演奏期間は「発音期間」の一例である。

【0088】

演奏期間の推定には、第１ＨＭＭ（Hidden Markov Model）が利用される。第１ＨＭＭは、有音（数値ｇ1）に相当する有音状態と、無音（数値ｇ0）に相当する無音状態とで構成される状態遷移モデルである。具体的には、期間推定部５２は、第１ＨＭＭにより生起される最尤の状態の系列をビタビ探索により有音指標Ｇ(t)として算定する。

【0089】

第１ＨＭＭにおいて有音状態が生起する確率（以下「有音確率」という）Λは、以下の数式(4)で表現される。数式(4)の記号σはシグモイド関数である。無音状態が生起する確率は（１－Λ）である。また、時間軸上で隣合う２個の時点ｔの間で有音状態または無音状態が維持される確率は、所定の定数（例えば０．９）に設定される。

【数4】

【0090】

数式(4)から理解される通り、有音確率Λの算定には、利用者Ｕからの指示に応じて設定された変数βが適用される。具体的には、変数βが大きいほど、有音確率Λは小さい数値に設定される。したがって、変数βが大きいほど、有音指標Ｇ(t)は数値ｇ0に設定され易く、結果的に演奏期間は短い期間になり易いという傾向がある。他方、変数βが小さいほど、有音確率Λは大きい数値に設定される。したがって、有音指標Ｇ(t)は数値ｇ1に設定され易く、結果的に演奏期間は長い期間になり易いという傾向がある。

【0091】

また、前述の通り、変数αが大きいほど、演奏装置２０の音響成分が優勢な期間内における発音指標Ｃ(t)は小さい数値となる。数式(4)から理解される通り、発音指標Ｃ(t)が小さいほど有音確率Λは小さい数値に設定される。したがって、変数αが大きいほど、有音指標Ｇ(t)は数値ｇ0に設定され易く、結果的に演奏期間は短い期間になり易いという傾向がある。以上の説明から理解される通り、変数αは、発音指標Ｃ(t)だけでなく演奏期間にも影響する。すなわち、変数αは発音指標Ｃ(t)および有音指標Ｇ(t)の双方に影響する一方、変数βは有音指標Ｇ(t)のみに影響する。

【0092】

［音高推定部５３］
音高推定部５３は、楽器８０の音響成分の音高Ｋ(t)を特定する。すなわち、音高推定部５３は、時間軸上の相異なる時点ｔに対応する音高Ｋ(t)の時系列を特定する。音高Ｋ(t)は、Ｎ個の音高Ｐ1～ＰNの何れかに設定される。

【0093】

音高Ｋ(t)の推定には第２ＨＭＭが利用される。第２ＨＭＭは、相異なる音高Ｐnに対応するＮ個の状態で構成される状態遷移モデルである。音高Ｐnの観測確率ｘの確率密度関数ρ（ｘ|μn，κn）は、以下の数式(5)で表現されるフォンミーゼス・フィッシャー（Von Mises-Fisher）分布である。

【数5】

数式(5)の記号Ｔは行列の転置を意味し、記号|| ||はノルムを意味する。数式(5)の記号μnは位置パラメータを意味し、記号κnは集中度パラメータを意味する。位置パラメータμnおよび集中度パラメータκnは、発音指標Ｅ(t,n)を利用した機械学習により設定される。

【0094】

第２ＨＭＭにおいて、音高Ｐn1から音高Ｐn2への遷移確率λ(n1,n2)は、以下の数式(6)で表現される（ｎ1＝１～Ｎ，ｎ2＝１～Ｎ，ｎ1≠ｎ2）。Ｎ個の音高Ｐ1～ＰNから２個の音高Ｐn（Ｐn1，Ｐn2）を選択する全通りの組合せについて、数式(6)により遷移確率λ(n1,n2)が設定される。

【数6】

数式(6)の記号ＩはＮ次元の単位行列を意味する。記号τ(n1,n2)は、音高Ｐn1から音高Ｐn2への遷移の確率を意味し、既知の楽譜を利用した機械学習により設定される。なお、有音指標Ｇ(t)が数値ｇ0（無音）である時点ｔにおいては、音高Ｐn1から音高Ｐn2への遷移確率が単位行列Ｉに設定され、かつ、観測確率ｘは所定の定数に設定される。

【0095】

数式(6)から理解される通り、音高Ｋ(t)の推定には、利用者Ｕからの指示に応じて設定された変数γが適用される。具体的には、変数γが小さいほど、遷移確率λ(n1,n2)は単位行列Ｉに近付くから、音高Ｐn1から音高Ｐn2への遷移は発生し難くなる。他方、変数γが大きいほど、遷移確率λ(n1,n2)に対する遷移確率τ(n1,n2)の影響が増加するから、音高Ｐn1から音高Ｐn2への遷移が発生し易くなる。

【0096】

［情報生成部５４］
情報生成部５４は、時間軸上のＭ個の発音点Ｔ1～ＴMと、各発音点Ｔm（ｍ＝１～Ｍ）における音高Ｆm（Ｆ1～ＦM）とを特定する。楽曲内における発音点Ｔmの個数Ｍは可変値である。具体的には、情報生成部５４は、有音指標Ｇ(t)が数値ｇ1である演奏期間内において音高Ｋ(t)が変化する時点ｔを発音点Ｔmとして特定する。また、情報生成部５４は、各発音点Ｔmにおける音高Ｋ(Tm)を音高Ｆmとして特定する。

【0097】

前述の通り、変数γが小さいほど音高Ｐnの遷移が発生し難いから、発音点Ｔmおよび音高Ｆmの個数Ｍは少なくなる。他方、変数γが大きいほど音高Ｐnの遷移が発生し易いから、発音点Ｔmおよび音高Ｆmの個数Ｍは多くなる。すなわち、変数γは、発音点Ｔmおよび音高Ｆmの個数Ｍを制御するためのパラメータとも換言される。

【0098】

また、情報生成部５４は、指標算定部５１（第２演算部５１４）が算定した発音指標Ｅ(t,n)と、時間軸上の各発音点Ｔmと、期間推定部５２が算定した有音指標Ｇ(t)とを含む参照データＤaを、記憶装置１２に格納する。

【0099】

図１３の表示制御部３６は、以上に説明した音響解析部４３による解析の結果を表示装置１５に表示させる。具体的には、表示制御部３６は、図１５に例示された確認画面６０を表示装置１５に表示させる。確認画面６０は、音響解析部４３による解析の結果を利用者Ｕが確認するための画像である。

【0100】

確認画面６０は、第１領域６１と第２領域６２とを含む。第１領域６１および第２領域６２には共通の時間軸Ａtが設定される。時間軸Ａtは横方向に延在する軸線である。なお、時間軸Ａtは、利用者Ｕが視認可能な画像として表示されてもよいし、確認画面６０に表示されなくてもよい。楽曲のうち確認画面６０の表示される区間は、操作装置１４に対する利用者Ｕからの指示（例えば拡大／縮小の指示）に応じて変更される。

【0101】

第２領域６２のうち時間軸Ａt上における演奏期間６２１と演奏期間６２１以外の期間（以下「非演奏期間」という）６２２とは相異なる表示態様で表示される。例えば、演奏期間６２１と非演奏期間６２２とは相異なる色相で表示される。演奏期間６２１は、時間軸Ａt上において有音指標Ｇ(t)が数値ｇ1に設定される範囲である。他方、非演奏期間６２２は、時間軸Ａt上において有音指標Ｇ(t)が数値ｇ0に設定される範囲である。以上の説明から理解される通り、確認画面６０には、期間推定部５２が推定した演奏期間６２１が表示される。

【0102】

第１領域６１には遷移画像６４が表示される。遷移画像６４は、指標算定部５１が算定する発音指標Ｃ(t)の時系列を時間軸Ａtのもとで表示する画像である。具体的には、遷移画像６４のうち時間軸Ａt上の時点ｔに対応する部分は、発音指標Ｃ(t)に応じた表示態様で表示される。「表示態様」とは、観察者が視覚的に弁別可能な画像の性状を意味する。例えば、色の３属性である色相（色調），彩度および明度（階調）のほか、模様または形状も、「表示態様」の概念に包含される。例えば、遷移画像６４のうち時点ｔに対応する部分の階調の濃淡が、発音指標Ｃ(t)に応じて制御される。具体的には、遷移画像６４のうち発音指標Ｃ(t)が大きい時点ｔに対応する部分は濃階調で表示され、遷移画像６４のうち発音指標Ｃ(t)が小さい時点ｔに対応する部分は淡階調で表示される。

【0103】

第２領域６２には、五線譜６５と複数の指示画像６７と複数の音符画像６８とが表示される。五線譜６５は、時間軸Ａtに平行な５本の直線で構成される。五線譜６５を構成する各直線は相異なる音高を表す。すなわち、第２領域６２には、音高を表す音高軸Ａpが設定される。音高軸Ａpは、時間軸Ａtに直交する縦方向に延在する軸線である。なお、音高軸Ａpは、利用者Ｕが視認可能な画像として表示されてもよいし、確認画面６０に表示されなくてもよい。

【0104】

各指示画像６７は、情報生成部５４が生成する１個の発音点Ｔmを表す画像である。すなわち、複数の指示画像６７により発音点Ｔmの時系列が表現される。具体的には、発音点Ｔmに対応する指示画像６７は、時間軸Ａt上において当該発音点Ｔmに対応する位置に配置された縦線である。したがって、相異なる発音点Ｔmに対応する複数の指示画像６７が時間軸Ａt上に配置される。

【0105】

各音符画像６８は、情報生成部５４が生成する１個の音高Ｆmを表す画像である。例えば音符の符頭を表す画像が音符画像６８として例示されている。複数の音符画像６８により音高Ｆmの時系列が表現される。音高Ｆmは発音点Ｔm毎に設定されるから、音符画像６８は発音点Ｔm毎（すなわち指示画像６７毎）に配置される。具体的には、発音点Ｔmでの音高Ｆmを表す音符画像６８は、時間軸Ａtの方向において、当該発音点Ｔmを表す指示画像６７の線上に配置される。また、音高Ｆmを表す音符画像６８は、音高軸Ａpの方向において当該音高Ｆmに対応する位置に配置される。すなわち、各音符画像６８は、五線譜６５に重複または近接する位置に配置される。

【0106】

以上に例示した通り、確認画面６０には、発音指標Ｃ(t)の時系列（遷移画像６４）と発音点Ｔmの時系列（指示画像６７）と音高Ｆmの時系列（音符画像６８）とが共通の時間軸Ａtのもとで表示される。したがって、利用者Ｕは、発音指標Ｃ(t)と発音点Ｔmと音高Ｆmとの時間的な関係を視覚的および直観的に確認できる。

【0107】

また、確認画面６０は、複数の操作画像７１（７１a，７１b，７１c）と操作画像７２とを含む。各操作画像７１は、利用者Ｕが操作装置１４により操作可能な操作子である。具体的には、操作画像７１aは、変数αの変更の指示を利用者Ｕから受付ける画像である。操作画像７１bは、変数βの変更の指示を利用者Ｕから受付ける画像である。操作画像７１cは、変数γの変更の指示を利用者Ｕから受付ける画像である。

【0108】

指標算定部５１（第２解析部５１２）は、操作画像７１aに対する利用者Ｕからの指示に応じて変数αを変更する。指標算定部５１は、変更後の変数αを適用した演算により発音指標Ｃ(t)を算定する。表示制御部３６は、発音指標Ｃ(t)の算定毎に、確認画面６０の遷移画像６４を更新する。前述の通り、変数αが増加するほど、演奏装置２０の音響成分が優勢に存在する期間内の発音指標Ｃ(t)は小さい数値となり、結果的に有音指標Ｇ(t)は数値ｇ0に設定され易いという傾向がある。したがって、図１６に例示される通り、変数αが増加するほど、遷移画像６４のうち演奏装置２０の音響成分が優勢に存在する期間内の階調が淡階調に変化し、かつ、非演奏期間６２２が拡大する。準備期間にて利用者Ｕ1が楽器８０を演奏した期間に演奏期間６２１が近付くように、利用者Ｕは確認画面６０を確認しながら操作画像７１aを操作する。

【0109】

期間推定部５２は、操作画像７１bに対する利用者Ｕからの指示に応じて変数βを変更する。期間推定部５２は、変更後の変数βを適用した演算により有音確率Λを算定する。表示制御部３６は、有音確率Λの算定毎に、確認画面６０の演奏期間６２１を更新する。前述の通り、変数βが増加するほど、有音指標Ｇ(t)は数値ｇ0に設定され易いという傾向がある。したがって、図１７に例示される通り、変数βが増加するほど、非演奏期間６２２が拡大する。準備期間にて利用者Ｕ1が楽器８０を演奏した期間に演奏期間６２１が近付くように、利用者Ｕは確認画面６０を確認しながら操作画像７１bを操作する。

【0110】

音高推定部５３は、操作画像７１cに対する利用者Ｕからの指示に応じて変数γを変更する。音高推定部５３は、変更後の変数γを適用した演算により遷移確率λ(n1,n2)を算定する。表示制御部３６は、遷移確率λ(n1,n2)の算定毎に、確認画面６０の指示画像６７および音符画像６８を更新する。前述の通り、変数γが増加するほど、遷移確率λ(n1,n2)が増加する。したがって、図１８に例示される通り、変数γが増加するほど、指示画像６７（発音点Ｔm）の個数および音符画像６８（音高Ｆm）の個数は増加する。準備期間における利用者Ｕ1の演奏内容に近付くように、利用者Ｕは確認画面６０を確認しながら操作画像７１bを操作する。

【0111】

操作画像７２は、参照データＤaの保存の指示を利用者Ｕから受付ける画像である。情報生成部５４は、操作画像７２が操作された時点における解析の内容（発音指標Ｅ(t,n)，各発音点Ｔmおよび有音指標Ｇ(t)）を参照データＤaとして記憶装置１２に保存する。

【0112】

図１９は、調整処理Ｓcの具体的な手順を例示するフローチャートである。準備期間における演奏データＤbおよび参照信号Ｚrの取得後に、例えば操作装置１４に対する利用者Ｕからの指示を契機として、調整処理Ｓcが開始される。

【0113】

調整処理Ｓcが開始されると、音響解析部４３は、参照信号Ｚrを解析する解析処理Ｓc1を実行する。解析処理Ｓc1は、指標算定処理Ｓc11と期間推定処理Ｓc12と音高推定処理Ｓc13と情報生成処理Ｓc14を含む。指標算定処理Ｓc11は「第１処理」の一例であり、期間推定処理Ｓc12は「第２処理」の一例であり、音高推定処理Ｓc13は「第３処理」の一例である。また、変数αは「第１変数」の一例であり、変数βは「第２変数」の一例であり、変数γは「第３変数」の一例である。

【0114】

指標算定部５１は、演奏データＤbと参照信号Ｚrとを利用して発音指標Ｃ(t)を算定する（指標算定処理Ｓc11）。指標算定処理Ｓc11は、前述の通り、第１解析部５１１による第１指標Ｂ1(t,n)の算定と、第２解析部５１２による第２指標Ｂ2(t,n)の算定と、第１演算部５１３による発音指標Ｅ(t,n)の算定と、第２演算部５１４による発音指標Ｃ(t)の算定とを含む。指標算定処理Ｓc11には、利用者Ｕからの指示に応じて設定された変数αが適用される。

【0115】

期間推定部５２は、発音指標Ｃ(t)を利用した有音指標Ｇ(t)の算定により演奏期間６２１を推定する（期間推定処理Ｓc12）。期間推定処理Ｓc12には、利用者Ｕからの指示に応じて設定された変数βが適用される。また、音高推定部５３は、楽器８０の音響成分の音高Ｋ(t)を推定する（音高推定処理Ｓc13）。音高推定処理Ｓc13には、利用者Ｕからの指示に応じて設定された変数γが適用される。そして、情報生成部５４は、時間軸上の複数の発音点Ｔmと発音点Ｔm毎の音高Ｆmとを特定する（情報生成処理Ｓc4）。

【0116】

表示制御部３６は、以上に例示した解析処理Ｓc1の結果を表す確認画面６０を表示装置１５に表示させる（Ｓc2）。具体的には、時間軸Ａt上の演奏期間６２１と、発音指標Ｃ(t)を表す遷移画像６４と、各発音点Ｔmを表す指示画像６７と、各音高Ｆmを表す音符画像６８とが、確認画面６０に表示される。

【0117】

音響解析部４３は、操作画像７１（７１a，７１b，７１c）が操作されたか否かを判定する（Ｓc3）。すなわち、変数（α，βまたはγ）の変更が利用者Ｕから指示されたか否かが判定される。操作画像７１が操作された場合（Ｓc3：YES）、音響解析部４３は、変更後の各変数（α，βまたはγ）を適用した解析処理Ｓc1と、当該解析処理Ｓc1の結果に応じた確認画面６０の更新（Ｓc2）とを実行する。なお、第１解析部５１１による第１指標Ｂ1(t,n)の算定は、解析処理Ｓc1の開始直後の指標算定処理Ｓc11において１回だけ実行されればよい。

【0118】

操作画像７１が操作されない場合（Ｓc3：NO）、音響解析部４３は、操作画像７２が操作されたか否かを判定する（Ｓc4）。すなわち、参照データＤaの確定が利用者Ｕから指示されたか否かが判定される。操作画像７２が操作されない場合（Ｓc4：NO）、音響解析部４３は、処理をステップＳc3に移行する。他方、操作画像７２が操作された場合（Ｓc4：YES）、情報生成部５４は、現時点における解析処理Ｓc1の結果（発音指標Ｅ(t,n)，各発音点Ｔmおよび有音指標Ｇ(t)）を参照データＤaとして記憶装置１２に保存する（Ｓc5）。参照データＤaの保存により調整処理Ｓcは終了する。

【0119】

以上に説明した通り、第１実施形態においては、発音指標Ｃ(t)の時系列（遷移画像６４）と音高Ｆmの時系列（音符画像６８）とが共通の時間軸Ａtのもとで表示されるから、参照データＤaを生成する過程における参照信号Ｚrの解析結果を利用者Ｕが容易に確認および修正できる。具体的には、発音指標Ｃ(t)と音高Ｆmとの時間的な関係を利用者Ｕが視覚的および直観的に確認できる。

【0120】

また、第１実施形態においては、参照信号Ｚrの解析で算定される第１指標Ｂ1(t,n)から、演奏データＤbの解析で算定される第２指標Ｂ2(t,n)を減算することで発音指標Ｃ(t)が算定される。したがって、演奏装置２０の音響成分の影響が低減された発音指標Ｃ(t)を算定できる。すなわち、楽器８０の音響成分が強調された発音指標Ｃ(t)を算定できる。また、利用者Ｕからの指示に応じて設定される変数αが第２指標Ｂ2(t,n)の算定に適用されるから、利用者Ｕは、準備期間における楽器８０の演奏に適合するように発音指標Ｃ(t)を調整できる。

【0121】

第１実施形態においては、発音指標Ｃ(t)の時系列（遷移画像６４）と音高Ｆmの時系列（音符画像６８）とに加えて演奏期間６２１が共通の時間軸Ａtのもとで表示される。したがって、発音指標Ｃ(t)と音高Ｆmと演奏期間６２１との時間的な関係を利用者Ｕが視覚的および直観的に確認できる。また、利用者Ｕからの指示に応じて設定される変数βが期間推定処理Ｓc12に適用されるから、利用者Ｕは、準備期間における楽器８０の演奏に適合するように演奏期間６２１を調整できる。

【0122】

第１実施形態においては、発音指標Ｃ(t)の時系列（遷移画像６４）と音高Ｆmの時系列（音符画像６８）とに加えて発音点Ｔmの時系列（指示画像６７）が共通の時間軸Ａtのもとで表示される。したがって、発音指標Ｃ(t)と音高Ｆmと発音点Ｔmとの時間的な関係を利用者Ｕが視覚的および直観的に確認できる。また、利用者Ｕからの指示に応じて設定される変数γが音高推定処理Ｓc13に適用されるから、利用者Ｕは、準備期間における楽器８０の演奏に適合するように発音点Ｔmを調整できる。

【0123】

Ｆ：変形例
以上に例示した各態様に付加される具体的な変形の態様を以下に例示する。以下の例示から任意に選択された２以上の態様を、相互に矛盾しない範囲で適宜に併合してもよい。

【0124】

（１）前述の各形態においては、操作装置１４を解放状態から操作状態に遷移させる操作を第１指示Ｑ1として指示受付部３３が受付けたが、第１指示Ｑ1の態様は以上の例示に限定されない。例えば、利用者Ｕによる特定の動作が第１指示Ｑ1として検出される。利用者Ｕの動作の検出には、例えば撮像装置または加速度センサ等の各種の検出装置が利用される。例えば、利用者Ｕが片手を上昇させる動作、楽器８０を持上げる動作、または呼吸する動作（例えば息を吸う動作）等の各種の動作を、指示受付部３３は第１指示Ｑ1として特定する。利用者Ｕによる呼吸は、例えば、管楽器を楽器８０として演奏する場合におけるブレス（息継ぎ）である。第２実施形態における操作速度Ｖ1は、第１指示Ｑ1として特定される利用者Ｕの動作の速度として包括的に表現される。

【0125】

第１指示Ｑ1を意味する特定のデータ（以下「第１データ」という）を演奏データＤbに含ませてもよい。第１データは、例えば楽曲内のフェルマータを意味するデータである。指示受付部３３は、再生位置Ｙが第１データの時点に到達した場合に第１指示Ｑ1が発生したと判定する。以上の説明から理解される通り、第１指示Ｑ1は、利用者Ｕからの指示には限定されない。なお、編集処理Ｓbにおいて散布度Δが閾値Δthを上回る場合に、編集処理部３４が音符Ｎ1に第１データを付加してもよい。

【0126】

（２）前述の各形態においては、操作装置１４を操作状態から解放状態に遷移させる操作を第２指示Ｑ2として指示受付部３３が受付けたが、第２指示Ｑ2の態様は以上の例示に限定されない。例えば、第１実施形態における第１指示Ｑ1と同様に、操作装置１４を解放状態から操作状態に遷移させる操作を第２指示Ｑ2として指示受付部３３が受付けてもよい。すなわち、可動部１４１の踏込および解放を含む２回の操作を、第１指示Ｑ1および第２指示Ｑ2として検出してもよい。

【0127】

また、利用者Ｕの特定の動作が第２指示Ｑ2として検出されてもよい。利用者Ｕの動作の検出には、例えば撮像装置または加速度センサ等の各種の検出装置が利用される。例えば、利用者Ｕが片手を降下させる動作、楽器８０を低下させる動作、または呼吸する動作（例えば息を吐く動作）等の各種の動作を、指示受付部３３は第２指示Ｑ2として特定する。利用者Ｕによる呼吸は、例えば、管楽器を楽器８０として演奏する場合におけるブレス（息継ぎ）である。第２実施形態における操作速度Ｖ2は、第２指示Ｑ2として特定される利用者Ｕの動作の速度として包括的に表現される。

【0128】

第２指示Ｑ2を意味する特定のデータ（以下「第２データ」という）を演奏データＤbに含ませてもよい。第２データは、例えば楽曲内のフェルマータを意味するデータである。指示受付部３３は、再生位置Ｙが第２データの時点に到達した場合に第２指示Ｑ2が発生したと判定する。以上の説明から理解される通り、第２指示Ｑ2は、利用者Ｕからの指示には限定されない。

【0129】

以上の例示の通り、相互に対となる利用者Ｕの一連の動作の一方を第１指示Ｑ1として受付け、他方を第２指示Ｑ2として受付ける構成が想定される。例えば、利用者Ｕが片手を上昇させる動作が第１指示Ｑ1として受付けられ、当該動作に引続いて片手を降下させる動作が第２指示Ｑ2として受付けられる。また、利用者Ｕが楽器８０を持上げる動作が第１指示Ｑ1として受付けられ、当該動作に引続いて楽器８０を降下させる動作が第２指示Ｑ2として受付けられる。同様に、利用者Ｕが息を吸う動作が第１指示Ｑ1として受付けられ、当該動作に引続いて息を吐く動作が第２指示Ｑ2として受付けられる。

【0130】

ただし、第１指示Ｑ1および第２指示Ｑ2は、利用者Ｕによる同種の動作である必要はない。すなわち、利用者Ｕが相互に独立に実行可能な別個の動作を第１指示Ｑ1および第２指示Ｑ2として検出してもよい。例えば、指示受付部３３は、操作装置１４に対する操作を第１指示Ｑ1として検出し、楽器８０を持上げる動作または呼吸する動作等の他の動作を第２指示Ｑ2として検出してもよい。

【0131】

（３）前述の各形態においては、自動演奏楽器を演奏装置２０として例示したが、演奏装置２０の構成は以上の例示に限定されない。例えば、音響処理システム１０からの指示に応じて楽音の音響信号を生成する音源装置と、当該音響信号が表す楽音を再生する放音装置とを具備する音源システムを、演奏装置２０として採用してもよい。音源装置は、ハードウェア音源またはソフトウェア音源として実現される。なお、第５実施形態における演奏装置２０についても同様である。

【0132】

（４）第５実施形態においては、利用者Ｕによる変数の変更毎（Ｓc3：YES）に解析処理Ｓc1の全部を実行したが、解析処理Ｓc1に含まれる各処理（Ｓc11－Ｓc14）が実行される条件は以上の例示に限定されない。以下の説明においては、操作画像７１（７１a，７１b，７１c）に対する操作で利用者Ｕが変数を変更する場合を想定する。具体的には、利用者Ｕは、操作装置１４に対する操作で操作画像７１を選択し、選択を維持したまま当該操作画像７１を移動する。変数の数値は、選択が解除された時点における操作画像７１の位置に応じた数値に変更される。すなわち、操作画像７１の選択の解除は、変数の数値の確定を意味する。

【0133】

操作画像７１aの操作により利用者Ｕが変数αを変更する場合を想定する。選択状態の操作画像７１aが移動する過程において、指標算定部５１は、指標算定処理Ｓc11を反復することで発音指標Ｃ(t)を随時に更新する。表示制御部３６は、指標算定処理Ｓc11の実行毎に、更新後の発音指標Ｃ(t)に応じて遷移画像６４を更新する。すなわち、操作画像７１aの移動（変数αの変更）に並行して、指標算定処理Ｓc11と遷移画像６４の更新とが実行される。操作画像７１aが選択された状態では、期間推定処理Ｓc12と音高推定処理Ｓc13と情報生成処理Ｓc14とは実行されない。操作画像７１aの選択が解除された場合、当該時点における発音指標Ｃ(t)を利用して、期間推定処理Ｓc12と音高推定処理Ｓc13と情報生成処理Ｓc14とが実行され、処理結果に応じて確認画面６０が更新される。以上の構成においては、操作画像７１aが選択された状態では、期間推定処理Ｓc12と音高推定処理Ｓc13と情報生成処理Ｓc14とが実行されないから、調整処理Ｓcの処理負荷が軽減される。

【0134】

操作画像７１bの操作により利用者Ｕが変数βを変更する場合を想定する。選択状態の操作画像７１bが移動する過程において、期間推定部５２は、期間推定処理Ｓc12を反復することで有音指標Ｇ(t)を随時に更新する。表示制御部３６は、期間推定処理Ｓc12の実行毎に、確認画面６０における演奏期間６２１を更新する。操作画像７１aが選択された状態では、指標算定処理Ｓc11と音高推定処理Ｓc13と情報生成処理Ｓc14とは実行されない。操作画像７１bの選択が解除された場合、当該時点における有音指標Ｇ(t)を利用して、音高推定処理Ｓc13と情報生成処理Ｓc14とが実行され、処理結果に応じて確認画面６０が更新される。

【0135】

操作画像７１cの操作により利用者Ｕが変数γを変更する場合を想定する。選択状態の操作画像７１cが移動する過程においては、解析処理Ｓc1および確認画面６０の更新（Ｓc2）は実行されない。操作画像７１cの選択が解除された場合に、変更後の変数γを適用した音高推定処理Ｓc13と、当該音高推定処理Ｓc13で算定された音高Ｋ(t)を適用した情報生成処理Ｓc14とが実行される。以上の構成によれば、音高推定処理Ｓc13および情報生成処理Ｓc14の回数が削減されるから、調整処理Ｓcの処理負荷が軽減される。

【0136】

（５）発音指標Ｃ(t)を表す遷移画像６４の態様は以上の例示に限定されない。例えば、図２０に例示される通り、時間軸上の波形が遷移画像６４として表示装置１５に表示されてもよい。遷移画像６４の波形のうち時間軸Ａt上の時点ｔにおける振幅が、発音指標Ｃ(t)に応じて設定される。例えば、発音指標Ｃ(t)が大きい時点ｔにおいて大振幅となる波形が遷移画像６４として表示される。なお、遷移画像６４を五線譜６５に重複して表示してもよい。

【0137】

（６）指標算定部５１が発音指標Ｃ(t)を算定する処理は、第５実施形態において例示した処理に限定されない。例えば、指標算定部５１は、演奏装置２０の楽音の振幅スペクトルを参照信号Ｚrの振幅スペクトルから減算することで発音指標Ｅ(t,n)を算定してもよい。演奏装置２０の楽音の振幅スペクトルは、例えば、演奏データＤbが指定する楽音を表す楽音信号を生成する公知の音源処理と、当該楽音信号に対する離散フーリエ変換等の周波数解析とにより生成される。減算後の振幅スペクトルが、相異なる音高Ｐnに対応するＮ個の発音指標Ｅ(t,n)の系列に相当する。演奏装置２０の楽音の振幅スペクトログラムを減算する度合が変数αに応じて調整される。

【0138】

（７）期間推定部５２が演奏期間を推定する処理は、第５実施形態において例示した処理に限定されない。例えば、期間推定部５２は、参照信号Ｚrのうち信号強度が閾値を上回る期間を演奏期間として推定する。閾値は変数βに応じて調整される。また、音高推定部５３が音高Ｋ(t)を推定する処理も、前述の例示に限定されない。

【0139】

（８）例えばスマートフォンまたはタブレット端末等の端末装置との間で通信するサーバ装置により音響処理システム１０が実現されてもよい。例えば、端末装置は、利用者Ｕによる演奏に応じた音響信号Ｚを生成する収音装置１３と、音響処理システム１０からの指示に応じて楽曲を再生する演奏装置２０とを具備する。端末装置は、収音装置１３が生成する音響信号Ｚと、利用者Ｕの動作に応じた第１指示Ｑ1および第２指示Ｑ2とを、通信網を介して音響処理システム１０に送信する。音響処理システム１０は、音響信号Ｚから推定される演奏位置Ｘと、端末装置から受信する第１指示Ｑ1および第２指示Ｑ2とに応じて、端末装置の演奏装置２０に楽曲の再生パートを再生させる。なお、演奏解析部３１は端末装置に搭載されてもよい。端末装置は、演奏解析部３１が推定した演奏位置Ｘを音響処理システム１０に送信する。以上の構成においては、音響処理システム１０から演奏解析部３１が省略される。第５実施形態の音響処理システム１０も同様にサーバ装置により実現される。例えば、音響処理システム１０は、端末装置から受信した参照信号Ｚrおよび演奏データＤbを適用した解析処理Ｓc1により参照データＤaを生成し、当該参照データＤaを端末装置に送信する。

【0140】

（９）以上に例示した音響処理システム１０の機能は、前述の通り、制御装置１１を構成する単数または複数のプロセッサと、記憶装置１２に記憶されたプログラムとの協働により実現される。本開示に係るプログラムは、コンピュータが読取可能な記録媒体に格納された形態で提供されてコンピュータにインストールされ得る。記録媒体は、例えば非一過性（non-transitory）の記録媒体であり、ＣＤ-ＲＯＭ等の光学式記録媒体（光ディスク）が好例であるが、半導体記録媒体または磁気記録媒体等の公知の任意の形式の記録媒体も包含される。なお、非一過性の記録媒体とは、一過性の伝搬信号（transitory, propagating signal）を除く任意の記録媒体を含み、揮発性の記録媒体も除外されない。また、配信装置が通信網を介してプログラムを配信する構成では、当該配信装置においてプログラムを記憶する記憶装置が、前述の非一過性の記録媒体に相当する。

【0141】

Ｇ：付記
以上に例示した形態から、例えば以下の構成が把握される。

【0142】

本開示のひとつの態様（態様１）に係る音響処理システムは、第１音源の音響を収録した音響信号を解析する解析処理を実行する音響解析部であって、前記解析処理は、前記音響信号に前記第１音源の音響成分が含まれる確度の指標である発音指標の時系列を特定する第１処理と、前記第１音源の音響成分に関する音高の時系列を特定する処理とを含む音響解析部と、前記発音指標の時系列と前記音高の時系列とを共通の時間軸のもとで表示装置に表示させる表示制御部とを具備する。以上の態様においては、発音指標の時系列と音高の時系列とが共通の時間軸のもとで表示されるから、参照データを生成する過程における音響信号の解析結果を利用者が容易に確認および修正できる。具体的には、発音指標と音高との時間的な関係を利用者が視覚的および直観的に確認できる。

【0143】

態様１の具体例（態様２）において、前記音響信号は、前記第１音源の音響成分と第２音源の音響成分とを含み、前記第１処理は、前記音響信号の強度に応じた第１指標を算定する処理と、前記第２音源について音符毎の発音強度を指定する演奏データから、前記第２音源の音響成分の強度に応じた第２指標を算定する処理と、前記第１指標から第２指標を減算する処理とを含み、前記発音指標は、前記減算の結果に応じた指標である。以上の態様においては、第１音源の音響成分と第２音源の音響成分とを含む音響信号の強度に応じた第１指標から、演奏データに応じて算定される第２指標を減算した結果から、発音指標が算定される。したがって、第２音源の音響成分の影響が低減された発音指標（すなわち、第１音源の音響成分が強調された発音指標）を算定できる。

【0144】

態様２の具体例（態様３）において、前記第２指標を算定する処理には、利用者からの指示に応じて設定された第１変数が適用され、前記第１変数に応じて前記第２指標が変化する。以上の態様によれば、第１音源の既知の発音内容（例えば演奏内容）に適合するように利用者が発音指標を調整できる。

【0145】

態様１から態様３の何れかの具体例（態様４）において、前記解析処理は、前記第１音源の音響成分が存在する発音期間を特定する第２処理をさらに含み、前記表示制御部は、前記時間軸のもとで前記発音期間を表示させる。以上の態様によれば、発音指標および音高と第１音源の発音期間との時間的な関係を、利用者が視覚的および直観的に確認できる。

【0146】

態様４の具体例（態様５）において、前記第２処理には、利用者からの指示に応じて設定された第２変数が適用され、前記第２変数に応じて前記発音期間が変化する。以上の態様によれば、第１音源の既知の発音内容（例えば演奏内容）に適合するように利用者が発音期間を調整できる。

【0147】

態様１から態様５の何れかの具体例（態様６）において、前記解析処理は、前記第１音源の音響成分の音高の時系列を特定する第３処理をさらに含み、前記表示制御部は、前記音高が変化する時点である発音点を前記時間軸のもとで表示させる。以上の態様によれば、発音指標および音高と第１音源の発音点との時間的な関係を、利用者が視覚的および直観的に確認できる。

【0148】

態様６の具体例（態様７）において、前記第３処理には、利用者からの指示に応じて設定された第３変数が適用され、前記第３変数に応じて前記発音点の個数が変化する。以上の態様によれば、第１音源の既知の発音内容（例えば演奏内容）に適合するように利用者が発音点を調整できる。

【0149】

本開示のひとつの態様（態様８）に係る音響処理方法は、第１音源の音響を収録した音響信号を解析する解析処理であって、前記音響信号に前記第１音源の音響成分が含まれる確度の指標である発音指標の時系列を特定する第１処理と、前記第１音源の音響成分に関する音高の時系列を特定する処理とを含む解析処理を実行し、前記発音指標の時系列と前記音高の時系列とを共通の時間軸のもとで表示装置に表示させる。なお、図１９の解析処理Ｓc1は、態様８における「解析処理」の一例である。また、図１９のステップＳc2は、態様８における「発音指標の時系列と音高の時系列とを共通の時間軸のもとで表示装置に表示させる処理」の一例である。

【0150】

本開示のひとつの態様（態様９）に係るプログラムは、第１音源の音響を収録した音響信号を解析する解析処理を実行する音響解析部であって、前記解析処理は、前記音響信号に前記第１音源の音響成分が含まれる確度の指標である発音指標の時系列を特定する第１処理と、前記第１音源の音響成分に関する音高の時系列を特定する処理とを含む音響解析部、および、前記発音指標の時系列と前記音高の時系列とを共通の時間軸のもとで表示装置に表示させる表示制御部、としてコンピュータシステムを機能させる。

【符号の説明】

【0151】

１００…再生システム、１０…音響処理システム、１１…制御装置、１２…記憶装置、１３…収音装置、１４…操作装置、１５…表示装置、２０…演奏装置、２１…駆動機構、２２…発音機構、３１…演奏解析部、３２…再生制御部、３３…指示受付部、３４…編集処理部、３５…準備処理部、３６…表示制御部、４１…第１収録部、４２…第２収録部、４３…音響解析部、５１…指標算定部、５２…期間推定部、５３…音高推定部、５４…情報生成部、６０…確認画面、６１…第１領域、６２…第２領域、６４…遷移画像、６５…五線譜、６７…指示画像、６８…音符画像、７１（７１a，７１b，７１c），７２…操作画像、８０…楽器、１４１…可動部、５１１…第１解析部、５１２…第２解析部、５１３…第１演算部、５１４…第２演算部、６２１…演奏期間、６２２…非演奏期間。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】

【図18】

【図19】

【図20】