特許 7577964 再生制御方法および再生制御システム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-10-28

(45)【発行日】2024-11-06

(54)【発明の名称】再生制御方法および再生制御システム

(51)【国際特許分類】

   G10H 1/00 20060101AFI20241029BHJP

   G10G 1/00 20060101ALI20241029BHJP

【ＦＩ】

G10H1/00 102Z

G10G1/00

【請求項の数】 6

(21)【出願番号】P 2020173419

(22)【出願日】2020-10-14

(65)【公開番号】P2022027381

(43)【公開日】2022-02-10

【審査請求日】2023-08-24

(31)【優先権主張番号】P 2020130237

(32)【優先日】2020-07-31

(33)【優先権主張国・地域又は機関】JP

(73)【特許権者】

【識別番号】000004075

【氏名又は名称】ヤマハ株式会社

(74)【代理人】

【識別番号】110003177

【氏名又は名称】弁理士法人旺知国際特許事務所

(72)【発明者】

【氏名】磯崎 善政

(72)【発明者】

【氏名】前澤 陽

(72)【発明者】

【氏名】小関 信也

【審査官】山下 剛史

(56)【参考文献】

【文献】特開２００３－９１２７９（ＪＰ，Ａ）

【文献】特開２０１２－２０３２１６（ＪＰ，Ａ）

【文献】特開２００３－１３１６６６（ＪＰ，Ａ）

【文献】特開２０１７－２０７６１５（ＪＰ，Ａ）

【文献】特開２０１６－９９５１２（ＪＰ，Ａ）

【文献】特開２００２－２１５１６３（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ１０Ｈ １／００－７／１２

Ｇ１０Ｇ １／００

(57)【特許請求の範囲】

【請求項1】

楽曲を構成する複数の音の時系列を表す音データを利用して前記複数の音を再生する方法であって、
前記楽曲内で利用者が演奏している時点を、前記複数の音の再生に並行して推定し、
前記推定の結果に応じて、前記複数の音の再生を前記楽曲の演奏に追従させ、
前記複数の音の再生においては、
前記複数の音のうち第１指示に対応する第１音を再生し、
前記第１音の再生の停止後に、利用者からの第２指示を契機として、前記複数の音のうち前記第１音の直後の第２音の再生を開始する
コンピュータにより実現される再生制御方法。

【請求項2】

複数の音の時系列を表す音データを利用して前記複数の音を再生する方法であって、
前記複数の音のうち第１指示の発生の時点において再生されている第１音を、前記音データが表す当該第１音の終点まで継続させ、
前記第１音の再生の停止後に、利用者からの第２指示を契機として、前記複数の音のうち前記第１音の直後の第２音の再生を開始し、
前記第１指示および前記第２指示は、操作装置に対する前記利用者による操作に応じて発生し、
前記操作装置に対する操作の速度に応じて前記第１音の継続長を制御する
コンピュータにより実現される再生制御方法。

【請求項3】

複数の音の時系列を表す音データを利用して前記複数の音を再生する方法であって、
前記複数の音のうち第１指示の発生の時点において再生されている第１音を、前記音データが表す当該第１音の終点まで継続させ、
前記第１音の再生の停止後に、利用者からの第２指示を契機として、前記複数の音のうち前記第１音の直後の第２音の再生を開始し、
前記第１指示および前記第２指示は、操作装置に対する前記利用者による操作に応じて発生し、
前記操作装置に対する操作の速度に応じて、前記第２音の再生が開始される時点を制御する
コンピュータにより実現される再生制御方法。

【請求項4】

前記第１指示は、前記利用者が前記操作装置を第１状態から第２状態に遷移させる操作により発生し、
前記第２指示は、前記利用者が前記操作装置を前記第２状態から前記第１状態に遷移させる操作により発生する
請求項２または請求項３の再生制御方法。

【請求項5】

前記音データは、前記複数の音の各々について発音期間を指定する演奏データであり、
前記第１音の再生においては、前記第１指示の発生後、前記演奏データが前記第１音について指定する前記発音期間の終点まで、当該第１音の再生を継続する
請求項１から請求項４の何れかの再生制御方法。

【請求項6】

演奏装置に対して指示された複数の音を指定する演奏データを取得する第１収録部と、
楽器を利用した楽曲の第１演奏により当該楽器が発音する楽音を表す第１音響信号を取得する第２収録部と、
前記第１演奏による各楽音の発音時点を少なくとも表す参照データを前記第１音響信号から生成する参照データ生成部と、
前記楽器を利用した前記楽曲の第２演奏により当該楽器が発音する楽音を表す第２音響信号と、前記参照データとを照合することで、前記楽曲内で演奏されている時点を、前記第２演奏に並行して推定する演奏解析部と、
前記演奏データが指定する複数の音を再生する再生制御部であって、前記演奏解析部による推定の結果に応じて、前記複数の音の再生を前記第２演奏に追従させる再生制御部と
を具備し、
前記再生制御部は、
前記複数の音のうち第１指示の発生の時点において再生されている第１音を、前記演奏データが表す当該第１音の終点まで継続させ、
前記第１音の再生の停止後に、利用者からの第２指示を契機として、前記複数の音のうち前記第１音の直後の第２音の再生を開始する
再生制御システム。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、音の再生を制御する技術に関する。

【背景技術】

【0002】

楽曲の再生を演奏者による演奏に追従させる技術が従来から提案されている。例えば特許文献１には、楽曲の演奏により発音される楽音を解析することで楽曲内の演奏位置を推定し、推定結果に応じて楽曲の自動演奏を制御する技術が開示されている。

【先行技術文献】

【特許文献】

【0003】

【文献】特開２０１７－２０７６１５号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

演奏者の意図（例えば音楽表現）または例えばフェルマータ等の演奏記号を反映して、楽曲の演奏のなかで演奏者が演奏を休止させる場合がある。演奏を休止させる期間の時間長は、演奏者の意図または嗜好に応じて、演奏者毎または演奏者による演奏毎に相違し得る。したがって、楽曲の再生において、演奏が休止される期間の前後に位置する２個の音の間隔を、演奏者の意図または嗜好に応じて適切に制御することは困難である。以上の事情を考慮して、本発明の一態様に係る目的のひとつは、複数の音の再生において、相前後する２個の音の間隔を適切に制御することである。

【課題を解決するための手段】

【0005】

以上の課題を解決するために、本開示のひとつの態様に係る再生制御方法は、複数の音の時系列を表す音データを利用して前記複数の音を再生する方法であって、前記複数の音のうち第１指示の発生の時点において再生されている第１音を、前記音データが表す当該第１音の終点まで継続させ、前記第１音の再生の停止後に、利用者からの第２指示を契機として、前記複数の音のうち前記第１音の直後の第２音の再生を開始する。

【0006】

本開示の他の態様に係る再生制御方法は、楽曲を構成する複数の音の時系列を表す音データを利用して前記複数の音を再生する方法であって、前記楽曲内で利用者が演奏している時点を、前記複数の音の再生に並行して推定し、前記推定の結果に応じて、前記複数の音の再生を前記楽曲の演奏に追従させ、前記複数の音の再生においては、前記複数の音のうち第１指示に対応する第１音を再生し、前記第１音の再生の停止後に、利用者からの第２指示を契機として、前記複数の音のうち前記第１音の直後の第２音の再生を開始する。

【0007】

本開示の他の態様に係る再生制御方法は、複数の音の時系列を表す音データを利用して前記複数の音を再生する方法であって、前記複数の音のうち第１指示の発生の時点において再生されている第１音を、前記音データが表す当該第１音の終点まで継続させる。

【図面の簡単な説明】

【0008】

【図1】第１実施形態に係る再生システムの構成を例示するブロック図である。

【図2】楽曲データの模式図である。

【図3】操作装置の構成および状態の説明図である。

【図4】再生制御システムの機能的な構成を例示するブロック図である。

【図5】再生装置による再生パートの再生と第１指示および第２指示との関係の説明図である。

【図6】再生制御処理の具体的な手順を例示するフローチャートである。

【図7】第２実施形態における操作装置の状態に関する説明図である。

【図8】第３実施形態における操作装置の状態に関する説明図である。

【図9】第４実施形態における再生制御システムの機能的な構成を例示するブロック図である。

【図10】編集処理部の動作の説明図である。

【図11】編集処理の具体的な手順を例示するフローチャートである。

【図12】第５実施形態における再生システムの構成を例示するブロック図である。

【図13】第５実施形態における再生制御システムの機能的な構成を例示するブロック図である。

【図14】参照データ生成処理の具体的な手順を例示するフローチャートである。

【図15】参照データ生成処理に並行して表示される準備画面の模式図である。

【図16】再生制御処理に並行して表示される再生画面の模式図である。

【発明を実施するための形態】

【0009】

Ａ：第１実施形態
図１は、第１実施形態に係る再生システム１００の構成を例示するブロック図である。再生システム１００は、利用者Ｕが所在する音響空間に設置される。利用者Ｕは、例えば弦楽器等の楽器２００を利用して楽曲の特定のパート（以下「演奏パート」という）を演奏する演奏者である。再生システム１００は、利用者Ｕによる演奏パートの演奏に並行して当該楽曲を再生するコンピュータシステムである。具体的には、再生システム１００は、楽曲を構成する複数のパートのうち演奏パート以外のパート（以下「再生パート」という）を再生する。演奏パートは、例えば楽曲の主旋律を構成するパートである。再生パートは、例えば楽曲の伴奏を構成する１以上のパートである。以上の説明から理解される通り、利用者Ｕによる演奏パートの演奏と再生システム１００による再生パートの再生とが並行に実行されることで楽曲の演奏が実現される。なお、演奏パートと再生パートとは、楽曲の共通のパートでもよい。

【0010】

再生システム１００は、再生制御システム１０と再生装置２０とを具備する。再生制御システム１０と再生装置２０とは別体で構成され、有線または無線により相互に通信する。なお、再生制御システム１０と再生装置２０とを一体に構成してもよい。

【0011】

再生装置２０は、再生制御システム１０による制御のもとで楽曲の再生パートを再生する。具体的には、再生装置２０は、再生パートの自動演奏を実行する自動演奏楽器である。例えば、利用者Ｕが演奏する楽器２００とは別種の自動演奏楽器（例えば自動演奏ピアノ）が再生装置２０として利用される。以上の説明から理解される通り、自動演奏は、「再生」の一態様である。

【0012】

第１実施形態の再生装置２０は、駆動機構２１と発音機構２２とを具備する。発音機構２２は、楽音を発生する機構である。具体的には、発音機構２２は、自然楽器の鍵盤楽器と同様に、鍵盤の各鍵の変位に連動して弦（発音源）を発音させる打弦機構を鍵毎に具備する。駆動機構２１は、発音機構２２を駆動することで楽曲の自動演奏を実行する。再生制御システム１０からの指示に応じて駆動機構２１が発音機構２２を駆動することで、再生パートの自動演奏が実現される。

【0013】

再生制御システム１０は、再生装置２０による再生パートの再生を制御するコンピュータシステムであり、制御装置１１と記憶装置１２と収音装置１３と操作装置１４とを具備する。再生制御システム１０は、例えばスマートフォンまたはタブレット端末等の可搬型の端末装置、またはパーソナルコンピュータ等の可搬型または据置型の端末装置により実現される。なお、再生制御システム１０は、単体の装置で実現されるほか、相互に別体で構成された複数の装置でも実現される。

【0014】

制御装置１１は、再生制御システム１０の各要素を制御する単数または複数のプロセッサである。具体的には、例えばＣＰＵ（Central Processing Unit）、ＳＰＵ（Sound Processing Unit）、ＤＳＰ（Digital Signal Processor）、ＦＰＧＡ（Field Programmable Gate Array）、またはＡＳＩＣ（Application Specific Integrated Circuit）等の１種類以上のプロセッサにより、制御装置１１が構成される。

【0015】

記憶装置１２は、制御装置１１が実行するプログラムと制御装置１１が使用する各種のデータとを記憶する単数または複数のメモリである。記憶装置１２は、例えば磁気記録媒体もしくは半導体記録媒体等の公知の記録媒体、または、複数種の記録媒体の組合せで構成される。また、再生制御システム１０に対して着脱される可搬型の記録媒体、または通信網を介した書込または読出が可能な記録媒体（例えばクラウドストレージ）を、記憶装置１２として利用してもよい。

【0016】

記憶装置１２は、楽曲を構成する複数の音符の時系列を指定する楽曲データＭを楽曲毎に記憶する。図２は、楽曲データＭの模式図である。楽曲データＭは、参照データＲと演奏データＤとを含む。参照データＲは、利用者Ｕが演奏する演奏パートの音符の時系列を指定する。具体的には、参照データＲは、演奏パートの複数の音符の各々について音高と発音期間とを指定する。他方、演奏データＤは、再生装置２０が再生する再生パートの音符の時系列を指定する。具体的には、演奏データＤは、再生パートの複数の音符の各々について音高と発音期間とを指定する。参照データＲおよび演奏データＤの各々は、例えば、楽音の発音または消音を指示する指示データと、指示データが指示する動作の時点を指定する時間データとが時系列に配列されたＭＩＤＩ（Musical Instrument Digital Interface）形式の時系列データである。指示データは、例えば音高と強度とを指定して発音または消音等の動作を指示する。時間データは、例えば相前後する指示データの間隔を指定する。指示データにより特定の音高の発音が指示されてから、当該指示データの後方の指示データにより当該音高の消音が指示されるまでの期間が、当該音高の音符に関する発音期間である。演奏データＤは、複数の音の時系列を表す「音データ」の一例である。演奏データＤが表す再生パートの複数の音符は、「音データ」が表す「複数の音」の一例である。

【0017】

図１の収音装置１３は、利用者Ｕによる演奏で楽器２００から発音される楽音を収音し、当該楽音の波形を表す音響信号Ｚを生成する。例えばマイクロホンが収音装置１３として利用される。収音装置１３が生成した音響信号Ｚをアナログからデジタルに変換するＡ/Ｄ変換器の図示は便宜的に省略されている。なお、第１実施形態においては収音装置１３が再生制御システム１０に搭載された構成を例示するが、再生制御システム１０とは別体の収音装置１３を有線または無線により再生制御システム１０に接続してもよい。また、電気弦楽器等の電気楽器からの出力信号を音響信号Ｚとして再生制御システム１０が受信してもよい。以上の説明から理解される通り、収音装置１３は再生制御システム１０から省略されてもよい。

【0018】

操作装置１４は、利用者Ｕからの指示を受付ける入力機器である。図３に例示される通り、第１実施形態の操作装置１４は、利用者Ｕによる操作で移動する可動部１４１を具備する。可動部１４１は、利用者Ｕが足で操作可能な操作ペダルである。例えばペダル型のＭＩＤＩコントローラが操作装置１４として利用される。利用者Ｕは、楽器２００を両手で演奏しながら、当該演奏に並行した所望の時点で操作装置１４を操作することが可能である。なお、利用者Ｕによる接触を検知するタッチパネルを操作装置１４として利用してもよい。

【0019】

操作装置１４は、利用者Ｕによる操作に応じて解放状態および操作状態の一方から他方に遷移する。解放状態は、操作装置１４が利用者Ｕにより操作されていない状態である。具体的には、解放状態は、利用者Ｕが可動部１４１を踏込んでいない状態である。解放状態は、可動部１４１が位置Ｈ1にある状態とも表現される。他方、操作状態は、操作装置１４が利用者Ｕにより操作されている状態である。具体的には、操作状態は、利用者Ｕが可動部１４１を踏込んだ状態である。操作状態は、位置Ｈ1とは相違する位置Ｈ2に可動部１４１がある状態とも表現される。解放状態は「第１状態」の一例であり、操作状態は「第２状態」の一例である。

【0020】

図４は、再生制御システム１０の機能的な構成を例示するブロック図である。制御装置１１は、記憶装置１２に記憶されたプログラムを実行することで、再生装置２０による再生パートの再生を制御するための複数の機能（演奏解析部３１、再生制御部３２および指示受付部３３）を実現する。

【0021】

演奏解析部３１は、収音装置１３から供給される音響信号Ｚを解析することで、楽曲内の演奏位置Ｘを推定する。演奏位置Ｘは、楽曲内において利用者Ｕが現に演奏している時点である。演奏位置Ｘの推定は、利用者Ｕによる演奏パートの演奏と再生装置２０による再生パートの再生とに並行して反復的に実行される。すなわち、時間軸上の複数の時点の各々において演奏位置Ｘが推定される。演奏位置Ｘは、時間の経過とともに楽曲内の後方に移動する。

【0022】

具体的には、演奏解析部３１は、楽曲データＭの参照データＲと音響信号Ｚとを相互に照合することで演奏位置Ｘを算定する。演奏解析部３１による演奏位置Ｘの推定には、公知の解析技術（スコアアライメント技術）が任意に採用され得る。例えば、特開２０１６－０９９５１２号公報に開示された解析技術が、演奏位置Ｘの推定に利用される。また、演奏解析部３１は、深層ニューラルネットワークまたは隠れマルコフモデル等の統計的推定モデルを利用して演奏位置Ｘを推定してもよい。

【0023】

再生制御部３２は、演奏データＤが指定する各音符を再生装置２０に再生させる。すなわち、再生制御部３２は、再生パートの自動演奏を再生装置２０に実行させる。具体的には、再生制御部３２は、楽曲内において再生すべき位置（以下「再生位置」という）Ｙを経時的に後方に移動し、演奏データＤのうち再生位置Ｙに対応する指示データを再生装置２０に対して順次に供給する。すなわち、再生制御部３２は、演奏データＤに含まれる各指示データを再生装置２０に対して順次に供給するシーケンサとして機能する。再生制御部３２が再生装置２０に再生パートを再生させる処理は、利用者Ｕによる演奏パートの演奏に並行して実行される。

【0024】

再生制御部３２は、演奏解析部３１による演奏位置Ｘの推定の結果に応じて、再生装置２０による再生パートの再生を利用者Ｕによる楽曲の演奏に追従させる。すなわち、利用者Ｕによる演奏パートの演奏と同等のテンポで再生装置２０による再生パートの自動演奏が進行する。例えば、再生制御部３２は、演奏位置Ｘの進行（すなわち利用者Ｕによる演奏速度）が速い場合には、再生位置Ｙの進行の速度（再生装置２０による再生速度）を上昇させ、演奏位置Ｘの進行が遅い場合には再生位置Ｙの進行の速度を低下させる。すなわち、演奏位置Ｘの進行に同期するように、利用者Ｕによる演奏と同等の演奏速度で再生パートの自動演奏が実行される。したがって、利用者Ｕは、再生装置２０が自分の演奏に合わせて再生パートを演奏しているような感覚で演奏パートを演奏できる。

【0025】

以上の通り、第１実施形態においては、再生パートの複数の音符の再生が利用者Ｕによる楽器２００の演奏に追従するから、利用者Ｕの意図（例えば演奏表現）または嗜好を、再生パートの再生に適切に反映させることが可能である。

【0026】

指示受付部３３は、第１指示Ｑ1および第２指示Ｑ2を利用者Ｕから受付ける。第１指示Ｑ1および第２指示Ｑ2は、操作装置１４に対する利用者Ｕの操作により発生する。第１指示Ｑ1は、再生装置２０による再生パートの再生を一時的に停止させる指示である。第２指示Ｑ2は、第１指示Ｑ1により停止した再生パートの再生を再開させる指示である。

【0027】

具体的には、指示受付部３３は、利用者Ｕが操作装置１４を解放状態から操作状態に遷移させる操作を第１指示Ｑ1として受付ける。すなわち、利用者Ｕは、操作装置１４の可動部１４１を踏込むことで第１指示Ｑ1を再生制御システム１０に付与する。例えば、指示受付部３３は、可動部１４１が位置Ｈ1（解放状態）から位置Ｈ2（操作状態）に向けて移動を開始した時点を第１指示Ｑ1の時点として特定する。なお、位置Ｈ1から位置Ｈ2までの途中の位置に可動部１４１が到達した時点を指示受付部３３が第１指示Ｑ1の時点として特定する構成、または、可動部１４１が位置Ｈ2に到達した時点を指示受付部３３が第１指示Ｑ1の時点として特定する構成も想定される。

【0028】

また、指示受付部３３は、利用者Ｕが操作装置１４を操作状態から解放状態に遷移させる操作を第２指示Ｑ2として受付ける。すなわち、利用者Ｕは、操作装置１４の可動部１４１を踏込んだ状態から当該可動部１４１を解放することで、第２指示Ｑ2を再生制御システム１０に付与する。例えば、指示受付部３３は、可動部１４１が位置Ｈ2（操作状態）から位置Ｈ1（解放状態）に向けて移動を開始した時点を第２指示Ｑ2の時点として特定する。なお、位置Ｈ2から位置Ｈ1までの途中の位置に可動部１４１が到達した時点を指示受付部３３が第２指示Ｑ2の時点として特定する構成、または、可動部１４１が位置Ｈ1に到達した時点を指示受付部３３が第２指示Ｑ2の時点として特定する構成も想定される。

【0029】

利用者Ｕは、演奏パートの演奏中における任意の時点において第１指示Ｑ1および第２指示Ｑ2を付与できる。したがって、第１指示Ｑ1と第２指示Ｑ2との間隔は、利用者Ｕの意図に応じた可変長である。例えば、利用者Ｕは、楽曲内の休符期間の開始前に第１指示Ｑ1を付与し、利用者Ｕの所望の時間長の休符期間が経過した時点で第２指示Ｑ2を付与する。

【0030】

図５は、再生装置２０による再生パートの再生と第１指示Ｑ1および第２指示Ｑ2との関係の説明図である。演奏データＤが指定する各音符の発音期間と、再生装置２０が実際に再生する各音符の発音期間とが、図５には併記されている。

【0031】

図５の音符Ｎ1は、演奏データＤが指定する複数の音符のうち第１指示Ｑ1に対応する音符である。具体的には、音符Ｎ1は、再生パートの複数の音符のうち第１指示Ｑ1の時点で再生装置２０が再生している音符である。再生制御部３２は、第１指示Ｑ1の発生後に、演奏データＤが音符Ｎ1について指定する発音期間の終点まで、当該音符Ｎ1の再生を再生装置２０に継続させる。例えば、再生制御部３２は、音符Ｎ1の発音期間の終点において、当該音符Ｎ1の消音を指示する指示データを再生装置２０に供給する。以上の説明から理解される通り、音符Ｎ1の再生は、第１指示Ｑ1の時点で直ちに停止するのではなく、第１指示Ｑ1の発生後も演奏データＤが指定する終点まで継続される。なお、音符Ｎ1は「第１音」の一例である。

【0032】

図５の音符Ｎ2は、演奏データＤが指定する複数の音符のうち音符Ｎ1の直後の音符である。再生制御部３２は、音符Ｎ1の再生の停止後に、利用者Ｕによる第２指示Ｑ2を契機として、再生装置２０に音符Ｎ2の再生を開始させる。すなわち、演奏データＤが音符Ｎ2について指定する発音期間の始点の位置、および、演奏データＤが指定する音符Ｎ1と音符Ｎ2との間隔の時間長とは無関係に、第２指示Ｑ2の発生を条件として音符Ｎ2の再生が開始される。具体的には、再生制御部３２は、指示受付部３３が第２指示Ｑ2を受付けた場合に、演奏データＤにおける音符Ｎ2の指示データを再生装置２０に供給する。したがって、第２指示Ｑ2の直後に音符Ｎ2の再生が開始される。なお、音符Ｎ2は「第２音」の一例である。

【0033】

図６は、制御装置１１が再生装置２０を制御する動作（以下「再生制御処理」という）Ｓaの具体的な手順を例示するフローチャートである。利用者Ｕからの指示を契機として再生制御処理Ｓaが開始される。

【0034】

再生制御処理Ｓaが開始されると、制御装置１１は、待機データＷが有効状態にあるか否かを判定する（Ｓa1）。待機データＷは、第１指示Ｑ1により再生パートの再生が一時的に停止された状態であることを表すデータ（例えばフラグ）であり、記憶装置１２に記憶される。具体的には、待機データＷは、第１指示Ｑ1が発生した場合に有効状態（例えばＷ＝１）に設定され、第２指示Ｑ2が発生した場合に無効状態（例えばＷ＝０）に設定される。待機データＷは、再生パートの再生の再開を待機する状態を表すデータとも換言される。

【0035】

待機データＷが有効状態でない場合（Ｓa1：NO）、制御装置１１（演奏解析部３１）は、収音装置１３から供給される音響信号Ｚを解析することで演奏位置Ｘを推定する（Ｓa2）。制御装置１１（再生制御部３２）は、演奏位置Ｘの推定の結果に応じて、再生装置２０による再生パートの再生を進行させる（Ｓa3）。すなわち、制御装置１１は、利用者Ｕによる演奏パートの演奏に追従するように再生装置２０による再生パートの再生を制御する。

【0036】

制御装置１１（指示受付部３３）は、利用者Ｕから第１指示Ｑ1を受付けたか否かを判定する（Ｓa4）。第１指示Ｑ1を受付けた場合（Ｓa4：YES）、制御装置１１（再生制御部３２）は、第１指示Ｑ1の受付の時点で再生されている音符Ｎ1の再生を、演奏データＤが指定する発音期間の終点まで再生装置２０に継続させる（Ｓa5）。具体的には、制御装置１１は、第１指示Ｑ1が発生した時点と同等の速度（テンポ）で再生位置Ｙを進行させ、再生位置Ｙが音符Ｎ1の発音期間の終点に到達した場合に、当該音符Ｎ1の消音を表す指示データを再生装置２０に供給する。以上の処理を実行すると、制御装置１１は、待機データＷを無効状態から有効状態（Ｗ＝１）に変更する（Ｓa6）。なお、ステップＳa5の実行前に待機データＷの更新（Ｓa6）が実行されてもよい。

【0037】

待機データＷが有効状態に設定されると、ステップＳa1における判定の結果が肯定となる。待機データＷが有効状態にある場合（Ｓa1：YES）、演奏位置Ｘの推定（Ｓa2）と再生パートの再生制御（Ｓa3）と音符Ｎ1に関する処理（Ｓa4－Ｓa6）とは実行されない。すなわち、利用者Ｕからの第１指示Ｑ1を契機として、演奏位置Ｘに連動した再生パートの再生制御は停止される。また、第１指示Ｑ1を受付けない場合（Ｓa4：NO）、音符Ｎ1に関する処理（Ｓa5，Ｓa6）は実行されない。

【0038】

制御装置１１（指示受付部３３）は、利用者Ｕから第２指示Ｑ2を受付けたか否かを判定する（Ｓa7）。第２指示Ｑ2を受付けた場合（Ｓa7：YES）、制御装置１１（再生制御部３２）は、音符Ｎ1の直後の音符Ｎ2を再生装置２０に再生させる（Ｓa8）。具体的には、制御装置１１は、再生位置Ｙを音符Ｎ2の始点に更新する。すなわち、第１指示Ｑ1により停止された再生パートの再生が第２指示Ｑ2により再開される。制御装置１１は、待機データＷを有効状態から無効状態（Ｗ＝０）に変更する（Ｓa9）。前述の通り、待機データＷが無効状態に設定されると、ステップＳa1における判定の結果が否定となる。したがって、第２指示Ｑ2を契機として、演奏位置Ｘの推定（Ｓa2）と再生パートの再生制御（Ｓa3）とが再開される。なお、ステップＳa8の実行前に待機データＷの更新（Ｓa8）が実行されてもよい。

【0039】

制御装置１１は、再生装置２０による再生パートの再生を終了するか否かを判定する（Ｓa10）。例えば、再生パートの終点まで再生が完了した場合、または利用者Ｕから終了が指示された場合に、制御装置１１は再生パートの再生を終了すると判定する。再生パートの再生を終了しない場合（Ｓa10：NO）、制御装置１１は、処理をステップＳa1に移行し、以上に例示した処理（Ｓa1－Ｓa9）を反復する。他方、再生パートの再生を終了すると制御装置１１が判定した場合（Ｓa10：YES）には、再生制御処理Ｓaが終了される。

【0040】

以上に説明した通り、第１実施形態においては、第１指示Ｑ1に対応する音符Ｎ1が再生され、かつ、音符Ｎ1の再生の停止後に、利用者Ｕによる第２指示Ｑ2を契機として、音符Ｎ1の直後の音符Ｎ2の再生が開始される。したがって、音符Ｎ1の再生と音符Ｎ2の再生との間隔（例えば楽曲内の休符期間の時間長）を、第１指示Ｑ1および第２指示Ｑ2の各時点に応じて変更できる。

【0041】

また、第１実施形態においては、第１指示Ｑ1の発生の時点において再生されている音符Ｎ1の再生が、第１指示Ｑ1の発生後も、演奏データＤが指定する音符Ｎ1の終点まで継続される。したがって、第１指示Ｑ1の発生の時点で音符Ｎ1の再生が停止される構成と比較して、演奏データＤの内容に応じて音符Ｎ1の再生を適切に継続させることが可能である。

【0042】

第１実施形態においては、利用者Ｕが操作装置１４を操作することで、音符Ｎ1と音符Ｎ2との間隔を利用者Ｕの意図または嗜好に応じた適切な時間長に変更できる。第１実施形態においては特に、操作装置１４を解放状態から操作状態に遷移させることで第１指示Ｑ1が発生し、当該操作状態が維持された後、第１指示Ｑ1の発生後における所望の時点で操作装置１４を操作状態から解放状態に遷移させることで第２指示Ｑ2が発生する。すなわち、操作状態を解放状態から操作状態に遷移させて再び解放状態に遷移させる一連の操作により、第１指示Ｑ1および第２指示Ｑ2が発生する。したがって、操作装置１４を解放状態から操作状態に遷移させる操作が第１指示Ｑ1および第２指示Ｑ2の各々について必要である構成と比較して、操作装置１４に対する利用者Ｕの操作が簡素化される。

【0043】

Ｂ：第２実施形態
第２実施形態を説明する。なお、以下に例示する各形態において機能が第１実施形態と同様である要素については、第１実施形態の説明で使用したのと同様の符号を流用して各々の詳細な説明を適宜に省略する。

【0044】

第１実施形態においては、第１指示Ｑ1が発生した場合に、第１指示Ｑ1の時点と同等の速度で再生位置Ｙを進行させ、再生位置Ｙが音符Ｎ1の終点に到達した場合に当該音符Ｎ1の再生を停止した。第２実施形態の再生制御部３２は、第１指示Ｑ1の発生後における再生位置Ｙの進行速度（すなわち再生パートの再生速度）を可動部１４１の操作速度Ｖ1に応じて可変に制御する。操作速度Ｖ1は、解放状態に対応する位置Ｈ1から操作状態に対応する位置Ｈ2に向けて可動部１４１が移動する速度である。例えば、可動部１４１が位置Ｈ1から位置Ｈ2に移動するまでの期間内に算定される複数の速度の平均値が操作速度Ｖ1である。

【0045】

図７は、第２実施形態における操作装置１４の状態に関する説明図である。図７に例示される通り、位置Ｈ1から位置Ｈ2に向けて可動部１４１が移動を開始する時点において指示受付部３３は第１指示Ｑ1を受付ける。再生制御部３２は、第１指示Ｑ1の発生後における再生位置Ｙの進行速度を可動部１４１の操作速度Ｖ1に応じて制御する。

【0046】

具体的には、再生制御部３２は、操作速度Ｖ1が速いほど再生位置Ｙの進行速度を上昇させる。例えば、図７に例示される通り、操作速度Ｖ1が速度Ｖ1_Hである場合の再生位置Ｙの進行速度は、操作速度Ｖ1が速度Ｖ1_L（Ｖ1_L＜Ｖ1_H）である場合の再生位置Ｙの進行速度を上回る。したがって、操作速度Ｖ1が速いほど、音符Ｎ1の継続長は短縮される。例えば、操作速度Ｖ1が速度Ｖ1_Hである場合の音符Ｎ1の継続長は、操作速度Ｖ1が速度Ｖ1_Lである場合の音符Ｎ1の継続長よりも短い。

【0047】

第２実施形態においても第１実施形態と同様の効果が実現される。第２実施形態においては、音符Ｎ1の継続長が操作速度Ｖ1に応じて制御されるから、音符Ｎ1の継続長を利用者Ｕが調整できるという利点がある。また、第２実施形態においては、第１指示Ｑ1および第２指示Ｑ2を付与するための操作装置１４が、音符Ｎ1の継続長の調整にも兼用される。したがって、第１指示Ｑ1および第２指示Ｑ2の付与と音符Ｎ1の継続長の調整との各々について利用者Ｕが別個の機器を操作する構成と比較して、利用者Ｕによる操作が簡素化されるという利点もある。

【0048】

Ｃ：第３実施形態
第１実施形態においては、第２指示Ｑ2の直後に音符Ｎ2の再生を開始した。第２実施形態においては、第２指示Ｑ2から音符Ｎ2の再生が開始されるまでの時間（以下「遅延時間」という）を操作速度Ｖ2に応じて可変に制御する。操作速度Ｖ2は、操作状態に対応する位置Ｈ2から解放状態に対応する位置Ｈ1に向けて可動部１４１が移動する速度である。例えば、可動部１４１が位置Ｈ2から位置Ｈ1に移動するまでの期間内に算定される複数の速度の平均値が操作速度Ｖ2である。

【0049】

図８は、第３実施形態における操作装置１４の状態に関する説明図である。図８に例示される通り、位置Ｈ2から位置Ｈ1に向けて可動部１４１が移動を開始する時点において指示受付部３３は第２指示Ｑ2を受付ける。再生制御部３２は、遅延時間を操作速度Ｖ2に応じて可変に制御する。

【0050】

具体的には、再生制御部３２は、操作速度Ｖ2が速いほど遅延時間を短縮させる。例えば、図８に例示される通り、操作速度Ｖ2が速度Ｖ2_Lである場合の遅延時間は、操作速度Ｖ2が速度Ｖ2_H（Ｖ2_H＞Ｖ2_L）である場合の遅延時間よりも長い。したがって、操作速度Ｖ2が遅いほど、音符Ｎ2の再生が開始される時点は時間軸上で後方の時点となる。

【0051】

第３実施形態においても第１実施形態と同様の効果が実現される。第３実施形態においては、音符Ｎ2の再生が開始される時点が操作速度Ｖ2に応じて制御されるから、再生パートの再開後の最初の音符Ｎ2の始点を、利用者Ｕが調整できるという利点がある。また、第３実施形態においては、第１指示Ｑ1および第２指示Ｑ2を付与するための操作装置１４が、音符Ｎ2の始点の調整にも兼用される。したがって、第１指示Ｑ1および第２指示Ｑ2の付与と音符Ｎ2の始点の調整との各々について利用者Ｕが別個の機器を操作する構成と比較して、利用者Ｕによる操作が簡素化されるという利点もある。なお、第２実施形態の構成を第３実施形態に適用してもよい。

【0052】

Ｄ：第４実施形態
図９は、第４実施形態における再生制御システム１０の機能的な構成を例示するブロック図である。第４実施形態の制御装置１１は、第１実施形態と同様の要素（演奏解析部３１、再生制御部３２および指示受付部３３）に加えて編集処理部３４としても機能する。編集処理部３４は、記憶装置１２に記憶された演奏データＤを、利用者Ｕからの指示に応じて編集する。編集処理部３４以外の要素の動作は第１実施形態と同様である。したがって、第４実施形態においても第１実施形態と同様の効果が実現される。なお、第２実施形態または第３実施形態の構成を第４実施形態に適用してもよい。

【0053】

図１０は、編集処理部３４の動作の説明図である。図１０には、再生パートの演奏データＤが指定する音符Ｎ1および音符Ｎ2が図示されている。前述の各形態と同様に、第１指示Ｑ1および第２指示Ｑ2は、利用者Ｕの任意の時点で発生する。したがって、演奏データＤが指定する音符Ｎ2の始点と第２指示Ｑ2の時点との間には、時間差Ｌが発生する。編集処理部３４は、時間差Ｌが低減されるように演奏データＤを編集する。

【0054】

図１１は、編集処理部３４が演奏データＤを編集する処理（以下「編集処理」という）Ｓbの具体的な手順を例示するフローチャートである。例えば再生装置２０による再生パートの再生（前述の再生制御処理Ｓa）が所定回にわたり反復されるたびに編集処理Ｓbが実行される。なお、利用者Ｕからの指示を契機として編集処理Ｓbが開始されてもよい。

【0055】

編集処理Ｓbが開始されると、編集処理部３４は、過去の所定回の再生制御処理Ｓaにおける時間差Ｌの散布度Δを算定する（Ｓb1）。散布度Δは、複数の時間差Ｌに関する散らばりの度合を表す統計量である。例えば、複数の時間差Ｌの分散、標準偏差または分布範囲等が散布度Δとして利用される。

【0056】

編集処理部３４は、散布度Δが閾値Δthを上回るか否かを判定する（Ｓb2）。散布度Δが閾値Δthを上回る場合には、音符Ｎ2の再生が再開されるまでの待機時間を、利用者Ｕが意識的に変動させながら楽曲の演奏を練習していると推定される。したがって、複数の時間差Ｌに応じて演奏データＤを編集するのは妥当でない。他方、散布度Δが閾値Δthを下回る場合には、複数の時間差Ｌが、利用者Ｕの意図または嗜好に沿った数値（すなわち利用者Ｕに固有の好適値）であると推定される。

【0057】

以上の傾向を考慮して、編集処理部３４は、散布度Δが閾値Δthを下回る場合に（Ｓb2：NO）、複数の時間差Ｌに応じて演奏データＤを編集する（Ｓb3－Ｓb4）。他方、散布度Δが閾値Δthを上回る場合（Ｓb2：YES）、編集処理部３４は、演奏データＤの編集（Ｓb3，Ｓb4）を実行することなく編集処理Ｓbを終了する。

【0058】

演奏データＤの編集において、編集処理部３４は、複数の時間差Ｌを平均することで平均時間差Ｌaを算定する（Ｓb3）。そして、編集処理部３４は、演奏データＤが指定する音符Ｎ2の始点を平均時間差Ｌaだけ変化させる（Ｓb4）。例えば、平均時間差Ｌaが負数である場合、編集処理部３４は、演奏データＤが指定する音符Ｎ2の始点を当該平均時間差Ｌaに相当する時間だけ前方に移動する。また、平均時間差Ｌaが正数である場合、編集処理部３４は、演奏データＤが指定する音符Ｎ2の始点を当該平均時間差Ｌaに相当する時間だけ後方に移動する。すなわち、音符Ｎ2の直前の待機時間を利用者Ｕが充分に確保する傾向がある場合には、演奏データＤが指定する音符Ｎ2の始点が後方に変更され、待機時間が短い傾向がある場合には、演奏データＤが指定する音符Ｎ2の始点が前方に変更される。

【0059】

以上の説明から理解される通り、第４実施形態においては、利用者Ｕによる演奏パートの演奏における時間差Ｌに応じて演奏データＤが編集される。したがって、各利用者Ｕに固有の傾向を演奏データＤに反映させることが可能である。

【0060】

Ｅ：第５実施形態
図１２は、第５実施形態に係る再生システム１００の構成を例示するブロック図である。再生システム１００は、再生制御システム１０と演奏装置５０とを具備する。第５実施形態の再生制御システム１０は、第１実施形態の再生制御システム１０と同様の要素（制御装置１１，記憶装置１２，収音装置１３および操作装置１４）に加えて表示装置１５を具備する。表示装置１５は、制御装置１１から指示された画像を表示する。表示装置１５は、例えば液晶表示パネルまたは有機ＥＬ表示パネルである。

【0061】

演奏装置５０は、楽曲の再生パートの自動演奏を実行する再生装置として機能するほか、利用者Ｕ1による手動の演奏が可能な楽器としても機能する自動演奏楽器である。具体的には、演奏装置５０は、前述の各形態における再生装置２０と同様に、駆動機構２１と発音機構２２とを具備する。なお、第１実施形態から第４実施形態の再生装置２０として第５実施形態の演奏装置５０を利用してもよい。

【0062】

利用者Ｕ1による手動の演奏は、例えば鍵盤の押鍵等、利用者Ｕ1の身体の動作による演奏である。利用者Ｕ1による演奏に連動して発音機構２２が動作することで、演奏装置５０から楽音が発音される。また、演奏装置５０は、利用者Ｕ1による演奏に並行して、当該演奏の指示を表す指示データｄを再生制御システム１０に対して順次に出力する。指示データｄは、例えば音高と強度とを指定して発音または消音等の動作を指定する。他方、利用者Ｕ2は、楽器２００を演奏する。楽器２００は、利用者Ｕによる演奏で発音する弦楽器等の自然楽器である。

【0063】

図１３は、第５実施形態における再生制御システム１０の機能的な構成を例示するブロック図である。第５実施形態の制御装置１１は、記憶装置１２に記憶されたプログラムを実行することで、第１実施形態と同様の要素（演奏解析部３１、再生制御部３２および指示受付部３３）に加えて準備処理部３５として機能する。準備処理部３５は、再生制御処理Ｓaに利用される楽曲データＭ（演奏データＤおよび参照データＲ）を生成する。具体的には、準備処理部３５は、利用者Ｕ1による演奏装置５０の演奏と利用者Ｕ2による楽器２００の演奏とに応じた楽曲データＭを生成する。準備処理部３５は、第１収録部４１と第２収録部４２と参照データ生成部４３とを具備する。

【0064】

参照データ生成部４３は、再生制御処理Ｓaに利用される参照データＲを生成する。具体的には、参照データ生成部４３は、再生制御処理Ｓaの開始前に参照データ生成処理Ｓc（図１４）を実行することで参照データＲを生成する。参照データ生成部４３が生成した参照データＲは記憶装置１２に記憶される。

【0065】

参照データ生成処理Ｓcの実行前の期間（以下「準備期間」という）において、利用者Ｕ1および利用者Ｕ2は楽曲を合奏する。具体的には、利用者Ｕ1は演奏装置５０により楽曲の再生パートを演奏し、利用者Ｕ2は楽器２００により当該楽曲の演奏パートを演奏する。参照データ生成処理Ｓcは、準備期間内において利用者Ｕ1および利用者Ｕ2が楽曲を演奏した結果を利用して参照データＲを生成する処理である。

【0066】

第１収録部４１は、準備期間内の演奏において利用者Ｕ1が演奏装置５０に対して指示した複数の音を指定する演奏データＤを取得する。具体的には、第１収録部４１は、利用者Ｕ1による演奏に応じて演奏装置５０から順次に供給される指示データｄと、相前後する指示データｄの間隔を指定する時間データとが時系列に配列された演奏データＤを生成する。第１収録部４１は、演奏データＤを記憶装置１２に保存する。記憶装置１２に記憶された演奏データＤは、前述の各形態において例示した通り、再生制御処理Ｓaに利用される。なお、第１収録部４１が取得した演奏データＤを、第４実施形態に例示した編集処理部３４が編集してもよい。

【0067】

第２収録部４２は、準備期間内において収音装置１３が生成する音響信号Ｚ（以下「参照信号Ｚr1」という）を取得する。準備期間内においては、利用者Ｕ2による演奏で楽器２００から発音される楽音のほか、利用者Ｕ1による演奏で演奏装置５０から発音される楽音が、収音装置１３に到達する。したがって、参照信号Ｚr1は、楽器２００の楽音と演奏装置５０の楽音との混合音を表す信号である。以上の説明から理解される通り、第２収録部４２は、楽器２００を利用した楽曲の演奏（第１演奏）により当該楽器２００が発音する楽音と、演奏装置５０を利用した当該楽器の演奏により演奏装置５０が発音する楽音とを表す参照信号Ｚr1を取得する。第２収録部４２は、参照信号Ｚr1を記憶装置１２に保存する。以上の説明から理解される通り、準備期間においては演奏データＤと参照信号Ｚr1とが記憶装置１２に保存される。

【0068】

参照データ生成部４３は、第２収録部４２が取得した参照信号Ｚr1を利用した参照データ生成処理Ｓcにより参照データＲを生成する。なお、前述の各形態においては、指示データと時間データとが時系列に配列されたＭＩＤＩデータを参照データＲとして例示した。第５実施形態の参照データＲは、楽曲内における演奏期間と発音時点と音高遷移とを指定するデータである。演奏期間は、準備期間内において利用者Ｕ2が楽器２００を演奏している期間である。演奏期間は、楽器２００が楽音を発音している期間とも換言される。例えば演奏期間の始点および終点の時刻が参照データＲにより指定される。発音時点は、準備期間内の利用者Ｕ2による演奏で楽曲内の各楽音の発音が開始される時点（すなわちオンセット）である。例えば発音時点の時刻が参照データＲにより指定される。音高遷移は、準備期間内の利用者Ｕ1による演奏で楽器２００が発音する楽音の音高（ピッチ）の時系列である。

【0069】

図１４は、参照データ生成処理Ｓcの具体的な手順を例示するフローチャートである。準備期間における演奏データＤおよび参照信号Ｚr1の取得後に、例えば操作装置１４に対する利用者Ｕ（Ｕ1，Ｕ2）からの指示を契機として、参照データ生成処理Ｓcが開始される。

【0070】

参照データ生成処理Ｓcが開始されると、参照データ生成部４３は、参照信号Ｚr1のうち楽器２００から発音された楽音の音響成分を強調することで参照信号Ｚr2を生成する（Ｓc1）。前述の通り、参照信号Ｚr1には、演奏装置５０から発音された楽音の音響成分と楽器２００から発音された楽音の音響成分とが含まれる。参照データ生成部４３は、演奏装置５０の楽音の音響成分を参照信号Ｚr1から抑圧することで参照信号Ｚr2を生成する。

【0071】

例えば、参照データ生成部４３は、演奏装置５０の楽音の振幅スペクトログラムを参照信号Ｚr1の振幅スペクトログラムから減算することで参照信号ｚr2を生成する。演奏装置５０の楽音の振幅スペクトログラムは、例えば、演奏データＤが指定する楽音を表す楽音信号を生成する公知の音源処理と、当該楽音信号に対する離散フーリエ変換等の周波数解析とにより生成される。演奏装置５０の楽音の振幅スペクトログラムを減算する度合は、操作装置１４に対する利用者Ｕからの指示に応じて調整される。

【0072】

なお、参照信号Ｚr1から参照信号Ｚr2を生成する処理は以上の例示に限定されない。例えば、公知の音源分離技術を利用して参照信号Ｚr1のうち楽器２００の楽音の音響成分を強調してもよい。また、例えば演奏装置５０から発音された楽音が収音装置１３に到達し難い状況であれば、ステップＳc1は省略されてもよい。ステップＳc1が省略された形態においては、参照信号Ｚr2に代えて参照信号Ｚr1について以下の各処理が実行される。参照信号Ｚr1および参照信号Ｚr2は、「第１音響信号」の一例である。

【0073】

制御装置１１は、参照データ生成処理Ｓcに並行して図１５の準備画面６０を表示装置１５に表示させる。準備画面６０には、参照信号Ｚr2の波形６１が表示される。利用者Ｕは、操作装置１４を操作することで、参照信号Ｚr2のうち準備画面６０に表示される範囲を調整することが可能である。

【0074】

図１４に例示される通り、参照データ生成部４３は、参照信号Ｚr2の解析により、当該参照信号Ｚr2における１以上の演奏期間を特定する（Ｓc2）。演奏期間の特定には、参照信号Ｚr2の強度に応じて演奏期間を推定する第１ＨＭＭ（Hidden Markov Model）が利用される。概略的には、参照信号Ｚr2のうち信号強度が閾値τを上回る期間が演奏期間として特定される。なお、演奏期間を特定する方法は、以上の例示に限定されない。

【0075】

準備画面６０には、参照信号Ｚr2から特定された演奏期間が表示される。具体的には、制御装置１１は、図１５に例示される通り、参照信号Ｚr2の波形６１のうち演奏期間内の部分６１aと演奏期間外の部分６１bとを相異なる表示態様で表示させる。「表示態様」とは、観察者が視覚的に弁別可能な画像の性状を意味する。例えば、色の３属性である色相（色調），彩度および明度（階調）のほか、模様または形状も、「表示態様」の概念に包含される。なお、演奏期間を表示する方法は以上の例示に限定されない。

【0076】

また、準備画面６０には、利用者Ｕが操作装置１４により操作可能な操作画像６２が表示される。参照データ生成部４３は、演奏期間の特定に適用される閾値τを、操作画像６２に対する利用者Ｕからの指示に応じて制御する。利用者Ｕが設定した閾値τが小さいほど、参照信号Ｚr2の各時点が演奏期間内の時点と判断され易い。

【0077】

参照データ生成部４３は、参照信号Ｚr2の解析により、当該参照信号Ｚr2における複数の発音時点を特定する（Ｓc3）。図１５に例示される通り、準備画面６０には、参照信号Ｚr2から特定された発音時点を表す指示画像６３が表示される。指示画像６３は、時間軸上における各発音時点に配置された縦線である。ただし、指示画像６３の具体的な態様は以上の例示に限定されない。

【0078】

参照データ生成部４３による演奏時点の特定には、相異なる音高に対応する複数の状態で構成される第２ＨＭＭが利用される。相異なる状態間で遷移が発生する時点（すなわち音高が変化する時点）が発音時点として特定される。なお、利用者Ｕによる楽器２００の種類の指示に応じて、参照データ生成部４３が、第２ＨＭＭにおける状態遷移の範囲（すなわち音高が変動する範囲）を、当該楽器２００の音域に制限してもよい。すなわち、楽器２００の音域外の音高に対応する状態への遷移が禁止される。

【0079】

第２ＨＭＭの各状態については第１遷移行列Λ1と第２遷移行列Λ2とが設定される。各状態に関する第１遷移行列Λ1および第２遷移行列Λ2は、当該状態自身に遷移する遷移確率（自己遷移確率）と他の状態に遷移する遷移確率とを規定する行列である。第１遷移行列Λ1と第２遷移行列Λ2との間では各遷移確率の数値が相違する。具体的には、第１遷移行列Λ1における他の状態への遷移確率は、第２遷移行列Λ2における他の状態への遷移確率を下回る。第１遷移行列Λ1における自己遷移確率が、第２遷移行列Λ2における自己遷移確率を上回ると換言してもよい。したがって、第１遷移行列Λ1が第２ＨＭＭに適用された場合には、第２遷移行列Λ2が第２ＨＭＭに適用された場合と比較して、状態間の遷移が発生し難い。すなわち、時間軸上の各時点が発音時点と推定される頻度が低下する。

【0080】

第５実施形態の参照データ生成部４３は、第１遷移行列Λ1と第２遷移行列Λ2との加重和により状態毎に算定される遷移行列Λを、第２ＨＭＭの各状態に適用する。遷移行列Λは、例えば以下の数式(1)で表現される。数式(1)の係数αは、０以上かつ１以下の範囲内の数値である。
Λ＝α・Λ1＋（１－α）・Λ2 (1)

【0081】

図１５に例示される通り、準備画面６０には、利用者Ｕが操作装置１４により操作可能な操作画像６４が表示される。参照データ生成部４３は、演奏時点の特定に適用される係数αを、操作画像６４に対する利用者Ｕからの指示に応じて制御する。数式(1)から理解される通り、係数αが大きいほど、遷移行列Λに対する第１遷移行列Λ1の影響が増加し、当該遷移行列Λに対する第２遷移行列Λ2の影響が減少する。したがって、第２ＨＭＭにおける状態間の遷移が発生し難くなる。すなわち、参照信号Ｚr2の各時点が発音時点と判断される確率が低下する。以上の説明から理解される通り、係数αが大きいほど、参照信号Ｚr2について特定される発音時点の個数が減少するという傾向がある。係数αが小さいほど、発音時点の個数が増加すると換言してもよい。利用者Ｕは、準備画面６０を確認しながら操作画像６４を操作することで、指示画像６３により表示される発音時点が適切な個数となるように係数αを調整する。なお、発音時点を特定する方法は、以上の例示に限定されない。

【0082】

参照データ生成部４３は、参照信号Ｚr2の解析により音高遷移を特定する（Ｓc4）。音高遷移の特定には、例えば、参照信号Ｚr2の周波数特性と音高遷移との関係を機械学習により学習した推定モデルが利用される。推定モデルは、例えば、畳込みニューラルネットワークまたは再帰型ニューラルネットワーク等の深層ニューラルネットワークである。例えば、参照信号Ｚr2に対する定Ｑ変換で生成されたスペクトルを含む制御データが推定モデルに供給される。推定モデルは、制御データに相関する音高の時系列（すなわち音高遷移）を出力する。なお、音高遷移を特定する方法は以上の例示に限定されない。また、楽音の音響成分の強調（Ｓc1）と演奏期間の特定（Ｓc2）と発音時点の特定（Ｓc3）と音高遷移の特定（Ｓc4）との順序は、任意に変更される。例えば、音高遷移の特定（Ｓc4）において算定される数値（例えば音高の事後確率）を利用して、演奏装置５０の楽音の音響成分を参照信号Ｚr1から抑圧してもよい。

【0083】

参照データ生成部４３は、利用者Ｕからの指示を受付けたか否かを判定する（Ｓc5）。具体的には、閾値τまたは係数αの変更が利用者Ｕにより指示されたか否かが判定される。利用者Ｕからの指示を受付けた場合（Ｓc5：YES）、参照データ生成部４３は、変更後の閾値τまたは係数αを適用した処理（Ｓc1～Ｓc4）により、演奏期間と発音時点と音高遷移とを特定する。

【0084】

なお、発音時点の特定のための処理負荷は、演奏期間の特定のための処理負荷を上回ることが想定される。以上の事情を考慮すると、発音時点の特定を演奏期間の特定と比較して低頻度で実行する構成が想定される。例えば、参照データ生成部４３は、操作画像６２の操作により利用者Ｕが閾値τを変更する過程内において演奏期間の特定（Ｓc2）を反復する。例えば、閾値τの変更のために利用者Ｕが操作画像６２をドラッグしている期間内において演奏期間の特定（Ｓc2）が反復される。他方、参照データ生成部４３は、操作画像６４の操作により利用者Ｕが係数αを変更する過程では発音時点の特定を実行せず、係数αの変更が終了すること（すなわち変更後の係数αの確定）を契機として発音時点の特定（Ｓc3）を実行する。例えば、係数αの変更のために利用者Ｕが操作画像６２をドラッグする操作が終了した段階で発音時点が特定される。以上の構成によれば、利用者Ｕの指示に対して演奏期間が迅速に変化する一方、発音時点の特定に必要な処理負荷が軽減されるという利点がある。

【0085】

利用者Ｕからの指示を受付けない場合（Ｓc5：NO）、参照データ生成部４３は、参照データＲの保存の指示を利用者Ｕから受付けたか否かを判定する（Ｓc6）。指示を受付けない場合（Ｓc6：NO）、参照データ生成部４３は、処理をステップＳc5に移行する。他方、保存の指示を利用者Ｕから受付けた場合（Ｓc6：YES）、参照データ生成部４３は、現時点の演奏期間と発音時点と音高遷移とを指定する参照データＲを記憶装置１２に保存する（Ｓc7）。

【0086】

以上に例示した参照データ生成処理Ｓcで生成された参照データＲが、再生制御処理Ｓaに適用される。第５実施形態における再生制御処理Ｓaの具体的な手順は、前述の各形態と同様である。例えば、演奏解析部３１は、利用者Ｕ2による演奏パートの演奏（第２演奏）で楽器２００が発音する楽音を表す音響信号Ｚと、参照データ生成処理Ｓcで生成された参照データＲとを照合することで、当該演奏に並行して演奏位置Ｘを推定する。また、再生制御部３２は、第１収録部４１が取得した演奏データＤが指定する再生パートの各音符を、演奏装置５０に再生させる。具体的には、再生制御部３２は、演奏解析部３１による推定の結果に応じて、再生パートの各音符の再生を利用者Ｕ2による演奏に追従させる。

【0087】

なお、以上の説明においては、準備期間における演奏データＤの取得と、再生制御処理Ｓaによる自動演奏とに単体の演奏装置５０を利用した。しかし、準備期間における演奏データＤの取得に利用される演奏装置５０とは別個に、再生制御処理Ｓaによる自動演奏を実行する再生装置２０を利用してもよい。すなわち、演奏装置５０に自動演奏の機能は必須ではない。また、準備期間における参照信号Ｚr1の取得と、再生制御処理Ｓaに並行した演奏とに、相異なる楽器２０を利用してもよい。

【0088】

また、前述の各形態と同様に、再生制御部３２は、利用者Ｕ2による第１指示Ｑ1の発生の時点において再生されている音符Ｎ1の再生を、第１指示Ｑ1の発生後も、演奏データＤが指定する音符Ｎ1の終点まで継続する。また、再生制御部３２は、音符Ｎ1の再生の停止後に、利用者Ｕによる第２指示Ｑ2を契機として、音符Ｎ1の直後の音符Ｎ2の再生を開始する。したがって、第５実施形態においても前述の各形態と同様の効果が実現される。

【0089】

また、第５実施形態によれば、利用者Ｕ2が楽器２００を演奏した結果に応じて参照データＲが生成される。したがって、参照データＲが用意されていない任意の楽曲について、利用者Ｕ2の演奏を反映した参照データＲを生成できる。

【0090】

第５実施形態の制御装置１１は、再生制御処理Ｓaに並行して図１６の再生画面７０を表示装置１５に表示させる。再生画像７０は、操作画像７１と再生画像７２と指示画像７３と指示画像７４と操作画像７５とを含む。

【0091】

操作画像７１は、演奏装置５０による自動演奏の開始（再生制御処理Ｓaの開始）を利用者Ｕが指示するための画像である。再生画像７２は、演奏装置５０による現在の再生位置Ｙを表す画像である。具体的には、再生画像７２は、楽曲の全区間を表す時間軸７２１と、現在の再生位置Ｙを表す指示画像７２２とで構成される。自動演奏の進行により時間軸７２１に沿って指示画像７２２が移動する。

【0092】

指示画像７３は、参照データＲが指定する発音時点を利用者Ｕに報知するための画像である。具体的には、制御装置１１は、参照データＲが指定する各発音時点に再生位置Ｙが到達した時点で指示画像７３の表示態様を変化させる。例えば、再生位置Ｙが発音時点に一致した時点で指示画像７３が瞬間的に拡大される。利用者Ｕは、指示画像７３を視認することで、参照データＲが指定する各発音時点を確認できる。したがって、準備期間における利用者Ｕ2の演奏に対して、参照データ生成処理Ｓcで推定された発音時点の過不足（すなわち発音時点を特定する処理の適否）を視覚的に確認できる。

【0093】

指示画像７４は、楽器２００が発音する楽音の音量が、演奏位置Ｘを高精度に推定するための音量として適切であるか否かを利用者Ｕに報知するための画像である。音響信号Ｚの音量σが過大または過小である場合、演奏解析部３１による演奏位置Ｘの推定精度が低下するという傾向がある。以上の傾向を考慮して、制御装置１１は、音響信号Ｚの音量σに応じて指示画像７４の表示態様を変化させる。

【0094】

具体的には、制御装置１１は、音響信号Ｚの音量σが閾値σL以上かつ閾値σH以下である場合に指示画像７４の表示態様を第１態様に維持する。閾値σHは、閾値σLを上回る数値である。音響信号Ｚの音量σが閾値σL以上かつ閾値σH以下の範囲内の数値である場合に演奏位置Ｘが目標の精度で推定されるように、閾値σLおよび閾値σHの各々は実験的または統計的に設定される。

【0095】

また、制御装置１１は、音響信号Ｚの音量σが閾値σLを下回る場合には、指示画像７４の表示態様を、第１態様とは相違する第２態様に変化させる。すなわち、高精度な演奏位置Ｘの推定のためには音量σが過小である場合には、指示画像７４が第２態様で表示される。他方、制御装置１１は、音響信号Ｚの音量σが閾値σHを上回る場合には、指示画像７４の表示態様を、第１態様とは相違する第３態様に変化させる。すなわち、高精度な演奏位置Ｘの推定のためには音量σが過大である場合には、指示画像７４が第３態様で表示される。以上の説明から理解される通り、演奏位置Ｘの推定精度の低下が、指示画像７４の表示態様の変化により利用者Ｕに報知される。なお、第２態様と第３態様との異同は不問である。

【0096】

以上の説明においては、音響信号Ｚの音量σに着目したが、指示画像７４の表示態様を変化させる基準となる指標は、音量σに限定されない。例えば、参照データ生成処理ＳcのステップＳc4において推定される音高の尤度に応じて、制御装置１１が指示画像７４の表示態様を制御してもよい。

【0097】

図１６の操作画像７５は、自動演奏の演奏速度を利用者Ｕが調整するための画像である。自動演奏の演奏速度は、利用者Ｕは、操作画像７５を操作することで、所定の基準値に対する倍率（すなわち相対値）により自動演奏の演奏速度を指示できる。再生制御部３２は、利用者Ｕから指示された数値を演奏速度の基準値として、再生位置Ｙが演奏位置Ｘに追従するように演奏装置５０による自動演奏を制御する。

【0098】

Ｆ：変形例
以上に例示した各態様に付加される具体的な変形の態様を以下に例示する。以下の例示から任意に選択された２以上の態様を、相互に矛盾しない範囲で適宜に併合してもよい。

【0099】

（１）前述の各形態においては、操作装置１４を解放状態から操作状態に遷移させる操作を第１指示Ｑ1として指示受付部３３が受付けたが、第１指示Ｑ1の態様は以上の例示に限定されない。例えば、利用者Ｕによる特定の動作が第１指示Ｑ1として検出される。利用者Ｕの動作の検出には、例えば撮像装置または加速度センサ等の各種の検出装置が利用される。例えば、利用者Ｕが片手を上昇させる動作、楽器２００を持上げる動作、または呼吸する動作（例えば息を吸う動作）等の各種の動作を、指示受付部３３は第１指示Ｑ1として特定する。利用者Ｕによる呼吸は、例えば、管楽器を楽器２００として演奏する場合におけるブレス（息継ぎ）である。第２実施形態における操作速度Ｖ1は、第１指示Ｑ1として特定される利用者Ｕの動作の速度として包括的に表現される。

【0100】

第１指示Ｑ1を意味する特定のデータ（以下「第１データ」という）を演奏データＤに含ませてもよい。第１データは、例えば楽曲内のフェルマータを意味するデータである。指示受付部３３は、再生位置Ｙが第１データの時点に到達した場合に第１指示Ｑ1が発生したと判定する。以上の説明から理解される通り、第１指示Ｑ1は、利用者Ｕからの指示には限定されない。なお、編集処理Ｓbにおいて散布度Δが閾値Δthを上回る場合に、編集処理部３４が音符Ｎ1に第１データを付加してもよい。

【0101】

（２）前述の各形態においては、操作装置１４を操作状態から解放状態に遷移させる操作を第２指示Ｑ2として指示受付部３３が受付けたが、第２指示Ｑ2の態様は以上の例示に限定されない。例えば、第１実施形態における第１指示Ｑ1と同様に、操作装置１４を解放状態から操作状態に遷移させる操作を第２指示Ｑ2として指示受付部３３が受付けてもよい。すなわち、可動部１４１の踏込および解放を含む２回の操作を、第１指示Ｑ1および第２指示Ｑ2として検出してもよい。

【0102】

また、利用者Ｕの特定の動作が第２指示Ｑ2として検出されてもよい。利用者Ｕの動作の検出には、例えば撮像装置または加速度センサ等の各種の検出装置が利用される。例えば、利用者Ｕが片手を降下させる動作、楽器２００を低下させる動作、または呼吸する動作（例えば息を吐く動作）等の各種の動作を、指示受付部３３は第２指示Ｑ2として特定する。利用者Ｕによる呼吸は、例えば、管楽器を楽器２００として演奏する場合におけるブレス（息継ぎ）である。第２実施形態における操作速度Ｖ2は、第２指示Ｑ2として特定される利用者Ｕの動作の速度として包括的に表現される。

【0103】

第２指示Ｑ2を意味する特定のデータ（以下「第２データ」という）を演奏データＤに含ませてもよい。第２データは、例えば楽曲内のフェルマータを意味するデータである。指示受付部３３は、再生位置Ｙが第２データの時点に到達した場合に第２指示Ｑ2が発生したと判定する。以上の説明から理解される通り、第２指示Ｑ2は、利用者Ｕからの指示には限定されない。

【0104】

以上の例示の通り、相互に対となる利用者Ｕの一連の動作の一方を第１指示Ｑ1として受付け、他方を第２指示Ｑ2として受付ける構成が想定される。例えば、利用者Ｕが片手を上昇させる動作が第１指示Ｑ1として受付けられ、当該動作に引続いて片手を降下させる動作が第２指示Ｑ2として受付けられる。また、利用者Ｕが楽器２００を持上げる動作が第１指示Ｑ1として受付けられ、当該動作に引続いて楽器２００を降下させる動作が第２指示Ｑ2として受付けられる。同様に、利用者Ｕが息を吸う動作が第１指示Ｑ1として受付けられ、当該動作に引続いて息を吐く動作が第２指示Ｑ2として受付けられる。

【0105】

ただし、第１指示Ｑ1および第２指示Ｑ2は、利用者Ｕによる同種の動作である必要はない。すなわち、利用者Ｕが相互に独立に実行可能な別個の動作を第１指示Ｑ1および第２指示Ｑ2として検出してもよい。例えば、指示受付部３３は、操作装置１４に対する操作を第１指示Ｑ1として検出し、楽器２００を持上げる動作または呼吸する動作等の他の動作を第２指示Ｑ2として検出してもよい。

【0106】

（３）前述の各形態においては、自動演奏楽器を再生装置２０として例示したが、再生装置２０の構成は以上の例示に限定されない。例えば、再生制御システム１０からの指示に応じて楽音の音響信号を生成する音源装置と、当該音響信号が表す楽音を再生する放音装置とを具備する音源システムを、再生装置２０として採用してもよい。音源装置は、ハードウェア音源またはソフトウェア音源として実現される。なお、第５実施形態における演奏装置５０についても同様である。

【0107】

（４）前述の各形態においては、楽曲の複数の音符の時系列を指定する演奏データＤを利用して再生装置２０を制御したが、再生装置２０の制御に使用されるデータの形式は以上の例示に限定されない。例えば、再生パートを構成する複数の音の波形を表す波形データを、再生装置２０の制御に利用してもよい。波形データは、複数のサンプルの時系列で構成される。再生制御部３２は、波形データのうち再生位置Ｙに対応するサンプルを再生装置２０に供給する。再生装置２０は、再生制御システム１０から供給されるサンプルの時系列が表す音を再生する放音システムである。

【0108】

波形データには、複数の音の各々の始点（以下「発音点」という）を表す発音点データが付加される。指示受付部３３が第１指示Ｑ1を受付けると、再生制御部３２は、第１指示Ｑ1の直後に位置する発音点の直前の時点まで、波形データが表す音を再生装置２０に再生させ、当該再生後に第２指示Ｑ2を待機する。すなわち、第１指示Ｑ1の発生の時点で再生されている音（第１音）の再生は、当該第１音の終点まで継続される。他方、指示受付部３３が第２指示Ｑ2を受付けると、再生制御部３２は、波形データのうち再生済の区間の直後の発音点（第１指示Ｑ1の直後に位置する発音点）から、波形データが表す音（第２音）を再生装置２０に再生させる。すなわち、第１音の再生の停止後に、第２指示Ｑ2を契機として、第１音の直後の第２音の再生が開始される。なお、以上の説明においては、再生装置２０を具備する第１実施形態から第４実施形態に対する変形例を例示したが、第５実施形態の演奏装置５０による自動演奏を制御するためのデータの形式についても同様に、演奏データＤには限定されず、例えば以上に例示した波形データが利用されてもよい。

【0109】

以上の説明から理解される通り、前述の各形態において例示した演奏データＤと、変形例に例示した波形データとは、複数の音の時系列を表す音データとして包括的に表現される。

【0110】

（５）例えばスマートフォンまたはタブレット端末等の端末装置との間で通信するサーバ装置により再生制御システム１０が実現されてもよい。端末装置は、利用者Ｕによる演奏に応じた音響信号Ｚを生成する収音装置１３と、再生制御システム１０からの指示に応じて楽曲を再生する再生装置２０（または第５実施形態における演奏装置５０）とを具備する。端末装置は、収音装置１３が生成する音響信号Ｚと、利用者Ｕの動作に応じた第１指示Ｑ1および第２指示Ｑ2とを、通信網を介して再生制御システム１０に送信する。再生制御システム１０は、音響信号Ｚから推定される演奏位置Ｘと、端末装置から受信する第１指示Ｑ1および第２指示Ｑ2とに応じて、端末装置の再生装置２０に楽曲の再生パートを再生させる。なお、演奏解析部３１は端末装置に搭載されてもよい。端末装置は、演奏解析部３１が推定した演奏位置Ｘを再生制御システム１０に送信する。以上の構成においては、再生制御システム１０から演奏解析部３１が省略される。

【0111】

（６）以上に例示した再生制御システム１０の機能は、前述の通り、制御装置１１を構成する単数または複数のプロセッサと、記憶装置１２に記憶されたプログラムとの協働により実現される。本開示に係るプログラムは、コンピュータが読取可能な記録媒体に格納された形態で提供されてコンピュータにインストールされ得る。記録媒体は、例えば非一過性（non-transitory）の記録媒体であり、ＣＤ-ＲＯＭ等の光学式記録媒体（光ディスク）が好例であるが、半導体記録媒体または磁気記録媒体等の公知の任意の形式の記録媒体も包含される。なお、非一過性の記録媒体とは、一過性の伝搬信号（transitory, propagating signal）を除く任意の記録媒体を含み、揮発性の記録媒体も除外されない。また、配信装置が通信網を介してプログラムを配信する構成では、当該配信装置においてプログラムを記憶する記憶装置が、前述の非一過性の記録媒体に相当する。

【0112】

Ｇ：付記
以上に例示した形態から、例えば以下の構成が把握される。

【0113】

本開示のひとつの態様（態様１）に係る再生制御方法は、複数の音の時系列を表す音データを利用して前記複数の音を再生する方法であって、前記複数の音のうち第１指示に対応する第１音を再生し、前記第１音の再生の停止後に、利用者による第２指示を契機として、前記複数の音のうち前記第１音の直後の第２音の再生を開始する。以上の態様によれば、第１指示に対応する第１音の再生の停止後に、利用者からの第２指示を契機として、当該第１音の直後の第２音の再生が開始される。したがって、第１音と第２音との間隔（例えば休符期間の時間長）を、第１指示および第２指示の各時点に応じて適切に制御できる。

【0114】

「音データ」は、複数の音の時系列を表す任意の形式のデータである。例えば、複数の音符の各々について発音期間（具体的には発音および消音）を指定する演奏データ、または、時間軸上における複数の音の波形を表す波形データが、「音データ」の概念に包含される。

【0115】

「第１指示」は、例えば、利用者による動作に応じた指示、または、音データに付加された指示である。利用者による動作に応じた指示は、例えば、操作装置に対する利用者による操作で付与される指示である。また、利用者が特定の動作（例えば楽器を持上げる動作または管楽器の演奏中の息継ぎ）を実行したことを契機として第１指示を発生させてもよい。また、音データに付加される指示は、例えば、音符または休符の延長を意味するフェルマータ等の各種の演奏指示である。

【0116】

「第２指示」は、例えば、利用者による動作に応じた指示である。利用者による動作に応じた指示は、例えば、操作装置に対する利用者による操作で付与される指示である。また、利用者が特定の動作（例えば楽器を持上げる動作または管楽器の演奏中の息継ぎ）を実行したことを契機として第２指示を発生させてもよい。

【0117】

「第２指示を契機として第２音の再生を開始する」とは、第２指示を条件として第２音の再生が開始されることを意味し、第２指示の時点と第２音の再生が開始される時点との関係は不問である。例えば、第２指示の時点または直後に第２音の再生を開始する態様のほか、第２指示から所定の時間が経過した時点において第２音の再生を開始する態様も、「第２指示を契機として第２音の再生を開始する」態様には包含される。

【0118】

複数の音の「再生」は、各音を音波として放射することを意味する。したがって、例えば、自動演奏ピアノ等の自動演奏楽器に複数の音を再生させる自動演奏、または、音源装置および放音装置による複数の音の放音が、「再生」の概念には包含される。

【0119】

態様１の具体例（態様２）において、前記第１音は、前記複数の音のうち第１指示の発生の時点において再生されている音であり、前記第１音の再生においては、第１指示の発生後、前記音データが表す当該第１音の終点まで、前記第１音の再生を継続する。以上の態様においては、第１指示の発生後も、音データが表す第１音の終点まで、第１音の再生が継続される。したがって、第１指示の時点で第１音の再生が停止される構成と比較して、音データに応じて第１音を適切に継続させることが可能である。

【0120】

態様１の具体例（態様３）において、前記複数の音は楽曲を構成し、前記楽曲のうち前記利用者が演奏している時点を、前記複数の音の再生に並行して推定し、前記複数の音の再生においては、前記推定の結果に応じて、前記複数の音の再生を前記楽曲の演奏に追従させる。以上の態様においては、複数の音の再生が利用者による楽曲の演奏に追従するから、利用者の意図（例えば演奏表現）または嗜好を複数の音の再生に適切に反映させることが可能である。

【0121】

態様１から態様３の何れかの具体例（態様４）において、前記音データは、前記複数の音の各々について発音期間を指定する演奏データであり、前記第１音の再生においては、前記第１指示の発生後、前記演奏データが前記第１音について指定する発音期間の終点まで、当該第１音の再生を継続する。以上の態様においては、第１指示の発生後も、演奏データが第１音について指定する前記発音期間の終点まで、第１音の再生が継続される。したがって、第１指示の時点で第１音の再生を停止する構成と比較して、演奏データが指定する発音期間にわたり第１音を適切に継続させることが可能である。

【0122】

態様１から態様４の何れかの具体例（態様５）において、前記第１指示および前記第２指示は、操作装置に対する前記利用者による操作に応じて発生する。以上の態様によれば、利用者が操作装置を操作することで、第１音と第２音との間隔を利用者の意図または嗜好に応じた適切な時間長に変更できる。

【0123】

態様５の具体例（態様６）において、前記第１指示は、前記利用者が前記操作装置を第１状態から第２状態に遷移させる操作により発生し、前記第２指示は、前記利用者が前記操作装置を前記第２状態から前記第１状態に遷移させる操作により発生する。以上の態様によれば、利用者が操作装置を第１状態から第２状態に遷移させることで第１指示が発生し、当該第２状態が維持された後、利用者の所望の時点で操作装置を第２状態から第１状態に遷移させることで第２指示が発生する。したがって、第１指示および第２指示の各々について、操作装置を第１状態から第２状態に遷移させる操作が必要である構成と比較して、利用者による操作装置の操作が簡素化される。

【0124】

態様５または態様６の具体例（態様７）において、前記操作装置に対する操作の速度に応じて前記第１音の継続長を制御する。以上の態様によれば、操作装置に対する操作の速度に応じて利用者が第１音の継続長を調整できる。また、第１指示および第２指示を付与するための操作装置が、第１音の継続長の調整にも兼用されるから、第１指示および第２指示の付与と第１音の継続長の調整との各々について利用者が別個の機器を操作する構成と比較して、利用者による操作が簡素化されるという利点もある。

【0125】

態様５から態様７の何れかの具体例（態様８）において、前記操作装置に対する操作の速度に応じて、前記第２音の再生が開始される時点を制御する。以上の態様によれば、操作装置に対する操作の速度に応じて利用者が第２音の再生の始点を調整できる。また、第１指示および第２指示を付与するための操作装置が、第２音の始点の調整にも兼用されるから、第１指示および第２指示の付与と第２音の始点の調整との各々について利用者が別個の機器を操作する構成と比較して、利用者による操作が簡素化されるという利点もある。

【0126】

本開示のひとつの態様（態様９）に係る再生制御方法は、複数の音の時系列を表す音データを利用して前記複数の音を再生する方法であって、前記複数の音のうち第１指示の発生の時点において再生されている第１音を、前記音データが表す当該第１音の終点まで継続させる。以上の態様においては、第１指示の発生後も、音データが表す第１音の終点まで、第１音の再生が継続される。したがって、第１指示の時点で第１音の再生が停止される構成と比較して、音データに応じて第１音を適切に継続させることが可能である。

【0127】

本開示のひとつの態様（態様１０）に係る再生制御システムは、複数の音の時系列を表す音データを利用して前記複数の音を再生する再生制御部を具備し、前記再生制御部は、前記複数の音のうち第１指示に対応する第１音を再生し、前記第１音の再生の停止後に、利用者による第２指示を契機として、前記複数の音のうち前記第１音の直後の第２音の再生を開始する。以上の態様によれば、第１指示に対応する第１音の再生の停止後に、利用者からの第２指示を契機として、当該第１音の直後の第２音の再生が開始される。したがって、第１音と第２音との間隔（例えば休符期間の時間長）を、第１指示および第２指示の各時点に応じて適切に制御できる。

【0128】

本開示のひとつの態様（態様１１）に係るプログラムは、複数の音の時系列を表す音データを利用して前記複数の音を再生する再生制御部、としてコンピュータを機能させるプログラムであって、前記再生制御部は、前記複数の音のうち第１指示に対応する第１音を再生し、前記第１音の再生の停止後に、利用者による第２指示を契機として、前記複数の音のうち前記第１音の直後の第２音の再生を開始する。以上の態様によれば、第１指示に対応する第１音の再生の停止後に、利用者からの第２指示を契機として、当該第１音の直後の第２音の再生が開始される。したがって、第１音と第２音との間隔（例えば休符期間の時間長）を、第１指示および第２指示の各時点に応じて適切に制御できる。

【0129】

ところで、楽曲のうち利用者が演奏している時点（演奏位置）の推定には、利用者による演奏と照合される参照データが必要である。しかし、所望の楽曲について参照データが用意されていない状況も想定される。

【0130】

以上の事情を考慮して、本開示のひとつの態様（態様１２）に係る再生制御システムは、再生装置に対して指示された複数の音を指定する演奏データを取得する第１収録部と、楽器を利用した前記楽曲の第１演奏により当該楽器が発音する楽音を表す第１音響信号を取得する第２収録部と、前記第１演奏による各楽音の発音時点を少なくとも表す参照データを前記第１音響信号から生成する参照データ生成部と、前記楽器を利用した前記楽曲の第２演奏により当該楽器が発音する楽音を表す第２音響信号と、前記参照データとを照合することで、前記楽曲内で演奏されている時点を、前記第２演奏に並行して推定する演奏解析部と、前記演奏データが指定する複数の音を再生する再生制御部であって、前記演奏解析部による推定の結果に応じて、前記複数の音の再生を前記第２演奏に追従させる再生制御部とを具備する。以上の構成によれば、楽器を利用した楽曲の演奏により当該楽器が発音する楽音を表す第１音響信号から、当該演奏による各楽音の発音時点を表す参照データが生成される。したがって、所望の楽曲について参照データが事前に用意されている必要はない。

【0131】

態様１２の具体例（態様１３）において、前記再生制御部は、前記複数の音のうち第１指示の発生の時点において再生されている第１音を、前記音データが表す当該第１音の終点まで継続させ、前記第１音の再生の停止後に、利用者からの第２指示を契機として、前記複数の音のうち前記第１音の直後の第２音の再生を開始する。以上の態様によれば、第１指示に対応する第１音の再生の停止後に、利用者からの第２指示を契機として、当該第１音の直後の第２音の再生が開始される。したがって、第１音と第２音との間隔（例えば休符期間の時間長）を、第１指示および第２指示の各時点に応じて適切に制御できる。

【符号の説明】

【0132】

１００…再生システム、２００…楽器、１０…再生制御システム、１１…制御装置、１２…記憶装置、１３…収音装置、１４…操作装置、１４１…可動部、２０…再生装置、２１…駆動機構、２２…発音機構、５０…演奏装置、３１…演奏解析部、３２…再生制御部、３３…指示受付部、３４…編集処理部、４１…第１収録部、４２…第２収録部、４３…参照データ生成部。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】